整站扫描与演示

设置范围#

打开控制面板中的整站工作区，输入网站起始地址并选择页面上限。使用普通HTML页面作为起始网址。首页通常能连接主要栏目，是合适的起点；其他核心页面也可能更适合本次检查。

抓取通过内部链接及支持的站点地图条目，发现与起始网址同源的页面。它会检查这些页面中的外部目标，但不会将外部网站作为额外的来源网站进行抓取。从子目录开始，并不意味着抓取严格限制在该子目录中。

1. 选择扫描整个网站，或打开控制面板中的整站视图。
2. 输入起始HTTP或HTTPS页面。
3. 选择合适的页面上限。
4. 检查遵守robots.txt选项及请求设置。
5. 开始扫描，等待页面发现和目标检查完成。
6. 结合结果分类检查覆盖范围。

了解页面上限与进度#

页面上限限制一次抓取中处理的HTML页面数量，不是链接数量。一个来源页面可以包含多个目标。付费方案每次扫描最多支持10,000页，扫描次数不限；默认设置为1,000页。

进度包含页面发现和目标检查。达到上限后，网站的一部分可能仍未被探索。请保持控制面板打开；需要取消时，使用停止控件。只有检查已完成的结果后，才能判断是否覆盖了预期范围。

遵守robots.txt#

遵守robots.txt默认启用。禁止访问的来源页面会被跳过；起始页面被禁止时，扫描无法开始。被排除的页面并未成功接受检查。

对于自己的网站，请先检查规则，再改变设置。排除管理区域可能是有意安排。对于不受你控制的网站，请保持保护启用。浏览器检查无法准确说明Googlebot能抓取或索引哪些内容。

免费演示#

免费演示最多抓取25页，在预览中保留前10条链接结果。演示历史条目只保留最近一次演示报告。新的演示会替换该条目。

网站结构也提供有限的演示预览。激活许可不会恢复旧演示中省略的结果。请执行新的付费抓取，在所选上限内获取完整结果。

修改前了解覆盖范围#

将已检查页面与原本计划检查的栏目进行对比。覆盖缺口可能来自robots.txt规则、页面上限、无法访问的页面或由JavaScript生成的导航。整站抓取读取获取到的HTML，不会复现浏览器中的每一种交互。

利用来源页面和链接文字定位引用。对于模板中重复出现的问题，请在共用组件中修复，再使用相近设置重新扫描。只有确认受影响的链接及覆盖范围后，错误总数下降才有实际意义。