اسکن کل وب‌سایت و نسخهٔ نمایشی
خزش را تنظیم کنید، پوشش را بشناسید و یافته‌ها را به اصلاح صفحه‌های مبدأ تبدیل کنید.
محدوده را تنظیم کنید#
فضای کار کل وب‌سایت را در پیشخوان باز کنید، نشانی آغازین وب‌سایت را وارد کنید و سقف صفحه‌ها انتخاب کنید. صفحهٔ عادی HTML را به‌عنوان URL آغازین استفاده کنید. صفحهٔ اصلی اغلب مفید است چون بخش‌های اصلی را به هم وصل می‌کند، اما صفحهٔ مرکزی دیگری ممکن است مناسب بررسی شما باشد.
خزش از طریق پیوندهای داخلی و ورودی‌های پشتیبانی‌شدهٔ نقشهٔ سایت، صفحه‌های هم‌مبدأ با نشانی آغازین را کشف می‌کند. مقصدهای خارجی یافت‌شده در آن صفحه‌ها را بررسی می‌کند، بدون اینکه وب‌سایت‌های خارجی را به‌عنوان مبدأهای اضافی خزش کند. شروع در زیرپوشه، خزش را به‌طور قطعی به همان زیرپوشه محدود نمی‌کند.
- «اسکن کل وب‌سایت» را انتخاب کنید یا نمای کل وب‌سایت در پیشخوان را باز کنید.
- صفحهٔ آغازین HTTP یا HTTPS را وارد کنید.
- سقف صفحه‌های مناسب انتخاب کنید.
- «رعایت قوانین robots.txt» و تنظیمات درخواست را بررسی کنید.
- اسکن را شروع کنید و اجازه دهید کشف و بررسی مقصدها تمام شوند.
- پوشش را همراه دسته‌های نتیجه بازبینی کنید.
سقف صفحه‌ها و پیشرفت را بشناسید#
سقف صفحه‌ها تعداد صفحه‌های HTML پردازش‌شده در یک خزش را محدود می‌کند، نه تعداد پیوندها را. یک صفحهٔ مبدأ می‌تواند مقصدهای زیادی داشته باشد. طرح‌های پولی تا 10,000 صفحه در هر اسکن و تعداد اسکن نامحدود را پشتیبانی می‌کنند؛ ترجیح پیش‌فرض 1,000 صفحه است.
پیشرفت شامل کشف و بررسی مقصدهاست. رسیدن به سقف ممکن است بخشی از وب‌سایت را کشف‌نشده باقی بگذارد. پیشخوان را باز نگه دارید و در صورت نیاز با کنترل توقف لغو کنید. پیش از توصیف بررسی به‌عنوان پوشش‌دهندهٔ محدودهٔ موردنظر، بررسی کامل‌شده را بازبینی کنید.
رعایت قوانین robots.txt#
«رعایت قوانین robots.txt» به‌طور پیش‌فرض فعال است. صفحه‌های مبدأ غیرمجاز کنار گذاشته می‌شوند و صفحهٔ آغازین غیرمجاز مانع شروع اسکن می‌شود. صفحه‌های کنارگذاشته‌شده با موفقیت بررسی نشده‌اند.
برای وب‌سایت خود، پیش از تغییر تنظیم، قانون را بررسی کنید. کنار گذاشتن بخش مدیریت ممکن است عمدی باشد. در وب‌سایت‌های خارج از کنترل خود، محافظت را فعال نگه دارید. بررسی مرورگر دقیقاً نمی‌گوید Googlebot چه چیزی را می‌تواند خزش یا نمایه کند.
نسخهٔ نمایشی رایگان#
نسخهٔ نمایشی رایگان تا 25 صفحه را خزش می‌کند و 10 رکورد نخست نتیجهٔ پیوند را در پیش‌نمایش نگه می‌دارد. فقط آخرین گزارش نمایشی به‌عنوان ورودی تاریخچهٔ نسخهٔ نمایشی حفظ می‌شود. نسخهٔ نمایشی دیگر آن ورودی را جایگزین می‌کند.
ساختار وب‌سایت هم پیش‌نمایش نمایشی محدود دارد. فعال‌سازی مجوز نتایجی را که در نسخهٔ نمایشی قدیمی ثبت نشده‌اند بازسازی نمی‌کند. برای همهٔ یافته‌ها در سقف انتخاب‌شده، خزش پولی تازه اجرا کنید.
پیش از ویرایش، پوشش را بررسی کنید#
صفحه‌های بررسی‌شده را با بخش‌های موردنظر مقایسه کنید. پوشش ناقص می‌تواند از قوانین robots، سقف، صفحه‌های غیرقابل دسترس یا ناوبری ساخته‌شده با JavaScript ناشی شود. خزش کل وب‌سایت HTML دریافت‌شده را می‌خواند، نه اینکه همهٔ تعامل‌های مرورگر را بازتولید کند.
با صفحه‌های مبدأ و متن پیوند، ارجاع‌ها را پیدا کنید. مشکلات تکراری قالب را در مؤلفهٔ مشترک اصلاح کنید و سپس با تنظیمات قابل مقایسه دوباره اجرا کنید. مجموع خطای کمتر فقط وقتی مفید است که پیوندهای آسیب‌دیده و پوشش هم بررسی شده باشند.