فایل robots فقط اجازهٔ خزش را هدایت میکند و صفحه را از ایندکس حذف نمیکند. قانونها را روی URL واقعی تست کنید و نسخهٔ «بستن همهچیز» را روی دامنهٔ زنده رها نکنید.
مدل زبانی جدول خزش و گزارش سرعت را به اقدام قابل بررسی تبدیل میکند و حق ندارد وضعیت ایندکس یا امتیاز را از خودش بسازد. فایدهٔ آن در سئو تکنیکال به کیفیت فایلی است که انسان به آن میدهد.