فایل robots فقط اجازهٔ خزش را هدایت میکند و صفحه را از ایندکس حذف نمیکند. قانونها را روی URL واقعی تست کنید و نسخهٔ «بستن همهچیز» را روی دامنهٔ زنده رها نکنید.
متا ربات دستور خود صفحه برای ایندکس است و robots.txt فقط خزش مسیر را محدود میکند. صفحهٔ noindex باید قابل خواندن بماند وگرنه همان دستور دیده نمیشود.