متا ربات دستور خود صفحه برای ایندکس است و robots.txt فقط خزش مسیر را محدود میکند. صفحهٔ noindex باید قابل خواندن بماند وگرنه همان دستور دیده نمیشود.
Index اجازهٔ ورود به نتایج است و noindex درخواست بیرون ماندن، به شرطی که خزنده صفحه را بخواند. صفحهٔ پولساز نباید این دستور را داشته باشد و صفحهٔ تشکر نباید در نمایه بماند.