پرش به محتوای اصلی
سئو

Meta Robots چیست و چه تفاوتی با Robots.txt دارد؟

متا ربات دستور خود صفحه برای ایندکس است و robots.txt فقط خزش مسیر را محدود می‌کند. صفحهٔ noindex باید قابل خواندن بماند وگرنه همان دستور دیده نمی‌شود.

تصویر مفهومی: Meta Robots چیست و چه تفاوتی با Robots.txt دارد؟
فهرست مطالب
  1. Meta Robots چه مقادیری دارد؟
  2. Robots.txt در این میان چه می‌کند؟
  3. کدام را برای هر سناریو انتخاب کنید؟
  4. تعارض دستورها را چطور پیدا کنید؟
  5. فرق Meta Robots و Robots.txt
  6. انتخاب دستور درست
  7. ترکیب‌های متناقض
  8. سوالات متداول
  9. follow با ایندکس شدن صفحهٔ مقصد یکی است؟
  10. هدر HTTP بهتر است یا تگ meta؟
  11. می‌شود کل سایت را با meta ببندیم؟
  12. تغییر از noindex به index چقدر طول می‌کشد؟
  13. ادامه مسیر
  14. جمع‌بندی

Meta Robots یک دستور داخل خود صفحه است که می‌گوید آن نشانی ایندکس شود یا نه و پیوندهایش دنبال شوند یا نه. Robots.txt فایلی در ریشه است که فقط دربارهٔ اجازهٔ خزش مسیر حرف می‌زند. تفاوت عملی این است که noindex فقط وقتی دیده می‌شود که خزنده اجازهٔ خواندن صفحه را داشته باشد، پس صفحه‌ای که می‌خواهید از نمایه خارج شود نباید در robots.txt بسته شده باشد. این دو ابزار جایگزین یکدیگر نیستند.

Meta Robots چه مقادیری دارد؟

رایج‌ترین ترکیب‌ها index یا noindex و follow یا nofollow است. noindex از نمایه بیرون می‌گذارد و follow یعنی خودِ لینک‌های داخل صفحه همچنان قابل پیمایش‌اند. این دستور را می‌شود در تگ meta یا در هدر HTTP فرستاد و اثرشان یکی است اگر متعارض نباشند.

مقادیر دیگری مثل noarchive هم وجود دارد، ولی نیاز بیشتر سایت‌ها با همین تصمیم ایندکس و دنبال کردن لینک حل می‌شود. صفحهٔ عادی و مفید باید صریحاً یا پیش‌فرض قابل ایندکس باشد.

ربات اسباب‌بازی؛ نماد ربات‌های موتور جستجو
ربات اسباب‌بازی؛ نماد ربات‌های موتور جستجو — عکس: Kurt Kaiser، مجوز CC0، ویکی‌مدیا کامنز

Robots.txt در این میان چه می‌کند؟

Disallow می‌گوید آن پیشوند را نگیر. این کار برای کم کردن خزش مسیرهای کم‌ارزش مفید است، ولی به معنی حذف از نتایج نیست. نشانی بسته‌شده می‌تواند فقط با عنوان، و بدون دیدن محتوای تازه، در نمایه بماند.

به همین دلیل بستن صفحهٔ تشکر یا صفحهٔ آزمایش در robots.txt، اگر قبلاً دیده شده باشد، noindex را عقیم می‌کند. اول باید صفحه خزیده شود تا دستور noindex خوانده شود.

کدام را برای هر سناریو انتخاب کنید؟

صفحهٔ تشکر، نتیجهٔ جست‌وجوی داخلی و نسخهٔ پیش‌نویسِ قابل مشاهده را noindex کنید و اجازه بدهید خزیده شوند. مسیرهای بی‌انتهای فیلتر را اگر لازم است در robots.txt از خزش زیاد محافظت کنید، ولی صفحهٔ مقصدی که باید حذف شود را نبندید.

پنل مدیریت را با رمز ببندید. نه meta و نه robots.txt جای احراز هویت را نمی‌گیرند. مخفی کردن نشانی، امنیت نیست.

تعارض دستورها را چطور پیدا کنید؟

سورس صفحه را ببینید و همزمان robots.txt را برای همان مسیر چک کنید. اگر هر دو افزونهٔ سئو تگ meta می‌نویسند، ممکن است یکی index و دیگری noindex باشد و نتیجه غیرقابل پیش‌بینی شود.

در بازرسی سرچ کنسول، وضعیت «مستثنی‌شده با noindex» با «مسدودشده با robots.txt» فرق دارد. دومی را اگر هدفتان حذف از نمایه است باید باز کنید تا اولی بتواند اعمال شود.

فرق Meta Robots و Robots.txt

برای هر نشانی فقط یک هدف را انتخاب کنید و دستور مخالفش را کنارش نگذارید.

سؤال Meta Robots Robots.txt
کجا نوشته می‌شود؟داخل صفحه یا هدر پاسخفایل متنی ریشهٔ دامنه
سؤال اصلیایندکس بشود یا نهاین مسیر خزیده بشود یا نه
حذف از نتایجnoindex، اگر صفحه خوانده شودتضمین حذف نیست
اشتباه رایجnoindex روی صفحهٔ پول‌سازDisallow روی همان صفحه‌ای که باید noindex شود

انتخاب دستور درست

  1. تصمیم بگیرید نشانی باید در نتایج باشد، فقط دیده نشود، یا اصلاً خزیده نشود.
  2. برای حذف از نتایج، noindex بگذارید و Disallow همان مسیر را بردارید.
  3. برای کم کردن خزش فیلترهای بی‌انتها، robots.txt را جدا از صفحات مقصد تنظیم کنید.
  4. سورس نهایی HTML را برای یک تگ واحد بررسی کنید.
  5. وضعیت را در بازرسی سرچ کنسول با هدف اولیه مقایسه کنید.
ویدیوی مرتبط: فایل robots.txt چیست؟ (منبع: آپارات)

ترکیب‌های متناقض

  • noindex در متا و Disallow همان نشانی در robots.txt.
  • دو افزونه با دو مقدار مخالف meta robots.
  • بستن CSS در robots.txt و انتظار فهم درست صفحه.
  • استفاده از هر دو ابزار به‌جای رمز روی محیط آزمایش.

سوالات متداول

follow با ایندکس شدن صفحهٔ مقصد یکی است؟

خیر. follow فقط می‌گوید لینک قابل پیمایش است. صفحهٔ مقصد اگر خودش noindex یا تکراری باشد وارد نتایج نمی‌شود.

هدر HTTP بهتر است یا تگ meta؟

برای HTML هر دو قابل قبول‌اند به شرط یکی بودن. هدر برای فایلی که meta ندارد، مثل بعضی پاسخ‌های غیر HTML، عملی‌تر است.

می‌شود کل سایت را با meta ببندیم؟

برای محیط آزمایش بله، به شرطی که قالب واقعاً آن تگ را روی همهٔ صفحات بگذارد. یک صفحهٔ فراموش‌شده کافی است تا پیش‌نویس ایندکس شود.

تغییر از noindex به index چقدر طول می‌کشد؟

بعد از اینکه خزنده صفحه را دوباره دید. نقشه و لینک داخلی این بازدید را محتمل‌تر می‌کنند، ولی زمان دقیق را نمی‌شود وعده داد.

ادامه مسیر

این موضوع به صفحات و مقاله‌های زیر وصل است. لینک‌ها برای تصمیم بعدی است، نه فهرست تزئینی.

جمع‌بندی

Meta Robots دربارهٔ ماندن در نمایه است و robots.txt دربارهٔ اجازهٔ خزش. برای noindex صفحه را قابل خواندن بگذارید و از بستن همان مسیر در فایل ریشه خودداری کنید.

برای بررسی همین موضوع روی پروژهٔ خودتان، از مشاوره و برآورد پروژه در ایلیاوب استفاده کنید. برآورد بعد از دیدن محدودهٔ کار، محتوا و یکپارچه‌سازی انجام می‌شود.

سارا کریمی

سارا کریمی

متخصص سئو

متخصص سئوی فنی و محتوا.

مشاوره رایگان واتساپ