پرش به محتوای اصلی
سئو

Robots.txt چیست و چه تنظیماتی برای سئو مناسب است؟

فایل robots فقط اجازهٔ خزش را هدایت می‌کند و صفحه را از ایندکس حذف نمی‌کند. قانون‌ها را روی URL واقعی تست کنید و نسخهٔ «بستن همه‌چیز» را روی دامنهٔ زنده رها نکنید.

تصویر مفهومی: Robots.txt چیست و چه تنظیماتی برای سئو مناسب است؟
فهرست مطالب
  1. این فایل چه دستوری را واقعاً اجرا می‌کند
  2. چه چیزهایی معمولاً نباید بسته شوند
  3. چه مسیرهایی منطقی است محدود شوند
  4. بعد از هر انتقال دوباره بخوانید
  5. بازبینی فایل در چهار قدم
  6. تنظیم‌هایی که سایت را از خزش می‌اندازند
  7. سوالات متداول
  8. robots.txt رمز سایت است؟
  9. Disallow یعنی noindex؟
  10. برای وردپرس فایل پیش‌فرض کافی است؟
  11. چند فایل robots می‌توان داشت؟
  12. ادامه مسیر
  13. جمع‌بندی

robots.txt فایلی در ریشهٔ سایت است که به ربات‌ها می‌گوید کدام مسیر را بهتر است خزش نکنند. این فایل صفحه را از ایندکس خارج نمی‌کند و جای دستور noindex نیست. تنظیم درستش جلوی هدر رفتن بودجهٔ خزش روی آدرس‌های بی‌فایده را می‌گیرد و تنظیم غلطش می‌تواند کل بخش محتوا یا حتی خود فایل نقشهٔ سایت را از دید ربات پنهان کند.

این فایل چه دستوری را واقعاً اجرا می‌کند

دستور User-agent مشخص می‌کند قانون برای کدام ربات است و Disallow مسیر را از خزش منع می‌کند. Allow برای باز کردن یک استثنا داخل مسیر بسته‌تر به کار می‌رود. این‌ها توصیه به خزنده‌اند، رمز عبور نیستند.

آدرسی که در جای دیگری لینک شده باشد ممکن است حتی با Disallow در نتایج دیده شود، چون گوگل محتوای صفحه را ندیده تا noindex را بخواند. برای حذف از ایندکس باید صفحه در دسترس بماند و noindex داشته باشد، یا از ابزار حذف استفاده شود.

طرح‌هایی از انواع ربات
طرح‌هایی از انواع ربات — عکس: Rlistmedia، مجوز CC BY 4.0، ویکی‌مدیا کامنز

چه چیزهایی معمولاً نباید بسته شوند

CSS و جاوااسکریپتی که چیدمان صفحه به آن‌ها وابسته است نباید بسته شود، وگرنه ربات صفحه را ناقص می‌بیند. مسیر مقاله، محصول و دسته‌های عمومی هم محل Disallow نیست.

نقشهٔ سایت را در همین فایل با Sitemap اعلام کنید. بستن خودِ نقشه، یکی از خطاهای تکراری بعد از انتقال سایت است.

چه مسیرهایی منطقی است محدود شوند

نتیجهٔ جستجوی داخلی، فیلترهای تودرتو که هزاران URL بی‌محتوا می‌سازند، صفحات حساب کاربری و پیش‌نمایش پیش‌نویس. این‌ها اگر خزش شوند، بودجه را از صفحات اصلی می‌گیرند.

محدود کردن را با نمونهٔ واقعی URL بنویسید و در سرچ کنسول ابزار تست robots.txt را روی همان URL اجرا کنید. قانون کلی «بستن همهٔ پارامترها» اغلب صفحهٔ مفید کمپین را هم می‌بندد.

بعد از هر انتقال دوباره بخوانید

انتقال از هاست آزمایشی به دامنهٔ اصلی گاهی فایل «بستن همهٔ ربات‌ها» را همراه می‌آورد. اگر Disallow: / روی سایت زنده بماند، خزش تقریباً قطع می‌شود.

فایل باید در نشانی اصلی دامنه و با وضعیت ۲۰۰ در دسترس باشد. ریدایرکت زنجیره‌ای یا فایل HTML به‌جای متن ساده، قانون را غیرقابل اعتماد می‌کند.

بازبینی فایل در چهار قدم

  1. فایل را از ریشهٔ دامنهٔ زنده باز کنید، نه از نسخهٔ آزمایشی.
  2. وجود Disallow: / را رد کنید.
  3. یک URL مقاله و یک URL جستجوی داخلی را در تست سرچ کنسول مقایسه کنید.
  4. خط Sitemap را با آدرس واقعی نقشه تطبیق دهید.

تنظیم‌هایی که سایت را از خزش می‌اندازند

  • ماندن قانون محیط آزمایش روی تولید.
  • بستن CSS و جاوااسکریپت قالب.
  • انتظار حذف از گوگل فقط با Disallow.
  • نوشتن قانون برای پارامتری که صفحهٔ فرود تبلیغ هم از آن استفاده می‌کند.
ویدیوی مرتبط: فایل Robots.txt چیست و چه تاثیری بر سئو دارد؟ (منبع: آپارات)

سوالات متداول

robots.txt رمز سایت است؟

خیر. هر کسی می‌تواند آن را بخواند. مسیر محرمانه را این‌جا پنهان نکنید. مسیر حساس باید احراز هویت داشته باشد.

Disallow یعنی noindex؟

نه. Disallow یعنی لطفاً خزش نکن. noindex دستور جدا در متاتگ یا هدر HTTP است و فقط اگر صفحه خزش شود دیده می‌شود.

برای وردپرس فایل پیش‌فرض کافی است؟

نقطهٔ شروع است، نه تنظیم نهایی. جستجوی داخلی و پارامترهای فیلتر فروشگاه را جدا بررسی کنید.

چند فایل robots می‌توان داشت؟

برای هر میزبان یک فایل در ریشه. زیردامنه فایل خودش را می‌خواهد و از فایل دامنهٔ اصلی ارث نمی‌برد.

ادامه مسیر

این موضوع به صفحات و مقاله‌های زیر وصل است. لینک‌ها برای تصمیم بعدی است، نه فهرست تزئینی.

جمع‌بندی

robots.txt دریچهٔ خزش است نه دکمهٔ ایندکس. مسیرهای بی‌مصرف را ببندید، فایل‌های لازم برای رندر و محتوای عمومی را باز بگذارید و بعد از هر انتقال فایل را دوباره تست کنید.

برای بررسی همین موضوع روی پروژهٔ خودتان، از مشاوره و برآورد پروژه در ایلیاوب استفاده کنید. برآورد بعد از دیدن محدودهٔ کار، محتوا و یکپارچه‌سازی انجام می‌شود.

سارا کریمی

سارا کریمی

متخصص سئو

متخصص سئوی فنی و محتوا.

مشاوره رایگان واتساپ