فایل robots.txt یک فایل متنی ساده است که در ریشه وب‌سایت قرار می‌گیرد و به خزنده‌های موتورهای جست‌وجو اعلام می‌کند کدام بخش‌های سایت را می‌توانند خزش کنند و کدام مسیرها برای خزش محدود شده‌اند. این فایل یکی از ابزارهای مهم در سئو تکنیکال است و به مدیران سایت کمک می‌کند نحوه دسترسی ربات‌های موتورهای جست‌وجو به منابع و صفحات مختلف را مدیریت کنند.
برای مثال، ممکن است بخواهید موتورهای جست‌وجو صفحات اصلی، مقالات و محصولات سایت را بررسی کنند، اما به مسیرهای مربوط به پنل مدیریت یا بخش‌های غیرضروری دسترسی خزش نداشته باشند. در چنین شرایطی می‌توانید با تنظیم صحیح robots.txt، دستورهای موردنظر را به خزنده‌ها اعلام کنید.
فایل robots.txt کجا قرار می‌گیرد؟
فایل robots.txt معمولاً در مسیر ریشه دامنه قرار می‌گیرد و از طریق آدرس زیر قابل مشاهده است:
https://example.com/robots.txt
در این آدرس، example.com را با دامنه سایت خود جایگزین کنید. برای مثال، اگر دامنه شما example.ir باشد، فایل باید از مسیر https://example.ir/robots.txt در دسترس باشد.
قرار گرفتن فایل در مسیر درست اهمیت زیادی دارد؛ زیرا خزنده‌ها برای بررسی دستورهای مربوط به یک دامنه، فایل robots.txt را در ریشه همان دامنه جست‌وجو می‌کنند. قرار دادن آن در یک پوشه فرعی، مانند /blog/robots.txt، جایگزین فایل اصلی دامنه نخواهد بود.
فایل robots.txt چه کاربردی دارد؟
مهم‌ترین وظیفه robots.txt مدیریت خزش (Crawling) در سایت است. این فایل می‌تواند به خزنده‌ها اعلام کند که کدام مسیرها را بررسی نکنند یا اجازه خزش در مسیرهای مشخصی را داشته باشند. کاربردهای اصلی آن عبارت‌اند از:
مدیریت بودجه خزش: در سایت‌های بزرگ، محدود کردن خزش مسیرهای کم‌اهمیت یا تکراری می‌تواند به استفاده بهینه‌تر از منابع خزش کمک کند.
محدود کردن خزش صفحات غیرضروری: می‌توان مسیرهایی مانند صفحات جست‌وجوی داخلی، برخی فیلترهای تکراری یا بخش‌های مدیریتی را از خزش خزنده‌های مشخص مستثنا کرد.
مدیریت دسترسی به منابع: در برخی شرایط می‌توان دسترسی خزنده‌ها به مسیرهای مشخصی از فایل‌ها و منابع سایت را محدود کرد؛ البته باید مراقب بود منابع ضروری برای رندر صفحه مسدود نشوند.
معرفی نقشه سایت: می‌توان آدرس فایل XML Sitemap را در robots.txt قرار داد تا خزنده‌ها راحت‌تر آن را پیدا کنند.
کنترل خزش ربات‌های مشخص: امکان تعریف دستورهای جداگانه برای خزنده‌های مختلف وجود دارد؛ البته میزان پشتیبانی از دستورها به رفتار هر ربات بستگی دارد.
دستورهای مهم در فایل robots.txt
برای تنظیم robots.txt از چند دستور اصلی استفاده می‌شود. شناخت این دستورها به شما کمک می‌کند فایل را متناسب با ساختار سایت تنظیم کنید.
۱. دستور User-agent
این دستور مشخص می‌کند قوانین بعدی برای کدام خزنده یا ربات اعمال شوند. اگر بخواهید دستورها برای همه خزنده‌ها تعریف شوند، از علامت ستاره استفاده می‌کنید.
نمونه:
User-agent: *
در این مثال، قوانین مربوط به همه خزنده‌هایی است که از این شیوه استاندارد پشتیبانی می‌کنند. همچنین می‌توانید نام یک خزنده مشخص را به‌جای ستاره قرار دهید.
۲. دستور Disallow
با دستور Disallow می‌توانید به خزنده اعلام کنید که مسیر مشخصی از سایت را خزش نکند.
نمونه:
User-agent: *
Disallow: /admin/
در این مثال، از خزنده‌های مشمول قانون خواسته شده است مسیر admin را خزش نکنند. توجه داشته باشید که این دستور دسترسی کاربران یا مهاجمان به آن مسیر را مسدود نمی‌کند و برای محافظت از پنل مدیریت باید از روش‌های امنیتی مناسب استفاده کنید.
۳. دستور Allow
دستور Allow برای مجاز کردن خزش یک مسیر مشخص به کار می‌رود. این دستور به‌ویژه زمانی کاربرد دارد که یک مسیر کلی را مسدود کرده‌اید، اما می‌خواهید خزنده بتواند به یکی از زیرمسیرهای آن دسترسی داشته باشد.
نمونه:
User-agent: *
Disallow: /files/
Allow: /files/public/
در این مثال، خزش مسیر files محدود شده، اما مسیر files/public مجاز است. نحوه تفسیر قوانین و اولویت آن‌ها به پیاده‌سازی خزنده نیز وابسته است.
۴. دستور Sitemap
با استفاده از Sitemap می‌توانید آدرس نقشه سایت را به خزنده‌ها معرفی کنید. این کار به پیدا کردن محل نقشه سایت کمک می‌کند، اما تضمینی برای خزش یا ایندکس شدن تمام URLهای موجود در آن نیست.
نمونه:
Sitemap: https://example.com/sitemap.xml
در صورت داشتن چند نقشه سایت یا استفاده از Sitemap Index، می‌توانید آدرس فایل مربوطه را در robots.txt قرار دهید.
نمونه یک فایل robots.txt استاندارد
ساختار فایل robots.txt می‌تواند ساده یا متناسب با نیازهای فنی سایت پیچیده‌تر باشد. نمونه زیر یک الگوی ابتدایی برای مدیریت خزش است:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /
Sitemap: https://example.com/sitemap.xml
در این نمونه، از همه خزنده‌های مشمول قوانین خواسته شده است مسیرهای admin و private را خزش نکنند و نقشه سایت نیز به آن‌ها معرفی شده است. دستور Allow برای مسیر ریشه در این مثال ضروری نیست و می‌توان آن را حذف کرد.
این نمونه را نباید بدون بررسی در تمام سایت‌ها کپی کرد. برای مثال، ممکن است مسیرهایی که در سایت شما با نام admin یا private مشخص شده‌اند وجود نداشته باشند یا برخی منابع ضروری در مسیرهای محدودشده قرار گرفته باشند. پیش از انتشار فایل، باید قوانین را با ساختار واقعی سایت تطبیق دهید.
تفاوت robots.txt با متاتگ noindex چیست؟
یکی از اشتباهات رایج در سئو، یکسان دانستن دستور Disallow در robots.txt با متاتگ noindex است. این دو ابزار کاربرد متفاوتی دارند و جایگزین یکدیگر نیستند.
دستور Disallow به خزنده می‌گوید یک مسیر را خزش نکند. در مقابل، متاتگ noindex به موتور جست‌وجویی که صفحه را دریافت و بررسی می‌کند اعلام می‌کند آن صفحه را در نتایج جست‌وجو ایندکس نکند.
اگر صفحه‌ای را در robots.txt مسدود کنید، ممکن است خزنده نتواند محتوای آن را ببیند و در نتیجه دستور noindex موجود در کد صفحه نیز برایش قابل مشاهده نباشد. بنابراین، اگر هدف شما جلوگیری از ایندکس شدن یک صفحه است، نباید صرفاً به Disallow تکیه کنید. باید اجازه خزش صفحه را برای خزنده موردنظر فراهم کنید تا بتواند دستور noindex را بخواند یا از روش‌های مناسب دیگری مانند احراز هویت و کنترل دسترسی استفاده کنید.
آیا robots.txt از اطلاعات محرمانه سایت محافظت می‌کند؟
خیر. فایل robots.txt ابزار امنیتی نیست و نباید برای مخفی کردن اطلاعات حساس از آن استفاده کنید. دستور Disallow فقط درخواست خزش را برای ربات‌های سازگار با این استاندارد محدود می‌کند و مانع دسترسی مستقیم کاربران یا ربات‌های مخرب به URL نمی‌شود.
از طرف دیگر، فایل robots.txt به‌صورت عمومی در دسترس است و هر کاربری می‌تواند محتوای آن را مشاهده کند. بنابراین، قرار دادن نام مسیرهای محرمانه در این فایل حتی ممکن است توجه افراد را به وجود آن مسیرها جلب کند.
برای محافظت از اطلاعات و بخش‌های خصوصی سایت باید از روش‌هایی مانند احراز هویت، تعیین سطح دسترسی، محدودیت دسترسی در سمت سرور و تنظیم صحیح مجوز فایل‌ها استفاده کنید.
اشتباهات رایج در تنظیم فایل robots.txt
یک قانون اشتباه در robots.txt ممکن است دسترسی خزنده‌ها به بخش مهمی از سایت را محدود کند. برخی از خطاهای رایج عبارت‌اند از:
مسدود کردن کل سایت: استفاده از Disallow: / برای همه خزنده‌ها باعث می‌شود مسیرهای سایت برای خزش مسدود شوند. این دستور را نباید بدون آگاهی از پیامدهای آن استفاده کرد.
مسدود کردن فایل‌های ضروری: محدود کردن دسترسی به CSS و JavaScript موردنیاز رندر صفحه ممکن است درک محتوای سایت را برای موتور جست‌وجو دشوار کند.
استفاده از robots.txt برای امنیت: این فایل جایگزین رمز عبور، احراز هویت یا محدودیت دسترسی سمت سرور نیست.
استفاده از Disallow برای حذف صفحه از نتایج جست‌وجو: مسدود کردن خزش لزوماً مانع نمایش URL در نتایج جست‌وجو نمی‌شود.
اشتباه در مسیرها: تفاوت در اسلش‌ها، نام پوشه‌ها و الگوهای مسیر ممکن است باعث شود قانون موردنظر روی URLهای اشتباه اعمال شود.
فراموش کردن بررسی فایل پس از تغییرات سایت: تغییر ساختار URL یا نصب افزونه‌های جدید ممکن است باعث شود قوانین قبلی دیگر مناسب نباشند.
چگونه فایل robots.txt را بررسی و تست کنیم؟
پس از ساخت یا ویرایش فایل، آن را از طریق آدرس دامنه بررسی کنید و مطمئن شوید نسخه موردنظر در دسترس است. همچنین باید وضعیت پاسخ سرور و محتوای فایل را کنترل کنید تا مطمئن شوید خزنده‌ها نسخه صحیح را دریافت می‌کنند.
برای بررسی نحوه تفسیر قوانین توسط Google می‌توانید از بخش گزارش robots.txt در ابزارهای مرتبط با Search Console و ابزارهای تست URL استفاده کنید. ابزارهای موجود ممکن است بسته به نوع گزارش و نسخه رابط کاربری تغییر کنند؛ بنابراین بهتر است نتیجه را با بررسی مستقیم فایل و تست URLهای مهم تکمیل کنید.
پیشنهاد می‌شود چند مسیر مهم سایت را آزمایش کنید: صفحه اصلی، صفحات محصولات یا خدمات، مقالات، فایل‌های CSS و JavaScript و مسیرهایی که قصد محدود کردن خزش آن‌ها را دارید. هدف این است که مطمئن شوید صفحات ارزشمند برای خزش باز هستند و قوانین محدودکننده فقط روی مسیرهای موردنظر اعمال می‌شوند.
در پایان ...
فایل robots.txt یکی از ابزارهای پایه در سئو تکنیکال است که به مدیران سایت امکان می‌دهد نحوه خزش مسیرهای مختلف را برای ربات‌های سازگار با این استاندارد مدیریت کنند. با استفاده از دستورهایی مانند User-agent، Disallow، Allow و Sitemap می‌توانید دسترسی خزنده‌ها را متناسب با ساختار سایت تنظیم کنید.
بااین‌حال، robots.txt ابزار حذف قطعی صفحات از نتایج جست‌وجو یا محافظت از اطلاعات محرمانه نیست. تنظیم نادرست آن نیز ممکن است مانع خزش صفحات مهم و منابع موردنیاز موتورهای جست‌وجو شود. به همین دلیل، بهتر است این فایل با توجه به معماری سایت، ساختار URLها و اهداف سئوی فنی تنظیم و پس از هر تغییر مهم بررسی شود.
دیدگاه خود را بنویسید
نشانی ایمیل شما منتشر نمی‌شود.
