دسترسی ربات گوگل به صفحه مسدود شده، چرا ایندکس می‌شود؟
مسدود کردن یک صفحه در فایل robots.txt در واقع یک پیشنهاد از طرف ما به ربات‌های گوگل بوده و هیچ الزامی برای پیروی از آن وجود ندارد. سیگنال‌های متعددی برای ایندکس یک صفحه توسط گوگل وجود دارد.
به عنوان مثال اگر صفحه مورد نظر محتوایی اختصاصی و ارزشمند داشته باشد، آدرس آن در نقشه سایت ما درج شده باشد و لینک‌سازی‌های داخلی و خارجی زیادی برای آن انجام شده باشد؛ ممکن است گوگل دستورات این فایل را نادیده گرفته و صفحه مورد نظر را ایندکس کند.
ایمن‌ترین راه برای جلوگیری از ایندکس استفاده از ویژگی noindex در تگ متا و head صفحه است.
دستوراتی که در این فایل درج می‌کنیم یک زبان مشترک و پروتکل جهانی برای مدیریت منابع و محدود کردن دسترسی ربات‌های خزنده به سایت است. ابزارهای متعددی در سطح وب وجود دارند که به محتوای این فایل احترام گذاشته و در صورت مسدود بودن دسترسی صفحات ما را خزش نمی‌کنند. ولی فرامووش نکنیم که بسیاری از ابزارها (مثلا آن‌هایی که کارشان کپی کردن محتوای سایت است) به این فایل بی‌توجه بودن و عملکرد خود را به آن وابسته نمی‌کنند.