فایل robots.txt چیست؟
این فایل برای ایجاد دسترسی و محدود کردن ربات های گوگل و سایر موتورهای جستجوگر به کار می رود.
بعضی از صفحات سایت ما هستند که به دلایل مختلف تمایل به ثبت آنها در موتورهای جستجو نداریم. با کمک این فایل این موضوع را برای ربات های گوگل مشخص می کنیم.