چرا از فایل robots استفاده می کنیم؟
بعضی از صفحات سایت ما هستند که به دلایل مختلف تمایل به ثبت آنها در موتورهای جستجو نداریم. با کمک این فایل این موضوع را برای ربات های گوگل مشخص می کنیم.
با کمک این فایل ما امکان مدیریت crawl budget را داریم، همچنین می توانیم ترافیک مصرفی ربات ها را کنترل کرده و مهمتر از همه دسترسی یا عدم دسترسی ربات ها را به صفحات وب مشخص می کنیم.