فایل robots.txt چیست؟
robots.txt یک فایل متنی است که صاحبان وب سایت ها برای این که به ربات های وب (در واقع بیشتر همان ربات های موتورهای جستجو) نحوه crawl کردن صفحات سایت خود را یاد بدهند، ایجاد می کنند
این فایل ها به ربات های وب می گویند که کدام صفحات سایت شما را بررسی یا crawl کنند، اما این فایل ها همچنین به ربات مذکور می گویند که کدام صفحات را نادیده بگیرد.