robots.txt چیست؟
robots.txt یک فایل متنی در وب سایت شما است که به موتورهای جستجو نحوه پیمایش صفحات شما را آموزش می دهد.
بله قطعا. مرتب سازی صفحات با توجه به دسته بندی های درست و مناسب می تواند از رقابت صفحات منفرد با یکدیگر جلوگیری کند.