آیا روبات های گوگل سایتی که فاقد فایل robots.txt است را خزش نمی‌کنند؟
حتی بدون فایل robots.txt سایت توسط روبات ها خزش می‌شود. کاربرد این فایل چیز دیگریست.
خیر اما بون آن بهتر از نبودن آن است. بخش “فایل robots.txt چیست” این مطلب را بخوانید.