آیا گوگل به سایتی که robots.txt ندارد سر می زند؟
بله روبات های گوگل به صورت پیش فرض همه ی وب سایت ها را خزش و ایندکس میکنند مگر اینکه خود سایت جلوی ورود روبات های گوگل را بسته باشد.
خیر فایل روباتس به صورت پیش فرض ساخته نمی شود و شما میتوانید این فایل را در هاست وب سایت خود ایجاد کنید.