چرا باید از فایل robots.txt استفاده کنیم؟
موتور جستجوی گوگل برای پیدا کردن و ایندکس کردن صفحات وب‌سایت‌ها از ربات‌های مختلف استفاده می کنه که بهشون crawler ها یا خزنده های گوگل هم میگن.
این ربات ها با خزیدن در صفحه های وب اطلاعات مربوط به صفحات مختلف رو به دست آورده و برای موتور جستجو ارسال می‌کنند.
با این وجود بعضی از وبمستر ها علاقه ای ندارند که بعضی از صفحات وبسایتشون که اهمیتی نداره تو گوگل ایندکس بشه و میخوان یه جوری به ربات های گوگل بفهمونن که این صفحات رو ایندکس نکن!
اکثر سایت های معروفی که شما تو فضای اینترنت می بینید از فایل robots.txt و مزایا و ویژگی هایی که این فایل داره استفاده می کنند از دیجی کالا گرفته تا خود سایت پرتقالی ها!
برای دسترسی به فایل robots.txt سایت های مختلف و آنالیز اون ها کافیه که به آخر دامین سایت مورد نظرتون “robots.txt/” رو اضافه کنید.