چرا این فایل اهمیت زیادی دارد؟
با کمک این فایل ما امکان مدیریت crawl budget را داریم، همچنین می توانیم ترافیک مصرفی ربات ها را کنترل کرده و مهمتر از همه دسترسی یا عدم دسترسی ربات ها را به صفحات وب مشخص می کنیم.
سئو یک کار زمانبر است که انجام آن نیاز به صبر و حوصله دارد و نمی توان زمان مشخصی را برای ایندکس شدن در نظر گرفت. این زمان به میزان فعالیت شما بستگی دارد.