نحوه کار قسمت خزنده موتور جستجوگر چگونه است ؟
خزنده (کراولر) نرم افزاری است که وظیفه هدایت و کنترل اسپایدر را بر عهده دارد.
در این بخش کلیه اطلاعات ارسالی توسط اسپایدر تجزیه و تحلیل شده و وضعیت هر یک از اطلاعات به صورت دقیق مشخص می شود.این مقیاس کمی به سیستم رتبه بندی برای فهرست صفحه اول نتایج موتور جستجوگر کمک خواهد کرد