Crawlers makamatikod “walay index” mga sugo. Kini mao ang mga dapit sa inyong mga website diin bots dili makab-ot sa. Pinaagi sa paggamit sa niini nga impormasyon, imong mahimo sa paghimo sa gikinahanglan nga mga kausaban sa imong sulod sa pagdumala sa gambalay ug index sa tanan nga sulod sa inyong. kategoriya produkto ug mga grupo sa missing check kahon makadawat updates sa imong database.