Site crawlers mao ang mga labi timaan bots, nga nagakamang sa imong site alang sa tanan nga sulod ug index kini sa sa search makina alang sa makita. Sa pipila ka mga kaso, atong gibutang sulod sa atong web sulod sa usa ka paagi nga kini nga mga crawlers mapakyas sa pagpangita. Pangitaanga dili makita pinaagi sa web crawlers kasagaran dili indeks sa Google. Ingon sa usa ka resulta, kini dili naglangkob sa imong ranggo nga mga butang bisan pa sa usik sa imong mga paningkamot SEO. kawalay-alamag Kini mao ang usa ka web design sayop nga paghimo sa mga tawo sa dihang naningkamot sa ranggo sa ilang mga websites. Ingon sa usa ka resulta, kini mao ang importante nga sa pagdagan crawlers sa ibabaw sa imong site sa paghimo sa nag-unang mga kausaban ug ayuhon mga sayop, nga mahimo ipaubos ang imong ranking. 