b'\n_START_ARTICLE_\nGooglebot\n_START_PARAGRAPH_\nGooglebot \xc3\xa8 lo spider web (italianizzato in "agente mobile") di Google._NEWLINE_Googlebot effettua due tipi di scansione del web: la Deep-crawl (fatta una volta al mese circa) e la Fresh-crawl (quasi tutti i giorni)._NEWLINE_La prima come detto viene fatta una volta al mese e viene scansionato tutto il web pagina per pagina, aggiornando indici, pagerank e cache._NEWLINE_Dopo una Deep-crawl Google impiega circa 6-8 giorni per aggiornare completamente i suoi indici e propagarli in tutti i datacenter. In questo periodo di tempo si parla della cosiddetta "Google dance" perch\xc3\xa9 i risultati che escono possono essere diversi di volta in volta. Dopo qualche giorno invece si stabilizzano._NEWLINE_La seconda invece viene fatta quasi tutti i giorni e in pratica aggiorna le pagine che gi\xc3\xa0 sono presenti nell\'indice e aggiunge quelle eventualmente create dopo l\'ultima Deep-crawl._NEWLINE_Esistono altri strumenti e procedure che Googlebot utilizza per indirizzare (e limitare) le sue scansioni. Uno tra i pi\xc3\xb9 importanti \xc3\xa8 il file "robots.txt", che dovrebbe essere sempre presente sui web server attestati su internet, in quanto naturale oggetto di scansione da parte degli spider.'