kenapa mesin pencari melakukan crawling?
karena jumlah website terus bertambah, maka google harus terus mencari halaman baru dan menambahkannya ke daftar halaman yang dikenal.
pertama, google dan mesin pencari yang lain akan berusaha menemukan url atau link halaman website baru yang belum mereka kenal.  
proses ini akan dibantu oleh link, baik itu internal link ataupun backlink sama-sama memiliki peranan penting. selain itu, sitemap juga memiliki peranan besar dalam proses ini.  
mesin pencari akan terus menelusuri lewat link dan sitemap yang dapat ditemukan, sehingga akhirnya google mendapatkan informasi dan data dari halaman-halaman tersebut.