apa itu web crawler?
web crawler adalah program yang melakukan proses crawl.
karena jumlah website terus bertambah, maka google harus terus mencari halaman baru dan menambahkannya ke daftar halaman yang dikenal.