Apa Fungsi robots.txt?
Fungsi robots.txt adalah untuk membatasi atau mencegah spiders atau bot search engine untuk mengakses file-file pada website / blog, atau sederhananya robots.txt memberitahu spiders atau bot mana yang boleh diakses dan mana yang tidak boleh. Pada akhirnya nantinya akan memberitahu search engine misal google tentang halaman mana yang boleh ditampilan pada hasil penelurusan dan file / data mana yang tidak boleh ditampilkan pada hasil penelurusan.
Jawabnya tentu saja, karena pembatasan akses yang dilakukan oleh robots.txt akan lebih mengarahkan bots untuk mengakses content-content yang dianggap penting saja atau yang tidak ingin dishare ke publik. Tentunya bisa dibayangkan bukan, jika terdapat ribuan file dalam website kita yang jika tidak dibatasi akan membiarkan bots meng-crawl (merayapi) file-file tersebut satu persatu. Sementara beberapa jenis file seperti .php, javascript .css, .inc sebenarnya tidak penting untuk di-crawl. Maka dengan menggunakan robots.txt ini bot dari search engine akan lebih fokus meng-crawl content-content penting saja dari website atau blog kita.