Apa itu robots.txt?
Robots.txt (remember, always plural!) sebenarnya hanyalah sebuah file .txt (teks) biasa yang disimpan di root atau folder utama sebuah website atau blog.
Fungsi robots.txt adalah untuk membatasi atau mencegah spiders atau bot search engine untuk mengakses file-file pada website / blog, atau sederhananya robots.txt memberitahu spiders atau bot mana yang boleh diakses dan mana yang tidak boleh. Pada akhirnya nantinya akan memberitahu search engine misal google tentang halaman mana yang boleh ditampilan pada hasil penelurusan dan file / data mana yang tidak boleh ditampilkan pada hasil penelurusan.