Bagaimana cara kerja robots.txt
Cara kerja robots.txt sendiri pada dasarnya adalah melarang saja, karena robots search engine cenderung meng-crawl semua file. Sehingga penggunaan syntax dalam robotx.txt pun adalah Dissalow (melarang), untuk lebih jelasnya berikut contoh penggunaan file robots.txt:
Nah untuk mengatasi masalah di atas kita masih bisa mengakali agar supaya download bisa kita lanjutkan meskipun link downloadnya sudah expired/ hangus tanpa harus kehilangan file yang sudah terdownload alias nggak harus download ulang dari awal. Contoh situasi gini: misalkan hari Senin proses download file A udah nyampe 99%, lalu karena satu dan lain hal download gak bisa lanjut (terputus). Lalu, hari Sabtu kamu pengen nerusin download file A tadi. Nah, kamu nggak harus download ulang file A ini dari awal tapi tinggal nerusin yang udah 99% ini. Emang bisa? Bisaa…! Tapi sebagai catatan trik ini berhasil dipakai dan ditest menggunakan download accelerator IDM dengan 2 file hosting Mediafire dan Enterupload. Bagi yang belum punya bisa download IDM Handy (IDM Portable) di sini. Berikut tahapan-tahapan trik download dengan IDM ini: