Namun, kedua jenis perayap mematuhi token produk yang sama (token agen pengguna) di robots.txt, sehingga Anda tidak dapat secara selektif menargetkan Ponsel Cerdas Googlebot atau Googlebot Desktop menggunakan robots.txt.