![]() |
robots.txt pada Prestisewan |
Google yang pada awalnya adalah situs web yang menyediakan fasilitas penelusuran laman situs web juga menyambut kehadiran robots.txt ini dengan menampilkan file robots.txt yang unik yang dapat diakses melalui google.com/killer-robots.txt.
Isi dari robots.txt versi Google adalah
User-Agent: T-1000
User-Agent: T-800
Disallow: /+LarryPage
Disallow: /+SergeyBrin
User-Agent: T-800
Disallow: /+LarryPage
Disallow: /+SergeyBrin
Cukup unik bukan? Berbeda dengan robots.txt pada umumnya yang berisi suatu perintah untuk tidak merambah bagian tertentu pada situs web.
Lalu bagaimana Anda mengecek robots.txt pada situs web/blog Anda? Caranya cukup mudah, dimana Anda hanya perlu menambah "robots.txt" (tanpa tanda kutip) pada bagian akhir URL Anda.
Contoh:
http://www.prestisewan.tk/robots.txt
Ganti http://www.prestisewan.tk/ dengan URL Anda.
Semoga bermanfaat!
Tidak ada komentar:
Posting Komentar