Google Menyambut 20 Tahun Kehadiran Robots.txt

Saat awal kehadiran internet dalam menunjang rutinitas terdapat permasalahan yang cukup pelik untuk diatasi yaitu perambahan robots mesin penelusuran yang menyebabkan suatu situs web tidak dapat diakses. Adalah seorang Martijn Koster yang lantas mencoba mengatasi hal tersebut dengan memperkenalkan suatu sistem file yang disebut dengan robots.txt pada tahun 30 Juni 1994 yang lalu.

robots.txt pada Prestisewan

Google yang pada awalnya adalah situs web yang menyediakan fasilitas penelusuran laman situs web juga menyambut kehadiran robots.txt ini dengan menampilkan file robots.txt yang unik yang dapat diakses melalui google.com/killer-robots.txt.

Isi dari robots.txt versi Google adalah

User-Agent: T-1000
User-Agent: T-800
Disallow: /+LarryPage
Disallow: /+SergeyBrin

Cukup unik bukan? Berbeda dengan robots.txt pada umumnya yang berisi suatu perintah untuk tidak merambah bagian tertentu pada situs web.

Lalu bagaimana Anda mengecek robots.txt pada situs web/blog Anda? Caranya cukup mudah, dimana Anda hanya perlu menambah "robots.txt" (tanpa tanda kutip) pada bagian akhir URL Anda.
Contoh:

http://www.prestisewan.tk/robots.txt

Ganti http://www.prestisewan.tk/ dengan URL Anda.

Semoga bermanfaat!