Postingan sebelumnya membahas soal fungsi sitemap pada website, keuntungan menggunakan sitemap, cara pasang sitemap. Tapi selain itu adakah yang dibutuhkan sebuah website untuk memudahkan mesin pencai..? Ya… selain sitemap, website anda membutuhkan robot.txt.
Apa itu robot.txt dalam sebuah website ?
Sekalian belajar membuat robot.txt di blog saya ini, saya juga ingin berbagi sama teman-teman. Moga aja besok-besok pas lupa caranya bisa di cari dipostingan blog ini.
Robot.txt merupakan sebuah file yang difungsikan sebagai pembatas dimana saat sebuah mesin pencari seperti google menjelajahi website kita, maka mesin pencari akan mencari apakah website kita memiliki robot.txt yang biasanya berisi perintah yang memberikan larangan mesin pencari untuk mengakses halaman tertentu dari website anda.
Hubungan antara Robots.txt Googlebot sangat erat, ini yang menyebabkan kita harus memasang Search Engine Robots.txt untuk mempermudah pekerjaan mesin pencari dalam melaksanakan tugasnya.
Cara Membuat Robot.Txt
Untuk membuat sebuah robot.txt anda bisa menggunakan Google Robots.txt Generator atau Robots.txt Creator, bahkan bisa anda buat secara manual. Caranya cukup mudah dan bisa anda lakukan sendiri.
Pentingny robot.txt ini agar mesin pencari tidak masuk dan menjelajahi halaman-halaman yang tidak kita inginkan. Hal ini dapat mencegah kejadian yang tidak kita inginkan pada website kesayangan kita. Saya sendiri pernah mengalami ini, oleh sebab itu anda harus melindungi sesuatu yang rahasia didalam website anda agar tidak terindex oleh mesin pencari.
Gimana dengana anda..?? Sudahkan memasang robot.txt di blog anda..??
