Buat Robot.txt di Google Webmaster Tools
Google Webmaster Tools Crawl: Sebelumnya saya membahas tentang fungsi dari robot.txt yang ada di website anda. Sekarang mau berbagi cara membuat robot.txt dengan menggunakan google webmaster tools.
Ada banyak cara membuat file robot.txt hanya saja menurut saya anda lebih baik mengetahui cara yang sedikit leih ribet dulu untuk masalah ini, agar nantinya anda bisa lebih memahmi betul seperti apa step by stepnya. Setelah mahir anda bisa explore dengan cara yang lebih simpel menurut anda.
Langsung saja, berikut cara membuat file robot.txt di webmaster tools
- Buka Google Webmaster Tool,
- Pilih website yang ingin anda buatkan robot.txt
- Pada Bagian Site configuration, Silahkan anda klik Crawler access.
- Pada bagian Tab silahkan anda klik Generate robots.txt
- Anda bisa memilih crawler anda . Saran saya anda bisa menggunakan Allow all robots , dan anda bisa menggunakan step berikutnya untuk memblok robot apa saja yang tidak boleh mengakses direktori anda .
Anda bisa memberikan aturan kepada si robot ini, misalnya, saya akan memblok Wp-Admin agar tidak di crawl oleh si robot : - Pada Action list, Pilih Disallow. Pada Robot list, Klik Googlebot, Pada File atau direktori , ketikan /Wp-Admin
- Isi semua yang ingin anda blok selanjutnya Klik Add. Setelah anda add maka otomatis akan tergenerate kode robot.txt.
- Silahkan anda download dan kemudia upload ke hosting blog anda
- Setelah upload cek dengan mengetikan www.domainanda.com/robot.txt jika muncul seperti halnya kode yang anda generate di google webmaster tools maka robot.txt anda sudah benar. Selamat anda sudah bisa membuat WordPress Google Webmaster Tools.