Posted on

Cara Membuat Robot.txt di Website Anda Dengan Google Webmaster Tools

cara buat robot.txt di google webmaster tools

cara buat robot.txt di google webmaster toolsBuat Robot.txt di Google Webmaster Tools

Google Webmaster Tools Crawl: Sebelumnya saya membahas tentang fungsi dari robot.txt yang ada di website anda. Sekarang mau berbagi cara membuat robot.txt dengan menggunakan google webmaster tools.

Ada banyak cara membuat file robot.txt hanya saja menurut saya anda lebih baik mengetahui cara yang sedikit leih ribet dulu untuk masalah ini, agar nantinya anda bisa lebih memahmi betul seperti apa step by stepnya. Setelah mahir anda bisa explore dengan cara yang lebih simpel menurut anda.

Langsung saja, berikut cara membuat file robot.txt di webmaster tools

  • Buka Google Webmaster Tool,
  • Pilih website yang ingin anda buatkan robot.txt
  • Pada Bagian Site configuration, Silahkan anda klik Crawler access.
  • Pada bagian Tab silahkan anda klik Generate robots.txt
  • Anda bisa memilih  crawler anda . Saran saya anda bisa menggunakan  Allow all robots , dan anda bisa menggunakan step berikutnya untuk memblok robot apa saja yang tidak boleh mengakses direktori anda .
    Anda bisa memberikan aturan kepada si robot ini, misalnya, saya akan memblok Wp-Admin agar tidak di crawl oleh si robot :
  • Pada Action list, Pilih Disallow. Pada Robot list, Klik Googlebot, Pada File atau direktori , ketikan /Wp-Admin
  • Isi semua yang ingin anda blok selanjutnya Klik Add. Setelah anda add maka otomatis akan tergenerate kode robot.txt.
  • Silahkan anda download dan kemudia upload ke hosting blog anda
  • Setelah upload cek dengan mengetikan www.domainanda.com/robot.txt jika muncul seperti halnya kode yang anda generate di google webmaster tools maka robot.txt anda sudah benar. Selamat anda sudah bisa membuat WordPress Google Webmaster Tools.
Posted on

Apa yang dibutuhkan website anda selain sitemap ? Robot.txt kah?

fungsi robot.txt dalam sebuah website

fungsi robot.txt dalam sebuah websitePostingan sebelumnya membahas soal fungsi sitemap pada website, keuntungan menggunakan sitemap, cara pasang sitemap. Tapi selain itu adakah yang dibutuhkan sebuah website untuk memudahkan mesin pencai..? Ya… selain sitemap, website anda membutuhkan robot.txt.

Apa itu robot.txt dalam sebuah website ?

Sekalian belajar membuat robot.txt di blog saya ini, saya juga ingin berbagi sama teman-teman. Moga aja besok-besok pas lupa caranya bisa di cari dipostingan blog ini.

Robot.txt merupakan sebuah file yang difungsikan sebagai pembatas dimana saat sebuah mesin pencari seperti google menjelajahi website kita, maka mesin pencari akan mencari apakah website kita memiliki robot.txt yang biasanya berisi perintah yang memberikan larangan mesin pencari untuk mengakses halaman tertentu dari website anda.

Hubungan antara Robots.txt Googlebot sangat erat, ini yang menyebabkan kita harus memasang Search Engine Robots.txt untuk mempermudah pekerjaan mesin pencari dalam melaksanakan tugasnya.

Cara Membuat Robot.Txt

Untuk membuat sebuah robot.txt anda bisa menggunakan Google Robots.txt Generator atau Robots.txt Creator, bahkan bisa anda buat secara manual. Caranya cukup mudah dan bisa anda lakukan sendiri.

Pentingny robot.txt ini agar mesin pencari tidak masuk dan menjelajahi halaman-halaman yang tidak kita inginkan. Hal ini dapat mencegah kejadian yang tidak kita inginkan pada website kesayangan kita. Saya sendiri pernah mengalami ini, oleh sebab itu anda harus melindungi sesuatu yang rahasia didalam website anda agar tidak terindex oleh mesin pencari.

Gimana dengana anda..?? Sudahkan memasang robot.txt di blog anda..??

Jika belum, segera pasang. Buatlah file robot.txt dengan cara yang akan saya tulis pada postingan selanjutnya.

Jangan lupa ikutan belajar blog sniper GRATIS