The Robot Exclusion Standard, atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.
Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari
fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin
telusur.
Robot sering di gumakan mesin pencari untuk mengkategorikan dan mengarsip situs web , atau web master untuk mengkoreksi Source code . Dari beberapa artikel yang saya baca, penggunaan robot txt sangat berguna untuk mendongkrak SEO blog kita
Klao belum mengerti juga anda dapat mendaftarkan blog anda di google webmaster
Lalu liat ada kesalahan perayapan, fungsi pemblokiran akan dilakukan robot txt ini
Cara Mengaktifkan Dan Setting Robot.txt:
Login ke blogger dengan akun blogger anda
Klik setelan > Prefernsi penelusuran ? search preferences
Pada tab perayap dan pengindexan pilih robot txt
Semua blog di blogspot sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti dibawah ini:
Dan masukan perintah dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://arnifitria.blogspot.com/feeds/posts/default?orderby=UPDATED
Ganti url warba biru : http://arnifitria.blogspot.com dengan url blog anda
Keterangan :
Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda
Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.
Klik simpan perubahan
Cara setting Robot Header Tags
1. Masih di menu setting Search preferences / Preferensi penelusuran
2. Dibagian paling bawah ada menu Custom robots header tags. Klik edit.
3. Pilih yes
4. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini
5. Save changes
Settingan seperti di atas bertujuan untuk menginformasikan mesin pencari
untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent
Open Directory Project untuk mengcrawl semua isi blog dan juga tidak
membolehkan untuk mengindex arsip blog.
Satu lagi catatan agar berhati-hati untuk menggunakan fungsi ini karena jika salah-salah malah blog anda yang diabaikan oleh mesin pencari.
^^__^^
