Cara Setting Robots.txt pada Blog

J4rviz Blog - Cara Setting Robots.txt pada Blog - Robots.txt Mungkin Kata ini Sudah Akrab Di Kalangan Blogger Blogger Blogger. Namun anda tahu apakah robots.txt itu? apakah perlu di setting? bagaimana kalau di biarkan saja? mungkin masih banyak pertanyaan lain. Robots.txt merupakan salah satu komponen penting yang memiliki peran yang sangat vital bagi sebuah website. Ibaratkan robots.txt adalah
gerbang bagi dunia luar untuk mengakses blog kita.

Apakah itu robots.txt?

Robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman pada blog kita. Boleh dikatakan robots.txt adalah filter blog kita dari mesin pencari.

 Apakah Setiap Blog  Memiliki Robots.txt ?

Well, Setiap Blog Yang di Kelola Oleh Blogger.com memiliki Robots.txt. Settingan Default Robots.txt yang Di miliki oleh Setiap Blog Yaitu :

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Untuk Melihat Robots.txt yang terdapat pada Blog anda, anda bisa melakukannya dengan cara menambahkan /robots.txt di belakang url blog anda (contoh : http://vintual.blogspot.com/robots.txt)

Apa arti dari kode-kode  yang terdapat dalam robots.txt suatu blog?

User-agent: Mediapartners-Google 

Robot Google Adsense merayapi blog



 Disallow: 

Yang tidak diperbolehkan tidak ada





User-agent: * 

Semua robot Search Engine / mesin pencari





Disallow: /search 

Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...





Allow: / 

Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.





Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED 

Adalah alamat Peta situs milik blog anda

 

Kenapa label tidak dimasukan ke pencarian?

Dengan penulisan kode default Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu halaman tertentu.

Bagaimana cara mencegah robot pada halaman tertentu?

Untuk mencegah google merayapi halaman tertentu di blog anda, contohnya jika anda tidak ingin halaman About Me Terindex oleh mesin pencari. Untuk URL about me pada blog anda misal : http://namabloganda.blogspot.com/p/about.html

Maka untuk robots.txt, silahkan copy kode defaut di atas, tambahakan halaman yang tidak diperbolehkan, hasilnya seperti ini  :

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Bagaimana Cara Mengedit Robots.txt Pada Blog kita ?

Untuk Mengedit Robots.txt, masuk ke Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan

Saya tidak pernah utak atik robots.txt, bagaimana?

Tidak apa-apa, blog sobat tetap akan dirayapi oleh robot-robot mesin pencari karena seperti saya sebutkan sebelumnya, setiap blog sudah mempunya robots.txt default.

 Saya Rasa Cukup Pembahasan Tentang  MenSetting Robots.txt Pada Blog . Semoga Bermanfaat..

Referensi : http://blog.kangismet.net

Share this post