Mengatasi Masalah robot.txt Dengan Sitemap

File didalam XML sitemap merupakan sebuah direktori dari semua halaman web/blog, sehingga mesin pencari seperti google dapat merayapi halaman dari situs anda. Pengaturan sitemap ini juga akan menjadi masalah dalam setting robot.txt yang menyebabkan google men-cekal url web/blog.

Dibawah ini merupakan default sitemap dan robot.txt :

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Keterangan :

User-agent: Mediapartners-Google

Robot Google Adsense merayapi web/blog.

Disallow:

Yang tidak diperbolehkan tidak ada.

User-agent: *

Semua robot Search Engine (mesin pencari).

Disallow: /search

Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ...search/search?updated. ( ganti menjadi allow apabila ingin mesin pencari merayapinya)

Allow: /

Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama web/blog.

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Sitemap atau alamat feed pada blog kita. 

Pada dasarnya default sitemap hanya meng-indeks 26 posting terbaru dari halaman anda. Sehingga kemungkinan besar mesin pencari meng-indeks halaman web/blog lebih kecil. Lihat screenshoot dibawah. 

Oke, permasalahan yang akan kita bahas adalah Url yang dicekal oleh robot.txt pada webmaster tools. Permasalahan ini disebabkan oleh banyak hal seperti sitemap tidak sesuai dengan yang kita isi pada robot.txt dan permasalahan pada *allow dan disallow.

Memperbaiki robot.txt dengan sitemap generator

Yang perlu anda lakukan untuk mengekspos struktur situs lengkap web/blog ke mesin pencari adalah dengan bantuan sitemap XML.

• Buka sitemap generator dan masukkan Url blog anda.

• Generate sitemap, anda akan melihat sitemap yang valid untuk blog anda.
• Langkah selanjutnya masuk ke akun blogger.com dan ganti "sitemap" (yang diganti hanya sitemap)  pada robot.txt dengan hasil genarate sitemap tadi. (lihat screenshoot dibawah)

• Simpan robot.txt dan tunggu 1x24 (lebih) untuk perubahannya.

Sekian cara mengatasi Url yang di cekal robot.txt dengan mencari sitemap yang valid untuk blog. Apabila kurang jelas silahkan bertanya pada kotak komentar. (EM/admin)

Subscribe to receive free email updates: