Sekarang jamannya mobilegeddon dimana mesin pencari menuntut agar beberapa situs support untuk ditampilkan ke dalam versi mobile friendly,
Untuk mencegah duplicate, sering kali para Blogger memasang kode :
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Padahal dengan memasang kode tersebut, blog mereka menjadi tidak terindeks di perangkat mobile.
Lalu bagaimana solusinya? Yang saya lakukan adalah :
Saya tidak memasang kode tersebut pada robots.txt. Silahkan dicek pada link ini : http://www.kontakmedia.com/robots.txt
Sebagai gantinya di antara <head> dan </head> saya memasang kode ini :
<b:if cond='data:blog.searchLabel'>
<meta content='nofollow, noarchive, noindex' name='robots'/>
</b:if>
Selanjutnya saya setting tampilan untuk mobile, caranya adalah :
Template » Seluler » Klik Roda Gigi » Pilih Template Seluler : Khusus » Simpan.
Klik sekali lagi Roda Gigi » Tidak. Tampilkan template seluler di perangkat seluler » Simpan.
Mohon maaf tidak menggunakan gambar, karena ada larangan dari Google untuk meng-capture Blogspot tanpa ijin. Padahal mengurus ijinnya itu tidak mudah. Bila dilanggar, khawatir akun Google Adsense saya di-banned. Hehehe.
Setelah saya menerapkannya sekian lama, dan tetap dipakai hingga sekarang, blog saya tetap terindeks ketika di-search pada perangkat mobile. Dan jumlah duplicate semakin lama semakin berkurang.
Catatan : Banyak di antara Blogger yang memosting tentang setting terbaik untuk robots.txt, tapi anehnya mereka sendiri tidak menerapkan, alias tetap menggunakan setting robots.txt bawaan Blogspot. Hehehe, koq tidak konsekuen ya?Untuk mengecek apakah mereka menerapkan setting robots.txt seperti yang disarankan oleh mereka sendiri itu, ketik saja di internet bar dengan link : url homepage blog mereka/robots.txt. Contohnya seperti telah tertera di atas yaitu : http://www.kontakmedia.com/robots.txt
Insya Allah saya akan membagikan teknik-teknik lainnya untuk SEO ini. Sekedar berbagi, karena sayapun bukanlah seorang pakar SEO.
Demikianlah artikel dari Kontakmedia yang berjudul Serial Teknik Ampuh SEO - Cara Seting Robots.txt, semoga bermanfaat. Dan terima kasih untuk Anda yang telah berkunjung ke blog ini.