Tutorial Custom Robots.txt pada Blog

Robots.txt adalah berisi pedoman atau pengaturan untuk Robot-crawler tentang bagaimana mereka akan meng-crawler dan mengindexs situs web atau blog anda. Maka dari itu fungsi dari Robots.txt akan sangat penting untuk SEO.

Mengatur Robots.txt adalah teknik SEO yang tergolong sangat mudah untuk dilakukan. Namun, meskipun mudah mengatur robots.txt harus jeli. jika tidak, maka akan membawa dampak negatif untuk visitor blog. Langsung saja kita simak tutorialnya:

- Buka Dashboard > Setting > Preferensi Penelusuran Perayapan Dan Pengindeksan.
- Klik ' Custom robots.txt
- Paste kustom robots.txt yang sudah anda
tentukan. (Lihat Contoh Gambar Di bawah)
- Klik 'Simpan perubahan' untuk menyimpan robots.txt custom.

Berikut Contoh dari Custom robots.txt

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://mafiapress.blogspot.com/feeds/posts/default?orderby=UPDATED

Keterangan:
Disallow: isi url laman yg diinginkan

untuk melarang search engine mengindeks laman

Bagikan Artikel ini