User-agent: * Disallow: /search Allow: / Sitemap: https://www.andisyam.web.id/sitemap.xml
Sebelumnya saya belum pernah melakukan penyettingan untuk robot.txt di platform Blogger. Namun setelah baca panduan robot.txt Webmaster Google dan robot.txt Google Adsense terbaru, saya pun kemudian berinisiatif untuk mengaktifkan robot txt pada menu Setelan > Preferensi penelusuran Blogger.
Settingan robot txt ini baru berjalan kurang lebih "2 minggu" (dari artikel ini dipublikasikan), dan belum ada perubahan trafik yang signifikan. Tapi hingga tahun 2019 ada efek positif yang terjadi pada "blog-blog" (platform blogger) yang saya urus, yaitu waktu index di Google menjadi lebih cepat ditambah dengan melakukan fetch as Google url di webmaster Google, daripada saya tidak menyetting Robot.txt ini.
Apabila kalian ingin mengaktifkan dan memasang robot.txt khusus "yang benar" (menurut saya pribadi) ini secara manual untuk platform Blogger sama seperti blog Andisyam ini, caranya sangatlah mudah:
- Masuk ke blogger.com
- Klik Setelan
- Pilih Preferensi penelusuran
- Lalu, Edit pada bagian robot.txt khusus
- Pilih Ya untuk Aktifkan konten robots.txt khusus? dan membuka sebuah kolom
- Copy paste kan kode yang sudah saya berikan di atas ke kolom costum robot.txt yang terbuka
- Jika sudah, Simpan untuk perubahan
rubah https://www.andisyam.web.id dengan domain kalian
Begitulah cara pengaktifan robottxt untuk platform Blogger serta kode yang sama dengan blog ini.
Untuk pengaturan Tag tajuk robot khusus, saya tidak mengaktifkannya. Sedangkan untuk ads.txt kustom, baca:
A & Q
A: Kenapa setiap cek robot.txt untuk blog platform Blogger selalu halaman 404?
Q: Entahlah, namun yang saya pahami bahwa hal itu tidaklah mengganggu pengindeksan di SERP
Note! Apabila ke depan mengalami penurunan trafik dan kehilangan posisi di SERP dengan durasi "lama" (minimal 2 bulan) akibat mengikuti pemasangan robottxt blog Andisyam ini, saya sarankan untuk kembali pada pengaturan awal robot.txt.
Open Disqus Close Disqus