Fungsi robots.txt merupakan salah satu elemen penting dalam SEO teknis yang sering diabaikan oleh pemilik website dan blogger pemula. Padahal, file kecil ini punya peran besar dalam mengatur bagaimana mesin pencari merayapi (crawl) dan mengindeks halaman situs kita.
Dengan konfigurasi robots.txt yang benar, kita bisa membantu Google dan mesin pencari lain fokus pada halaman penting, menghindari duplikat konten, serta mengoptimalkan crawl budget secara maksimal.
Apa Itu robots.txt?
robots.txt adalah file teks standar yang diletakkan di root direktori website, misalnya:File ini menggunakan Robots Exclusion Protocol (REP) yang berfungsi sebagai panduan untuk crawler seperti Googlebot, Bingbot, dan bot mesin pencari lainnya.
Penting dipahami:
robots.txt tidak memblokir akses pengguna, melainkan hanya memberi instruksi kepada bot mesin pencari tentang halaman mana yang boleh atau tidak boleh dirayapi.
Fungsi robots.txt dalam SEO
Berikut beberapa fungsi utama robots.txt yang sangat berpengaruh terhadap performa SEO:
1. Mencegah Duplikat Konten
robots.txt membantu memblokir halaman-halaman yang berpotensi menimbulkan duplicate content, seperti halaman pencarian, arsip, atau parameter URL tertentu.
2. Mengoptimalkan Crawl Budget
Mesin pencari memiliki keterbatasan dalam merayapi situs. Dengan robots.txt, crawler akan lebih fokus merayapi halaman penting seperti artikel dan landing page utama.
3. Menghindari Indexing Halaman Tidak Penting
Halaman admin, halaman login, halaman hasil pencarian internal, atau halaman draft sebaiknya tidak diindeks Google.
4. Meningkatkan Keamanan Secara Teknis
Walaupun bukan alat keamanan utama, robots.txt dapat membantu menyembunyikan struktur folder sensitif dari crawler.
Contoh Perintah robots.txt yang Sering Digunakan
Berikut adalah contoh perintah robots.txt yang umum digunakan dalam optimasi SEO:
Mengizinkan Semua Bot Mengakses Seluruh Situs
Artinya: semua crawler diizinkan merayapi semua halaman.
Memblokir Seluruh Situs
Artinya: semua halaman situs tidak boleh dirayapi (biasanya hanya untuk website development).
Memblokir Folder Tertentu
Artinya: crawler tidak boleh mengindeks folder /admin/.
Memblokir File Tertentu
Mengatur Bot Tertentu (Googlebot)
Artinya: hanya Googlebot yang diizinkan mengakses semua halaman.
Memblokir Google Image
Artinya: gambar di situs tidak akan muncul di Google Images.
robots.txt di Blogspot (Blogger)
Untuk pengguna Blogspot/Blogger, robots.txt sebenarnya sudah tersedia secara default meskipun opsinya belum diaktifkan.
Coba akses:
Cara Mengatur robots.txt di Blogger
Masuk ke:
Setelan → Preferensi Penelusuran → Robots.txt khusus
Default robots.txt Blogger (Baru)
Penjelasan Perintah robots.txt Blogger
User-agent: *
Menandakan semua bot crawler.
Disallow:
Tidak ada halaman yang dicekal.
Disallow: /search
Memblokir halaman pencarian Blogger yang berpotensi menyebabkan duplikat konten.
Allow: /
Mengizinkan semua halaman utama dirayapi.
Sitemap:
Menunjukkan alamat sitemap XML yang sama dengan yang dikirim ke Google Search Console.
Contoh Pencekalan Tambahan
Pencekalan ini bertujuan untuk membersihkan indeks Google dari halaman yang tidak memiliki nilai SEO.
Tips SEO Menggunakan robots.txt
-
Selalu uji robots.txt menggunakan Google Search Console
-
Jangan gunakan robots.txt untuk menyembunyikan konten spam
-
Gunakan meta robots noindex jika ingin benar-benar mencegah halaman terindeks
-
Perbarui robots.txt secara berkala saat struktur situs berubah
Kesimpulan
Fungsi robots.txt sangat krusial dalam strategi SEO teknis. Dengan pengaturan yang tepat, kita bisa mengarahkan bot mesin pencari ke halaman paling bernilai, menghemat crawl budget, dan meningkatkan kualitas indeks Google.
Gunakan robots.txt secara bijak, karena satu kesalahan kecil bisa membuat seluruh website hilang dari hasil pencarian.