Generator Robots.txt
Buat file robots.txt untuk situs web Anda dalam hitungan detik. Konfigurasi aturan crawl untuk bot mesin pencari.
Cara Menggunakan Generator Robots.txt
Konfigurasi file robots.txt Anda menggunakan editor visual di atas. Pilih user-agent, tentukan path yang ingin dilarang atau diizinkan, dan tambahkan URL sitemap Anda secara opsional. Generator ini membuat file robots.txt yang terformat dengan benar yang bisa Anda salin dan unggah ke direktori root situs web Anda.
Apa itu robots.txt?
File robots.txt memberi tahu crawler mesin pencari halaman atau bagian mana dari situs Anda yang boleh atau tidak boleh dikunjungi. File ini ditempatkan di direktori root situs web Anda (misalnya example.com/robots.txt) dan merupakan salah satu file pertama yang diperiksa crawler saat mengunjungi situs Anda.
Blokir Crawler AI
Dengan meningkatnya model AI yang berlatih dari konten web, banyak pemilik situs ingin mencegah crawler AI mengakses konten mereka. Gunakan opsi "Blokir crawler AI" untuk secara otomatis menambahkan aturan untuk GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini), dan crawler AI lainnya.
FAQ
Apakah robots.txt mencegah halaman saya terindeks?
Robots.txt hanya mencegah crawling, bukan indexing. Jika ada tautan eksternal yang mengarah ke halaman Anda, halaman tersebut masih bisa muncul di hasil pencarian. Gunakan meta tag noindex untuk mencegah indexing.
Di mana saya harus meletakkan file robots.txt?
File robots.txt harus ditempatkan di direktori root situs web Anda sehingga dapat diakses di example.com/robots.txt. Mesin pencari tidak akan membacanya jika berada di subfolder.
Haruskah saya memblokir crawler AI?
Tergantung kebutuhan Anda. Jika Anda tidak ingin konten Anda digunakan untuk melatih model AI, memblokir GPTBot, ClaudeBot, dan lainnya adalah pilihan yang baik. Ini tidak memengaruhi visibilitas Anda di mesin pencari.
RELATED TOOLS