Generator Robots.txt
Buat file robots.txt yang valid dengan pembuat aturan visual — atur aturan izinkan/blokir per crawler, tambahkan sitemap dan crawl-delay, lalu salin atau unduh.
🔒 Diproses secara lokal di browser Anda
Loading…
Cara menggunakan
- Pilih preset mulai cepat — "Izinkan semua" membiarkan setiap crawler mengindeks seluruh situs Anda, "Blokir semua" memblokir semua crawler sepenuhnya, atau mulai dengan "Kustom" untuk membuat aturan sendiri.
- Untuk setiap grup aturan, atur user-agent (gunakan * untuk semua crawler, atau nama bot tertentu seperti Googlebot) dan tambahkan aturan Izinkan atau Blokir untuk jalur yang ingin Anda targetkan.
- Anda bisa mengatur Crawl-delay per grup dan menambahkan URL Sitemap secara opsional — keduanya otomatis ditambahkan ke file yang dihasilkan.
- Salin robots.txt yang dihasilkan dari kotak pratinjau, atau unduh langsung — lalu unggah ke root domain Anda (misalnya https://example.com/robots.txt).
Fitur
- Preset satu klik "Izinkan semua" dan "Blokir semua" untuk kasus paling umum
- Pembuat aturan visual — tambah atau hapus grup user-agent serta aturan Izinkan/Blokir tanpa menulis sintaksis secara manual
- Crawl-delay opsional per grup dan kolom URL Sitemap
- Output yang dihasilkan secara langsung dan diperbarui seketika saat Anda mengedit aturan
- 100% berjalan di sisi klien — aturan Anda tidak pernah meninggalkan browser Anda
Pertanyaan yang sering diajukan
Di mana saya harus meletakkan file robots.txt?
Unggah ke root domain Anda, agar dapat diakses di https://domainanda.com/robots.txt. Mesin pencari hanya mencarinya di lokasi persis itu.
Apakah robots.txt benar-benar memblokir mesin pencari agar tidak meng-crawl situs saya?
Ini permintaan, bukan penegakan. Crawler yang baik seperti Googlebot mematuhinya, tapi tidak ada yang menghentikan bot berbahaya atau berperilaku buruk untuk mengabaikannya sepenuhnya. Jangan mengandalkannya untuk menyembunyikan konten sensitif.
Apa arti kolom User-agent?
Kolom ini menentukan crawler mana yang menjadi target grup aturan. Gunakan * untuk mencocokkan semua crawler, atau nama bot tertentu (seperti Googlebot atau Bingbot) untuk memberinya aturan berbeda dari yang lain.
Apakah saya perlu baris Sitemap?
Opsional tapi disarankan — ini mengarahkan crawler ke sitemap.xml Anda agar mereka dapat menemukan halaman Anda lebih efisien. Biarkan kolom kosong jika Anda belum memilikinya.
Apakah Crawl-delay dihormati oleh semua mesin pencari?
Tidak. Ini didukung oleh sebagian crawler (seperti Bing) tapi diabaikan oleh yang lain (Google tidak lagi menghormatinya di robots.txt). Gunakan Google Search Console untuk mengontrol laju crawling Google.