Ada masalah dengan alat ini?
Tentang «Pembuat Robots.txt Online»
Alat ini membangun file robots.txt untuk situs web Anda, memberi tahu crawler mesin pencari dan bot jalur mana yang harus dan tidak boleh mereka indeks. Tentukan aturan per user-agent (Googlebot, Bingbot, * generik), daftarkan jalur allow/disallow, tambahkan URL sitemap, dan alat menghasilkan robots.txt siap-deploy.
robots.txt yang benar mencegah crawling yang sia-sia ke area admin, halaman hasil pencarian, dan konten pribadi, sambil secara eksplisit mengundang crawler ke sitemap Anda. robots.txt yang hilang atau salah konfigurasi dapat menyebabkan indeks bengkak, crawling situs lambat, atau secara tidak sengaja memblokir halaman publik.
Tempatkan file yang dihasilkan di root domain Anda (https://example.com/robots.txt). File ini hanya petunjuk untuk bot yang berperilaku baik — tidak menegakkan kontrol akses, jadi jangan mengandalkannya untuk menyembunyikan konten sensitif dari scraper yang gigih.
Cara memakai alat ini
Cara membuat robots.txt untuk situs Anda
Pilih preset
"Preset" memilih antara `allow-all` (semua bot boleh crawl semua), `disallow-all` (blokir semua bot di semua URL — berguna untuk staging), atau `disallow-admin` (mayoritas diizinkan, blokir `/admin` dan `/private`). Pilihan ini menulis blok `User-agent: *`.
URL Sitemap (opsional)
"Sitemap URL" menambahkan baris `Sitemap:` di akhir yang menunjuk ke sitemap XML Anda. Mesin pencari yang menemukan ini akan membacanya tanpa Anda perlu submit terpisah. Gunakan URL absolut (`https://example.com/sitemap.xml`).
Tekan Jalankan
Hasil: satu field `robotsTxt`. Simpan sebagai berkas dengan nama literal `robots.txt` di root situs — harus dapat diakses di `https://example.com/robots.txt` (bukan `/blog/robots.txt`).
Yang BUKAN robots.txt
Ini permintaan, bukan paksaan. Bot yang patuh (Googlebot, Bingbot) menghormatinya; crawler jahat mengabaikan. Untuk kontrol akses sungguhan pakai autentikasi, blokir IP, atau rate limit — dan jangan pernah sebut rahasia di robots.txt (Anda justru mengiklankan).