Generator Robots.txt

Buat file robots.txt yang bersih dan dioptimalkan untuk situs web Anda guna mengontrol perayapan mesin pencari.

Template Robots.txt

Pilih Template Pilih template yang telah ditentukan atau buat robots.txt kustom

User Agent

Tambahkan User Agent

Tentukan bot mana yang berlaku untuk aturan ini (* untuk semua bot)

Path yang Tidak Diizinkan

Tambahkan Path yang Tidak Diizinkan

Path yang tidak boleh di-crawl oleh bot (contoh: /admin/, /private/)

Path yang Diizinkan

Tambahkan Path yang Diizinkan

Path yang secara eksplisit diizinkan untuk di-crawl oleh bot

Delay Crawl

Delay Crawl (Detik) Delay antara permintaan dalam detik (0 untuk tanpa delay)

Sitemap

Tambahkan URL Sitemap

URL lengkap ke file sitemap XML Anda

URL Host

Host yang Disukai Domain yang disukai untuk website Anda (dengan http:// atau https://)

Direktif Kustom

Nama Direktif

Nilai Direktif

Tambahkan direktif kustom untuk kebutuhan khusus

Komentar Tambahan

Komentar Tambahkan komentar untuk menjelaskan konfigurasi robots.txt Anda

Tentang Robots.txt

File robots.txt memberi tahu crawler mesin pencari URL mana yang dapat diakses crawler di situs Anda. Ini digunakan terutama untuk menghindari membebani situs Anda dengan permintaan.

User Agent Umum

* - Semua robot/crawler
Googlebot - Bot pencarian Google
Bingbot - Bot pencarian Bing
Slurp - Bot pencarian Yahoo
facebookexternalhit - Crawler Facebook

Contoh Path

/admin/ - Blokir direktori admin
/private/ - Blokir direktori private
*.pdf - Blokir semua file PDF
/*? - Blokir URL dengan parameter

Catatan Penting
Tempatkan file robots.txt di direktori root website Anda. Protokol robots.txt adalah saran, bukan perintah. Crawler yang berperilaku baik akan mengikuti aturan, tetapi crawler jahat mungkin mengabaikannya.

Fitur Alat

Template yang telah ditentukan untuk skenario umum
Opsi konfigurasi kustom
Dukungan untuk beberapa user agent
Integrasi sitemap yang mudah
Pengaturan delay crawl
Direktif Kustom
Fungsi unduhan instan

Generator Robots.txt adalah alat sederhana namun kuat yang membantu Anda membuat file robots.txt yang terstruktur dengan benar untuk mengelola cara mesin pencari berinteraksi dengan situs web Anda. File ini memainkan peran penting dalam SEO dengan memungkinkan atau memblokir perayap mengakses direktori atau halaman tertentu.

Dengan hanya beberapa klik, Anda dapat menentukan agen pengguna mana (seperti Googlebot atau Bingbot) yang diizinkan atau tidak diizinkan dari bagian tertentu situs Anda. Apakah Anda menjalankan blog pribadi, toko online, atau aplikasi web yang kompleks, memiliki file robots.txt yang bersih dan dioptimalkan memastikan efisiensi perayapan yang lebih baik dan melindungi konten sensitif dari pengindeksan.

🌟 Fitur Utama:

Antarmuka yang mudah digunakan untuk semua tingkat

Mendukung beberapa agen pengguna dan direktif

Membantu mencegah pengindeksan konten pribadi atau duplikat

Meningkatkan SEO dengan mengoptimalkan anggaran perayapan

Pembuatan file instan dan siap untuk disalin

100% gratis dan tidak memerlukan pendaftaran

✅ Cara Menggunakan:

Pilih agen pengguna seperti * (semua bot), Googlebot, dll.

Tentukan direktori atau file untuk diizinkan atau tidak diizinkan.

Tambahkan opsi penundaan perayapan atau URL peta situs jika diperlukan.

Klik Generate untuk mendapatkan robots.txt kustom Anda.

Unggah ke root situs web Anda (misalnya, example.com/robots.txt).

Alat ini membantu Anda tetap mengontrol cara situs web Anda muncul dalam hasil pencarian dengan memberikan instruksi yang tepat kepada perayap mesin pencari. Mulailah menggunakan Generator Robots.txt hari ini untuk meningkatkan strategi pengindeksan dan kinerja SEO situs Anda.