هل هناك مشكلة في هذه الأداة؟
عن «مولّد robots.txt عبر الإنترنت»
تبني هذه الأداة ملف robots.txt لموقع الويب الخاص بك، يخبر زواحف محركات البحث والروبوتات بالمسارات التي يجب وما لا يجب فهرستها. حدد القواعد لكل وكيل مستخدم (Googlebot، Bingbot، * عام)، اسرد مسارات السماح/الرفض، أضف عناوين URL لخريطة الموقع، وتنتج الأداة robots.txt جاهز للنشر.
robots.txt الصحيح يمنع الزحف المضيع لمناطق الإدارة وصفحات نتائج البحث والمحتوى الخاص، بينما يدعو الزواحف بشكل صريح إلى خريطة موقعك. يمكن أن يؤدي robots.txt المفقود أو الخاطئ التكوين إلى فهارس منتفخة، أو زحف بطيء للموقع، أو حظر صفحات عامة عن طريق الخطأ.
ضع الملف الناتج في جذر نطاقك (https://example.com/robots.txt). الملف هو مجرد تلميح للروبوتات الحسنة السلوك — لا يفرض التحكم في الوصول، لذا لا تعتمد عليه لإخفاء المحتوى الحساس من scrapers مصممين.
كيف تستخدم هذه الأداة
كيف أُولّد robots.txt لموقعك؟
اختر القالب
«Preset» يختار بين `allow-all` (السماح لكل البوتات بزحف كل شيء) أو `disallow-all` (حظر كل بوت من كل عنوان — مفيد للـ staging) أو `disallow-admin` (السماح للأغلب وحظر `/admin` و `/private`). يكتب الاختيار كتلة `User-agent: *`.
Sitemap URL (اختياري)
«Sitemap URL» يُلحِق سطر `Sitemap:` في النهاية يشير إلى خريطة موقعك XML. تقرأه محركات البحث التي تجده دون حاجة لإرسال يدويًا. استخدم رابطًا مطلقًا (`https://example.com/sitemap.xml`).
اضغط «تشغيل»
تعيد النتيجة حقلًا واحدًا `robotsTxt`. احفظه كملفٍ حرفي باسم `robots.txt` في جذر موقعك — يجب أن يكون متاحًا على `https://example.com/robots.txt` (لا `/blog/robots.txt`).
ما ليس robots.txt
إنه طلب لا إنفاذ. تحترمه البوتات حسنة السلوك (Googlebot و Bingbot)؛ ويتجاهله الزواحف الخبيثة. للتحكم الحقيقي بالوصول استخدم المصادقة وحظر IP أو حدود المعدل — ولا تذكر أسرارًا في robots.txt (ستُعلِن عنها).