این ابزار درست کار نمی‌کند؟

دربارهٔ ابزار «ساخت robots.txt آنلاین»

این ابزار یک فایل robots.txt برای وب‌سایت شما می‌سازد، که به خزنده‌های موتور جستجو و ربات‌ها می‌گوید کدام مسیرها را باید و نباید فهرست‌بندی کنند. قوانین را به ازای user-agent (Googlebot، Bingbot، * عمومی) مشخص کنید، مسیرهای allow/disallow را فهرست کنید، URLهای sitemap را اضافه کنید، و ابزار یک robots.txt آماده برای استقرار را خروجی می‌دهد.

یک robots.txt صحیح از خزنده‌های اتلاف‌گرا در مناطق ادمین، صفحات نتایج جستجو، و محتوای خصوصی جلوگیری می‌کند، در حالی که به طور صریح خزنده‌ها را به sitemap شما دعوت می‌کند. robots.txt گمشده یا نادرست پیکربندی‌شده می‌تواند منجر به فهرست‌های متورم، خزیدن کند سایت، یا مسدود کردن تصادفی صفحات عمومی شود.

فایل حاصل را در ریشه دامنه خود قرار دهید (https://example.com/robots.txt). فایل فقط یک راهنمایی به ربات‌های خوش‌رفتار است — کنترل دسترسی را اعمال نمی‌کند، بنابراین برای مخفی کردن محتوای حساس از scraper‌های مصمم به آن اعتماد نکنید.

چطور از این ابزار استفاده کنم؟

چطور یک robots.txt برای سایت خود تولید کنم؟

  1. preset را انتخاب کنید

    «Preset» بین `allow-all` (به همهٔ bot‌ها اجازه crawl همه چیز بدهید)، `disallow-all` (هر bot را از هر URL block کنید — برای staging مفید است)، یا `disallow-admin` (اکثر را allow، `/admin` و `/private` را block کنید) انتخاب می‌کند. این انتخاب block `User-agent: *` را می‌نویسد.

  2. Sitemap URL (اختیاری)

    «Sitemap URL» یک خط `Sitemap:` در انتها append می‌کند که به sitemap XML شما اشاره می‌کند. موتورهای جستجویی که این را پیدا می‌کنند بدون اینکه نیاز به submit در جای دیگر باشد می‌خوانند. از URL مطلق استفاده کنید (`https://example.com/sitemap.xml`).

  3. «اجرا» را بزنید

    خروجی یک فیلد `robotsTxt` است. آن را به‌عنوان یک فایل با نام واقعی `robots.txt` در root سایت خود ذخیره کنید — باید در `https://example.com/robots.txt` در دسترس باشد (نه `/blog/robots.txt`).

  4. آنچه robots.txt نیست

    این یک درخواست است، نه اجرای قانون. bot‌های well-behaved (Googlebot، Bingbot) به آن احترام می‌گذارند؛ crawler‌های malicious نادیده می‌گیرند. برای access control واقعی از auth، IP block یا rate limit استفاده کنید — و هرگز secret‌ها را در robots.txt فهرست نکنید (آن‌ها را تبلیغ می‌کنید).

ابزارهای هم‌خانواده