تولید فایل Robots.txt آنلاین + آموزش کامل و حرفه‌ای

با این ابزار می‌توانید فایل robots.txt اختصاصی برای سایت خود بسازید، مسیرهای مجاز یا ممنوع را مشخص کنید و فایل را برای استفاده در سایت خود کپی یا دانلود نمایید.

User-agent: *
Disallow:

📘 فایل Robots.txt چیست؟

فایل robots.txt فایلی متنی است که در ریشه سایت قرار می‌گیرد و به ربات‌های موتورهای جستجو مانند Googlebot می‌گوید که کدام مسیرها را بررسی (crawl) کنند و کدام مسیرها را نادیده بگیرند.

📚 ساختار دستورات robots.txt

• User-agent: تعیین ربات مورد نظر
• Disallow: جلوگیری از دسترسی به مسیر خاص
• Allow: اجازه دسترسی به مسیر خاص (در صورت وجود Disallow)
• Sitemap: معرفی آدرس فایل نقشه سایت
• Crawl-delay: تأخیر بین درخواست‌های ربات (برحسب ثانیه)

✏️ مثال‌های واقعی:

User-agent: *
Disallow: /wp-admin/
Allow: /blog/
Sitemap: https://example.com/sitemap.xml
  

⚠️ نکات مهم:

• دستور Disallow: / کل سایت را مسدود می‌کند (مراقب باشید!)
• برای جلوگیری واقعی از ایندکس از متاتگ noindex استفاده کنید
• فایل robots.txt عمومی است و اطلاعات حساس را نباید در آن قرار داد

🔍 مشاهده فایل robots.txt سایت:

https://yourdomain.com/robots.txt