رایگان · بدونِ ثبت‌نام · همه‌چیز در مرورگرِ خودتان
سازنده‌ی robots.txt
فایلِ robots.txt معتبر بسازید یا فایلِ فعلی‌تان را بررسی کنید: پیش‌فرض‌های وردپرس و فروشگاه، بستنِ ربات‌های هوش مصنوعی با یک کلیک، و هشدار برای اشتباه‌هایی که بی‌صدا ترافیکِ گوگل را می‌برند.
نقطه‌ی شروع
گروهِ ۱
گوگل نادیده میگیرد؛ فقط برای بینگ و یاندکس.
سایت‌مپ
آدرسِ کاملِ سایت‌مپ (یا sitemap index). وردپرس با Yoast معمولاً /sitemap_index.xml است.
1User-agent: *2Disallow: /wp-admin/3Allow: /wp-admin/admin-ajax.php4Disallow: /?s=5Disallow: /search/6Disallow: /*?replytocom=
بررسی
فایل معتبر است و اشتباهِ رایجی ندارد.
نکته: آدرسِ سایت‌مپ اضافه نشده. نوشتنش در robots.txt به همه‌ی موتورها (نه فقط گوگل) کمک میکند صفحه‌ها را پیدا کنند.
چطور از سازنده‌ی robots.txt استفاده کنم؟
- ۱
یک نقطه‌ی شروع انتخاب کنید
پیش‌فرضِ وردپرس، فروشگاه یا «اجازه به همه» را بزنید، یا robots.txt فعلیِ سایتتان را بچسبانید.
- ۲
قانون‌ها را تنظیم کنید
برای هر خزنده Allow و Disallow بنویسید. مسیرها با / شروع می‌شوند و * و $ هم پشتیبانی می‌شوند.
- ۳
هشدارها را بخوانید
ابزار اشتباه‌های رایج مثلِ بستنِ CSS/JS یا بستنِ کلِ سایت برای گوگل را همان لحظه نشان می‌دهد.
- ۴
دانلود و آپلود کنید
فایل را دانلود کنید و در ریشهی دامنه بگذارید تا در example.ir/robots.txt باز شود؛ بعد در سرچ کنسول گزارشِ robots.txt را چک کنید.
چند الگوی درست و غلط
Disallow: / یعنی کلِ سایت بسته است — فقط برای نسخه‌ی تست. Disallow: بدونِ مسیر یعنی
همه‌چیز آزاد است. * هر رشته‌ای را می‌پذیرد و $ پایانِ آدرس را نشان می‌دهد؛ مثلاً Disallow: /*.pdf$ همه‌ی فایلهای PDF را می‌بندد.
وقتی Allow و Disallow هر دو با یک آدرس جور درمی‌آیند، گوگل قانونِ طولانی‌تر و دقیق‌تر را اجرا
میکند؛ برای همین Allow: /wp-admin/admin-ajax.php با وجودِ Disallow: /wp-admin/ کار
میکند.
فروشگاه‌های ایرانی و پارامترهای فیلتر
صفحه‌های فیلتر و مرتب‌سازی (?orderby=، ?min_price=، ?filter_color=) ترکیب‌های
تقریباً بی‌پایانی می‌سازند و بودجه‌ی خزش را هدر می‌دهند. گوگل خودش پیشنهاد میکند این پارامترها را با robots.txt
ببندید و صفحه‌های اصلیِ دسته را باز بگذارید.
پرسش‌های متداول
robots.txt چیست و کجا باید قرار بگیرد؟
یک فایلِ متنیِ ساده در ریشهی دامنه (مثلاً https://example.ir/robots.txt) که به خزندهها میگوید کدام مسیرها را نخزند. هر زیردامنه robots.txt جدای خودش را لازم دارد.
آیا Disallow صفحه را از نتایجِ گوگل حذف میکند؟
نه. Disallow فقط جلوی خزیدن را میگیرد؛ اگر به صفحه لینک داده شده باشد ممکن است بدونِ توضیح در نتایج بماند. برای حذف از نتایج از متاتگِ noindex استفاده کنید و همان صفحه را در robots.txt نبندید، وگرنه گوگل noindex را نمیبیند.
چرا نباید فایلهای CSS و JS را ببندم؟
گوگل صفحه را مثلِ یک مرورگر رندر میکند. اگر CSS یا JS بسته باشد، صفحه را ناقص میبیند و ممکن است آن را موبایلپسند یا کامل تشخیص ندهد. برای همین در وردپرس پوشههای wp-includes و wp-content نباید بسته شوند.
Crawl-delay در گوگل کار میکند؟
نه. گوگل این دستور را نادیده میگیرد و سرعتِ خزش را خودکار با توانِ سرور تنظیم میکند. بینگ و یاندکس Crawl-delay را رعایت میکنند.
بستنِ GPTBot یا Google-Extended روی سئو اثر دارد؟
روی رتبه در گوگل نه. Google-Extended فقط استفاده از محتوا برای آموزشِ Gemini را کنترل میکند و GPTBot و ClaudeBot خزنده‌های آموزشی‌اند. ولی اگر OAI-SearchBot یا Claude-SearchBot را ببندید، سایتتان در پاسخ‌های جست‌وجوی ChatGPT و Claude دیده نمی‌شود.
آدرسِ فارسی (نامکِ فارسی) را چطور در robots.txt بنویسم؟
میتوانید همان مسیرِ فارسی را بنویسید؛ گوگل و بینگ پیش از مقایسه آن را رمزگذاری (percent-encode) میکنند. فایل را حتماً با کدگذاریِ UTF-8 ذخیره کنید — فایلی که این ابزار میسازد UTF-8 است.
داده‌ی واقعیِ سایتتان را از Claude بپرسید
این ابزارها حدس می‌زنند؛ سرچ کنسول می‌داند. همیار GSC سرچ کنسولِ گوگل و بینگ را به Claude، ChatGPT، Codex و Claude Code وصل میکند تا بپرسید «کدام صفحه‌ها CTRِ پایین دارند؟» یا «چرا کلیک‌ها افت کرد؟» و جوابِ دقیق با عددِ خودِ سایتتان بگیرید.
ابزارهای رایگانِ دیگر
پیش‌نمایشِ اسنیپتِ گوگل
عنوان و توضیحِ متا را با اندازه‌گیریِ پیکسلی ببینید؛ دقیقاً همان‌جایی که گوگل متنِ فارسی را می‌بُرد.
سازنده‌ی اسکیما (JSON-LD)
Article، Organization، BreadcrumbList و FAQPage با بررسیِ فیلدهای لازم و خروجیِ آماده‌ی چسباندن.
ماشین‌حسابِ CTR
نرخِ کلیک، کلیکِ لازم برای CTRِ هدف و مقایسه با CTRِ معمولِ هر جایگاه در گوگل.