أداة إنشاء ملف robots.txt
أنشئ ملف robots.txt صالحًا باستخدام أداة بناء قواعد مرئية — حدّد قواعد السماح/الحظر لكل زاحف، وأضف خريطة الموقع وCrawl-delay، ثم انسخ الملف أو نزّله.
🔒 تتم المعالجة محليًا في متصفحك
Loading…
كيفية الاستخدام
- اختر إعدادًا مسبقًا للبدء السريع — "السماح بالكل" يتيح لكل الزواحف فهرسة موقعك بالكامل، و"حظر الكل" يحظر كل الزواحف تمامًا، أو ابدأ بـ"مخصص" لبناء قواعدك الخاصة.
- لكل مجموعة قواعد، حدّد User-agent (استخدم * لجميع الزواحف، أو اسم بوت محدد مثل Googlebot) وأضف قواعد سماح أو حظر للمسارات التي تريد استهدافها.
- يمكنك اختياريًا تحديد Crawl-delay لكل مجموعة وإضافة رابط خريطة الموقع — يُضاف كلاهما تلقائيًا إلى الملف الناتج.
- انسخ ملف robots.txt الناتج من مربع المعاينة، أو نزّله مباشرة — ثم ارفعه إلى جذر نطاقك (مثل https://example.com/robots.txt).
المميزات
- إعدادات مسبقة بنقرة واحدة "السماح بالكل" و"حظر الكل" لأكثر الحالات شيوعًا
- أداة بناء قواعد مرئية — أضف أو أزل مجموعات User-agent وقواعد السماح/الحظر دون كتابة الصياغة يدويًا
- حقل اختياري لـ Crawl-delay لكل مجموعة وحقل لرابط خريطة الموقع
- ناتج يُنشأ مباشرة ويتحدث فوريًا عند تعديل القواعد
- 100% من جانب المتصفح — قواعدك لا تغادر متصفحك أبدًا
الأسئلة الشائعة
أين أضع ملف robots.txt؟
ارفعه إلى جذر نطاقك ليكون متاحًا عبر https://yourdomain.com/robots.txt. تبحث محركات البحث عنه فقط في هذا الموقع بالتحديد.
هل يمنع robots.txt فعليًا محركات البحث من زحف موقعي؟
إنه طلب وليس إلزامًا. تلتزم به الزواحف المهذبة مثل Googlebot، لكن لا شيء يمنع بوتًا خبيثًا أو سيئ السلوك من تجاهله تمامًا. لا تعتمد عليه لإخفاء محتوى حساس.
ماذا يعني حقل User-agent؟
يحدد الزاحف الذي تنطبق عليه مجموعة القواعد. استخدم * لمطابقة جميع الزواحف، أو اسم بوت محدد (مثل Googlebot أو Bingbot) لمنحه قواعد مختلفة عن البقية.
هل أحتاج إلى سطر Sitemap؟
إنه اختياري لكنه مستحسن — فهو يوجّه الزواحف إلى ملف sitemap.xml الخاص بك لتكتشف صفحاتك بكفاءة أكبر. اترك الحقل فارغًا إن لم يكن لديك واحد بعد.
هل تحترم جميع محركات البحث Crawl-delay؟
لا. تدعمه بعض الزواحف (مثل Bing) بينما تتجاهله أخرى (لم يعد Google يحترمه في robots.txt). استخدم Google Search Console بدلاً من ذلك للتحكم في معدل زحف Google.