مولد ملف Robots.txt

الروبوتات المسموح بها وتأخير الزحف وخريطة الموقع

الافتراضي - جميع الروبوتات
تأخير الزحف
خريطة الموقع: (اتركها فارغة إذا لم يكن لديك)

بحث الروبوتات

Google
Google Image
Google Mobile
MSN Search
Yahoo
Yahoo MM
Yahoo Blogs
Ask/Teoma
GigaBlast
DMOZ Checker
Nutch
Alexa/Wayback
Baidu
Naver
MSN PicSearch

المجلدات المحظورة : (المسار نسبي إلى الجذر ويجب أن يحتوي على شرطة مائلة "/")

مولد ملف Robots.txt


ملف robots.txt هو ملف نصي على موقع ويب يوجه برامج زحف الويب وروبوتات محركات البحث حول الصفحات أو أقسام الموقع التي لا ينبغي الزحف إليها أو فهرستها. تساعدك أداة المولد robots.txt على إنشاء هذا الملف بتوجيهات محددة دون الحاجة إلى كتابة التعليمات البرمجية يدويًا. فيما يلي وصف عام لما قد تجده في أداة إنشاء ملف robots.txt النموذجية:

  1. واجهة سهلة الاستخدام:
    • توفر أداة Theis واجهة سهلة الاستخدام تسمح لك بتحديد القواعد والتوجيهات باستخدام نموذج بسيط أو نظام مربعات اختيار.
  2. خيارات التوجيه:
    • يمكن للمستخدمين عادةً تعيين توجيهات لبرامج زحف ويب معينة أو لجميع وكلاء المستخدم. ويتيح لك ذلك تخصيص التعليمات لمحركات البحث أو وكلاء المستخدم المختلفة.
  3. قواعد السماح وعدم السماح:
    • يسمح لك المولد بتحديد قواعد السماح أو عدم السماح بالوصول إلى أجزاء معينة من موقع الويب. ويساعد هذا في التحكم في الصفحات التي يجب الزحف إليها وفهرستها والصفحات التي يجب استبعادها.
  4. التنزيل والتكامل:
    • بمجرد تعيين التوجيهات، توفر الأداة خيارًا لتنزيل ملف robots.txt الذي تم إنشاؤه. يمكن للمستخدمين بعد ذلك تحميل هذا الملف إلى الدليل الجذر لموقعهم على الويب.

تذكر مراجعة ملف robots.txt الذي تم إنشاؤه قبل نشره على موقع الويب الخاص بك للتأكد من توافقه مع نواياك ولن يمنع الوصول إلى المحتوى الأساسي عن غير قصد.

مشاركة

أدوات شائعة