# ملف robots.txt الخاص بـ //www.computerhope.comUser-agent: * Disallow: / directory1 /عدم السماح: / directory2 /
في مثال ملف robots.txt أعلاه ، يكون السطر الأول عبارة غير قابلة للتنفيذ تصف الملف. بعد ذلك ، يوضح سطر User-agent ما هي الروبوتات أو الروبوتات التي يجب أن تتبع هذا القسم من الملف. في المثال أعلاه ، يمثل * جميع السير. أخيرًا ، السطران التاليان هما الدليلان اللذان تريدان أن تقوم برامج الروبوت بعدم فهرسته.
إذا كنت ترغب في السماح لبوت بالاستعلام عن جميع عناوين URL في موقع الويب الخاص بك ، أدخل اسم الروبوت متبوعًا بعدم السماح: بقيمة فارغة ، كما هو موضح في المثال أدناه.
وكيل المستخدم: Somebot *عدم السماح:
شروط الإنترنت ، وعلامات التعريف ، والروبوت ، وشروط كبار المسئولين الاقتصاديين ، خريطة الموقع ، وشروط تصميم الويب