العنكبوت هو برنامج أو برنامج نصي مكتوب لتصفح شبكة الويب العالمية بطريقة منهجية لغرض فهرسة المواقع. قد يُشار إلى العنكبوت أيضًا على أنه روبوت ويب أو زاحف ويب أو روبوت ويب .

على سبيل المثال ، يتم استخدام العناكب غالبًا لجمع الكلمات الرئيسية من صفحات الويب التي يتم فرزها بعد ذلك حتى يتمكن المستخدمون من تحديد موقع الصفحات المذكورة من خلال محرك بحث على الإنترنت.

السير ، الزحف ، شروط الإنترنت ، الروبوت ، Robots.txt ، صفحة الويب ، الموقع