خزنده ها یا عنکبوت ها برنامه هایی هستندکه برای موارد زیردر وب حرکت می کنند :

1-شناسایی سایتهای جدیدی که باید به موتور جست وجو اضافه شوند.

2-شناسایی سایت هایی که قبلا پیدا شدند واکنون تغییرکرده اند.

خزندهاطلاعات مربوط به صفحات را از سایتها پیدا می کند و آنها را در بانک اطلاعاتی موتورجست وجو قرار می دهند مطالب

زیادی در این مورد می توان بیان کرد ولی فقط بخشی از مطالب به موتورجست وجوگر مربوط می شود و جست جوگر به این

مسئله پی می برد که چرا بعضی از صفحات دربعضی ازموتورها پیدا می شوند ولی درموتورهای دیگر پیدا نمی شوند برای بسیار

از موتورها سایتهای معروف تر نسبت به سایتهای دیگر بیشتر در دسترس هستند خزنده ها میتوانند به صورت عمقی یا عرضی

یا هر دو برنامه نویسی شوند آنهایی که به صورت عرضی برنامه نویسی می شوند نه تنها سایت اصلی را می یابند بلکه صفحات

فرعی آن صفحات و صفحات فرعی این صفحات فرعی را می یابند و این روند ادامه می یابد خزنده هایی که به صورت عرضی

برنامه نویسی شده اند  صفحات  اصلی تر را  می یابند  و الزاما  تمام صفحات  فرعی آن ها را  پیدا نمی کنند  هرچه موتورهای

جست وجو رشد کردند و بازار رقابت را به وجود آوردند جست وجوی عرضی وعمقی مورد توجه قرار گرفتند .