قبل از اینکه موتورهای جستجو پدید آیند آشفتگی خاصی درصفحات وب وجود داشت برای یافتن چیزی دراینترنت می بایست

آدرس دقیق آن مشخص بودبا ایجاد گوفر آشفتگی تا حدی برطرف شد ومحتویات اینترنت سازمان یافته شد گوفر در دانشگاه

ماینسوتا ایجاد شد گوفر براساس HTMLطراحی نشده بود و استفاده از عناوین فایل درآن مرسوم بود گوفر در دهه 1980در

دانشگاه ماینسوتا به وجود آمد در این دانشگاه دپارتمانهای زیادی با فایلهای زیادی وجود داشت که افراد زیادی می خواستند

به آنها دسترسی داشته باشند لازم بود این اطلاعات به راحتی برای هر دپارتمان قابل دسترسی باشند دانشگاه ماینسوتا گوفر را به

عنوان نرم افزاری تعریف کردکه از پروتکلTCP/IP در شبکه بندی استفاده کرده است سایت گوفر حاوی منویی است که از

طریق آن میتوان به اطلاعات مورد نظر دست یافت .

اولین موتور جستجو موفق web crawlerبودکه دردانشگاه واشینگتون طراحی وساخته شد در سال 1994به کار گرفته شد

در مدت 3سال سه رقیب برای آن پیدا شد:lycos,infoseek,opentextدر اواخر 1995موتورهای جستجو altavista

,exciteبه وجود آمدند متاسفانه هیچکدام ازاین موتورهای جستجو وحتی موتورهای جستجونوین امتیاز فناوری و روشهای

جستجوی موجود در خدمات onlineمثل dialog,lexisnexisرا ندارندعلاوه براین نه موتورهای جستجو و نه امکاناتی

مثل دایرکتوری وب ازنظریه دسته بندی از نظریه دسته بندی موضوعی جامع و شیوه های نوین استفاده نمی کنند.

این  نکات ازنظر علمی  مطرح اند  به طوری که جستجوگر جدی باید  تشخیص  بدهد که اغلب  موتورهای جستجو برای

جست وجوگرهای مبتدی طراحی شده اند نه برای کسا نی که مایل هستند از روشها و تکنیکهای پیشرفته تری استفاده کنند

موتور جست وجوی hotpot درسال 1996 و موتور جست وجوی northren light در سال 1997 به وجود آمد و

hotpot  دارای واسط پیشرفته با کاربردی ساده بود که به بانک اطلاعاتی بزرگی وصل بود در سال 1997 بزرگترین بانک

اطلاعاتی بود northren light جست و جوی وب را با جست وجوی اطلاعات خصوصی ترکیب کرده است .

google در سال 1998 به وجود آمد و دو مشخصه آن : یعنی واسط بسیار ساده و چیدن رکوردها بر اساس محبوبیت باعث

شده است که بین جست وجوی گرهای مبتدی و حرفه ای محبوبیت پیدا کند.   

به هرحال مسابقه برای تولید بزرگترین موتورجست وجوی تا حدی فروکش کرد تا اینکه در سال 1999موتورجست وجوی

Fast search به وجود آمد و بانک اطلاعاتی آن 200میلیون رکورد داشت این عامل به همراه سایر عوامل رقابتی منجر به

منجر به مسابقه و انگیزه دیگری شده است به این ترتیب در سال 2000 چهارموتور جست وجوی از بانک اطلاعاتی 200

میلیون رکوردی استفاده کردند از بین موتورهای جست وجوی اولیه open text اولین موتوری بود که ازبین رفت از اوایل

1998 تاکنون پیدا نیست به نظر می رسد تا دو سه سال آینده موتورهای جست وجوی بیشتری از بین روند و موتورهای جست

وجوی جدیدی به وجود آیند.

امروزه موتورهای جست وجوی گوناگونی ارائه شده اند که هر کدام قابلیت خودشان را دارند که عبارتند از :

(-Google –yahoo- altavista- excite- fast search -hot pot- lycos- nortern light-)