کتاب موتورهای جستجو از مجله ویستا به معرفی و بررسی مواردی اعم از ابزارهای کاوش اینترنت، چگونگی رتبه‌بندی سایت‌ها توسط موتورهای جستجو، اصطلاحات گوگلی و 25 راز معروف‌ترین موتورهای جستجوی دنیا می‌پردازد.

در بخشی از کتاب موتورهای جستجو می‌خوانیم:

نرم افزار کراولر Crawler

خزنده کراولر، نرم افزاری است که به عنوان یک فرمانده برای اسپایدر عمل می‌کند. آن مشخص می‌کند که اسپایدر کدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می‌گیرد که کدام یک از لینک‌های صفحه‌ای که اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممکن است همه آن‌ها را دنبال کند، بعضی‌ها را دنبال کند و یا هیچ کدام را دنبال نکند. کراولر، ممکن است قبلا برنامه‌ریزی شده باشد که آدرس‌های خاصی را طبق برنامه، در اختیار اسپایدر قرار دهد تا از آن‌ها دیدن کند. دنبال کردن لینک‌های یک صفحه به این بستگی دارد که موتور جستجوگر چه حجمی از اطلاعات یک سایت را می‌تواند در پایگاه داده‌اش ذخیره کند و همچنین ممکن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد. شما به عنوان دارنده سایت، همان‌‌‌‌‌‌‌‌‌‌‌طور که دوست دارید موتورهای جستجوگر اطلاعات سایت شما را با خود ببرند، می‌توانید آن‌ها را از بعضی از صفحات سایت‌تان دور کنید و اجازه دسترسی به محتوای آن صفحات را به آن‌ها ندهید. تنظیم میزان دسترسی موتورهای جستجوگر به محتوای یک سایت توسط پروتکل Robots انجام می‌شود که در مقالات دیگر سایت به آن پرداخته شده است. به عمل کراولر، خزش (Crawling) می‌گویند.

نرم افزار ایندکس - Indexer

بایگانی‌کننده تمام اطلاعات جمع‌آورش شده توسط اسپایدر در اختیار ایندکسر قرار می‌گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می‌گیرند و به بخش‌های متفاوتی تقسیم می‌شوند. تجزیه و تحلیل بدین معنی است که مشخص می‌شود اطلاعات از کدام صفحه ارسال شده است، چه حجمی دارد، کلمات موجود در آن کدام است، کلمات چندبار تکرار شده است، کلمات در کجای صفحه قرار دارند و...در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می‌کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می‌کند تا سیستم رتبه‌بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند.