Цитата из книги «Яндекс.Книга»

Поисковый робот и вправду похож на бродягу или паука, который «ползает» по информационному массиву, индексирует все живое, чтобы потом было легче найти то, что запрашивает пользователь. Пока искать приходилось по справочникам, книгам или базам данных, паук действительно ползал. Сегодня, когда зона поиска – Всемирная паутина, паук уже не ползает, а летает с фантастической скоростью.