Краткая история веб-поиска

Основные протоколы, используемые в Интернет, не обеспечены достаточными встроенными функциями поиска, не говоря уже о миллионах серверов, находящихся в них.

Протокол HTTP, используемый в Интернет, хорош лишь для навигации, т.е. просмотра страниц, но не их поиска. То же самое относится и к протоколу передачи файлов FTP.

Из-за быстрого роста информации, доступной в Интернет, навигационные методы просмотра быстро достигают предела их функциональных возможностей. Можно сказать, что нужную информацию уже не представляется возможным получить сразу, так как в Интернет сейчас находятся миллиарды документов и все они в распоряжении пользователей Интернет, к тому же сегодня их количество возрастает по экспоненциальной зависимости.

Количество изменений, которым эта информация подвергнута, огромно и, самое главное, они произошли за очень короткий период времени.

Основная проблема заключается в том, что единой полной системы обновления и занесения подобного объема информации никогда не было.

Для того, чтобы структурировать информацию, накопленную в сети Интернет, и обеспечить ее пользователей удобными средствами поиска необходимых им данных, были созданы поисковые системы.

Самый первый поисковый инструмент Интернета назывался Archie (название произошло от искаженного слова archive, “архив”). Он был создан в 1990 Аланом Эмтаджем, студентом Монреальского Университета. Программа скачивала списки файлов, расположенные на публичных анонимных FTP сайтах, создавая базы данных имен файлов, по которым можно было производить поиск.

В 1993 студент Мэтью Грей изобрел первого робота, который индексировал страницы Интернет – World Wide Web Wanderer. Первоначально программа позволяла пересчитывать веб-сервера, измеряя масштабы Паутины. World Wide Web Wanderer запускали ежемесячно с 1993 по 1995 годы. Позже его использовали для получения URL при формировании первой базы данных Веба — Wandex.

В 1993 Мартин Костер создал ALIWEB. ALIWEB позволял владельцам сайтов подавать заявки на индексацию в поисковых машинах. По мнению Костера, ALIWEB был поисковой системой, основанной на автоматизированном сборе мета-данных для Сети.

Финансирование поисковых систем становится прибыльным бизнесом. В конце концов, когда инвесторы сочли, что из Интернета можно извлекать выгоду, началось финансирование развития поисковых машин, и разработка поисковиков стала прибыльным бизнесом.

В 1993 году шесть студентов Стэнфорда представили Excite. Программа использовала статистический анализ слов в тексте, чтобы облегчить процесс поиска. В течение года Excite был усовершенствован и вышел онлайн в декабре 1995 года.

Джерри Янг и Дэвид Фило создали Yahoo в 1994 году. Проект начался с составления каталога их любимых веб-сайтов. Единственное, что отличало этот перечень от других, был комментарий к каждой ссылке URL. Через год разработчики получили финансирование и создали корпорацию Yahoo.

В 1994 году Lycos представил поисковую машину, предлагающую наряду с результатами поиска ссылки на темы, связанные с поисковым запросом. В 1996 году это уже была обширная поисковая система, индексирующая более 60 миллионов документов, самая крупная на тот момент. Как и многие другие поисковые системы, Lycos был разработан в университетской среде доктором Майклом Молдином в Университете Карнеги Меллона.

AltaVista начала работать в 1995 году. Эта поисковая машина первой предложила расширенную систему поиска и принимала языковые запросы на так называемом «естественном языке» — например, могла обработать запрос «Как пройти в библиотеку?», вместо «библиотека».

Google был запущен в 1997 году Сергеем Брином и Лари Пейджем как часть исследовательского проекта Стэнфордского Университета. При ранжировании результатов запроса в выдаче Google учитывает количество внешних ссылок на ресурс, или цитируемость.

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные международные поисковые системы — Google, Yahoo и Bing, имеющих собственные базы и алгоритмы поиска. Большинство остальных поисковых систем использует в том или ином виде результаты трех перечисленных.

В России основной поисковой системой является “Яндекс”, далее — google.ru, rambler.ru, mail.ru.