Пример

Допустим, у вас есть онлайновая энциклопедия фильмов и актеров, содержащая 100 тысяч статей в алфавитном порядке.

Конечно, хранить и редактировать такое количество страниц «россыпью», в виде HTML-файлов крайне неудобно. Поэтому статьи энциклопедии будут, скорее всего, храниться в базе данных, где их достаточно просто свести в одну таблицу и хранить в нескольких файлах базы данных.

Пусть теперь вы подали свой сайт на индексацию в поисковики. Если у вас на сайте будет полное оглавление статей энциклопедии, в виде иерархического списка (скажем, по буквам алфавита) или в виде простого линейного списка заголовков статей, то поисковик пройдет по такому оглавлению как по обычным ссылкам и проиндексирует всю вашу энциклопедию. Сделает он это, скорее всего, не сразу, а за несколько проходов (так как статей много), но в конце концов все статьи энциклопедии попадут в индекс.

Если же у автора сайта не хватило сил и времени создать такое оглавление для доступа к отдельным статьям энциклопедии (а это большая работа — сделать 100 тысяч аккуратных ссылок в том или ином виде), то пользователь сможет найти статью только с помощью поиска в базе данных по ключевым словам, входящим в заголовок или тело статьи. Такие средства есть практически в любой базе данных, и веб-мастера ими активно пользуются.

Но поисковик — не пользователь, он ведь не будет специально перебирать и подставлять все слова русского языка в окошко для поиска на вашем сайте. Он зайдет на страницу поиска, ссылок на статьи энциклопедии не обнаружит и отправится дальше индексировать Интернет по своему расписанию. Окошко поиска (так называемая форма поиска) не является ссылкой на другие страницы и интереса у поисковика не вызовет. Следовательно, в данном случае он проиндексирует только одну страницу — страницу поиска по энциклопедии, а сама энциклопедия останется для него невидимой.