Как часто поисковая машина обходит Интернет?

Более точно этот вопрос можно сформулировать так:
как быстро новые страницы появляются в индексе поисковика и как часто поисковик их потом обновляет?

Безусловно, идеальный поисковик должен иметь всякую страницу в своем индексе сразу же, как только она появилась. И существующие поисковики к этому стремятся. Однако огромный объем Интернета ставит здесь свои препятствия и ограничения.

От обхода раз в месяц в начале двухтысячных годов к настоящему времени поисковики перешли к еженедельной индексации. Однако, поскольку есть такие типы информации (новости, цены, курсы валют), которые обновляются гораздо быстрее, поисковики имеют специального «быстрого робота», который может обходить быстро меняющиеся сайты и по нескольку раз в день.

Сейчас наступает эра «поиска в реальном времени»: «быстрые роботы» поисковых систем стараются добиться, чтобы новые документы появлялись в индексе мгновенно по меркам Интернета (т. е. за полчаса-час). В первую очередь это относится, конечно, к «быстрым» средам — «Твиттеру», новостям, форумам и блогам.

Каким образом сайты и интернет-сервисы попадают в списки такого «быстрого робота» — отдельный разговор. Поисковик имеет механизмы «самообучения» «быстрого робота». Если ваш сайт уже достаточно авторитетен (имеет высокий ссылочный ранг) и при этом содержит много страниц, которые часто меняются, у него довольно много шансов быть замеченным «быстрым роботом».