Так что теперь форма Добавить URL также имеет тест: он отображает некоторые волнистые письма, чтобы обмануть автоматизированная "письмо-провидцы"; он просит вас ввести буквы, которые вы видите - что-то вроде теста для глаз графика, чтобы остановить спам-ботов. Когда робот Google получает страницу, она отбирает все ссылки, появляющиеся на странице и добавляет их в очередь для последующего сканирования. Робот Google стремится встретить немного спама, потому что большинство веб-авторов ссылаются только то, что они считают, высококачественные страницы.
По уборки ссылкам из каждой странице он сталкивается, робот Google может быстро построить список ссылок, которые могут охватывать широкие течения в Интернете. Этот метод, известный как глубокий обход, также позволяет Googlebot, чтобы исследовать глубоко в отдельных участках. Из-за их огромных масштабах, глубокие обходы может достигать почти на каждой странице в Интернете. Потому что веб-обширна, это может занять некоторое время, поэтому некоторые страницы могут быть пополз только один раз в месяц.
Хотя его функция проста, робот Google должен быть запрограммирован для работы с несколькими проблемами. Во-первых, поскольку робот Google посылает одновременных запросов для тысяч страниц, очередь "посетить в ближайшее время" URL-адреса должны быть постоянно изучены и по сравнению с URL-адресов, уже в индексе Google. Дубликаты в очереди должны быть устранены, чтобы предотвратить Googlebot от снова извлечения и ту же страницу. Робот Google должен определить, как часто вернуться на страницу. С одной стороны, это пустая трата ресурсов, чтобы повторно индексировать неизменной страница.
С другой стороны, Google хочет, чтобы повторно индекс измененные страницы, чтобы доставить до современных результатов. Чтобы сохранить текущий индекс, Google постоянно повторный обход популярные часто меняющимся веб-страниц при скорости примерно пропорциональным, как часто менять страницы. Такие обходы держать текущий индекс и известны как свежие обход. Газета страниц