тическом режиме. Веб-сканеры найти сайт и ползать на всем протяжении этого, читая алгоритмы и хранения данных. После того, как они собрали всю информацию с веб-сайта они приносят его обратно к поисковой системе, где она индексируется. Некоторые поисковые системы также использовать веб-сканеры для сбора адресов электронной почты и для задач по обслуживанию, в дополнение к сбору информации о веб-сайте. Каждая поисковая система имеет свой индивидуальный веб-сканеры и каждый поисковая система имеет вариации на том, как они собираются information.
Webmaster должны иметь представление о том, как каждый поисковик занимает страницы, для того, чтобы понять, почему один документ занимает больше, чем другой. Хотя поисковые системы сохранить свои алгоритмы в секрете, в части, чтобы сделать жизнь более трудной для веб-мастеров Black Hat оптимизаторы должны попробовать все возможное, чтобы получить некоторое представление о том, как двигатель поисковая оптимизация стратегия должна работать.