После завершения представления страницы, чтобы положить свой сайт вперед в поисковую систему, поисковик паук индекс ваш сайт в целом. Паук посещает сайт, считывает содержимое в нем, мета-теги, а также следующим ссылкам на сайт, чтобы увидеть другие сайты, где посетители будут упомянутые. После этого паук получает всю информацию, которая была, почерпнутые вместе и помещает его в центральное хранилище, где она индексируется. В связи с тем, что некоторые пауки будет индексировать только так много страниц вашего сайта, желательно, чтобы не создавать сайт с слишком много страниц.
Время от времени паук пересмотреть сайт, чтобы увидеть, если что-нибудь изменилось, и модераторы поисковой системы диктовать, как регулярно это происходит пересмотр. Паук, который может индексировать так много как миллион страниц каждый день похож на книгу, в этом есть оглавление, а затем фактического содержания и все ссылки и ссылки он находит другие веб-сайты по всему в этой категории. Некоторые примеры поисковых системах AltaVista, Excite, Lycos и Google. Поисковая система находит необходимую информацию, просматривая индекс, в отличие от World Wide Web.
Поскольку не все поисковые системы используют тот же алгоритм, вы найдете в поисковых системах производить разнообразные результаты. Ключевые слова и их частота и расположение одной из вещей, которые алгоритм поиска двигателя сканирует на веб-странице, но это также отлично набирает искусственный начинку ключевое слово, также известный как Поисковый спам. Алгоритмы будет тщательно изучать, каким образом страница ссылается на другие страницы, позволяющих поисковик для обнаружения, что страница о том, когда ключевые слова связанных страницах не отличается от тех, на исходную страницу.