Мы, безусловно, не хочу, и из этих страниц для сканирования и в конечном итоге с поисковой системы гвоздей за спам из-за дублированный контент в двух аналогичных версий одной причине page.Another вы можете сказать пауков не индексировать страница будет сэкономить полосу пропускания за счет исключения некоторых изображений, таблиц стилей или JavaScript. С файла robot.txt вы можете быть очень конкретным о том, что вы хотите индексации, а не spidered.What же файл robots.txt на самом деле означает? Robots.
txt, представляет собой текстовый файл (не HTML) вы положили на вашем веб-сайте, чтобы информировать поисковые роботы, какие страницы вашего сайта вы хотели бы сканировать и какие из них вы не хотите пауки ползать. Размещение файла robots.txt на своем сайте не является обязательным в поисковых системах, однако, поисковые системы, как правило, следовать вашим указаниям вы поставили бы в этом файле. Этот процесс аналогичен, чтобы положить знак на вашем веб-сайте, говоря Не вводите на незапертую дверь. Этот файл не является противопожарная стена, так что поисковая система все еще может паук site.
Another путь вы могли бы сказать двигателей какие файлы и папки не паук будет с использованием роботов метатеге. Некоторые двигатели не т прочитал метатеги, поэтому информация в метатеге роботов не будет рассматриваться на всех определенными двигателями. Предпочтительный способ быть специфическими для всех двигателей будет с использованием файла robots.txt .... не роботы metatags.Where вы позиционируете ваш файл robots.txt является жизненно важным. Она должна быть в основном каталоге или поисковики не найдете файл.
Двигатели не искать весь сайт, они выглядят в главном каталоге, и если они не т найти там файл, двигатель бы предположить, что такой файл не существует. В результате, то двигатель будет индекс все они находят на вашем сайте. Даже если этот файл не требуется двигателями, если вы не т положить файл в нужном месте поисковики, скорее всего, индекс весь сайт, в том числе вашей личной информации вы хотели, чтобы де