Важность файла robots.txt

Несмотря на важность файл robots.txt в получении вашего сайта индексированный с основных поисковых системах, многие веб-мастера не предложить один на своем сайте. Что такое файл robots.txt, спросите вы? Если вы не знаете, вы далеко не одиноки. Файл robots.txt является простой текстовый файл (без HTML), что находится в корневом каталоге вашего сайта для того, чтобы рассказать поисковые системы, какие страницы индексировать, а какие skip.

When поисковая система отправляет своего Webcrawler на ваш сайт, один из первых вещей, WebCrawler будет сделать, это искать корневую директорию для файла robots.txt. Правильно отформатированный файл robots.txt будет состоять из нескольких записей, каждая содержит инструкции для конкретного поиска бота. Запись, как правило, состоят из двух компонентов, первый называется User-Agent и где имя поиска бота в списке. Вторая строка consits из одного или более "Запретить" линий.

Эти строки говорят о Webcrawler, какие файлы или папки не должны индексироваться (например, в папке CGI-BIN) Если вы в настоящее время есть сайт, и не имеет файла robots.txt, вы можете создать легко. Как упоминалось ранее, файлы обычный текст, так что просто открыть блокнот и сохраните файл на robots.txt. Большинство веб-мастера могут использовать одну запись, которая будет применяться ко всем поисковые роботы. После того, как вы открыли блокнот введите следующую: User-Agent: * Disallow: Символ "*" применяется это правило ко всем ботов. В этом примере нет ничего перечислены в запретить линии.

Это говорит роботу индексировать весь сайт. Вы также можете ввести путь к папке, например, здесь "/частный", если есть папка, которая не должна индексироваться. Это может быть очень полезно, если вы все еще тестирования часть вашего сайта или раздел находится в стадии construction.Now, что вы знаете, что должны идти в файле robots.txt, есть несколько распространенных ошибок людей сделать при создании этих файлов. Никогда не входите замечания или комментарии в файл, как эти предметы могут вызвать путаницу для Webcrawler.

Кроме того, формат всегда должен быть пользователь-агент на первой линии, а затем запрещает (ов). Не в обратном порядке. Еще одна распространенная ошибка заключается в использовании неправильный случай. Если запрещено папка /частные, убедитесь, что ваш файл robots.txt не перечислить папку в качестве /Частный. Похоже, очень незначительные проблемы, но это может вызвать проблемы, если сделано неправильно. Наконец, нет команды Разрешить. Вы не можете сказ