ать, что Webcrawler взглянуть на только то, что не смотреть at.If вы все еще интересно, о файле robots.txt можно найти еще много сложные примеры в Интернете. Просто попробуйте один из ваших любимых веб-сайтов и искать их в файле robots.txt. Например, вы можете перейти к https://www.cnn.com/robots.txt. Если вам нужна помощь в создании файла robots.txt для вашего сайта, есть много мест, в Интернете, что создаст для вас файл бесплатно. Одним из примеров является https://www.seochat.com/seo-tools/robots-generator/.
Несмотря на по-видимому простоты, этот файл может сделать перерыв или шансы вашего сайта в поисковых системах. Убедитесь, что у вас есть файл robots.txt в месте и правильно отформатированный сегодня.
