Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.
Файл robots.txt используется прежде всего для управления трафиком поисковых роботов на вашем сайте.
В файле robots.txt содержатся инструкции, которые говорят поисковым роботам, какие
URL на вашем сайте им разрешено обрабатывать. С его помощью можно ограничить количество запросов на
сканирование и тем самым снизить нагрузку на сайт.
Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google.
Если вы не хотите, чтобы какие-либо страницы с вашего сайта были представлены в Google, добавьте на них
директиву noindex.
Для чего нужен Robots.txt?
Robots.txt является стандартом исключений для роботов, принятым консорциумом W3C 30 января 1994 года.
Его использует большая часть современных поисковиков, как рекомендацию к индексированию проекта.
Файл robots.txt отвечает за правильный обход сайта
поисковыми роботами.
Его отсутствие или некорректная настройка может привести к неверной индексации, что в свою очередь окажет негативное влияние на позиции
сайта в поисковых системах. Robots играет одну из важнейших ролей для поисковой оптимизации:
Поисковые системы при каждом сканировании сайта изначально обращаются именно к этому файлу,
чтобы узнать, можно ли индексировать страницы и у этого сайта;
В Robots находятся все основные инструкции, которым должен следовать робот.
Как сделать Robots.txt?
Чтобы правильно сделать robots.txt для вашего сайта, следуйте следующему алгоритму действий:
- создайте простой текстовый файл формата txt;
- переименуйте его в robots;
- внимательно изучите синтаксис стандарта;
- откройте созданный файл с помощью блокнота (или другого текстового редактора);
- настройте файл (заполните с учетом особенностей сайта);
- осуществите проверку файла;
- при отсутствии ошибок, скопируйте созданный файл в корневую директорию сайта;
- проверьте его доступность по URL-адресу мой домен/robots.txt.