Для чего нужен robots.txt
Файл robots.txt подсказывает поисковым роботам, какие разделы сайта сканировать, а какие нет. Через него закрывают служебные страницы, корзину, результаты поиска по сайту, страницы с параметрами сортировки и фильтрации — чтобы робот тратил краулинговый бюджет на важные страницы.
robots.txt не защищает страницы от индексации полностью: если на закрытую страницу есть внешние ссылки, она может попасть в выдачу. Для полного запрета используйте мета-тег robots с noindex.
Типичные ошибки в robots.txt
Закрытые от сканирования CSS и JavaScript (например, Disallow: /_next/ или /wp-includes/) мешают поисковикам корректно отрисовать страницу. Директива Host больше не поддерживается Яндексом — зеркало задается 301-редиректом. Отсутствие строки Sitemap замедляет обнаружение новых страниц.
После изменения файла проверьте его в Яндекс Вебмастере и Google Search Console: инструменты покажут, разрешено ли сканирование конкретного URL.
Частые вопросы
Где должен лежать robots.txt?
Только в корне домена: https://site.ru/robots.txt. Для каждого поддомена нужен свой файл.
Нужна ли директива Host?
Нет. Яндекс прекратил поддержку Host в 2018 году. Главное зеркало определяется 301-редиректом.
Что такое Clean-param?
Директива Яндекса, которая сообщает роботу, что GET-параметры (например, utm-метки) не меняют содержимое страницы. Это убирает дубли из индекса и экономит краулинговый бюджет.
Следите за ссылками автоматически
Нектар ежедневно проверяет купленные размещения: ответ сервера, наличие ссылки, анкор и атрибуты rel — и уведомляет, если что-то изменилось.
Попробовать бесплатно