Дата публикации: 16.06.2026

Настройка и проверка robots.txt для закрытия технических дублей

Что вы получите от этого урока

Вы узнаете, как правильно настроить файл robots.txt, чтобы закрывать технические дубли страниц, какие правила писать, как проверять их работу и какие подводные камни могут подстерегать вас в процессе. После урока вы сможете быстро решить проблему «мусорных» URL‑ов, которые размывают вес вашего сайта в поиске и мешают выйти в топ по запросу «услуги в Конаково».

1. Почему `robots.txt` важен для борьбы с дублями

Технические дубли – это разные URL, ведущие на один и тот же контент (например, example.com/?utm_source=mail и example.com/). Поисковые роботы могут индексировать их все, и каждый дубль «разбивает» вес страницы.
robots.txt – это простой текстовый файл, который размещается в корне сайта (https://example.com/robots.txt). Он говорит поисковикам, какие части сайта следует обходить, а какие можно сканировать.
Аналогия: представьте, что ваш сайт – это библиотека, а robots.txt – это карта, где отмечено, какие полки закрыты для читателей. Если закрыть полки с копиями книг, читатели (роботы) будут тратить время только на оригиналы.

2. Основные директивы `robots.txt`

Директива	Описание	Пример
User-agent	Указывает, к какому роботу относится правило. `*` – все роботы.	`User-agent: *`
Disallow	Запрещает сканировать указанный путь.	`Disallow: /?utm_source=`
Allow	Разрешает сканировать путь, даже если он попадает под более общее `Disallow`.	`Allow: /blog/`
Sitemap	Указывает расположение карты сайта (Sitemap XML).	`Sitemap: https://example.com/sitemap.xml`

Важно: robots.txt управляет только сканированием, а не индексированием. Если страница уже попала в индекс, её нужно дополнительно удалить через noindex в мета‑теге или в Google Search Console.

3. Какие URL‑ы обычно считаются техническими дублями

Тип дубля	Пример URL	Почему он дубль	Как закрыть в `robots.txt`
Параметры сессии	`example.com/?PHPSESSID=abcdef`	Содержит идентификатор сессии, контент одинаковый	`Disallow: /?PHPSESSID=`
UTM‑метки	`example.com/?utm_source=mail`	Трекинговые параметры, не влияют на контент	`Disallow: /?utm_source=`
Параметры сортировки/фильтрации	`example.com/products?sort=price`	Тот же список товаров, только порядок изменён	`Disallow: /products?sort=`
Трейлы слэша	`example.com/page` и `example.com/page/`	Оба URL ведут на одну страницу	`Disallow: /page` (если хотите закрыть без слэша)
Параметры языка	`example.com/?lang=ru`	Дублирование контента на разных языках (если язык задаётся в URL)	`Disallow: /?lang=`

4. Пошаговая настройка `robots.txt` для закрытия дублей

Шаг 1. Составьте список «вредных» параметров

Откройте Google Search Console → Параметры URL (если у вас уже есть доступ).
Выполните лог‑анализ в Яндекс.Вебмастере и в Google Analytics, чтобы увидеть, какие параметры часто появляются в запросах.
Запишите их в таблицу (пример выше).

Шаг 2. Создайте базовый шаблон файла

User-agent: *
Disallow: /?utm_source=
Disallow: /?utm_medium=
Disallow: /?utm_campaign=
Disallow: /?PHPSESSID=
Disallow: /?lang=
Sitemap: https://example.com/sitemap.xml

Подсказка: если у вас несколько параметров, их можно перечислять в отдельных строках Disallow. Поисковые роботы обрабатывают их независимо.

Шаг 3. Тестируйте правила в режиме «песочницы»

Google Search Console → Проверка robots.txt. Вставьте ваш файл и нажмите «Тестировать».
Yandex.Webmaster → Проверка robots.txt.

Обратите внимание на сообщения «Allowed» и «Disallowed». Если нужный URL попадает в «Allowed», значит правило не сработало – проверьте точность пути.

Шаг 4. Разместите файл на сервере

Сохраните текст в файле robots.txt.
Загрузите его в корневой каталог сайта (/public_html/robots.txt или /var/www/html/robots.txt).
Убедитесь, что файл доступен по адресу https://example.com/robots.txt.

Шаг 5. Поставьте «проверку» в Google Search Console

В разделе Проверка URL введите один из закрытых URL‑ов. Если всё настроено правильно, вы увидите сообщение «Blocked by robots.txt».

Шаг 6. Удалите уже проиндексированные дубли (по желанию)

Добавьте мета‑тег noindex в шаблон страниц, где параметры всё ещё могут попасть в индекс, и подайте URL‑удаление в GSC.

5. Частые ошибки и как их избежать

Ошибка	Почему возникает	Как исправить
Неправильный слеш	`Disallow: /?utm_source=` vs `Disallow: ?utm_source=`	Всегда начинайте путь со слеша (`/`).
Пробелы в начале строки	Поисковый робот воспринимает пробел как часть пути.	Удаляйте все ведущие пробелы.
Закрытие важного контента	Случайно запретили `/blog/` и все подпапки.	Добавьте `Allow: /blog/` после общего `Disallow`.
Отсутствие `Sitemap`	Поисковики могут не находить карту сайта.	Добавьте строку `Sitemap: https://example.com/sitemap.xml`.
Кеширование старой версии	Сервер отдаёт старый `robots.txt` из кэша.	Очистите кэш CDN и проверьте заголовок `Cache-Control`.

6. Как проверять «живой» статус `robots.txt`

cURL: curl -I https://example.com/robots.txt – смотрим код 200 и содержимое.
Онлайн‑инструменты (например, https://www.robotstxt.org/robotstxt.html) – вставляем URL и получаем разбор.
Браузер: просто откройте https://example.com/robots.txt и убедитесь, что в файле нет лишних символов (BOM, скрытых пробелов).

7. Пример «полного» `robots.txt` для сайта‑услуги в Конаково

# Общие правила для всех роботов
User-agent: *
Disallow: /?utm_source=
Disallow: /?utm_medium=
Disallow: /?utm_campaign=
Disallow: /?utm_term=
Disallow: /?utm_content=
Disallow: /?PHPSESSID=
Disallow: /?lang=
Disallow: /?sort=
Disallow: /?filter=

# Разрешаем доступ к публичным разделам
Allow: /services/
Allow: /about/
Allow: /contact/
Allow: /blog/

# Карта сайта
Sitemap: https://konakovo-services.ru/sitemap.xml

Почему так?

Все рекламные и сессионные параметры закрыты.

Основные разделы, важные для SEO, явно разрешены, чтобы не возникло конфликтов между Disallow и Allow.

Карта сайта помогает роботам быстро находить нужные страницы.

Практика для закрепления

Список параметров
Составьте таблицу из пяти параметров, которые часто появляются в URL вашего сайта (например, ref, session, page, category, sort). Для каждого укажите, будет ли он закрыт в robots.txt и почему.
Написание правила
На основе таблицы из пункта 1 напишите корректный блок Disallow для каждого параметра. Убедитесь, что каждый путь начинается со слеша.
Тестирование
Воспользуйтесь бесплатным онлайн‑тестером robots.txt (поиск «robots.txt tester»). Вставьте ваш файл и проверьте, что URL https://example.com/?ref=partner помечен как Blocked, а https://example.com/services/ – как Allowed.
Проверка в реальном времени
Опубликуйте ваш robots.txt на тестовом домене (можно использовать поддомен test.example.com). С помощью curl -I https://test.example.com/robots.txt убедитесь, что сервер отдает правильный файл и заголовок Content-Type: text/plain.
Аудит уже проиндексированных дублей
Откройте Google Search Console → Покрытие → Отфильтровать по «Дубли». Составьте список из трех URL‑ов, которые уже проиндексированы, и предложите, как их удалить (мета‑тег noindex, удаление через GSC и т.п.).

Итоги

robots.txt – ваш первый щит против технических дублей.
Пишете чёткие Disallow для всех «мусорных» параметров, оставляя открытыми важные разделы.
Проверяете работу файла в консольных и веб‑инструментах, а при необходимости фиксируете уже проиндексированные дубли.

С этими навыками ваш сайт будет быстро сканироваться, а вес страниц сосредоточится только на оригинальном контенте – именно то, что нужно, чтобы выйти в топ по запросу «услуги в Конаково» без бюджета на контекстную рекламу. Удачной оптимизации!

Чат с Аней: Простые слова
Chatroulette
Как использовать промокоды для максимальной скидки.
Как использовать SEMrush для успешного SEO-проекта
Как продвигать сайты с помощью ИИ
Как выбрать лучший хостинг для SEO
Как выбрать правильные ключевые слова для SEO
Какие факторы влияют на SEO-рейтинг сайта
Кухня в Екатеринбурге — для комфортного проживания
Курская автошкола: выбор для учеников
Ошибки новичков в SEO и как их избежать
Основные обязанности специалиста SEO: что и как делать
Основы SEO: технические требования к сайту
Погода в Москве: С каждым часом
Присоединяйся к русскому видео рулетке-чату!
Проблемы в SEO и как их решать
Разговоры с Ann: Америка В Детских Глазах
Ремонт квартир с использованием технологий
Россия Видео Чат
Сайтостроение: современные подходы
Специальные скидки на товары Екатеринбург
Сравнение плагинов для SEO: Yoast SEO vs All in One SEO Pack
Теплоизоляция в Твери и окрестностях
VDS-хостинг с криптоплатежами в России
Юридический журнал: Правовые последствия цифровой экономики