Проверка индексации всех страниц в Яндекс.Вебмастере и Google Search Console
Хочу себе такие же кнопкиЧто вы получите от этого урока
Вы научитесь быстро и точно проверять, какие страницы вашего сайта уже находятся в индексе Яндекс и Google, а какие ещё «застряли» в очереди. Это фундаментальная часть любой SEO‑стратегии: без уверенности в том, что поисковики «видят» ваш контент, любые попытки улучшить позиции окажутся пустой тратой времени.
1. Почему индексация — это не просто «добавить страницу»
| Понятие | Что это значит | Почему важно |
|---|---|---|
| Индексация | Процесс, когда поисковый робот сканирует страницу, сохраняет её в базе и делает доступной для поиска. | Без индексации страница никогда не появится в результатах поиска. |
| Кеш | Сохранённая версия страницы в базе данных поисковика. | Позволяет показывать результат мгновенно, но может устареть. |
| Канонический URL | Официальный адрес страницы, который поисковик должен считать главным. | Предотвращает дублирование и «размывание» веса страниц. |
Если у вас уже настроен robots.txt и sitemap.xml, следующей логичной проверкой является именно индексация.
2. Подготовка: что должно быть готово перед проверкой
- Доступ к Яндекс.Вебмастеру – ваш сайт должен быть подтверждён (через файл, метатег или DNS).
- Доступ к Google Search Console – аналогично, подтверждение через HTML‑файл, метатег или DNS.
- Файл
sitemap.xml– желательно, чтобы в нём были все важные страницы (не более 50 000 URL и не более 50 МБ).
Совет: если у вас несколько доменов (например,
konakovo.ruиwww.konakovo.ru), добавьте их оба в оба инструмента. Поисковики могут рассматривать их как отдельные ресурсы.
3. Проверка индексации в Яндекс.Вебмастере
3.1 Открываем раздел «Индексация»
- Заходим в Яндекс.Вебмастер → ваш сайт → Индексация → Страницы.
- Сразу увидим две вкладки: «Проиндексированные» и «Не проиндексированные».
3.2 Фильтрация по статусу
| Статус | Что означает | Как исправить |
|---|---|---|
| 200 | Страница успешно отдана роботу. | Всё в порядке. |
| 404 | Страница не найдена. | Удалить из sitemap или добавить редирект 301. |
| 403/401 | Доступ запрещён. | Открыть для роботов в robots.txt. |
| 302/301 | Перенаправление. | Убедиться, что редирект указывает на канонический URL. |
| 500 | Ошибка сервера. | Исправить техническую проблему. |
3.3 Как быстро получить список всех проиндексированных URL
- Нажмите кнопку «Экспортировать», выберите формат CSV.
- В полученном файле будет колонка
URLиStatus.
3.4 Проверка «потерянных» страниц
- Перейдите в «Индексация» → «Не проиндексированные».
- Сортируйте по колонке
Reason(причина). - Сфокусируйтесь на причинах, которые вы можете исправить:
robots.txt,noindex,404.
3.5 Быстрый чек‑лист после анализа
- [ ] Удалить из sitemap все URL с
404. - [ ] Добавить в
robots.txtправилаAllowдля страниц, которые должны индексироваться. - [ ] Убедиться, что на страницах нет метатега
<meta name="robots" content="noindex">. - [ ] При необходимости запросить переобход (кнопка «Запросить переобход» в Яндекс).
4. Проверка индексации в Google Search Console
4.1 Переходим в раздел «Покрытие»
- Откройте Google Search Console → ваш ресурс → Покрытие.
- Видим четыре карточки: «Ошибки», «Валидные с предупреждением», «Валидные», «Исключённые».
4.2 Что скрывается за каждой карточкой
| Карточка | Содержание | Что делаем |
|---|---|---|
| Ошибки | Страницы, которые Google не может проиндексировать. | Исправляем причины (404, 500, блокировка). |
| Валидные с предупреждением | Страницы проиндексированы, но есть небольшие проблемы (например, duplicate). |
Оценить, нужен ли канонический тег. |
| Валидные | Всё в порядке – страница в индексе. | Никаких действий. |
| Исключённые | Страницы, которые Google сознательно не включил (noindex, robots.txt, параметр URL). | Проверить, действительно ли нужно их исключать. |
4.3 Выгрузка списка URL
- Нажмите «Экспортировать» → Google Sheets или CSV.
- В файле будет колонка
URL,Тип,Последний краулинг,Причина.
4.4 Как проверить, что все важные страницы попали в индекс
- Сравните выгруженный список с вашим
sitemap.xml. - Любой URL из sitemap, которого нет в «Валидных», – потенциальный «проблемный» элемент.
4.5 Инструмент «URL‑Inspection»
- Введите любой URL в поле «Проверка URL».
- Система покажет статус индексации и, если нужно, кнопку «Запросить индексацию».
4.6 Практический чек‑лист для Google
- [ ] Убедиться, что в
robots.txtнетDisallowдля нужных страниц. - [ ] Удалить метатег
noindexс тех страниц, которые должны быть в поиске. - [ ] При необходимости добавить
rel="canonical"на дублирующие страницы. - [ ] Запросить переобход только для действительно новых или исправленных URL (не перегружайте краулер).
5. Синхронизация данных между Яндексом и Google
| Задача | Как выполнить | Почему это важно |
|---|---|---|
| Сравнить списки проиндексированных страниц | Скачайте CSV из обоих сервисов, откройте в Excel/Google Sheets, используйте функцию VLOOKUP или MATCH. |
Позволяет обнаружить, какие страницы «потерялись» в одной из систем. |
| Выявить различия в статусах | Сводите статусы в одну колонку (200, 404, noindex). |
Помогает понять, где именно нужно работать (технические ошибки vs. SEO‑настройки). |
| Отслеживать динамику | Сохраняйте выгрузки раз в месяц, сравнивайте изменения. | Видите, как ваши правки влияют на индексацию. |
Совет: если вы обнаружили, что страница проиндексирована в Яндексе, но не в Google, проверьте, нет ли у неё
X-Robots-Tag: noindexв заголовках HTTP – Google читает этот заголовок более строго.
6. Частые ошибки и как их избежать
| Ошибка | Как проявляется | Как исправить |
|---|---|---|
| robots.txt блокирует всё | В Яндексе и Google «Не проиндексированные» → причина robots.txt. |
Откройте файл, оставьте только нужные Disallow. |
noindex в метатеге |
Страницы в «Исключённых» (Google) или «Не проиндексированные» (Яндекс). | Удалите метатег или замените на index. |
| Дублирование URL (http vs https, www vs non‑www) | Появляются предупреждения о дубликатах. | Настройте 301‑редиректы и укажите канонический URL. |
| Слишком большой sitemap | Яндекс отбрасывает часть URL, Google показывает «Слишком большой файл». | Разбейте sitemap на несколько файлов, каждый < 50 000 URL. |
Отсутствие lastmod |
Поисковики могут реже обновлять страницу. | Добавьте атрибут lastmod с датой последнего изменения. |
7. Автоматизация процесса (необязательно, но полезно)
- Python‑скрипт с библиотекой
requestsможет скачать CSV из Яндекс.Вебмастера (по API) и Google Search Console (поsearchconsoleAPI). - Google Data Studio позволяет построить дашборд, где в реальном времени отображается количество проиндексированных страниц в каждой системе.
Важно: используйте API‑ключи только в безопасных окружениях, не храните их в открытом репозитории.
Практика для закрепления
-
Сравните индексацию
- Скачайте CSV‑файлы из Яндекс.Вебмастера и Google Search Console.
- В таблице найдите минимум 5 URL, которые находятся в индексе только одной из систем.
- Опишите, какие причины могут стоять за этим различием.
-
Исправьте «noindex»
- Выберите любую страницу вашего сайта, которая в Google находится в разделе «Исключённые» из‑за
noindex. - Удалите метатег
noindexи запросите переобход через «URL‑Inspection». - Через 48 часов проверьте, появилось ли она в «Валидных».
- Выберите любую страницу вашего сайта, которая в Google находится в разделе «Исключённые» из‑за
-
Оптимизируйте robots.txt
- Откройте текущий
robots.txt. - Добавьте правило
Allow: /blog/(если оно было закрыто) и уберите лишнееDisallow: /. - Сохраните изменения, отправьте файл в Яндекс и Google через их консоли.
- Откройте текущий
-
Создайте отчёт
- В Excel/Google Sheets создайте сводную таблицу, где строки — URL, а столбцы — статус в Яндексе и в Google.
- Выделите цветом все строки, где статусы не совпадают.
-
Проверьте канонику
- Найдите страницу с дублирующим контентом (например,
https://konakovo.ru/priceиhttps://konakovo.ru/price/). - Добавьте на обе страницы
<link rel="canonical" href="https://konakovo.ru/price">. - Через консоль Яндекса и Google проверьте, исчезли ли предупреждения о дубликатах.
- Найдите страницу с дублирующим контентом (например,
Поздравляю! Вы теперь уверенно проверяете индексацию, быстро находите и устраняете проблемы, а также умеете сравнивать данные между двумя крупнейшими поисковыми системами. Это базовый навык, без которого невозможно построить устойчивый SEO‑трафик в Конаково без бюджета на контекстную рекламу.
Продолжайте экспериментировать, фиксировать результаты в таблицах и регулярно проверять индексацию – и ваш сайт будет постоянно «виден» в поиске.
БЕСПЛАТНЫЙ КУРС: «КАК СОЗДАТЬ ЦИФРОВОЙ СЕЙФ ЗА 1 ВЕЧЕР»
Бесплатный курс: Оптимизация Битрикс на VDSina шаг за шагом
Чат онлайн с функцией стикеров
Чат-встреча
Fashion-байинг: ключевые этапы создания сезонной коллекции
ИП или ООО: как выбрать форму бизнеса в Москве
Как правильно настроить robots.txt для SEO
Как правильно размещать стрелки с подписями
Конвертер Азбуки Морзе в Аудио
Коттеджный поселок "Дуслык" — вблизи Уфы
Онлайн общение Екатеринбург
Онлайн рулетка с поддержкой мобильных устройств
Основы SEO: понимание Google Analytics и Google Search Console
От нуля до поездки: самостоятельный туризм
Платформы для оплаты ИИ
Подготовка к ОГЭ: справочные материалы
Решение проблем с индексированием сайта
РФ 2026, Европа, РКН, Adsense: $3000/мес без потери аккаунта
Сбои AutoCAD при загрузке - как избежать
Стальные фитинги и трубы для промышленности
Только слух, без текста: 5 минут ежедневного погружения
Видео чат случайный