Сайт не индексируется в Яндексе: что делать

Если сайта или нужных страниц нет в Яндексе, причина почти всегда одна из четырёх: робот не знает о странице, не может её скачать, ему запрещено её индексировать или он посчитал её бесполезной. Первые три чинятся за несколько дней, четвёртая требует работы с содержанием. Ниже разберём, как за полчаса понять, какая из причин ваша, и что поручить разработчику или подрядчику.

Как понять, что проблема действительно есть

Индексация — это когда поисковый робот нашёл страницу, скачал её и добавил в свою базу. Только после этого страница может появиться в выдаче. Если её нет в базе, никакое продвижение не поможет: показывать нечего.

Первая быстрая проверка доступна без всяких кабинетов. Наберите в строке поиска Яндекса site:вашсайт.ru и посмотрите, сколько страниц нашлось и какие. Если результатов ноль или их заметно меньше, чем страниц на сайте, есть повод разбираться. Если пропала конкретная страница, например новая услуга, введите её точный адрес в поиск.

Но этот способ даёт только грубую картину. Точный ответ, что в поиске, а что нет и почему, показывает Яндекс Вебмастер — бесплатный сервис Яндекса для владельцев сайтов. Если сайт в него до сих пор не добавлен, это первое, что нужно сделать. Без Вебмастера вы гадаете, с ним видите причину, которую называет сам Яндекс.

Путь страницы в поиск: где обычно ломается

Чтобы попасть в выдачу, каждая страница проходит четыре шага. Сбой на любом из них оставляет её за бортом.

Шаг 1. Робот узнал о странице. Яндекс находит страницы по ссылкам с других страниц, по карте сайта и по счётчику Метрики. Новая страница, на которую не ведёт ни одна ссылка и которой нет в карте сайта, может месяцами оставаться невидимой.

Шаг 2. Робот смог её скачать. Сервер должен ответить кодом «200 OK», то есть «всё в порядке», и сделать это быстро. Ошибки, перенаправления, долгая загрузка и защита хостинга, которая принимает робота за атаку, обрывают путь на этом шаге. Про скорость подробно писали в статье «Медленный сайт съедает заявки».

Шаг 3. Индексировать разрешено. Владелец сайта может сам запретить роботу заходить на страницы. Это нормально для служебных разделов, но регулярно бывает, что запрет случайно закрывает весь сайт.

Шаг 4. Яндекс счёл страницу полезной. Даже открытую и доступную страницу алгоритм может не взять в поиск, если она пустая, повторяет другую или не отвечает ни на один запрос.

Где смотреть причину в Вебмастере

В Вебмастере откройте раздел «Индексирование», затем «Страницы в поиске» и переключитесь на «Исключённые страницы». Там у каждой выпавшей страницы указана причина. Справка Яндекса расшифровывает каждый статус и говорит, что с ним делать.

Самые частые статусы и что за ними стоит:

Статус в Вебмастере	Что это значит простыми словами	Что делать
Ошибка при загрузке страницы (3XX, 4XX, 5XX)	Робот пришёл, а страница не открылась или перекинула его в другое место	Проверить ответ сервера в Вебмастере, починить ошибку или убрать лишний редирект
Индексирование запрещено в robots.txt или метатегом noindex	Сайт сам попросил робота не заходить	Найти запрет и снять его со страниц, которые должны быть в поиске
Страница дублирует другую	Тот же текст есть по другому адресу	Оставить одну версию, остальные склеить или закрыть
Страница не является канонической	В коде указано, что главная версия лежит по другому адресу	Проверить, правильно ли выставлен адрес в теге canonical
Малоценная или маловостребованная	Алгоритм решил, что страница почти никому не нужна	Наполнять страницу содержанием, а не техническими правками

Отдельно справка подчёркивает: малоценные страницы сами по себе не означают санкций против сайта. Проверить, нет ли ограничений, можно в разделе «Безопасность и нарушения». Если там пусто, сайт не наказан, просто часть страниц не прошла отбор.

Технические причины: что поручить разработчику

Здесь собраны поломки шагов 1–3. Их можно проверить за вечер, а исправить обычно за пару дней.

Запрет в robots.txt. Robots.txt — служебный файл с правилами для роботов, он лежит по адресу вашсайт.ru/robots.txt. Откройте его в браузере. Строка Disallow: / без продолжения запрещает индексировать весь сайт. Так часто делают на время разработки и забывают убрать при запуске. Справка Яндекса отдельно советует: если вы такой запрет не ставили, спросите хостинг-провайдера или регистратора домена.

Метатег noindex. Тот же запрет, только внутри кода конкретной страницы. Его видно в Вебмастере в инструменте «Проверка страницы» и в статусе исключения.

Нет карты сайта. Sitemap — файл со списком всех страниц, которые вы хотите видеть в поиске. Его добавляют в Вебмастере в разделе «Индексирование», затем «Файлы Sitemap». Особенно важна карта для новых сайтов и каталогов, где до части страниц сложно добраться по ссылкам.

Ошибки сервера и редиректы. Если адрес отдаёт 404, страница удалена или переехала. Если 5xx, сервер не справляется. Если цепочка перенаправлений, робот может не дойти до конечной страницы. Всё это видно в разделе «Статистика обхода».

Дубли. Одна и та же страница доступна с www и без, с косой чертой в конце адреса и без, с метками в адресе. Для Яндекса это разные страницы с одинаковым текстом, и он сам выбирает, какую оставить. Порядок наводят переадресацией на одну версию и тегом canonical.

Сайт не подтверждён в Вебмастере. Тогда вы просто не видите ни одной из причин выше. Подтверждение занимает несколько минут: разработчик добавляет на сайт файл или метатег.

Как ускорить индексацию после исправлений

Исправили причину — сообщите Яндексу, иначе робот заметит изменения только при следующем плановом визите.

Переобход страниц. В Вебмастере есть инструмент «Переобход страниц»: вставляете адреса, нажимаете «Отправить». Количество адресов в сутки ограничено, лимит обновляется ежедневно, поэтому отправляйте в первую очередь самые важные страницы: услуги, категории каталога, главную.

Обратите внимание на важную оговорку из справки. Статус «Заявка обработана» значит только, что робот зашёл на страницу. Если она по-прежнему закрыта или признана малоценной, в поиск она не попадёт. Данные в поиске обновляются в течение двух недель после визита робота, так что раньше этого срока результат оценивать бессмысленно.

Обход по счётчику Метрики. Если на сайте стоит Яндекс Метрика, её можно связать с Вебмастером и включить обход страниц по данным счётчика. Тогда робот узнаёт о страницах, которые реально посещают люди, без ручной отправки.

Условный расчёт: во что обходятся невидимые страницы

Цифры условные, для понимания логики. Допустим, у компании сайт с 60 страницами услуг, и каждая в теории собирает свой поисковый спрос: «ремонт кухни под ключ», «ремонт ванной в панельном доме» и так далее.

Показатель	Сейчас	После исправлений
Страниц услуг на сайте	60	60
Из них в индексе Яндекса	18	50
Доля страниц, которые могут приносить обращения	30%	83%

Реклама, соцсети и сарафан работают одинаково в обоих случаях. Но в первом варианте 42 страницы, на которые потрачены деньги и время на создание, вообще не участвуют в поиске. Посчитайте на своих цифрах: сколько страниц на сайте, сколько из них в поиске по данным Вебмастера, и сколько обращений приносит одна работающая страница в среднем. Разница между «есть» и «могло бы быть» и есть цена проблемы.

Важно понимать границы: индексация — это допуск к соревнованию, а не победа. Страница в базе Яндекса ещё не стоит в топе. Но без индексации не будет и топа.

Чек-лист: сайт не индексируется

• Сайт добавлен в Яндекс Вебмастер, права подтверждены, доступ есть у вас, а не только у подрядчика.
• Поиск по site:вашсайт.ru показывает примерно столько страниц, сколько их на сайте.
• В разделе «Безопасность и нарушения» нет ограничений.
• В файле robots.txt нет строки Disallow: /, важные разделы не закрыты.
• На страницах услуг и товаров нет метатега noindex.
• Карта сайта добавлена в Вебмастер и содержит все нужные страницы.
• Важные страницы отвечают кодом 200 и открываются быстро.
• Сайт открывается по одному адресу: без дублей с www и без, с косой чертой и без.
• На каждой важной странице есть уникальный текст, а не шаблон с заменой одного слова.
• Метрика привязана к Вебмастеру, обход по счётчику включён.
• После исправлений важные страницы отправлены на переобход.
• Через две недели вы снова проверили раздел «Исключённые страницы».

Мы собрали серию из 10 подарков для бизнеса — таблицы, чек-листы и материалы по продажам и маркетингу. Забрать можно в нашем боте: @Making_Social_bot.

Сайт есть, а Яндекс его не видит? Напишите нам в Telegram или MAX или позвоните: +7 (958) 498-30-78. Проверим Вебмастер, найдём, на каком шаге застревают страницы, и составим план исправлений. Если сайт готов к росту, возьмём на себя SEO-продвижение целиком.

Источники

• Справка Яндекс Вебмастера, «Почему страницы исключены из поиска» — статусы исключения, малоценные страницы, запрет в robots.txt и noindex, появление в поиске в течение двух недель
• Справка Яндекс Вебмастера, «Переобход страниц» — суточный лимит, визит робота до трёх дней, статус «Заявка обработана» не гарантирует индексацию
• Справка Яндекс Вебмастера, «Индексирование сайта с помощью счетчика Метрики» — привязка Метрики и обход по данным счётчика
• Справка Яндекс Вебмастера, «Страницы в поиске» — где смотреть страницы в поиске и исключённые
• Справка Яндекс Вебмастера, «Дублирование страниц» — как Яндекс обрабатывает дубли и что с ними делать
• Блог Яндекса для вебмастеров, «Персонифицированные уведомления и исключённые страницы со всеми статусами» — как устроен отчёт об исключённых страницах

КОД: RDP2CLO