Индексация сайта в Яндексе и Google: как проверить и что делать, если страниц нет в поиске

Сайт запустили месяц назад. Вы вбиваете в Яндекс название своей услуги, потом название компании и находите что угодно, кроме себя. Или находите старую страницу, которой давно нет. Обычно в этот момент ругают SEO, хотя проблема сидит на шаг раньше: в индексации сайта.

Индексация сайта — это когда поисковый робот находит страницы, читает их и добавляет в свою базу. Страница, которой в этой базе нет, не покажется в поиске ни по одному запросу. Даже по названию компании.

Ниже разберём, как проверить индексацию за десять минут, как добавить сайт в Яндекс и Google и что делать, если нужных страниц в поиске нет.

Проще всего представить библиотеку. Книга может стоять на полке, но если её нет в каталоге, библиотекарь её не найдёт. Для читателей её как будто не существует.

Поисковик работает так же. Он ищет не по всему интернету в момент запроса, а по своему каталогу. Этот каталог и называют индексом.

Важная оговорка: попасть в индекс ещё не значит оказаться наверху. Индексация — билет на соревнование, а не медаль. На каком месте страница окажется, решают уже другие вещи: насколько хорошо она отвечает на запрос, удобна ли, доверяют ли сайту. Это задача SEO-продвижения, а о том, как следить за местами в поиске, мы писали в статье про проверку позиций сайта.

И ещё одно. Яндекс и Google индексируют сайты независимо друг от друга. Страница может давно быть в Google и при этом отсутствовать в Яндексе. Проверять нужно оба поисковика.

Google к тому же смотрит прежде всего на мобильную версию сайта. Если на телефоне часть текста спрятана или вырезана ради красоты, для Google этого текста почти нет.

Есть быстрый способ посмотреть примерную картину и два точных.

Наберите в поиске site:вашсайт.ru. Поисковик покажет страницы вашего сайта из своей базы. Так сразу видно, есть ли сайт в поиске вообще и как выглядят его страницы в выдаче.

Цифры здесь примерные. Для точного ответа нужны бесплатные панели, которые поисковики делают для владельцев сайтов.

Чтобы пользоваться Вебмастером, нужно подтвердить права на сайт. После этого в разделе «Индексирование» видно главное:

• «Страницы в поиске»: сколько и какие страницы участвуют в поиске, а на вкладке «Исключённые страницы» — какие выпали и по какой причине;
• проверка конкретной страницы: знает ли о ней робот и участвует ли она в поиске;
• «Статистика обхода»: какие страницы робот скачивал и что ему ответил сервер.

Это такая же панель у Google. Отчёт «Индексирование страниц» показывает, сколько страниц в индексе и почему остальные туда не попали. Инструмент проверки URL отвечает по одной странице и позволяет запросить её индексирование.

Посчитайте, сколько на сайте страниц, которые должны находиться в поиске: услуги, товары, статьи, контакты. Сравните с числом страниц в индексе.

Если нужных страниц 60, а в поиске 15, робот до многих не добрался или отбросил их. Если в поиске 600, туда попал мусор: дубли, страницы фильтров, служебные адреса. Обе ситуации нужно разбирать.

Дальше хватит короткой привычки. Раз в месяц открывайте «Страницы в поиске» и смотрите, не выросло ли резко число исключённых. А в Вебмастере есть «Мониторинг важных страниц»: добавьте туда главные услуги и разделы, и панель подскажет, если с ними что-то случится.

Новый сайт робот рано или поздно найдёт сам, по ссылкам с других сайтов. Но «рано или поздно» может растянуться надолго. Лучше сказать о себе самим.

Яндекс в своей справке пишет, что после обхода робота страницы могут появиться в поиске в течение двух недель. Если прошло больше, а страниц нет, пора искать причину.

Причины удивительно однообразны. Большинство находится за полчаса, если знать, куда смотреть.

Пара терминов из таблицы. robots.txt — служебный файл, где сайт говорит роботам, куда ходить нельзя. noindex — метка в коде страницы с просьбой не добавлять её в поиск. Обе вещи нужны для корзины, личного кабинета и служебных страниц. Беда начинается, когда запрет случайно накрывает весь сайт.

С дублями помогает canonical. Это подсказка в коде, которая сообщает поисковику, какая из похожих страниц главная. Для Яндекса есть ещё директива Clean-param в robots.txt. Она объясняет, какие хвосты в адресе ничего не меняют, например рекламные метки.

Отдельно о сайтах, где страницу собирают скрипты прямо в браузере. Человек видит всё, а робот при первом заходе может получить почти пустую заготовку. Поисковики умеют выполнять скрипты, но не всегда и не сразу. Надёжнее, когда сервер сразу отдаёт готовую страницу с текстом.

Проверить это можно самому. Откройте страницу, нажмите правой кнопкой «Просмотр кода страницы» и поищите там фразу из основного текста. Если её нет, роботу тоже может быть нечего читать.

У больших каталогов своя беда. Фильтры и сортировки порождают тысячи адресов вроде «диваны, синие, по цене, вторая страница». Робот тратит время на этот мусор и медленнее добирается до нужного. Такие адреса закрывают от индексации, а в поиске оставляют только подборки, которые люди правда ищут.

Самые загадочные причины исключения выглядят как короткие статусы в панелях. Вот четыре, которые встречаются чаще всего.

Яндекс прямо пишет, что статус малоценной или маловостребованной страницы — не наказание и не признак нарушений. Алгоритм регулярно перепроверяет страницы. После доработки решение может измениться.

Если конкретной страницы нет в поиске, идите по шагам. Не нужно сразу переписывать сайт.

Если после всех шагов страница так и не появилась, проблема глубже. Обычно она в устройстве сайта, дублях или качестве содержания. Тут поможет SEO-аудит: проверка, которая находит технические и смысловые причины разом.

Больше всего страниц теряется в три момента: запуск нового сайта, редизайн и переезд на другой сервер или домен. Сайт делают на тестовом адресе и закрывают от роботов. При запуске о закрытии забывают.

Ещё одна частая ловушка: на новом сайте меняются адреса страниц. Старые адреса в поиске ведут в никуда, и накопленные позиции пропадают. Спасает постоянная переадресация, её называют 301-м редиректом. Она сообщает роботу, что страница переехала навсегда, и переносит её вес на новый адрес.

Что проверить в день запуска и в первые недели:

• снят ли запрет в robots.txt и нет ли noindex на страницах;
• настроены ли 301-е редиректы со всех старых адресов, если они поменялись;
• обновлена ли карта сайта и отправлена ли она в обе панели;
• остались ли счётчик Метрики и подтверждение прав в Вебмастере;
• не растёт ли в первые две недели число исключённых страниц и ошибок сервера;
• есть ли мониторинг, который сообщит о падении сайта раньше, чем это заметит робот.

Подробнее о том, как обновить сайт без потерь, мы писали в статье про редизайн сайта. А следить за ошибками и падениями после запуска обычно входит в техническую поддержку сайта. Тогда проблему видно в тот же день, а не через месяц по просевшему трафику.

Индексацию вообще проще заложить с самого начала, чем чинить потом. На сайте производителя деревянных домов о поиске думали с первого дня разработки. Сейчас у сайта с каталогом из 197 домов 23 000 визитов из поиска.

Индексация сайта — это попадание страниц в базу поисковика. Без неё страницу не найдут ни по одному запросу. Проверить индексацию можно за десять минут в Яндекс Вебмастере и Google Search Console.

Большинство проблем банальны: запрет в robots.txt, noindex, ошибки сервера, дубли, страницы без ссылок и пустые шаблоны. Особенно внимательно смотрите на индексацию в день запуска и после редизайна.