Индексация сайта в поисковых системах: понятия и определения

понятия, определения и базовые знания SEO

Индексация сайта – это процесс обхода страниц сайта поисковыми роботами для определения их содержимого и размещения в индексе поисковых систем. В процессе индексации роботы могут определять такие элементы документа:

  • теги и метатеги;
  • ссылки;
  • микроразметку;
  • изображения и анимации;
  • видео;
  • текстовый контент;
  • прочие элементы.

В процессе индексации сайта его страницы заносятся в базу данных поисковой системы, так называемый индекс, и могут быть доступны пользователям в процессе поиска. Почему могут быть, а не доступны – читайте дальше.

Виды поискового индекса

Поисковые системы имеют два вида индекса:

  • основной;
  • дополнительный или не основной.

С основным индексом всё понятно – это фактические и есть результаты поиска. Если сайт хорошо индексируется, его страницы находятся в основном индексе.

Дополнительный или не основной индекс (Supplemental Results) – это страницы сайта, которые по разным причинам не соответствуют качеству поисковых систем. Их не получится найти в результатах поиска. Причины попадания документов в дополнительный индекс или “сопли”:

  • дубль – содержимое страницы дублируется в рамках текущего сайта;
  • низкая уникальность – контент страницы скопирован с другого сайта;
  • аффилиат – полная или частичная копия страницы другого сайта;
  • низкое качество – страница пуста или слабо наполнена контентом;
  • недостаточно доверия – подозрение со стороны поисковика о накрутке показателей и спамных методов продвижения;
  • отсутствие внешних ссылок – наличие 1-2 проиндексированных внешних ссылок повышает вероятность индексации документа;
  • плохая оптимизация – повторяющиеся или низкокачественные метаданные, заголовки и прочие элементы.

99,9999% всех страниц в базе данных поисковых систем находятся именно в “соплях”. Попадание в основной индекс, а затем на вершину результатов поиска – прерогатива только лучших сайтов.

Вас могут заинтересовать курсы SEO в Днепре.

Оператор поиска для проверки индексации сайта

Чтобы найти все страницы сайта, находящиеся в индексе, используйте оператор site:domen. Пример использования представлен на скриншоте ниже.

проверка индексации сайта

Если вы хотите проверить наличие какого-то конкретного url в индексе, то после оператора site: укажите этот url.

Как управлять индексацией сайта

Для начала убедитесь, что в файле robots.txt не стоит запрет на индексацию всего сайта или отдельных страниц. Чтобы поисковые роботы беспрепятственно посещали ВСЕ БЕЗ ИСКЛЮЧЕНИЯ разделы сайта, он должен иметь вид:

User-agent: *

Allow: /

или

User-agent: *

Disallow:

В первом случае мы разрешаем индексировать всё, во втором случае мы ничего не запрещаем индексировать. Главная страница в любом случае будет индексироваться. Но, даже если в robots.txt будет установлен запрет, внутренние страницы всё равно могут попасть в индекс. Это произойдёт в случае прямых ссылок на них с главной или внешних ссылок с других сайтов.

Ускорить индексацию страниц поможет хорошая карта сайта sitemap.xml. Путь к ней указывается в файле robots.txt после оператора Sitemap:, как на примере ниже.

User-agent: *

Allow: /

Sitemap: https://domen/sitemap.xml

В конце концов, всегда есть ручная индексация страницы через панель вебмастеров Google или Яндекс.

Частные случаи проблем с индексацией документов

Нередки случаи, когда вроде бы всё правильно, но страницы не индексируются. В этом случае нужно проверить наличие и правильность использования атрибутов:

  • noindex;
  • nofollow;
  • canonical.

Если у вас возникают проблемы с индексацией страниц и вам нужно продвижение сайта в Днепре, то пишите или звоните по контактам внизу страницы.

Кейсы
Продвижение сайта МФО. Этапы работы и описание стратегии. Реальные результаты роста органического трафика...
Продвижение сайтов
Что такое Core Web Vitals. Основные сигналы фактора ранжирования для улучшения пользовательского опыта. Как проверить ошибки...
Новости Google
Google ввёл новый атрибут для коммерческих ссылок. Теперь поисковик будет знать о каждой проданной ссылке...
ключевой канал продвижения сайта
от 6 000 грн.
ежемесячная услуга
ключевой канал продвижения сайта
от 6 000 грн.
ежемесячная услуга
5 999 грн.
разовая услуга
от 6 000 грн.
ежемесячная услуга