Индексация сайта в поисковых системах: понятия и определения

понятия, определения и базовые знания SEO

Индексация сайта — это процесс обхода страниц сайта поисковыми роботами для определения их содержимого и размещения в индексе поисковых систем. В процессе индексации роботы могут определять такие элементы документа:

  • теги и метатеги;
  • ссылки;
  • микроразметку;
  • изображения и анимации;
  • видео;
  • текстовый контент;
  • прочие элементы.

В процессе индексации сайта его страницы заносятся в базу данных поисковой системы, так называемый индекс, и могут быть доступны пользователям в процессе поиска. Почему могут быть, а не доступны — читайте дальше.

Виды поискового индекса

Поисковые системы имеют два вида индекса:

  • основной;
  • дополнительный или не основной.

С основным индексом всё понятно — это фактические и есть результаты поиска. Если сайт хорошо индексируется, его страницы находятся в основном индексе.

Дополнительный или не основной индекс (Supplemental Results) — это страницы сайта, которые по разным причинам не соответствуют качеству поисковых систем. Их не получится найти в результатах поиска. Причины попадания документов в дополнительный индекс или «сопли»:

  • дубль — содержимое страницы дублируется в рамках текущего сайта;
  • низкая уникальность — контент страницы скопирован с другого сайта;
  • аффилиат — полная или частичная копия страницы другого сайта;
  • низкое качество — страница пуста или слабо наполнена контентом;
  • недостаточно доверия — подозрение со стороны поисковика о накрутке показателей и спамных методов продвижения;
  • отсутствие внешних ссылок — наличие 1-2 проиндексированных внешних ссылок повышает вероятность индексации документа;
  • плохая оптимизация — повторяющиеся или низкокачественные метаданные, заголовки и прочие элементы.

99,9999% всех страниц в базе данных поисковых систем находятся именно в «соплях». Попадание в основной индекс, а затем на вершину результатов поиска — прерогатива только лучших сайтов.

Вас могут заинтересовать курсы SEO в Днепре.

Оператор поиска для проверки индексации сайта

Чтобы найти все страницы сайта, находящиеся в индексе, используйте оператор site:domen. Пример использования представлен на скриншоте ниже.

проверка индексации сайта

Если вы хотите проверить наличие какого-то конкретного url в индексе, то после оператора site: укажите этот url.

Как управлять индексацией сайта

Для начала убедитесь, что в файле robots.txt не стоит запрет на индексацию всего сайта или отдельных страниц. Чтобы поисковые роботы беспрепятственно посещали ВСЕ БЕЗ ИСКЛЮЧЕНИЯ разделы сайта, он должен иметь вид:

User-agent: *

Allow: /

или

User-agent: *

Disallow:

В первом случае мы разрешаем индексировать всё, во втором случае мы ничего не запрещаем индексировать. Главная страница в любом случае будет индексироваться. Но, даже если в robots.txt будет установлен запрет, внутренние страницы всё равно могут попасть в индекс. Это произойдёт в случае прямых ссылок на них с главной или внешних ссылок с других сайтов.

Ускорить индексацию страниц поможет хорошая карта сайта sitemap.xml. Путь к ней указывается в файле robots.txt после оператора Sitemap:, как на примере ниже.

User-agent: *

Allow: /

Sitemap: https://domen/sitemap.xml

В конце концов, всегда есть ручная индексация страницы через панель вебмастеров Google или Яндекс.

Частные случаи проблем с индексацией документов

Нередки случаи, когда вроде бы всё правильно, но страницы не индексируются. В этом случае нужно проверить наличие и правильность использования атрибутов:

  • noindex;
  • nofollow;
  • canonical.

Если у вас возникают проблемы с индексацией страниц и вам нужно продвижение сайта в Днепре, то пишите или звоните по контактам внизу страницы.

Индексация сайта в поисковых системах: понятия и определения
Оцените это

Азбука SEO
Что такое индексация сайта и как она происходит. Как повлиять на индексацию документа или запретить её...
Азбука SEO
Что такое AMP (технология ускорения мобильных страниц). Требования к формату и методы проверки...
Продвижение сайтов
Где можно указать Google или Яндексу, с какой скоростью ботам сканировать страницы сайта...
ключевой канал продвижения сайта
от 5 000 грн.
ежемесячная услуга
ключевой канал продвижения сайта
от 4 000 грн.
ежемесячная услуга
4 999 грн.
разовая услуга
от 3 000 грн.
ежемесячная услуга