Краулинговый бюджет: что это и как им управлять

понятия, определения и базовые знания SEO

Краулинговый бюджет — это количество страниц сайта, которое может просканировать Googlebot за одно посещение. Он ограничен и сильно зависит от типа сайта: для одних — это 50 страниц в день, для других 5000 страниц в день. В вебмастере Google есть отдельный график, демонстрирующий примерный краулинговый бюджет для конкретного сайта.

статистика сканирования сайта

Краулинговый бюджет не является фактором ранжирования, поэтому от его размеров позиции никак не зависят. Это сугубо технический параметр, влияющий на скорость индексации нового контента на вашем сайте. Также нужно отметить, если у сайта есть отдельная мобильная версия на поддомене, несколько языковых версий hreflang на поддоменах или ускоренные мобильные страницы AMP, то общий бюджет расходуется на них в том числе.

Рационализация использования краулингового бюджета

Иногда возникают такие ситуации, когда свежий контент размещён на сайте, открыт для индексации, но уже неделю не может попасть в индекс. Другими словами, поисковый робот почему-то не доходит до урла, чтобы его просканировать. Значит, на ресурсе неэффективно используется краулинговый бюджет. Что с этим делать?

Во-первых, проверьте правильность указания карты сайта в файле robots.txt, потому что в первую очередь страницы для сканирования поисковик будет искать в ней. А также установленные запреты на индексацию системных папок, которые могут усложнять задачу гуглботу. Проверьте, что в sitemap.xml генерируются только нужные страницы, принимающие участие в привлечении поискового трафика.

Во-вторых, проведите аудит сайта на наличие дублей или прочих мусорных страниц, которые «съедают» краулинговый бюджет и он расходуется впустую. Это также касается каких-то страниц, создающих бесконечные пространства, например, календари.

В-третьих, в карте сайта можно добавить для URL параметр last-modified или дату последнего изменения страницы. Таким образом, при повторном посещении гуглботом страницы, будут сверяться даты и время предыдущих посещений. И если этот параметр будет старше, то браузер отдаст код HTTP 304. Тем самым сообщив, что страница не менялась с последнего посещения, и её не нужно сканировать. Тем самым сэкономив краулинговый бюджет сайта.

Качественная раскрутка сайтов в Днепре без проблем с бюджетом на краулинг доступна по контактам внизу.

Краулинговый бюджет: что это и как им управлять
Оцените это

Азбука SEO
Что такое AMP (технология ускорения мобильных страниц). Требования к формату и методы проверки...
Продвижение сайтов
Где можно указать Google или Яндексу, с какой скоростью ботам сканировать страницы сайта...
Новости Google
ТОП-10 самых посещаемых в 2018 году сайтов в Украине. Исследование Factum Group Ukraine...
ключевой канал продвижения сайта
от 5 000 грн.
ежемесячная услуга
ключевой канал продвижения сайта
от 4 000 грн.
ежемесячная услуга
4 999 грн.
разовая услуга
от 3 000 грн.
ежемесячная услуга