Как Google определяет спамные страницы: коэффициент сжатия контента и не только

Поисковые системы очень неохотно делятся своими секретами, касающихся факторов ранжирования. Но если обратиться к истокам, когда всё начиналось, то можно узнать и понять много интересного о текстовых алгоритмах. Так, в далёком 2006 году компания единомышленников Александрос Нтулас, Марк Найорк, Марк Манасс и Деннис Феттерли презентовали исследование на тему «Обнаружение спам-страниц посредством анализа контента». Они выдвинули гипотезу, проверили её и доказали, что при помощи анализа результатов сжатия веб-страниц можно с 70% точностью автоматически определять некачественные спам-страницы для последующего исключения их из индекса. А используя перекрёстные методы анализа результативность можно повысить до 95% и даже выше.

Почему именно анализ сжатого контента

Всё дело в том, что Google и так использует технологии сжатия для решения своих задач:

• экономии трафика при работе со страницами;
• экономии места на сервере при хранении копий страниц;
• повышения скорости обработки информации.

Попутно поисковая система может использовать результаты сжатия для поиска идентичных страниц, дублей, однотипных страниц, страниц с повторяющимися ключевыми фразами и так далее.

Как работает сжатие на практике

Показатель сжимаемости характеризует, насколько сильно можно уменьшить объём файла, максимально сохранив основную информацию документа. Простыми словами, алгоритмы анализируют документ, выявляя закономерности и определяя наиболее часто повторяющиеся фрагменты, с последующей подменой их на короткие коды или символы. Тем самым значительно сокращая занимаемый документом объём.

Содержание научной работы

В пояснительном разделе научной работы указано, что поисковые системы придают особое значение страницам, у которых чаще остальных упоминается какое-то ключевое слово или фраза. Страница, имеющая множественное вхождение поисковой фразы, с высокой вероятностью будет иметь более высокий рейтинг по ней, чем страница, с единичным упоминанием той же поисковой фразы. И оптимизаторы злоупотребляют этим сигналом ранжирования, искусственно набивая контент ключами, копируя несколько раз один и тот же текст, таким образом пытаясь получить более высокий рейтинг.

Научная работа объясняет, что чрезмерно насыщенные ключевиками страницы, как правило, имеют очень высокий коэффициент сжатия по отношению к первоначальному размеру документа. По сравнению со страницами, содержимое которых более разнообразно и естественно. Была выдвинута гипотеза, что массовый анализ коэффициентов сжатия документов позволит быстро и достаточно точно выявлять некачественные спам-страницы. Для измерения использовался простой и быстрый архиватор GZIP.

Коэффициент сжатия вычислялся отношением размеров исходной страницы к сжатой:

K = V / Vgzip

Чем плотнее было сжатие, тем выше был коэффициент сжатия.

Результаты исследований

В результате исследований было выявлено, что данный алгоритм точно определяет порядка 70% спам-страниц, имеющих коэффициент сжатия не менее 4,0. Также были сделаны важные выводы о том, что сама по себе методика анализа коэффициента сжатия даёт достаточно высокую погрешность, так как большая доля качественных страниц также имела высокий коэффициент сжатия. Чтобы исключить ошибочные оценки и ложные срабатывания алгоритма, исследователи проводили оценку документов еще по ряду критериев, которые не называются. В результате пришли к выводу, что отдельные сигналы определяют только какой-то конкретный вид спама и малоэффективны без перекрёстного анализа несколькими методиками.

Что это может значить для SEO

Из этого исследования далёкого 2006 года современный SEO-специалист должен сделать такие выводы:

• Текстовый спам очень легко определяется поисковыми системами. Именно с этим и связано появление в 2011 году первого официального алгоритма Google Panda, который вычистил результаты поиска от автоматически сгенерированных страниц, контент-ферм, дорвеев и прочих форм поискового спама.
• Современные алгоритмы поисковых систем перекрёстно используют сотни сигналов для более точного определения качества страниц, но всегда остаётся доля погрешности. Если в процессе очередного обновления алгоритма вы наблюдаете существенный рост одних сайтов и просадку позиций других, не торопитесь делать преждевременные выводы и срочно менять стратегию. Главная ваша стратегия – это долгосрочная стратегия качества.
• Достоверно неизвестно, какие критерии качества современные поисковые алгоритмы предъявляют сайтам. Но опираясь на описанные выше исследования можно предположить, что все страницы сайта с коэффициентом сжатия выше 4,0 с высокой долей вероятности могут расцениваться как спамные. И если таких страниц будет много, допустим, больше половины, то сайт рискует получить метку спам-площадки со всеми вытекающими последствиями.

Проверка коэффициента сжатия страниц вашего сайта не обязательно должна привести к радикальным мерам по отношению к документам с результатами >4, но может дать пищу для размышлений.

Услуги продвижения сайта в Днепре от любознательного seo-специалиста.