Как работает энтропия Шеннона: баланс между переспамом и пустотой

Представьте, что вы открыли детектив, а на первой же странице автор буднично сообщает: «Убийца — дворецкий».

Интрига испарилась. Если следующие триста страниц автор будет просто пересказывать эту развязку разными словами, читать дальше никто не станет: в тексте нет развития, каждая строка на 100% предсказуема.

А теперь обратный сценарий: сыщик триста страниц расследует кражу фамильных драгоценностей, опрашивает свидетелей, сопоставляет улики, а в финале заявляет, что виноват летающий утюг из параллельной вселенной, о котором до этого не было ни строчки. Неожиданно? Ещё как! Но это не гениальный сюжетный твист, а бессвязный абсурд, ломающий всю логику истории.

В 1948 году отец теории информации Клод Шеннон математически связал количество информации с вероятностью события: чем предсказуемее сигнал, тем меньше новой информации он несёт. Если событие неизбежно (вероятность 100%), информации ноль. Если событие редкое и неожиданное, его неожиданность в битах выше.

В SEO-текстах действуют ровно те же четыре ситуации, только вместо сигналов связи мы оперируем словами и фактами:

• Текст зациклен на нескольких ключах: автор берёт целевой запрос (например, «доставка цветов Москва») и вкручивает его в каждую строчку: «Заказывайте доставку цветов в Москве. Наша доставка цветов по Москве недорогая...». Каждое следующее слово очевидно заранее. Словарь схлопывается, текст звучит неестественно, а энтропия падает.
• Автор льёт воду повторяющимися штампами: «Наша компания предлагает клиентам решения для бизнеса. Мы заботимся о клиентах, потому что наша компания — надежная компания...». Прямого спама целевым запросом вроде бы нет, но автор гоняет по кругу пяток дежурных слов («компания», «клиент», «решение», «качество»). Текст пустой, словарь крайне беден, энтропия так же низка.
• Автор раскрывает тему через характеристики, условия и примеры: автор даёт прямой ответ и развивает его через предметную конкретику — параметры, материалы, варианты применения и цены. Например, в обзоре техники появляются модели процессоров, объём памяти, типы разъёмов и замеры автономности. Появляется естественная терминология ниши, а словарь обогащается.
• Все слова разные, но получается бессвязный бред или уход от задачи: автор увлекается вычурными оборотами и уходит в посторонние темы: «Сквозь призму веков созидательная мысль человечества стремилась к обузданию космического вакуума...». Слов много, повторов нет, математически энтропия высока. Но посетителю, который пришёл за конкретным товаром или ответом на вопрос, этот экскурс ничем не поможет — задача страницы теряется под словесным хаосом.

В прикладной статье прямой ответ в первом абзаце — отличная практика: прятать «дворецкого» ради искусственной интриги не нужно. Но дальше читатель ждёт развития: технических характеристик, условий заказа, сравнительных примеров и частых ошибок. Именно эти детали обогащают словарный состав страницы естественным путём, без натужного креатива и без переспама.

В теории информации энтропия измеряет уровень неопределённости системы. Применительно к анализу страниц она отвечает на прикладной вопрос: «Насколько разнообразен словарь документа и как распределены частоты слов?»

Метрика описывает форму и богатство словарного распределения, но сама по себе не оценивает смысл, достоверность, глубину или полезность мысли. Понять её логику легче всего на трёх контрастных состояниях:

• Энтропия равна нулю (H = 0): весь текст состоит из бесконечного повторения одного слова: «купить купить купить купить». Любое следующее слово известно со 100% вероятностью. Неопределённости ноль, разнообразия ноль — информации в математическом смысле нет.
• Все слова разные — максимум разнообразия: сравните две фразы одинаковой длины:

  • «Фламинго вращают космические кастрюли вокруг сиреневого нотариуса» — семь слов, ни одного повтора. С точки зрения математики энтропия здесь предельная, но для читателя это чистый бессвязный бред.
  • «Беспроводные наушники комплектуются зарядным кейсом и кабелем» — те же семь абсолютно разных слов и точно такая же высокая энтропия. Но здесь каждое слово работает на интент страницы и сообщает точные факты о товаре.

  Этот контраст наглядно показывает: высокий показатель сам по себе не гарантирует пользы текста — принципиально важно, чем именно обеспечено словарное разнообразие.
• Естественный рабочий текст (здоровая норма): в реальной статье или описании услуги слова не могут быть уникальными на 100%. Опорные термины темы (например, «смартфон», «камера», «аккумулятор» или «доставка», «букет», «заказ») неизбежно повторяются, связывая фразы по смыслу. А богатство словаря формируется за счёт конкретики: характеристик, марок, размеров, условий и сравнительных примеров.

Формула Клода Шеннона вычисляет среднее количество информации (в битах), приходящееся на каждое слово текста:

В чём физический смысл: если главный поисковый ключ страницы мелькает в каждом предложении, его появление становится слишком ожидаемым — его информационный вес падает. А вот термины, появляющиеся при детальном разборе свойств, параметров и условий сервиса, несут высокую неожиданность и обогащают общий словарь. Формула сводит эти вероятности воедино.

Теоретический максимум энтропии ограничен количеством уникальных слов в тексте: Hmax = log₂(V), где V — число уникальных лемм. Чем длиннее документ, тем шире его потенциальный словарь. Именно поэтому нет смысла сравнивать энтропию карточки товара со статьёй-лонгридом — ориентиром всегда должны служить документы аналогичного типа из реального топа выдачи.

В Descore расчёт энтропии автоматизирован и проходит четыре этапа:

• 1. Извлечение и лемматизация body-текста: алгоритм извлекает весь текстовый контент страницы (включая меню и футер) за вычетом служебной HTML-разметки. Слова приводятся к нормальной словарной форме (лемме): например, формы «смартфон», «смартфона» и «смартфоном» объединяются в одну лемму. Расчёт строится по полному лемматизированному потоку слов.
• 2. Подсчёт вероятностей p(w): для каждой леммы определяется точная частота появления и её доля от общего объёма слов страницы.
• 3. Расчёт H(X): по формуле Шеннона вычисляется итоговая энтропия документа с округлением до сотых.
• 4. Сопоставление с топом выдачи: полученный результат сравнивается с выборкой страниц конкурентов из ТОП-10 по вашему кластеру через робастное Z-отклонение.

Для сравнения энтропии с конкурентами Descore использует индивидуальный SERP-слепок под каждый конкретный кластер ваших запросов, оценивая реальных конкурентов в выдаче.

Ниже приведены реальные замеры по трём разным кластерам в Descore — исключительно для наглядной иллюстрации того, как специфика тематики и тип страниц естественным образом формируют свой коридор значений:

В модуле SEO-анализ SERP Descore рассчитывает робастное Z-отклонение энтропии относительно выбранного топа. Робастный расчёт (на основе медианы и медианного абсолютного отклонения MAD) устойчив к выбросам: он не удаляет документы-аномалии из выборки, но не даёт случайному сверхдлинному лонгриду или пустой странице исказить общую норму ниши. Замеры в таблице наглядно показывают, что значение, типичное для одного кластера, может заметно отличаться от нормы другого.

В отчётах Descore ориентиром служит робастное Z-отклонение: оно показывает, на сколько стандартных шагов энтропия вашей страницы отстоит от нормы топа. Отрицательное значение указывает на зажатый словарь относительно конкурентов, положительное — на повышенное разнообразие.

Само по себе число не является приговором. Сопоставляйте Z-отклонение с типом страницы и её содержимым:

• Отрицательное Z-отклонение (низкая энтропия): повод проверить текст на однообразие. Переспам ключами и навязчивые штампы («наша компания предлагает клиентам решения...») — две причины однообразия, которые стоит проверить. И в том, и в другом случае читатель ходит по кругу без полезной информации. Чтобы оживить текст, раскройте тему через характеристики, условия, размеры и сценарии.
• Высокая энтропия на коммерческой странице: требует проверки фокуса. Помогают ли дополнительные детали выбрать товар, сравнить варианты и понять условия покупки? В каталоге кофемашин сравнение объёма бака, давления помпы и типов капучинатора помогает покупателю. А вот пять экранов рассуждений об истории кофейных плантаций в Эфиопии только уведут посетителя от кнопки заказа и размоют коммерческий интент.
• Высокая энтропия в информационных статьях: отличный признак, если богатство словаря обеспечено глубоким разбором темы. В экспертной статье «Как выбрать зимние шины» органично смотрятся типы протектора, состав резиновой смеси, ошиповка и поведение на мокром асфальте. Но если разнообразие возникло из-за ухода в историю каучука, колесницы Древнего Рима и посторонние байки, текст страдает смысловым расфокусом.

Эти четыре фрагмента иллюстрируют типичные стили текста. Энтропия и Z-отклонение помогают быстро заметить перекос в словаре страницы на фоне конкурентов. Дальше решение за автором: проверить, получают ли посетители нужные факты или текст застрял в повторах либо уплыл в околотематические фантазии.

Оценивайте Z-отклонение вместе с задачей страницы. В зависимости от цели выберите подходящее направление работы:

Если вы хотите повысить энтропию (избавиться от зажатости словаря):

• Сократите прямые повторы ключевика: уберите навязчивое вкручивание главного ключа в каждое предложение. Замените его местоимениями, контекстными синонимами или перестройте структуру предложений.
• Добавьте предметную конкретику: разберите реальные характеристики, материалы, размеры, сценарии использования, цены и частые ошибки вместо шаблонных фраз вроде «высокое качество по доступным ценам».
• Пишите профессиональным языком ниши: используйте точные существительные и предметные термины вместо общих рассуждений и абстрактных похвал.

Если вы хотите снизить энтропию (собрать фокус страницы):

• Для коммерческих страниц: уберите посторонние рассуждения и длинные околотематические описания, которые не помогают выбрать товар. Сосредоточьте текст на характеристиках, сравнении вариантов и условиях покупки.
• Для информационных статей: сократите отступления в посторонние темы и объедините дублирующие рассуждения. Оставьте детали и примеры, которые прямо отвечают на вопрос читателя.
• Держите фокус на базовых сущностях темы: опорные термины должны связывать текст воедино, а не растворяться в потоке разрозненных второстепенных слов.

• Развивается ли мысль от раздела к разделу? Даже если в первом абзаце дана краткая суть или прямой ответ, приносит ли каждый следующий блок новые факты, характеристики и примеры, а не просто перефразирует вводную мысль?
• Проверено ли Z-отклонение энтропии? Сопоставлено ли оно с длиной документа, форматом страницы и нормой лидеров в вашей тематике?
• Сохранён ли фокус страницы? Помогают ли приведенные детали выбрать товар или решить вопрос пользователя, не уводя его в посторонние темы и не усыпляя шаблонной «водой»?
• Равномерно ли распределена конкретика? Присутствуют ли предметные термины, параметры и списки по всей странице, а не только в одном случайном абзаце?