ИННОВАЦИИ БИЗНЕСУ

Результат выполнения научно-исследовательской работы.

В любую кодовую систему над -буквенным алфавитом можно включить не более чем различных кодовых слов длины , не более чем различных кодовых слов длины , и вообще, не более чем различных кодовых слов длиной . Тогда и для системы всех возможных слов с длиной не превышающей верно .

Присоединим теперь к каждому из кодовых слов специальный символ-разделитель, дополнительно введенный для этих целей в число возможных символов. В этой, дополненной разделителем кодовой системе, может быть не более чем различных кодовых слов длины , не более чем различных кодовых слов длины , и вообще, не более чем различных кодовых слов длиной . Тогда и, соответственно, . Если исключить часть кодовых слов из числа учтенных в этой полной -системе, то вследствие того, что при , величина слева может лишь уменьшиться. Поэтому неравенство справедливо для любой кодовой системы с разделителем в которой максимальная длина кодового слова (включая разделитель) не превышает . Неравенство обращается в равенство для полной -системы, то есть такой системы, которая содержит все возможные кодовые слова длины не превышающей . Значение суммы в этом случае равно . Функция с ростом быстро приближается к своей асимптоте .

Избыточность полной -системы можно оценить величиной - превышением средней длины кодового слова этой системы над энтропией распределения . Так, например, и, следовательно, избыточность полной кодовой системы с максимальной длиной слова 11 букв при 33-х буквенном алфавите составит всего буквы. Зависимость избыточности от для 33-х буквенного алфавита приведена на графике.