Избыточность языка — статистическая величина, обозначающая избыточность информации, содержащейся в тексте на определённом языке.

Математическое определение

Математически данная величина определяется как

где  — абсолютная энтропия языка,  — фактическая энтропия языка.

Если принять фактическую энтропию английского языка за 1,3 бита на букву, то его избыточность равна 3,4 бита на букву (абсолютная энтропия — 4,7 бита на букву).

Избыточность естественных языков

Величина избыточности разных языков мира колеблется в пределах 70-80%^[1]. Во всех языках на всех уровнях присутствуют избыточные элементы. Избыточность в языке неслучайна: её функция — облегчить коммуникацию при неблагоприятных условиях передачи информации. Избыточность представляет собой систему предупреждения возможных ошибок^[2].

Избыточность и сжатие текстов

С точки зрения теории информации большая избыточность позволяет хорошо сжимать тексты с помощью энтропийного кодирования.

Литература

• Прикладная криптография. Протоколы, алгоритмы, исходные тексты на языке Си = Applied Cryptography. Protocols, Algorithms and Source Code in C. — М.: Триумф, 2002. — С. 269. — 816 с. — 3000 экз. — ISBN 5-89392-055-4