Избыточность сообщений
ИЗБЫТОЧНОСТЬ СООБЩЕНИЙ, понятие теории информации, численно оценивающее возможность сокращения записи сообщений. Наличие избыточности в записи сообщений какого-либо источника информации проявляется в возможности записать их в среднем более кратко, используя те же самые знаки (т. е. используя код с тем же алфавитом, смотри Кодирование). Например, если рассматриваемые сообщения представляют собой последовательности знаков 0 и 1, в которых единица встречается в среднем один раз на десять знаков, то, применяя кодирование по правилу 00 → 0, 01 → 10, 10 → 110, 11 → 111, можно в среднем сократить запись почти вдвое. Максимальная доля лишних знаков определяется по статистическим свойствам источника сообщений и называется его избыточностью. Для избыточности сообщений R справедлива формула R= 1 - Н/log2m, где m - число букв алфавита, Н - энтропия источника на букву сообщения. В приведённом примере избыточность сообщений равна 0,53. Минимальной избыточностью сообщений, равной нулю, обладает только последовательность, в которой знаки независимы и с вероятностью 1/m могут совпадать с любой из букв алфавита.
На практике важен вопрос об оценке избыточности сообщений конкретных видов сообщений (таких, как письменная и устная речь, телевизионные изображения). Величина избыточности сообщений в них оказывается обычно значительной. Так, например, избыточность сообщений английской письменной речи не менее 0,6.