Студенческий документ № 000034 из ДГТУ (бывш. РИСХМ)

Лабораторная работа № 2

"Определение информационной энтропии на основе Хартли"

Цель работы: Освоить методы энтропии на основе метода Р. Хартли.

Форма отчета : Выполнение зачетного задания.

Задание

Определить меру неопределенности раскрываемую заданным предложением.

Методические указания

Пусть алфавит источника сообщений состоит из m знаков, каждый из которых может служить элементом сообщения. Рассмотрим случай когда источник сообщения на базе алфавита m генерирует сообщения длины n. Количество N возможных сообщений длины n равно числу перестановок с неограниченными повторениями:

N = mn

Если для получателя все N сообщений от источника являются равновероятными, то получение конкретного сообщения равносильно для него случайному выбору одного из N сообщений. Вероятность такого выбора равна 1/N.

Ясно, что чем больше N, тем большая степень неопределенности характеризует этот выбор и тем более информативным можно считать сообщение.

Поэтому число N могло бы служить мерой информации. Однако, с позиции теории информации, естественно наделить эту меру свойствами аддитивности1, т.е. определить ее так, чтобы она была пропорциональна длине сообщения (например, при передаче и оплате SMS-сообщения, важно не ее содержание, а общее число знаков). Такая мера была предложена американским ученым Р.Хартли:

I = log N = log mn = n log m.

Тогда количество информации, приходящееся на один элемент сообщения (знак, букву), определяется как:

H=I/n=(n log m)/n= log m.

Так как современные информационные системы, как правило, базируются на элементах, имеющих два состояния, то обычно выбирают основание логарифма равным двум:

H = log2 m.

Величина H определяет неопределённость появления какого-либо символа алфавита при получении сообщения и называется информационной энтропией. В данном случае подразумевается что символы появляются в сообщении равновероятно.

В рассматриваемом контексте 1 бит - это количество информации, которым характеризуется один двоичный элемент при равновероятных состояниях 0 и 1. Т.е. 1 бит описывает процесс однократного выбора из двух равновероятных (равноценных) альтернатив (объектов, событий, процессов и т.д.). Соответственно двоичное сообщение (т.е. состоящее из комбинации нулей и единиц) длины n содержит n бит информации.

Пример №1. Определить неопределенность раскрываемую одним статическим изображением, выведенным на экран монитора. Параметры монитора:

- разрешение 1280x1024;

- количество цветов 256.

Решение.

1. В рассматриваемом случае алфавитом языка является количество различных цветов, т.е. объемом алфавита m=256.

2. Определим количество информации, приходящееся на один элемент сообщения (пиксель): H = log2 m= log2 256 = 8 бит.

3. Определим количество элементов в сообщении n=1280x1024=1310720.

4. Количество неопределенности раскрываемое при выводе одного изображения равно I = n log2 m = 1310720*8= 10485760 бит.

Ответ I = 10485760 бит.

Контрольные вопросы

1. Бит информации с точки зрения информационной энтропии.

2. Свойства информационной энтропии ?

3. Зависимость информационной энтропии от мощности алфавита.

4. Мера Хартли.

Лабораторная работа № 3

"Оценка информационной энтропии на основе формул Шеннона"

Цель работы : Освоить приемы оценки энтропии дискретных источников информации на основе формул Шеннона.

Форма отчета : выполнение зачетного задания

Задание

Алфавит дискретного источника задан распределением частот ni появления знаков хi. Определить количество информации (I) и энтропию (H) на основе формул Шеннона.

Алфавит задан распределением частот ni появления знаков хi. Определить H и I.

Таблица . Распределение частот появления знаков

Знак xi x1 x2 x3 x4 x5 Частота появления Pi 0,1 0,1 0,2 0,2 0,4

Решение. Исходя из формулы Шеннона для рассматриваемого случая . Подставив вместо переменной соответствующие частоты получаем:

H=-(0,1*+0,1*+0,2*+0,2*+0,4*) =

-(-0,332 -0,332 -0,464-0,464-0,528)= 2,12 бит.

В случае если знаки x1-x5 были бы распределены равновероятно т.е. то:

H=-(0,2*+0,2*+0,2*+0,2*+0,2*) =

-(-0,464-0,464 -0,464-0,464-0,464)= 2,32 бит.

Один бит - это энтропия простейшей физической системы, которая может быть только в одном из двух состояний, причем эти состояния равновероятны. Пусть система обладает двумя состояниями с вероятностями p1 = 0,5 и p2 = 0,5. Согласно использованной выше формуле Шеннона энтропия такой системы равна H = - (0,5·log2 0,5 + 0,5·log2 0,5) = 1 то есть одному биту.

Контрольные вопросы

1. Количество информации по Шеннону.

2. Информационная энтропия по Шеннону.

3. Зависимость информационной энтропии от распределения элементов алфавита.

1 Аддитивность - свойство величины, состоящее в том, что значение величины, соответствующее целому объекту, равно сумме значений величин, соответствующих его частям. Например, аддитивность массы означает, что масса целого предмета равна сумме масс составляющих его частей.

---------------

------------------------------------------------------------

---------------

------------------------------------------------------------