Лабораторная работа - Исследование свойств информационных мер

Подождите немного. Документ загружается.

1 Цель занятия: Получить навыки исследования

информационных объектов на основе классической теории

информации

2 Задачи на работу

Провести анализ основных существующих информационных мер, применяемых в

информационных системах.

Разработать сводную таблицу сравнительных характеристик информационных мер

на основе качественного подхода к информации

1. Разработать программу на (любом) языке высокого

уровня реализующую в интерактивном режиме выбор

допустимых информационных мер для заданных условий

оценки ИО и вычисление их значений

2. Сравнить чувствительность информационных мер на

конкретных примерах.

3. Оформить отчет ( индивидуально для каждого студента)

исследований и защитить его.

3 Содержание отчета:

Тема, цель и задачи лабораторного занятия

Результаты изучения понятий «энтропия» и «информационные меры», в том

числе и сводная таблица

1. Программа в электронном варианте (отлаженная)

2. Результаты тестирования полученной программы на

заданном наборе исходных данных (индивидуальных

заданий)

Энтропия – информационная мера организованности или

разнообразия (сложности, неопределенности) ситуации (ИО).

Информация- фундаментальное понятие кибернетики, означающее

определенные сведения, совокупность данных, знаний и т.п..

Свойства информации

- Аддитивность.

Теорема: I(1:2) есть аддитивная функция независимых случайных величин, т.е. для X и Y,

независимых при гипотенузах H

, i =1,2:

I(1:2; X, Y)=I(1:2; X)+I(1:2; Y)

- Выпуклость.

Теорема : I(1:2) почти всюду неотрицательна, т.е. I(1:2)



0, и равенство имеет место тогда

и только тогда, когда f

(x)=

 



- Инвариантность.

Вводим, пусть Y=T(x)- статистика, т.е. T(x) является функцией с областью определения X

и областью значения Y, и пусть



- аддитивный класс подмножества Y. Предположим, что

T(x)- измеримая функция, т.е. для любого множества G





полный прообраз T

1

(G)={x:

T(x)



G } [T

1

( G) ] есть совокупность элементов x таких, что T(x)



G] принадлежит

классу S измеримых подмножеств пространства X. Класс всех множеств вида T

1

( G), где





, обозначается T

1

(



). Таким образом, мы имеем измеримое отображение T

вероятностного пространства (x,S,



)

Теорема: I(1:2;Y) с равенством тогда и только тогда, когда f

(x) f

(x)=g

(T(x))

 



Анализ информационных мер в информационных системах

1. Комбинаторно-вероятностная мера разнообразия заданного

множества объектов (неопределенности опытов с N различными исходами или

возможности выбора) Р.Хартли [ ]:

H = k ln N,

где k - коэффициент пропорциональности (при k = 1 используются натуральные

единицы измерения, наты; при k = 1/ln2 - двоичные единицы, дведы или биты; при

k = 1/ln10 - десятичные, диты).

Характеризуется тем, что:

- математическая строгость определения обеспечена за счет абстрагирования от

семантических и прагматических свойств (качества) информации;

- проста и удобна в ряде практических задач связи и управлениях [ ];

- не учитывает различие между характером имеющихся исходов (почти

невероятному исходу придается такое же значение, как и достаточно

правдоподобному);

- не отражает случайного характера формирования информационных массивов

(ИМ) в задачах анализа, синтеза и управления информационных системами.

2. Вероятностно-статистическая усредненная мера неопределенности

заданного множества объектов (статистической «редкости» символов в

сообщениях, информационных массивах (ИМ)) Н.Винера и К.Шеннона [ ]

(селективная энтропия):

H = -



ln p

, i =

N,1

где p

- вероятность i-го из возможных N ИМ m

Характеризуется тем, что:

 математическая строгость определения обеспечена за счет абстрагирования от

семантических и прагматических свойств (качества) информации;

 удобна в практических задачах передачи информации по физическим каналам

связи и некоторых задачах управления;

 учитывает различие между характером имеющихся исходов с помощью

использования понятия вероятности (появления символов в ИМ);

 учитывает статистическую структуру ансамбля компонентов ИМ (сообщений);

 требует получения надежных статистических характеристик информационных

объектов;

 не может описать такой важный случай информационного обмена как

поступление дезинформации, так как H



0 и «количество информации» I = H

apr

aps



0 ;

 требует рассмотрения исходного ограниченного множества объектов

(сообщений), т.е. относится к закрытым системам;

 не учитывает целей источника и получателя сообщений;

 не учитывает различимость исходов (значений случайной величины);

 не применима для оценки состояния сложной (с большим числом элементов и

связей) системы вследствие практической невозможности оценить распределение

вероятностей состояний сложной системы.

3. Алгоритмическая мера сложности индивидуального объекта

(сложности восстановления двоичного слова s по фиксированной функции или

методу программирования f: z



s, который ставит в соответствие программам-

описаниям z



(s) различной длины слово s) А.Колмогорова [ ]:

(s) =

















(s)Z при

,(s)Z при z min

sf(z)(s),Zz

где s  S, z  Z

(s) - двоичные слова; f(z) - фиксированная оптимальная вычислимая

функция восстановления (метод программирования).

Характеризуется тем, что:

 математическая строгость определения обеспечена за счет абстрагирования от

семантических и прагматических свойств (качества) информации;

 применима к индивидуальным конструктивным объектам, т.е. позволяет

определить количество информации в одном индивидуальном объекте

относительно другого;

 не учитывает сложности процесса «развертывания» краткого описания (z)

объекта в полное описание (s), а для многих конструктивных объектов, заданных

очень короткими описаниями (т.е. по Колмогорову их сложность мала),

восстановление осуществляется в результате вычислений нереальной сложности;

 не является эффективно (алгоритмически, регулярно) вычислимой, так как не

существует восстанавливающего алгоритма, определяющего по любому описанию

конечной длины его сложность.

4. Мера неопределенности распределения вероятностей R

(s)

относительно распределения R

(s) (среднее количество информации)[ ]

C.Кульбака :

I(R

│R

) =



(s) ln{R

(s) / R

(s)}.

Характеризуется тем, что:

 математическая строгость определения обеспечена за счет абстрагирования от

семантических и прагматических свойств (качества) информации;

 проста и понятна;

 значение количества информации по Кульбаку в частном случае двух близких

гипотез о значении параметра, т.е. в случае, когда в определении количества

информации по Кульбаку

(s) = R(s, V), R

(s) = R(s, V +



V),

где V - многомерный параметр, представляет собой количество информации по

Р.Фишеру.

5. Мера сложности описания объекта (его алгебраической структурно-

функциональной модели) А.Шилейко и В.Кочнева[ ].



) = m

ln(n

) + (



ln{





})



ln(2)] + m

ln(n

)

+ m

= min , i =

n,1

где m

, m

- число подстрингов (символов), отражающих элементы e



E, c



K соответственно в минимальном стринге (упорядоченная последовательность

символов, представляющем собой описание объекта (системы)



; E, C, K -

множества элементов, информационных связей и структур объекта (системы)

соответственно; n

, n

- количество элементов множеств E, C, K соответственно;



- максимально возможное значение интенсивности информационной связи; 

погрешность измерения интенсивности связи; 2 - число возможностей при простом

наличии-отсутствии информационной связи;  - знак логического «ИЛИ» (здесь

означает, что при вычислении I(



) второе слагаемое может иметь какое-либо одно

из двух приведенных выражений в зависимости от характера информационных

связей в системе).

Характеризуется следующими свойствами:

 аддитивности (так как использован логарифм разнообразия Р. Хартли );

 универсальности (поскольку класс рассматриваемых объектов достаточно широк

вследствие применения конструктивного подхода А. Колмогорова, а если, в

частности, само разнообразие можно определить через вероятности, следуя

подходу К.Шеннона, - никаких дополнительных свойств данная мера не

приобретет);

 детерминированности (не требует статистических данных);

 конструктивности (не требует ансамбля объектов);

 независимости от потребителя (согласно подходу А. Шилейко и В. Кочнева I(



)

без учета задач переработки информации (ЗПИ) представляет собой пассивный

структурно-информационный ресурс информационной системы).

6. Комбинаторная мера разнообразия общесистемного тезауруса (запаса

знаний) Ю.Шрейдера[ ]:

H(m,T) = ln[T(O

)] = ln [



)],

где O



O - оператор преобразования тезауруса T = < X,Y, Z>, соответствующий

единичному ИМ m



M; X, Y, Z - множества объектов-троек <имя-смысл-

значение>, предикатов и отношений, событий-высказываний соответственно; n

, i =

x, y, z - кардинальное число i-го множества.

Характеризуется тем, что:

 математическая строгость определения обеспечена за счет учета семантических и

прагматических свойств (качества) информации в виде разнообразия

соответствующих подмножеств тезауруса;

 проста и понятна;

 содержит формальную модель (описание) предметной области, что позволяет

получателю осмысливать информацию.

7. Вероятностная мера целесообразности управления А.Харкевича [ ]:

I = ln p

, (1.10)

где p

, p

- вероятности достижения цели управления до получения и после

получения информации соответственно.

Характеризуется тем, что:

 математическая строгость определения обеспечена за счет абстрагирования от

природы информации («на основании некоторой информации система принимает

решение, изменяющее вероятность достижения цели»). Кроме того, физическая

природа сигналов, логическая структура сообщений и их длина полностью

игнорируются;

 проста и понятна;

 учитывает семантические и прагматические свойства (качество) содержательной

информации;

 может описать случай поступления дезинформации, так как возможно I



8. Мера неопределенности результата принятия решения (наших знаний

о возможных результатах принятых нами решений) Н.Н.Моисеева [ ] :

- J





────



+ J

= max J(u



), J

= max J(u







(t)









, T],

где x(t) - управляемый процесс, о котором отсутствует полная информация, а

известны только нижняя (

) и верхняя (

) оценки его значений; J[u(t),



(t)] -

целевая максимизируемая функция (функционал) управления; u

(t) - оптимальное

управление.

Характеризуется тем, что:

 математическая строгость определения обеспечена за счет отвлечения от

природы информации («на основании некоторой информации система

принимает решение, уменьшающее степень неопределенности достижения

цели»). Кроме того, физическая природа сигналов, логическая структура

сообщений и их длина полностью игнорируются;

 проста и понятна: является оценкой количества (достаточности) и качества

(прагматических свойств) содержательной информации о процессе



(t);

 учитывает значения показателя эффективности управления, т.е. позволяет

судить о ценности имеющейся в системе информации;

 не может описать важный случай поступления дезинформации;

 близка, по существу, к мере Н.Винера и К.Шеннона, которая является

именно мерой неопределенности той информации, которая содержится в

передаваемом сообщении;

 в частном случае, если



(t) - случайный процесс с математическим

ожиданием



(t) и не известна его конкретная реализация, то в качестве варианта

данной меры можно принять дисперсию случайной величины J[u

(



], т.е.



= D{ J[u

(



] },

= arg max J[u(t),



(t)].

9. Негэнтропия (отрицательная энтропия)[ ] :

H = H

- H , (1.13)

где H, H

- термодинамические энтропии системы, находящейся в начальном и

конечном состояниях соответственно.

Характеризуется тем, что:

 является чисто термодинамической величиной, которую можно интерпретировать

как меру того, насколько далеко определенная физическая система находится от

доступного ей при данной энергии состояния (H

) полного статистического

равновесия;

 ничего общего не имеет с определенностью, упорядоченностью,

организованностью и др., поскольку эталон порядка или беспорядка,

определенности или неопределенности в природе не существует, а выбирается

условно.

Вид программы

Форма расчета меры Моисеева

Листинг программы

unit Unit1;

interface

uses

Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,

Dialogs, Menus, StdCtrls, Unit2, ExtCtrls, jpeg;

type

TForm1 = class(TForm)

GroupBox1: TGroupBox;

RadioButton1: TRadioButton;

RadioButton2: TRadioButton;

RadioButton3: TRadioButton;

RadioButton4: TRadioButton;

RadioButton5: TRadioButton;

RadioButton6: TRadioButton;

RadioButton7: TRadioButton;

RadioButton8: TRadioButton;

Panel1: TPanel;

Panel2: TPanel;

Panel3: TPanel;

Panel4: TPanel;

Panel5: TPanel;

Panel6: TPanel;

Panel7: TPanel;

Panel8: TPanel;

Label2: TLabel;

Label3: TLabel;

Label4: TLabel;

Edit1: TEdit;

Edit2: TEdit;

Edit3: TEdit;

Button1: TButton;

Label7: TLabel;

Edit4: TEdit;

Label8: TLabel;

Edit5: TEdit;

Button2: TButton;

Edit6: TEdit;

Label11: TLabel;

Label12: TLabel;

Edit7: TEdit;

Label13: TLabel;

Edit8: TEdit;

Edit9: TEdit;

Label14: TLabel;

Label15: TLabel;

Edit10: TEdit;

Label16: TLabel;

Edit11: TEdit;

Edit12: TEdit;

Label17: TLabel;

Edit13: TEdit;

Label18: TLabel;

Button3: TButton;

RadioButton9: TRadioButton;

RadioButton10: TRadioButton;

Edit14: TEdit;

Edit15: TEdit;

Edit17: TEdit;

Label20: TLabel;

Label21: TLabel;

Label22: TLabel;

Button4: TButton;

Edit16: TEdit;

Label24: TLabel;

Edit18: TEdit;

Label25: TLabel;

Label26: TLabel;

Edit19: TEdit;

Button5: TButton;

Edit20: TEdit;

Edit21: TEdit;

Edit22: TEdit;

Label28: TLabel;

Label29: TLabel;

Label30: TLabel;

Button6: TButton;

Label32: TLabel;

Edit23: TEdit;

Edit24: TEdit;

Label33: TLabel;

Label34: TLabel;

Edit25: TEdit;

Button7: TButton;

Label35: TLabel;

Image2: TImage;

Image3: TImage;

Image4: TImage;

Image5: TImage;

Image6: TImage;

Image1: TImage;

Image7: TImage;

Image8: TImage;

Image9: TImage;

RadioButton11: TRadioButton;

RadioButton12: TRadioButton;

RadioButton13: TRadioButton;

RadioButton14: TRadioButton;

RadioButton15: TRadioButton;

Panel9: TPanel;

Image10: TImage;

Image11: TImage;

Image12: TImage;

Edit26: TEdit;

Label1: TLabel;

Edit27: TEdit;

Edit28: TEdit;

Edit29: TEdit;

Label5: TLabel;

Label6: TLabel;

Label9: TLabel;

Button8: TButton;

Button9: TButton;

procedure File1Click(Sender: TObject);

procedure RadioButton1Click(Sender: TObject);

procedure RadioButton2Click(Sender: TObject);

procedure RadioButton3Click(Sender: TObject);

procedure RadioButton4Click(Sender: TObject);

procedure RadioButton5Click(Sender: TObject);

procedure RadioButton6Click(Sender: TObject);

procedure RadioButton7Click(Sender: TObject);

procedure RadioButton8Click(Sender: TObject);

procedure About1Click(Sender: TObject);

procedure Button1Click(Sender: TObject);

procedure Button2Click(Sender: TObject);

procedure Button3Click(Sender: TObject);

procedure Button4Click(Sender: TObject);

procedure Button5Click(Sender: TObject);

procedure Button6Click(Sender: TObject);

procedure Button7Click(Sender: TObject);

procedure able1Click(Sender: TObject);

procedure RadioButton15Click(Sender: TObject);

procedure Button8Click(Sender: TObject);

procedure Button9Click(Sender: TObject);

private

{ Private declarations }

public

{ Public declarations }

end;

var

Form1: TForm1;

implementation

uses Unit3, Unit4;

{$R *.dfm}

procedure TForm1.File1Click(Sender: TObject);

begin

Form1.Close;

end;

procedure TForm1.RadioButton1Click(Sender: TObject);

begin

if RadioButton1.Checked=true then

begin

Panel1.Visible:=false;

Panel2.Visible:=false;

Panel3.Visible:=false;

Panel4.Visible:=false;

Panel5.Visible:=false;