Энтропия и информация текстов

Подождите немного. Документ загружается.

Т = 0.0355015

Н = 0.0345210

И = 0.0332279

С = 0.0297026

Р = 0.0242018

В = 0.0234246

Л = 0.0222130

Д = 0.0183750

М = 0.0180478

К = 0.0154459

У = 0.0149881

Ь = 0.0136961

П = 0.0134136

Я = 0.0120132

Ы = 0.0102668

Г = 0.0100300

Б = 0.0099597

З = 0.0089569

Й = 0.0078525

Ч = 0.0075789

Ж = 0.0061049

Х = 0.0050206

Ш = 0.0048576

Ю = 0.0037420

Ц = 0.0027682

Щ = 0.0017275

Э = 0.0013087

Ф = 0.0011245

Ъ = 0.0000882

Ё = 0.0000268

И=0,062

Т=0,053

Н=0,053

С=0,045

Р =0,040

В= 0,038

Л =0035

К= 0,028

М= 0,026

Д= 0,025

Г= 0,023

У= 0,021

Я 0,018

Ы 0,016

З 0,016

Ь,Ъ 0,014

Б 0,014

Г 0,013

Ч 0,012

Й 0,010

Х 0,009

Ж 0,007

Ю 0,006

Ш 0,006

Ц 0,003

Щ 0,003

Э 0,003

Ф 0,002

Приложение 7

Вычисленные частоты букв и среднестатистические относительные

частоты в сопоставлении для третьего текста

Результаты, полученные нами в

результате анализа

Среднестатистическая

относительная частота букв

_ = 0,199603007518797

О = 0,084205572755418

_=0,175

О= 0,090

А = 0,0730501547987616

Е = 0,0657146395400265

И = 0,0533158779301194

Т = 0,0475831932773109

Н = 0,0438128261831048

Л = 0,0434731534719151

С = 0,042747103051747

Р = 0,0357901813356922

В = 0,0352948252985405

К = 0,0305195931003981

Д = 0,026316143299425

У = 0,0258158337019018

М = 0,0229569217160548

П = 0,0219322423706325

Ь = 0,0180550199026979

Я = 0,0155202122954445

Ы = 0,0146250331711632

Б = 0,014565590446705

Г = 0,0141693056169836

З = 0,0137340999557718

Ч = 0,0112488279522335

Й = 0,00938062804068996

Ш = 0,00803184431667404

Х = 0,00725342768686422

Ж = 0,006918708536046

Ц = 0,00568951791242813

Ю = 0,00475329500221141

Щ = 0,00174860681114551

Э = 0,00150022114108801

Ф = 0,000469880583812472

Ъ = 0,000204511278195489

Ё = 0

Е,Ё=0,072

А=0,062

И=0,062

Т=0,053

Н=0,053

С=0,045

Р =0,040

В= 0,038

Л =0035

К= 0,028

М= 0,026

Д= 0,025

Г= 0,023

У= 0,021

Я 0,018

Ы 0,016

З 0,016

Ь,Ъ 0,014

Б 0,014

Г 0,013

Ч 0,012

Й 0,010

Х 0,009

Ж 0,007

Ю 0,006

Ш 0,006

Ц 0,003

Щ 0,003

Э 0,003

Ф 0,002

Приложение 8

Вычисленные частоты букв и среднестатистические относительные

частоты в сопоставлении для четвёртого текста

Результаты, полученные нами в

результате анализа

Среднестатистическая

относительная частота букв

_ = 0.2084064

О = 0.0865223

Е = 0.0716511

И = 0.0625735

А = 0.0581642

Т = 0.0518077

Н = 0.0517754

С = 0.0456953

В = 0.0359234

Р = 0.0358914

Л = 0.0330764

К = 0.0255981

М = 0.0250912

Д = 0.0232754

П = 0.0200466

У = 0.0193584

Я = 0.0171290

Ы = 0.0152680

Ь = 0.0141980

З = 0.0140148

Б = 0.0123511

Г = 0.0120092

Ч = 0.0118711

Й = 0.0092337

Х = 0.0078499

Ж = 0.0072597

Ю = 0.0050702

Ш = 0.0049645

Ц = 0.0046697

Щ = 0.0033884

Э = 0.0029265

Ф = 0.0024001

Ъ = 0.0005347

Ё = 0.0000051

_=0,175

О= 0,090

Е,Ё=0,072

А=0,062

И=0,062

Т=0,053

Н=0,053

С=0,045

Р =0,040

В= 0,038

Л =0035

К= 0,028

М= 0,026

Д= 0,025

Г= 0,023

У= 0,021

Я 0,018

Ы 0,016

З 0,016

Ь,Ъ 0,014

Б 0,014

Г 0,013

Ч 0,012

Й 0,010

Х 0,009

Ж 0,007

Ю 0,006

Ш 0,006

Ц 0,003

Щ 0,003

Э 0,003

Ф 0,002

Приложение 9

Текст программы

unit Unit1;

interface

uses

Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,

Dialogs, StdCtrls, Menus, ExtCtrls, Grids, ValEdit, math;

type

TForm1 = class(TForm)

Memo1: TMemo;

Button1: TButton;

Label1: TLabel;

Label2: TLabel;

MainMenu1: TMainMenu;

Memo2: TMemo;

N1: TMenuItem;

N2: TMenuItem;

N3: TMenuItem;

OpenDialog1: TOpenDialog;

Label3: TLabel;

procedure Button1Click(Sender: TObject);

procedure N3Click(Sender: TObject);

procedure N2Click(Sender: TObject);

private

{ Private declarations }

public

{ Public declarations }

end;

var

Form1: TForm1;

implementation

{$R *.dfm}

TYPE

TArray = array ['А'..'Я'] of integer;

var

fp:string;

function UpCaseRus(ch: Char): Char;

asm

CMP AL,'a'

JB @@exit

CMP AL,'z'

JA @@Rus

SUB AL,'a' - 'A'

RET

@@Rus:

CMP AL,'я'

JA @@Exit

CMP AL,'а'

JB @@yo

SUB AL,'я' - 'Я'

RET

@@yo:

CMP AL,'?'

JNE @@exit

MOV AL,'?'

@@exit:

end;

procedure TForm1.Button1Click(Sender: TObject);

const n = 34;

var

t : textfile;

st, tmpS : string;

i, j, tmp, size, frec_yo, frec_space : integer;

ch : char;

Al : Set of 'А'..'Я';

V:array[1..n] of integer;

frec: TArray;

Inf:extended;

BEGIN

Al := ['А'..'Я'];

memo1.Lines.Clear;

memo2.Lines.Clear;

if fileexists(fp) then

begin

AssignFile(t, fp);

Reset(t);

for ch:='А' to 'Я' do frec[ch]:=0;

frec_yo:=0;

frec_space:=0;

while not(EOF(t)) do

begin

ReadLn(t, st);

for i:=1 to length(st) do

if (st[i]='Ё')or (st[i]='ё') then

inc(frec_yo)

else

begin

ch := UpCaseRus(st[i]);

if ch=' ' then

inc(frec_space)

else if (ch in al) then

inc(frec[ch]);

end;

CloseFile(t);

size:=0;

for ch:='А' to 'Я' do

size:=size+frec[ch];

size:=size+frec_yo;

size:=size+frec_space;

if size<>0 then begin

str((frec_space/size):9:7, tmpS);

memo2.Lines.Add('_ = '+tmpS);

for ch:='А' to 'Е' do

begin

str((frec[ch]/size):9:7, tmpS);

memo2.Lines.Add(ch+' = '+tmpS);

end;

str((frec_yo/size):9:7, tmpS);

memo2.Lines.Add('Ё = '+tmpS);

for ch:='Ж' to 'Я' do

begin

str((frec[ch]/size):9:7, tmpS);

memo2.Lines.Add(ch+' = '+tmpS);

end;

end else showmessage('Невозможно открыть файл');

i:=1;

V[1]:=frec_space;

inc(i);

for ch:='А' to 'Е' do

begin

V[i]:=frec[ch];

inc(i);

end;

V[i]:=frec_yo;

inc(i);

for ch:='Ж' to 'Я' do

begin

V[i]:=frec[ch];

inc(i);

end;

Inf:=0;

for i:=0 to 33 do

begin

memo1.Lines.add(memo2.Lines.Strings[i]);

if V[i+1]<>0 then

Inf:=Inf-(V[i+1]/size)*log2(V[i+1]/size);

end;

str(Inf:9:7, tmpS);

label3.Caption:='I = '+tmpS;

for i:=1 to n-1 do

for j:=i+1 to n do

if V[i] < V[j] then

begin

tmp := V[i];

V[i] := V[j];

V[j] := tmp;

tmpS := memo1.Lines.Strings[i-1];

memo1.Lines.Strings[i-1] := memo1.Lines.Strings[j-1];

memo1.Lines.Strings[j-1] := tmpS;

end;

procedure TForm1.N3Click(Sender: TObject);

begin

end;

procedure TForm1.N2Click(Sender: TObject);

begin

if opendialog1.Execute then

fp:=opendialog1.filename;

caption:=fp;

end;

end.

Приложение 10

Логарифм. Свойства логарифмов.

Напомним, что такое логарифм.

Логарифм числа b по основанию a определяется как показатель

степени, в которую надо возвести число a, чтобы получить число b.

Обозначение: log

b. Из определения следует, что записи log

b = x и a

= b

эквивалентны.

Логарифм по основанию 2 называется двоичным

log

(8)=3 => 2

log

(10) ≈3,32 => 2

3,32

=10

Логарифм по основанию 10 -называется десятичным:

log

(100)=2 => 10

=100

Основные свойства логарифма:

1. log(1)=0, т.к. любое число в нулевой степени дает 1;

2. log(a

)=b*log(a);

3. log(a*b)=log(a)+log(b);

4. log =log(a)-log(b);

5. log =0-log(b)=-log(b);

6. log

b*log

a=1

7. log