Энтропия и информация текстов
Подождите немного. Документ загружается.
2
Введение 3
1. Информация 4
1.1 Что такое информация. Определения информации.
4
1.2 Сообщение и информация
5
1.3 Субъективное и объективное восприятие информации
6
1.4 Методы оценки и виды информации 7
1.5 Единицы количества информации: вероятностный и объемный
подходы
7
1.6 Информация: более широкий взгляд
9
2. Энтропия
10
2.1 Энтропия и Информация. Определение энтропии 10
2.2 Основные свойства энтропии
13
3. Энтропия естественных языков
14
3.1. Энтропия языка
14
3.2. Энтропия русского языка
15
3.3. Оценка информации в тексте
16
4. Анализ текстов различной специфики
18
Заключение
22
Список использованных источников
23
Приложение 1 Частота встречаемости букв в первом источнике 24
Приложение 2 Частота встречаемости букв во втором источнике 26
Приложение 3 Частота встречаемости букв в третьем источнике 28
Приложение 4 Частота встречаемости букв в четвёртом источнике 30
Приложение 5 Вычисленные частоты букв и среднестатистические
относительные частоты в сопоставлении для первого текста
31
Приложение 6 Вычисленные частоты букв и среднестатистические
относительные частоты в сопоставлении для второго текста
32
Приложение 7 Вычисленные частоты букв и среднестатистические
относительные частоты в сопоставлении для третьего текста
33
Приложение 8 Вычисленные частоты букв и среднестатистические
относительные частоты в сопоставлении для четвёртого текста
34
Приложение 9 Текст программы 35
Приложение 10 Логарифм. Свойства логарифмов. 38
Содержание
3
Введение
В современном мире до 95% стоимости товара составляет информация.
Рынок информации наиболее успешно развивается в последние годы. Связи с
этим актуальность затронутой темы возрастает.
Цель работы заключается в том, чтобы выяснить взаимосвязь между
спецификой текста и количеством информации в тексте, изучить вероятности
букв в различных текстах и сравнить полученные результаты со средне
статистическими показателями.
Задача работы заключается в том, что бы познакомиться с
теоретическими положениями, касающимися этой темы (такими как теория
информации и др.), выяснить связь между информацией и
энтропией ,проанализировать формулы, сравнить полученные нами
результаты с высчитанными теоретически.
Объектом исследования являлись различные по своей специфике
тексты: учебники по философии, художественная литература, сказки. Такое
разнообразие позволяет более точно проследить зависимость между частотой
встречаемости букв и характером текста.
В ходе написания работы использовались учебные пособия,
монографии, статьи и ресурсы Интернет на исследуемую тему.
1. Информация
4
1.1 Что такое информация. Определения информации.
Четкого определения термина "информация" не существует.
Понятие информации нельзя считать лишь техническим,
междисциплинарным и даже наддисциплинарным термином. Информация
— это фундаментальная философская категория. Дискуссии ученых о
философских аспектах информации надежно показали несводимость
информации ни к одной из этих категорий. Концепции и толкования,
возникающие на пути догматических подходов, оказываются слишком
частными, односторонними, не охватывающими всего объема этого понятия.
Попытки рассмотреть категорию информации с позиций основного
вопроса философии привели к возникновению двух противостоящих
концепций — так называемых, функциональной и атрибутивной.
«Атрибутисты» квалифицируют информацию как свойство всех
материальных объектов, т.е. как атрибут материи.
Информация о любом материальном объекте может быть получена
путем наблюдения за этим объектом, вычислительного эксперимента над
ним или путем логического вывода. В связи с этим информацию делят на
доопытную, или априорную, и послеопытную, или апостериорную,
полученную в результате проведенного эксперимента.
«Функционалисты» связывают информацию лишь с
функционированием сложных, самоорганизующихся систем.
Можно попытаться дать философское определение информации с
помощью указания на связь определяемого понятия с категориями
*отражения* и *активности*. Информация есть содержание образа,
формируемого в процессе отражения. Активность входит в это
определение в виде представления о формировании некоего образа в
процессе отражения некоторого субъект-объектного отношения. При этом не
требуется указания на связь информации с материей, поскольку как субъект,
так и объект процесса отражения могут принадлежать как к материальной,
так и к духовной сфере социальной жизни. Однако существенно
подчеркнуть, что материалистическое решение основного вопроса
философии требует признания необходимости существования материальной
среды — носителя информации в процессе такого отражения. Итак,
информацию следует трактовать как имманентный (неотъемлемо
присущий) атрибут материи, необходимый момент ее самодвижения и
саморазвития. Эта категория приобретает особое значение применительно к
высшим формам движения материи — биологической и социальной.
Определение 1. Информация есть форма движения материи.
Определение 2. Информация - одна из трех составляющих основ
мироздания наряду с материей и энергией.
Определение 3. Информация есть отражение реального мира, это
сведения, которые один реальный объект содержит другом реальном
объекте. [2]
5
Рассмотрим определения понятия информации в узком смысле.
В житейском смысле под информацией мы понимаем совокупность
интересующих нас сведений, знаний, набор данных и т. д. Информация не
может существовать без наличия источника и потребителя информации.
Основной источник и потребитель информации - это человек, поэтому можно
сказать, что существует столько видов информации, сколько органов чувств
у человека.
В школьной программе информатики информация – это сведения об
окружающем мире, которые повышают уровень осведомлённости человека.
Рассматриваются такие понятия, как единицы измерения информации,
носитель информации, передача информации, скорость и т.д.
В общественных науках термин информация связан с
ассиметричностью информации, раскрытием информации, средствами
массовой информации и другим.
Существует также множество других областей, в которых так же
используется это термин.
Таким образом, информацию можно отнести к абстрактным понятиям.
Однако ряд ее особенностей приближает информацию к материальному
миру. Информацию можно получить, записать, передать, продать, купить,
своровать, уничтожить, в конце концов, информация может устареть.
1.2 Сообщение и информация
Понятие информация является одним из фундаментальных в
современной науке вообще и базовым для информатики.
Информацию наряду с веществом и энергией рассматривают в качестве
важнейшей сущности мира, в котором мы живем.
Информация передается в виде сообщений, определяющих форму и
представление передаваемой информации.
Под сообщением будем понимать различные средства общения людей.
Примерами сообщений являются музыкальное произведение;
телепередача; команды регулировщика на перекрестке; текст, распечатанный
на принтере; данные, полученные в результате работы составленной вами
программы и т.д. При этом предполагается, что имеются «источник
информации» и «получатель информации». Сообщение от источника к
получателю передается посредством какой-нибудь среды, являющейся в
таком случае «каналом связи». Так, при передаче речевого сообщения в
качестве такого канала связи можно рассматривать воздух, в котором
распространяются звуковые волны, а в случае передачи письменного
сообщения (например, текста, распечатанного на принтере) каналом
сообщения можно считать лист бумаги, на котором напечатан текст.
Соответствие между сообщением и информацией не является взаимно
однозначным. Для одной и той же информации могут существовать
различные передающие ее сообщения, которые появляются при добавлении
сообщения, не несущего никакой дополнительной информации. Сообщения,
6
передающие одну и ту же информацию, образуют класс эквивалентных
сообщений.
В то же время одно и то же сообщение может передавать совершенно
различную информацию.
Таким образом, одно и то же сообщение, по-разному
интерпретированное, может передавать разную информацию. Правило
интерпретации может быть известно лишь ограниченному кругу лиц;
существуют правила интерпретации для специальных языков.
Связь между сообщением и информацией особенно отчетлива в
криптографии: никто посторонний не должен суметь извлечь информацию из
передаваемого сообщения, иначе это означало бы, что он располагает
"ключом".
1.2 Субъективное и объективное восприятие информации
Человеку свойственно субъективное восприятие информации через
некоторый набор ее свойств: важность, достоверность, своевременность,
доступность, «больше-меньше» и т.д. Использование терминов «больше
информации» или «меньше информации» подразумевает некую возможность
ее измерения (или хотя бы количественного соотнесения).
При субъективном восприятии измерение информации возможно лишь
в виде установления некоторой субъективной порядковой шкалы для оценки
«больше-меньше». При объективном измерении количества информации
следует заведомо отрешиться от восприятия ее с точки зрения субъективных
свойств, примеры которых перечислены выше. Более того, не исключено, что
не всякая информация будет иметь объективно измеряемое количество.
Чтобы сообщение было передано от источника к получателю необходима
некоторая материальная субстанция — носитель информации. Сообщение,
передаваемое с помощью носителя — сигнал. В общем случае сигнал — это
изменяющийся во времени физический процесс. Та из характеристик
процесса, которая используется для представления сообщений, называется
параметром сигнала. В случае, когда параметр сигнала принимает
последовательное во времени конечное число значений (при этом все они
могут быть пронумерованы), сигнал называется дискретным, а сообщение,
передаваемое с помощью таких сигналов — дискретным сообщением. Если
же источник вырабатывает непрерывное сообщение (соответственно
параметр сигнала — непрерывная функция от времени), то соответствующая
информация называется непрерывной.
Примеры дискретного сообщения — текст книги, непрерывного
сообщения — человеческая речь, передаваемая модулированной звуковой
волной; параметром сигнала в этом случае является давление, создаваемое
этой волной в точке нахождения приемника — человеческого уха.
Непрерывное сообщение может быть представлено непрерывной функцией,
заданной на некотором интервале. Непрерывное сообщение можно
преобразовать в дискретное (такая процедура называется дискретизацией).
7
Из бесконечного множества значений параметра сигнала выбирается их
определенное число, которое приближенно может характеризовать
остальные значения. Для этого область определения функции разбивается на
отрезки равной длины и на каждом из этих отрезков значение функции
принимается постоянным и равным, например, среднему значению на этом
отрезке. В итоге получим конечное множество чисел. Таким образом, любое
непрерывное сообщение может быть представлено как дискретное, иначе
говоря, последовательностью знаков некоторого алфавита.
Возможность дискретизации непрерывного сигнала с любой желаемой
точностью (для возрастания точности достаточно уменьшить шаг)
принципиально важна с точки зрения информатики. Компьютер — цифровая
машина, т.е. внутреннее представление информации в нем дискретно.
Дискретизация входной информации (если она непрерывна) позволяет
сделать ее пригодной для компьютерной обработки.
1.3 Методы оценки информации
При оценке информации различают три аспекта: синтаксический,
семантический и прагматический.
Синтаксический аспект связан со способом представления
информации вне зависимости от ее смысловых и потребительских качеств и
рассматривает формы представления информации для ее передачи и
хранения (в виде знаков и символов). Данный аспект необходим для
измерения информации. Информацию, рассмотренную только в
синтаксическом аспекте, называют данными.
Семантический аспект передает смысловое содержание информации и
соотносит ее с ранее имевшейся информацией.
Прагматический аспект передает возможность достижения цели с
учетом полученной информации. [2]
1.4 Единицы количества информации: вероятностный и объемный
подходы
Определить понятие «количество информации» довольно сложно.
В решении этой проблемы существуют два основных подхода.
Исторически они возникли почти одновременно. В конце 40-х годов XX века
один из основоположников кибернетики американский математик Клод
Шеннон развил вероятностный подход к измерению количества информации,
а работы по созданию ЭВМ привели к «объемному» подходу.
Вероятностный подход.
Рассмотрим в качестве примера опыт, связанный с бросанием
правильной игральной кости, имеющей N граней (наиболее
распространенным является случай шестигранной кости: N = 6). Результаты
данного опыта могут быть следующие: выпадение грани с одним из
следующих знаков: 1,2,... N.
8
Рассмотрим процедуру бросания кости более подробно:
1) готовимся бросить кость; исход опыта неизвестен, т.е. имеется
некоторая неопределенность; обозначим ее H
1
;
2) кость брошена; информация об исходе данного опыта получена;
обозначим количество этой информации через I;
3) обозначим неопределенность данного опыта после его
осуществления через H
2
. За количество информации, которое получено в
ходе осуществления опыта, примем разность неопределенностей “до” и
“после” опыта:
I = H
1
– H
2
Очевидно, что в случае, когда получен конкретный результат,
имевшаяся неопределенность снята (Н
2
= 0), и, таким образом, количество
полученной информации совпадает с H
1
. Иначе говоря, неопределенность,
заключенная в опыте, совпадает с информацией об исходе этого опыта.
Заметим, что значение Н
2
могло быть и не равным нулю, например, в случае,
когда в ходе опыта следующей выпала грань со значением, большим “З”.
Этот опыт отражает вероятностный подход измерения количества
информации. [10]
В статье «Теоретические основы информатики» [3] приведена
следующая иллюстрация подхода к объёмному измерению информации.
Объемный подход.
В двоичной системе счисления знаки 0 и 1 называют *битами*_ (от
английского выражения Binary digiTs — двоичные цифры). В компьютере
бит является наименьшей возможной единицей информации. Объем
информации, записанной двоичными знаками в памяти компьютера или на
внешнем носителе информации, подсчитывается просто по количеству
требуемых для такой записи двоичных символов. При этом, в частности,
невозможно нецелое число битов (в отличие от вероятностного подхода).
Для удобства использования введены и более крупные, чем бит,
единицы количества информации. Так, двоичное слово из восьми знаков
содержит один байт информации. 1024 байта образуют килобайт (Кбайт),
1024 килобайта — мегабайт (Мбайт), а 1024 мегабайта — гигабайт (Гбайт).
Между вероятностным и объемным количеством информации
соотношение неоднозначное. Далеко не всякий текст, записанный
двоичными символами, допускает измерение объема информации в
вероятностном (кибернетическом) смысле, но заведомо допускает его в
объемном. Далее, если некоторое сообщение допускают измеримость
количества информации в обоих смыслах, то это количество не обязательно
совпадает, при этом кибернетическое количество информации не может быть
больше объемного.
В прикладной информатике практически всегда количество
информации понимается в объемном смысле.
1.5 Информация: более широкий взгляд
9
Как ни важно измерение информации, нельзя сводить к нему все
связанные с этим понятием проблемы. При анализе информации социального
(в широким смысле) происхождения на первый план могут выступить такие
ее свойства как истинность, своевременность, ценность, полнота и т.д. Их
невозможно оценить в терминах «уменьшение неопределенности»
(вероятностный подход) или числа символов (объемный подход). Обращение
к качественной стороне информации породило иные подходы к ее оценке.
При аксиологическом подходе стремятся исходить из ценности,
практической значимости информации, т.е. качественных характеристик,
значимых в социальной системе. При семантическом подходе информация
рассматривается как с точки зрения формы, так и содержания. При этом
информацию связывают с тезаурусом, т.е. полнотой систематизированного
набора данных о предмете информации. Отметим, что эти подходы не
исключают количественного анализа, но он становится существенно сложнее
и должен базироваться на современных методах математической статистики.
Известно большое количество работ, посвященных физической
трактовке информации. Эти работы в значительной мере построены на
основе аналогии формулы Больцмана, описывающей энтропию
статистической системы материальных частиц, и формулы Хартли.
Соответствующие материалы можно найти в литературе, отраженной в
приведенном ниже перечне. Информацию следует считать особым видом
ресурса, при этом имеется в виду толкование «ресурса» как запаса неких
знаний материальных предметов или энергетических, структурных или
каких-либо других характеристик предмета. В отличие от ресурсов,
связанных с материальными предметами, информационные ресурсы
являются неистощимыми и предполагают существенно иные методы
воспроизведения и обновления, чем материальные ресурсы. В связи с таким
взглядом центральными становятся следующие свойства информации:
запоминаемость, передаваемость, преобразуемость, оспроизводимость,
стираемость.
Подводя итог сказанному, отметим, что предпринимаются (но отнюдь
не завершены) усилия ученых, представляющих самые разные области
знания, построить единую теорию, которая призвана формализовать понятие
информации и информационного процесса, описать превращения
информации в процессах самой разной природы. Движение информации есть
сущность процессов управления, которые суть проявление имманентной
активности материи, ее способности к самодвижению. С момента
возникновения кибернетики управление рассматривается применительно ко
всем формам движения материи, а не только к высшим (биологической и
социальной). Многие проявления движения в неживых — искусственных
(технических) и естественных (природных) — системах также обладают
общими признаками управления, хотя их исследуют в химии, физике,
механике в энергетической, а не в информационной системе представлений.
Информационные аспекты в таких системах составляют предмет новой
междисциплинарной науки — синергетики.
10
Высшей формой информации, проявляющейся в управлении в
социальных системах, являются знания. Это наддисциплинарное понятие,
широко используемое в педагогике и исследованиях по искусственному
интеллекту, также претендует на роль важнейшей философской категории. В
философском плане познание следует рассматривать как один из
функциональных аспектов управления. Такой подход открывает путь к
системному пониманию генезиса процессов познания, его основ и
перспектив. [3]
2. Энтропия
2.1 Энтропия и Информация. Определение энтропии. Формула
Шеннона
Обсуждая понятие информации, невозможно не затронуть другое
смежное понятие – энтропия.
На сегодня понятие энтропии, хоть и используется широко и
повсеместно, определено не достаточно четко.
В некоторых источниках энтропия приравнивается к хаосу, в
некоторых энтропия равна минус информации, в некоторых – еще по-иному.
Впервые понятия энтропия и информация связалd К.Шеннон в 1948.
Следует подчеркнуть, что под информацией Шеннон понимал сигналы
нужные, полезные дляd получателя. Неполезные сигналы, с точки зрения
Шеннона, это шум, помехи. Если сигнал на выходе канала связи является
точной копией сигнала на входе то, с точки зрения теории информации, это
означает отсутствие энтропии. Отсутствие шума означает максимум
информации. Взаимосвязь энтропии и информации нашла отражение в
формуле:
ddddddddddddddddddddddddddddddddddddddddddd H + Y = 1,
где Н – энтропия, Y – информация. [4]
Назвав свою функцию энтропией, Шеннон, тем не менее,
предостерегал последователей от чрезмерного расширения области
применения этого понятия.
Известно три варианта энтропий.
Впервые понятие энтропии было введено Клаузиусом в 1865 г. как
функция термодинамического состояния системы. Энтропия Клаузиуса
пропорциональна количеству связанной энергии, находящейся в системе,
которую нельзя превратить в работу.
Энтропия Больцмана является мерой беспорядка, хаотичности,
однородностиd молекулярных систем.
В теории информации – мера достоверности передаваемой по каналу
связи информации (Шеннон).ddЭнтропия Шеннона количественно
характеризует достоверность передаваемого сигнала и используется для
расчета количества информации.
11
Также информация определяется К. Шенноном, как снятая
неопределенность. Количество информации I и энтропия H характеризуют
одну и ту же ситуацию, но с качественно противоположенных сторон. По
определению Леона Бриллюэна информация есть отрицательная энтропия
(негэнтропия).
Получение информации - необходимое условие для снятия
неопределенности. Неопределенность возникает в ситуации выбора. Задача,
которая решается в ходе снятия неопределенности - уменьшение количества
рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор
одного соответствующего ситуации варианта из числа возможных. Снятие
неопределенности дает возможность принимать обоснованные решения и
действовать. В этом управляющая роль информации.
Когда неопределенность снята полностью, количество полученной
информации I равно изначально существовавшей неопределенности H.
При частичном снятии неопределенности, полученное количество
информации и оставшаяся неснятой неопределенность составляют в сумме
исходную неопределенность. H
t
+ I
t
= H.
По этой причине, формулы, которые будут представлены ниже для
расчета энтропии H являются и формулами для расчета количества
информации I, т.е. когда речь идет о полном снятии неопределенности, H в
них может заменяться на I.
Ситуация максимальной неопределенности предполагает наличие
нескольких равновероятных альтернатив (вариантов), т.е. ни один из
вариантов не является более предпочтительным. Причем, чем больше
равновероятных вариантов наблюдается, тем больше неопределенность, тем
сложнее сделать однозначный выбор и тем больше информации требуется
для этого получить. Для N вариантов эта ситуация описывается следующим
распределением вероятностей: {1/N, 1/N, … 1/N}.
Минимальная неопределенность равна 0, т.е. эта ситуация полной
определенности, означающая что выбор сделан, и вся необходимая
информация получена. Распределение вероятностей для ситуации полной
определенности выглядит так: {1, 0, …0}.
Таким образом, величина, характеризующая количество
неопределенности в теории информации обозначается символом H и имеет
название энтропия, точнее информационная энтропия. Она выражается в
битах. Так же энтропию можно рассматривать как меру равномерности
распределения случайной величины.
Энтропия (обозначение Н
р
) – это мера неопределенности источника
сообщений, осуществляющего выбор из md состояний, каждое из которых
реализуется с вероятностью р
i.
Энтропия вычисляется по формуле:
H
p
= -
m
i
ii
pp
1
log
, где
m
i
i
p
1
1
-logp
i
– количество информации, которое несетd i-d тое состояние
сигнала есть величина случайная. Тогда, энтропия – это математическое