Теория информации

  • Просмотров 2000
  • Скачиваний 227
  • Размер файла 28
    Кб

Ученица 10 А класса ГОУ РМЭ ЦО № 18 Коробкова Анна г. Йошкар-Ола, 2004 1)     Введение. Понятие энтропии. 2)     Понятие информации. 3)     Решение некоторых типовых задач. 4)     Заключение 5)     Список использованной литературы. Главным свойством случайных событий является отсутствие полной уверенности в их наступлении, создающее известную неопределённость при выполнении связанных с

этими событиями опытов. Однако совершенно ясно, что степень этой неопределённости в различных случаях будет совершенно разной. Возникновение математической теории информации стало возможным после того, как было осознанно, что количество информации можно задать числом. Для практики очень важно уметь численно оценивать степень неопределённости самых разнообразных опытов. Начнём с рассмотрения опытов, имеющих к

равновероятных исходов. Очевидно, что степень неопределённости каждого такого опыта определяется числом к: если при к=1 исход опыта вообще не является случайным, то при большом к предсказать исход опыта очень и очень сложно. Таким образом, искомая численная степень неопределённости должна являться функцией числа к, при к =1 обращаться в нуль и возрастать при возрастании числа к. Теперь рассмотрим два независимых опыта А и В.

Пусть опыт А имеет к равновероятных исходов, а опыт В – равновероятных исходов. Очевидно, что степень неопределённости двойного опыта АВ равна сумме степеней неопределённости опытов А и В. А так как опыт АВ имеет ks равновероятных исходов, приходим к следующему условию, которому должна удовлетворять наша функция f(k): f(ks)=f(k)+f(s). Это условие наталкивает на мысль принять за меру неопределённости опыта, имеющего к равновероятных

исходов, число log k, так как логарифмическая функция – единственная, удовлетворяющая всем вышеперечисленным условиям. Заметим, что выбор основания системы логарифмов здесь несуществен, так как в силу известной формулы logbk = logbaak переход от одной системы логарифмов к другой сводится лишь к простому изменению единицы измерения степени неопределённости. Как правило, используются логарифмы при основании 2. Такая единица измерения