Теория информации — страница 2

  • Просмотров 2365
  • Скачиваний 229
  • Размер файла 28
    Кб

называется двоичной единицей или битом. Общая неопределённость опыта, имеющего к исходов, равна сумме неопределённостей, вносимых каждым исходом. Это число называют энтропией опыта А, будем его обозначать через Н(А). Рассмотрим некоторые свойства энтропии. Прежде всего, она не может принимать отрицательные значения: т.к. всегда 0 ≤ p(A) ≤ 1, то log p(A) не может быть положительным, а – p(A) log p(A) – отрицательным (р(А) – вероятность

получения исхода А в опыте). Также заметим, что если р очень мало, то и произведение – p(A) log p(A) тоже будет весьма малым, хотя и положительным, т.е. при рпроизведение – p log p неограниченно убывает. Энтропия опыта равна нулю, когда один из его исходов имеют степень вероятности 1, а остальные – степень вероятности 0. Наибольшую энтропию имеет опыт с равновероятными исходами. Пусть какое-либо измерение или наблюдение Б, предшествующее

опыту А, может ограничить количество возможных исходов опыта А и тем самым уменьшить степень его неопределённости. Для того, чтобы результат Б сказался на последующем опыте А, нужно, чтобы его результат не был известен заранее; поэтому Б можно рассматривать как вспомогательный, также имеющий несколько допустимых исходов. При этом, если опыт А не зависит от опыта Б, то осуществление Б не уменьшает энтропии А; если же наоборот

результат Б полностью предопределяет исход А, то энтропия А уменьшается до 0. Таким образом, разность I(A,Б)= H(A) – Hб(A) указывает, насколько осуществление опыта Б уменьшает неопределённость А. Эту разность называют количеством информации относительно опыта А, содержащемся в опыте Б, или, короче, информацией о А, содержащейся в Б. Таким образом, мы получаем возможность численного изменения информации. Часто может случиться, что,

желая узнать исход какого-либо опыта А, мы можем с этой целью по-разному выбирать опыты Б. В этом случае всегда рекомендуется начинать с того опыта Б0, который содержит наибольшую информацию относительно А, так как при другом опыте Б мы вероятно добьемся менее значительного уменьшения степени неопределённости А. Реально же, конечно, может получиться и наоборот. Также необходимо заметить, хотя это и не относится к той части

теории, которая пригодится нам для решения задач, что информация имеет ярко выраженный материальный характер — то есть она может передаваться только с помощью вещества или энергии.    Пусть известно, что житель некоторого города А всегда говорят правду, а жители соседнего города Б всегда обманывают. Наблюдатель Н. знает, что он находится в одном из этих двух городов, но не знает, в каком именно. Путём опроса встречного ему