Шпоры по теории информации, мировые информационные ресурсы и сети — страница 4

  • Просмотров 6591
  • Скачиваний 347
  • Размер файла 4539
    Кб

«выбор» несет в себе важный смысл: кол-во И связано с неопр-тью или неправдоподобием конкретной И безотносительно к ее структуре. Шеннон взглянул на все виды И совершенно с новой позиции. И несет уменьшение неопр-ти в наших знаниях. Принимая решение «Да» или «Нет» мы уменьшаем неопр-ть в 2 раза. Если неопр-ть такова, что вероятности «Да» и «Нет» равны, то мы говорим, что наше решение несет И в 1 бит. Шеннон доказал, что количественная

оценка И, кот. несет 1 символ, требует неожиданности его появления, т.е. вероятности. Чем реже появляется символ или чем реже происходит некот. событие, тем меньше его вер-ть и тем больше несет кол-во И. Неопр-ть каждой ситуации х-ся энтропией. (бит/символ) Таким образом, энтропия, полученная разными способами может отличаться коэффициентами перед знаком суммы. Информация есть отрицание энтропии. H+I=1 I=H5-H6. Инф= устраняемая

неопределенность(этропия) H5-до опыта(априорная Э), H6- после опыта (апостериорная Э). «чем больше вероятность, тем меньше инф.» Энтропия выражается как средняя И или средняя ф-ия мн-ва вер-тей каждого из возможных исходов опыта. Энтропия м.б. определена также как среднее кол-во И на одно сообщение или мат. ожидание для измеримой величины. Энтропия: 1)всегда неотрицательна; 2)Энтропия равна 0, когда вероятность одного из событий равна 0;

3) Энтропия максимальна в случае равновероятности;4) Энтропия является непрерывной функцией вероятности 4. Передача сообщений по каналам связи. Модели каналов. Первая и вторая теоремы Шеннона. Канал связи- это среда распространения сообщения(эл/магн поле среда или кабельная линия, волоконно оптическая линия) между передатчиком и приемником Канал передачи сообщения - путь передачи информации со всеми необходимыми схемами,

который используется для пересылки данных между системами или частями системы. В случае интерфейса, состоящего из нескольких параллельных каналов, каждый канал выделяется для передачи информации одного типа, например, данных или сигналов управления. В соответствии со структурой входных и выходных сигналов выделяют дискретные и непрерывные сигналы. В дискретных каналах сигналы на входе и выходе представляют собой

последовательность символов одного или двух(по одному для входа и выхода) алфавитов. В непрерывных каналах входной и выходной сигналы представляют собой функции от непрерывного параметра времени. Бывают также смешанные или гибридные каналы, но тогда обычно рассматривают их дискретные и непрерывные компоненты отдельно. каналы: 1)симметричные 2)несимметричные 1) с помехами, 2) без помех Модели каналов: 1. Бинарный канал 2.Канал со