Шпоры по теории информации, мировые информационные ресурсы и сети

1. Источники информации: комбинаторные и вероятностные; конечные и бесконечные. Способы получения информации. Источник информации – такой физ. объект, система или явление, порождающее сообщение. Принято рассматривать cледующие типы источников : комбинаторные и вероятностные. Комбинаторный источник способен породить некоторое подмножество множества всех возможных сообщений, причем все порождаемые сообщения равновероятны.

Вероятностный источник порождает любое сообщение, но различные сообщения имеют различные вероятности. Источники сообщений могут быть, кроме того, конечными и бесконечными. Конечный комбинаторный источник можно идентифицировать с подмножеством некоторого конечного множества. Конечный вероятностный источник можно отождествить с распределением вероятностей на конечном алфавите. Бесконечный источник порождает бесконечые

слова некоторого алфавита или функции действительного переменного. Вероятностные источники с конечной памятью называются марковскими, а источники без памяти, у которых вероятность порождения очередной буквы не зависит от предыдущих букв, называются бернуллиевскими. Комбинаторные источники – такие источники, в кот. сообщение формируется путем комбинирования мн-ва всех возможных сообщений, причем все сообщения

равновероятны. Комбинирование происходит путем сочетаний букв, знаков исходного алфавита. Вероятностные источники – такие источники, в кот. порождаются сообщения, имеющие разную вероятность. Конечный комбинаторный источник – можно идентифицировать с подмножеством некоего конечного множества. Конечный вероятностный источник – можно отождествить с распределением вероятности на конечном алфавите. Бесконечный источник –

порождает бесконечные слова некоторого алфавита или функции действительной переменной. Марковский источник – случайный источник, у которого имеется конечная память. Бернулиевский источник – источник без памяти, у которого вероятность порождения очередной буквы не зависит от того, какую букву выдал источник перед этим. Стационарный источник – источник, у которого вероятности отдельных знаков или букв или их сочетаний не