Информации количество

- теоретико-информационная мера величины информации, содержащейся в одной случайной величине относительно другой. Пусть x и h.- случайные величины, определенные на нек-ром вероятностном пространстве [img: http://localhost:8080/file/021018-39.jpg] и принимающие значения в измеримых пространствах [img: http://localhost:8080/file/021018-40.jpg] и [img: http://localhost:8080/file/021018-41.jpg] соответственно, а [img: http://localhost:8080/file/021018-42.jpg] [img: http://localhost:8080/file/021018-43.jpg] - их совместное и маргинальные распределения вероятностей. Если распределение Pxh (Х). абсолютно непрерывно относительно прямого произведения мер [img: http://localhost:8080/file/021018-44.jpg] - плотность (по Радону - Никодиму) меры Pxh(Х) относительно меры [img: http://localhost:8080/file/021018-45.jpg] и [img: http://localhost:8080/file/021018-46.jpg] - информационная плотность (логарифмы обычно берутся по основанию 2 или е), то, по определению, И. к. дается формулой [img: http://localhost:8080/file/021018-47.jpg] Если же мера [img: http://localhost:8080/file/021018-48.jpg] не является абсолютно непрерывной относительно произведения мер [img: http://localhost:8080/file/021018-49.jpg] то, по определению, [img: http://localhost:8080/file/021018-50.jpg] В случае, когда величины x и h принимают конечное число значений, выражение для И. к. I(x, h) приобретает следующий вид: [img: http://localhost:8080/file/021018-51.jpg] где [img: http://localhost:8080/file/021018-52.jpg] {pij, i=1,...,n; j=1,...,m) - распределения вероятностей x,h и пары (x, h) соответственно (в частности, [img: http://localhost:8080/file/021018-53.jpg] является энтропией случайной величины x), а если x,h - случайные векторы и существуют плотности Px(x), рh (у), Рxh(х, у)случайных векторов x, h и пары (x, h) соответственно, то [img: http://localhost:8080/file/021018-54.jpg] В общем случае [img: http://localhost:8080/file/021018-55.jpg] где верхняя грань берется по всем измеримой функциям [img: http://localhost:8080/file/021018-56.jpg] и [img: http://localhost:8080/file/021018-57.jpg] с конечным числом значений. Понятие И. к. используется главным образом в теории передачи информации. Лит. см. [1], [2], [4] при ст. Информации передача. Р. Л. Добрушин, В. В Прелов.