Дифференциальная энтропия

- формальный аналог понятия энтропии для случайных величин, имеющих плотность распределения. Д. э. h(x) случайной величины x, определенной на нек-ром вероятностном пространстве (W, U, Р), принимающей значения в n-мерном евклидовом пространстве Rn и имеющей плотность распределения р(х), [img: http://localhost:8080/file/020529-47.jpg] дается формулой [img: http://localhost:8080/file/020529-48.jpg] (здесь 0log0 считается равным 0). Таким образом, Д. э. совпадает с энтропией меры [img: http://localhost:8080/file/020529-49.jpg] относительно меры Лебега l(-), где [img: http://localhost:8080/file/020529-50.jpg] - распределение x. Понятие Д. э. оказывается полезным при вычислении различных теоретико-информационных характеристик, в первую очередь информации количестваJ(x, h)случайных векторов xи h. В случае, когда h(x), h(h)и h(x,h)(Д. э. пары (x,h)конечны, справедлива формула: [img: http://localhost:8080/file/020529-51.jpg] Среди свойств Д. э. можно отметить следующие два: 1) в отличие от обычной энтропии, Д. э. не ковариантна относительно изменения системы координат и может принимать отрицательные значения; 2) пусть j(x) - дискретизация с шагом Ахn-мерной случайной величины x, обладающей плотностью, тогда для энтропии Н(j(x))справедлива формула [img: http://localhost:8080/file/020529-52.jpg] при [img: http://localhost:8080/file/020529-53.jpg] Таким образом, при [img: http://localhost:8080/file/020529-54.jpg] [img: http://localhost:8080/file/020529-55.jpg] главный член асимптотики Н(j(x)). зависит от размерности пространства значений x, Д. э. задает следующий по порядку член асимптотич. разложения, не зависящий от Ах, причем это первый член, в к-ром проявляется зависимость от конкретного вида распределения x.