Сообщений скорость создания

величина, характеризующая информации количество, создаваемое за единицу времени источником сообщений. С. с. с. источника сообщений ис дискретным временем, вырабатывающего сообщение [img: http://localhost:8080/file/051938-54.jpg] образованное последовательностью случайных величин [img: http://localhost:8080/file/051938-55.jpg] принимающих значение из нек-poгo дискретного множества X, определяется равенством [img: http://localhost:8080/file/051938-56.jpg] если такой предел существует. Здесь [img: http://localhost:8080/file/051938-57.jpg] - энтропия случайной величины [img: http://localhost:8080/file/051938-58.jpg] Величину [img: http://localhost:8080/file/051938-59.jpg] определяемую равенством (*), называют также энтропией (на символ) источника сообщений. Доказать существование предела (*) и явно его вычислить удается, напр., для стационарных источников; явные формулы для [img: http://localhost:8080/file/051938-60.jpg] получены для стационарных марковских источников и гауссовских источников. Понятие С. с. с. Н(и)тесно связано с понятием избыточности источника сообщений. Если и - стационарный эргодич. источник сообщений с конечным числом состояний, то справедливо следующее свойство асимптотической равнораспределенности (теорема Макмиллана, [1]). Пусть [img: http://localhost:8080/file/051938-61.jpg] где [img: http://localhost:8080/file/051938-62.jpg] суть значения [img: http://localhost:8080/file/051938-63.jpg] - отрезка сообщений длины L. Для произвольных [img: http://localhost:8080/file/051938-64.jpg] [img: http://localhost:8080/file/051938-65.jpg] существует [img: http://localhost:8080/file/051938-67.jpg] такое, что при всех [img: http://localhost:8080/file/051938-68.jpg] [img: http://localhost:8080/file/051938-66.jpg]