Источник сообщении

- объект, вырабатывающий сообщения, подлежащие передаче по каналу связи. Сообщение, вырабатываемое И. с. U, есть случайная величина x, определенная на нек-ром вероятностном пространстве [img: http://localhost:8080/file/021022-19.jpg] принимающая значения в нек-ром измеримом пространстве [img: http://localhost:8080/file/021022-20.jpg] и имеющая распределение вероятностей p(Х). Обычно [img: http://localhost:8080/file/021022-21.jpg] где (Xt, SXt) - экземпляры одного и того же измеримого пространства (X, SX), а П - прямое произведение пространств (Xt, SXt), когда параметр tпробегает множество Д, являющееся, как правило, либо нек-рым интервалом (конечным, полубесконечным или бесконечным в обе стороны) действительной оси, либо нек-рым дискретным подмножеством этой оси (в последнем случае обычно D= {..., - 1,0, 1,...} или D={1, 2,...}). В первом из этих случаев говорят об И. с. с непрерывным временем, а во втором - об И. с. с дискретным временем. Ив том, и в другом случае сообщением служит случайный процесс x= {x(t), [img: http://localhost:8080/file/021022-22.jpg] } со значениями в пространстве (X, SX);в приложениях x(t) трактуется как сообщение, вырабатываемое И. с. в момент времени t. Наборы случайных величин [img: http://localhost:8080/file/021022-23.jpg] наз. отрезками (t, T] сообщений. И. с. делятся на различные классы в зависимости от типа сообщения - случайного процесса x(t), вырабатываемого И. с. Напр., если x(t) - случайный процесс с независимыми одинаково распределенными значениями или стационарный, эргодический, марковский, гауссовский и т. д. процесс, то И. с. наз. соответственно И. с. без памяти, стационарным, эргодическим, марковским, гауссовскими т. д. Одной из задач в теории информации передачи является задача кодирования И. с. При этом различают, напр., кодирование И. с. кодами фиксированной длины, переменной длины, кодирование И. с. при заданных условиях точности и др. (в приложениях нек-рые задачи кодирования И. с. наз. квантованием сообщений, сжатием сообщений и т. д.). Напр., пусть U- И. с. без памяти с дискретным временем, вырабатывающий сообщение x = (...,x-1, x0, x1,...), компоненты xk к-рого принимают значения из нек-рого конечного множества (алфавита) X. Пусть имеется другое конечное множество [img: http://localhost:8080/file/021022-24.jpg] (множество значений компонент xk воспроизводимого сообщения [img: http://localhost:8080/file/021022-25.jpg] Кодированием объема Мотрезка xL=(x1,..., xL). сообщения длины Lназ. отображение XL в множество из Мэлементов [img: http://localhost:8080/file/021022-26.jpg] и пусть [img: http://localhost:8080/file/021022-27.jpg] - образ элемента при [img: http://localhost:8080/file/021022-28.jpg] таком отображении (здесь XL- прямое произведение Lэкземпляров множества X). Пусть, далее, сообщений точность воспроизведения задается действительнозначной неотрицательной функцией [img: http://localhost:8080/file/021022-29.jpg] - мерой искажения, так что средняя мера искажения нек-рого кодирования задается равенством [img: http://localhost:8080/file/021022-30.jpg] где [img: http://localhost:8080/file/021022-31.jpg] если xL=(x1,..., xL)и [img: http://localhost:8080/file/021022-32.jpg] е-энтропией И. с. без памяти наз. величина [img: http://localhost:8080/file/021022-33.jpg] где I(Х, Х) - информации количество, а нижняя грань берется по всевозможным совместным распределениям пары [img: http://localhost:8080/file/021022-34.jpg] таким, что распределение Х 1 совпадает с распределением отдельной компоненты И. с. Uи [img: http://localhost:8080/file/021022-35.jpg] Теорема кодирования И. с. Пусть [img: http://localhost:8080/file/021022-36.jpg] есть е-энтропия дискретного источника Uбез памяти с конечной мерой искажения [img: http://localhost:8080/file/021022-37.jpg] и пусть М=ехр {LR}. Тогда: 1) для любого е>0, любого d>0, любого [img: http://localhost:8080/file/021022-38.jpg] и достаточно большого Lсуществует кодирование объема Мотрезка сообщения длины Lтакое, что среднее искажение [img: http://localhost:8080/file/021022-39.jpg] удовлетворяет неравенству [img: http://localhost:8080/file/021022-40.jpg] 2) если R<He(U), то при любом кодировании объема Мотрезка сообщения длины Lсреднее искажение rL удовлетворяет неравенству [img: http://localhost:8080/file/021022-41.jpg] Эта теорема кодирования обобщается и на более общий класс И. с, напр, для И. с. с непрерывным пространством Xзначений компонент. В этом случае вместо кодирования объема Мговорят о квантовании И. с. объема М. Следует заметить, что е-энтропия [img: http://localhost:8080/file/021022-42.jpg] входящая в формулировку теоремы, при e=0 и мере искажения [img: http://localhost:8080/file/021022-43.jpg] совпадает со скоростью создания сообщений заданным И. с.