Марковский процесс

, процесс без последействия, - случайный процесс, эволюция к-рого после любого заданного значения временного параметра tне зависит от эволюции, предшествовавшей t, при условии, что значение процесса в этот момент фиксировано (короче: "будущее" н "прошлое" процесса не зависят друг от друга при известном "настоящем"). Определяющее М. п. свойство принято наз. марковским; впервые оно было сформулировано А. А. Марковым [1]. Однако уже в работе Л. Башелье [2] можно усмотреть попытку трактовать броуновское движение как М. п., попытку, получившую обоснование после исследований Н. Винера (N. Wiener, 1923). Основы общей теории М. п. с непрерывным временем были заложены А. Н. Колмогоровым [3]. Марковское свойство. Имеются существенно отличающиеся друг от друга определения М. п. Одним из наиболее распространенных является следующее. Пусть на вероятностном пространстве [img: http://localhost:8080/file/031406-57.jpg] задан случайный процесс [img: http://localhost:8080/file/031406-58.jpg] со значениями из измеримого пространства [img: http://localhost:8080/file/031406-59.jpg] где Т - подмножество действительной оси [img: http://localhost:8080/file/031406-60.jpg] Пусть Nt (соответственно Nt).есть s-алгебра в [img: http://localhost:8080/file/031406-61.jpg] порожденная величинами X(s).при [img: http://localhost:8080/file/031406-62.jpg] где [img: http://localhost:8080/file/031406-63.jpg] Другими словами, Nt (соответственно Nt) - это совокупность событий, связанных с эволюцией процесса до момента t(начиная с t). Процесс X(t).наз. марковским процессом, если (почти наверное) для всех [img: http://localhost:8080/file/031406-64.jpg] выполняется марковское свойство: [img: http://localhost:8080/file/031406-65.jpg] или, что то же самое, если для любых [img: http://localhost:8080/file/031406-66.jpg] [img: http://localhost:8080/file/031406-67.jpg] М. п., для к-рого Тсодержится в множестве натуральных чисел, наз. Маркова цепью (впрочем, последний термин чаще всего ассоциируется со случаем не более чем счетного Е). Если Тявляется интервалом в [img: http://localhost:8080/file/031406-68.jpg] а Ене более чем счетно, М. п. наз. цепью Маркова с непрерывным временем. Примеры М. п. с непрерывным временем доставляются диффузионными процессами и процессами с независимыми приращениями, в том числе пуассоновским и винеровским. В дальнейшем для определенности речь будет идти только о случае [img: http://localhost:8080/file/031406-69.jpg] Формулы (1) и (2) дают ясную интерпретацию принципа независимости "прошлого" и "будущего" при известном "настоящем", но основанное на них определение М. п. оказалось недостаточно гибким в тех многочисленных ситуациях, когда приходится рассматривать не одно, а набор условий типа (1) или (2), отвечающих различным, хотя и согласованным определенным образом, мерам [img: http://localhost:8080/file/031406-70.jpg] Такого рода соображения привели к принятию следующего определения (см. [9], [11]). Пусть заданы: а) измеримое пространство [img: http://localhost:8080/file/031406-71.jpg] где s-алгебра [img: http://localhost:8080/file/031406-72.jpg] содержит все одноточечные множества в Е; б) измеримое пространство [img: http://localhost:8080/file/031406-73.jpg] снабженное семейством s-алгебр [img: http://localhost:8080/file/031406-74.jpg] таких, что [img: http://localhost:8080/file/031406-75.jpg] если [img: http://localhost:8080/file/031406-76.jpg] в) функция ("траектория") xt=xt(w), определяющая при любых [img: http://localhost:8080/file/031406-77.jpg] измеримое отображение [img: http://localhost:8080/file/031406-78.jpg] г) для каждых [img: http://localhost:8080/file/031406-79.jpg] и [img: http://localhost:8080/file/031406-80.jpg] вероятностная мера [img: http://localhost:8080/file/031406-81.jpg] на s-алгебре [img: http://localhost:8080/file/031406-82.jpg] такая, что функция [img: http://localhost:8080/file/031406-83.jpg] [img: http://localhost:8080/file/031406-84.jpg] измерима относительно [img: http://localhost:8080/file/031406-85.jpg] если [img: http://localhost:8080/file/031406-86.jpg] и [img: http://localhost:8080/file/031406-87.jpg] Набор [img: http://localhost:8080/file/031406-88.jpg] наз. (необрывающимся) марковским процессом, заданным в [img: http://localhost:8080/file/031406-89.jpg] если [img: http://localhost:8080/file/031406-90.jpg] -почти наверное [img: http://localhost:8080/file/031406-91.jpg] каковы бы ни были [img: http://localhost:8080/file/031406-92.jpg] Здесь [img: http://localhost:8080/file/031406-93.jpg] - пространство элементарных событий, [img: http://localhost:8080/file/031406-94.jpg] - фазовое пространство или пространство состояний, Р(s, x, t, В) - переходная функция или вероятность перехода процесса X(t). Если Енаделено топологией, а [img: http://localhost:8080/file/031406-95.jpg] - совокупность борелевских множеств в Е, то принято говорить, что М. п. задан в Е. Обычно в определение М. п. включают требование, чтобы [img: http://localhost:8080/file/031406-96.jpg] и тогда [img: http://localhost:8080/file/031406-97.jpg] истолковывается как вероятность [img: http://localhost:8080/file/031406-98.jpg] при условии, что xs=x. Возникает вопрос: всякую ли марковскую переходную функцию Р(s, x; t, В), заданную в измеримом пространстве [img: http://localhost:8080/file/031406-99.jpg] можно рассматривать как переходную функцию нек-рого М. п. Ответ положителен, если, напр., Еявляется сепарабельным локально компактным пространством, а [img: http://localhost:8080/file/031406-100.jpg] - совокупностью борелевских множеств в Е. Более того, пусть Е - полное метрич. пространство и пусть [img: http://localhost:8080/file/031406-101.jpg] для любого [img: http://localhost:8080/file/031406-102.jpg] где [img: http://localhost:8080/file/031406-103.jpg] а [img: http://localhost:8080/file/031406-104.jpg] - дополнение e-окрестности точки х. Тогда соответствующий М. п. можно считать непрерывным справа и имеющим пределы слева (т. е. таковыми можно выбрать его траектории). Существование же непрерывного М. п. обеспечивается условием [img: http://localhost:8080/file/031406-105.jpg] [img: http://localhost:8080/file/031406-106.jpg] при [img: http://localhost:8080/file/031406-107.jpg] (см. [9], [11]). В теории М. п. основное внимание уделяется однородным (по времени) процессам. Соответствующее определение предполагает заданной систему объектов а) - г) с той разницей, что для фигурировавших в ее описании параметров sи u теперь допускается лишь значение 0. Упрощаются и обозначения: [img: http://localhost:8080/file/031406-108.jpg] Далее, постулируется однородность пространства W, т. е. требуется, чтобы для любых [img: http://localhost:8080/file/031406-109.jpg] существовало такое [img: http://localhost:8080/file/031406-110.jpg] что [img: http://localhost:8080/file/031406-111.jpg] (w) при [img: http://localhost:8080/file/031406-112.jpg] Благодаря этому на s-алгебре N, наименьшей из s-алгебр в W, содержащих любое событие вида [img: http://localhost:8080/file/031406-113.jpg] задаются операторы временного сдвига qt, к-рые сохраняют операции объединения, пересечения и вычитания множеств и для к-рых [img: http://localhost:8080/file/031406-114.jpg] где [img: http://localhost:8080/file/031406-115.jpg] Набор [img: http://localhost:8080/file/031406-116.jpg] наз. (необрывающимся) однородным марковским процессом, заданным в [img: http://localhost:8080/file/031406-117.jpg] если [img: http://localhost:8080/file/031406-118.jpg] -почти наверное [img: http://localhost:8080/file/031406-119.jpg] для [img: http://localhost:8080/file/031406-120.jpg] Переходной функцией процесса X(t).считается Р(t, x, В), причем, если нет специальных оговорок, дополнительно требуют, чтобы [img: http://localhost:8080/file/031406-121.jpg] Полезно иметь в виду, что при проверке (4) достаточно рассматривать лишь множества [img: http://localhost:8080/file/031406-122.jpg] вида [img: http://localhost:8080/file/031406-123.jpg] где [img: http://localhost:8080/file/031406-124.jpg] и что в (4) всегда Ft можно заменить s-алгеброй [img: http://localhost:8080/file/031406-125.jpg], равной пересечению пополнений Ft по всевозможным мерам [img: http://localhost:8080/file/031406-126.jpg] Нередко в [img: http://localhost:8080/file/031406-127.jpg] фиксируют вероятностную меру m ("начальное распределение") и рассматривают марковскую случайную функцию [img: http://localhost:8080/file/031406-128.jpg] где [img: http://localhost:8080/file/031406-129.jpg] - мера на [img: http://localhost:8080/file/031406-130.jpg] заданная равенством [img: http://localhost:8080/file/031406-131.jpg] М. п. [img: http://localhost:8080/file/031406-132.jpg] наз. прогрессивно измеримым, если при каждом t>0 функция [img: http://localhost:8080/file/031406-133.jpg] индуцирует измеримое отображение [img: http://localhost:8080/file/031406-134.jpg] в [img: http://localhost:8080/file/031406-135.jpg] где [img: http://localhost:8080/file/031406-136.jpg] есть s-алгебра борелевских подмножеств в [0, t]. Непрерывные справа М. п. прогрессивно измеримы. Существует способ сводить неоднородный случай к однородному (см. [11]), и в дальнейшем речь будет идти об однородных М. п. Строго марковское свойство. Пусть в измеримом пространстве [img: http://localhost:8080/file/031406-137.jpg] задан М. п. [img: http://localhost:8080/file/031406-138.jpg] Функция [img: http://localhost:8080/file/031406-139.jpg] наз. марковским моментом, если [img: http://localhost:8080/file/031406-140.jpg] для всех [img: http://localhost:8080/file/031406-141.jpg] При этом множество [img: http://localhost:8080/file/031406-142.jpg] относят к семейству Ft, если [img: http://localhost:8080/file/031406-143.jpg] при [img: http://localhost:8080/file/031406-144.jpg] (чаще всего Ft интерпретируют как совокупность событий, связанных с эволюцией X(t).до момента т). Для [img: http://localhost:8080/file/031406-145.jpg] полагают [img: http://localhost:8080/file/031406-146.jpg] Прогрессивно измеримый М. п. Xназ. строго марковским процессом (с. м. п.), если для любого марковского момента т и всех [img: http://localhost:8080/file/031406-147.jpg] и [img: http://localhost:8080/file/031406-148.jpg] соотношение [img: http://localhost:8080/file/031406-149.jpg] (строго марковское свойство) выполняется [img: http://localhost:8080/file/031406-150.jpg] -почти наверное на множестве Wt. При проверке (5) достаточно рассматривать лишь множества вида [img: http://localhost:8080/file/031406-151.jpg] где [img: http://localhost:8080/file/031406-152.jpg] в этом случае [img: http://localhost:8080/file/031406-153.jpg] С. м. п. является, напр., любой непрерывный справа феллеровский М. п. в топологич. пространстве Е. М. п. наз. феллеровским марковским процессом, если функция [img: http://localhost:8080/file/031406-154.jpg] непрерывна всякий раз, когда f непрерывна и ограничена. В классе с. м. п. выделяются те или иные подклассы. Пусть марковская переходная функция Р(t, x, В), заданная в метрическом локально компактном пространстве Е, стохастически непрерывна: [img: http://localhost:8080/file/031406-155.jpg] для любой окрестности Uкаждой точки [img: http://localhost:8080/file/031406-156.jpg] Тогда если операторы [img: http://localhost:8080/file/031406-157.jpg] переводят в себя класс непрерывных и обращающихся в 0 в бесконечности функций, то функции Р(t, х, В).отвечает стандартный М. п. X, т. е. непрерывный справа с. м. п., для к-рого [img: http://localhost:8080/file/031406-158.jpg] при [img: http://localhost:8080/file/031406-159.jpg] при [img: http://localhost:8080/file/031406-160.jpg] и [img: http://localhost:8080/file/031406-161.jpg] - почти наверное на множестве [img: http://localhost:8080/file/031406-162.jpg] [img: http://localhost:8080/file/031406-163.jpg] где [img: http://localhost:8080/file/031406-164.jpg] а [img: http://localhost:8080/file/031406-165.jpg] - неубывающие с ростом пмарковские моменты. Обрывающийся марковский процесс. Нередко физич. системы целесообразно описывать с помощью необрывающегося М. п., но лишь на временном интервале случайной длины. Кроме того, даже простые преобразования М. п. могут привести к процессу с траекториями, заданными на случайном интервале (см. Функционал от марковского процесса). Руководствуясь этими соображениями, вводят понятие обрывающегося М. п. Пусть [img: http://localhost:8080/file/031406-166.jpg] - однородный М. п. в фазовом пространстве [img: http://localhost:8080/file/031406-167.jpg] имеющий переходную функцию [img: http://localhost:8080/file/031406-168.jpg] и пусть существуют точка [img: http://localhost:8080/file/031406-169.jpg] и функция [img: http://localhost:8080/file/031406-170.jpg] такие, что [img: http://localhost:8080/file/031406-171.jpg] при [img: http://localhost:8080/file/031406-172.jpg] и [img: http://localhost:8080/file/031406-173.jpg] в противном случае (если нет специальных оговорок, считают [img: http://localhost:8080/file/031406-174.jpg]). Новая траектория xt(w) задается лишь для [img: http://localhost:8080/file/031406-175.jpg]) посредством равенства [img: http://localhost:8080/file/031406-176.jpg] a Ft определяется как след [img: http://localhost:8080/file/031406-177.jpg] в множестве [img: http://localhost:8080/file/031406-178.jpg] Набор [img: http://localhost:8080/file/031406-179.jpg] где [img: http://localhost:8080/file/031406-180.jpg] наз. обрывающимся марковским процессом (о. м. п.), полученным из [img: http://localhost:8080/file/031406-181.jpg] с помощью обрыва (или убивания) в момент z. Величина z наз. моментом обрыва, или временем жизни, о. м. п. Фазовым пространством нового процесса служит [img: http://localhost:8080/file/031406-182.jpg] где [img: http://localhost:8080/file/031406-183.jpg] есть след s-алгебры [img: http://localhost:8080/file/031406-184.jpg] в Е. Переходная функция о. м. п.- это сужение [img: http://localhost:8080/file/031406-185.jpg] на множество [img: http://localhost:8080/file/031406-186.jpg] [img: http://localhost:8080/file/031406-187.jpg] Процесс X(t).наз. строго марковским процессом, или стандартным марковским процессом, если соответствующим свойством обладает [img: http://localhost:8080/file/031406-188.jpg] Необрывающийся М. п. можно рассматривать как о. м. п. с моментом обрыва [img: http://localhost:8080/file/031406-189.jpg] Неоднородный о. м. п. определяется аналогичным образом. М. Марковские процессы и дифференциальные уравнения. М. п. типа броуновского движения тесно связаны с дифференциальными уравнениями параболич. типа. Переходная плотность р(s, x, t, у).диффузионного процесса удовлетворяет при нек-рых дополнительных предположениях обратному и прямому дифференциальным уравнениям Колмогорова: [img: http://localhost:8080/file/031406-190.jpg] Функция р(s, x, t, у).есть функция Грина уравнений (6) - (7), и первые известные способы построения диффузионных процессов были основаны на теоремах существования этой функции для дифференциальных уравнений (6) - (7). Для однородного по времени процесса оператор L(s, x) = L(x).на гладких функциях совпадает с характеристич. оператором М. п. (см. Переходных операторов полугруппа). Математич. ожидания различных функционалов от диффузионных процессов служат решениями соответствующих краевых задач для дифференциального уравнения (1). Пусть [img: http://localhost:8080/file/031406-191.jpg] - математич. ожидание по мере [img: http://localhost:8080/file/031406-192.jpg] Тогда функция [img: http://localhost:8080/file/031406-193.jpg] удовлетворяет при s<T уравнению (6) и условию [img: http://localhost:8080/file/031406-194.jpg] Аналогично, функция [img: http://localhost:8080/file/031406-195.jpg] удовлетворяет при s<T уравнению [img: http://localhost:8080/file/031406-196.jpg] и условию и 2(Т, x) = 0. Пусть тt - момент первого достижения границы дD области [img: http://localhost:8080/file/031406-197.jpg] траекторией процесса [img: http://localhost:8080/file/031406-198.jpg] [img: http://localhost:8080/file/031406-199.jpg] Тогда при нек-рых условиях функция [img: http://localhost:8080/file/031406-200.jpg] удовлетворяет уравнению [img: http://localhost:8080/file/031406-201.jpg] и принимает значения ср на множестве [img: http://localhost:8080/file/031406-202.jpg] Решение 1-й краевой задачи для общего линейного параболич. уравнения 2-го порядка [img: http://localhost:8080/file/031406-203.jpg] при довольно общих предположениях может быть записано в виде [img: http://localhost:8080/file/031406-204.jpg] В случае, когда оператор Lи функции с, f не зависят от s, аналогичное (9) представление возможно и для решения линейного эллиптич. уравнения. Точнее, функция [img: http://localhost:8080/file/031406-205.jpg] при нек-рых предположениях есть решение задачи [img: http://localhost:8080/file/031406-206.jpg] В случае, когдгг оператор Lвырождается (del b(s, х) = 0).или граница дD недостаточно "хорошая", граничные значения могут и не приниматься функциями (9), (10) в отдельных точках или на целых множествах. Понятие регулярной граничной точки для оператора L имеет вероятностную интерпретацию. В регулярных точках границы граничные значения достигаются функциями (9), (10). Решение задач (8), (11) позволяет изучать свойства соответствующих диффузионных процессов и функционалов от них. Существуют методы построения М. п., не опирающиеся на построение решений уравнений (6), (7), напр. метод стохастических дифференциальных уравнений, абсолютно непрерывная замена меры и др. Это обстоятельство вместе с формулами (9), (10) позволяет вероятностным путем строить и изучать свойства краевых задач для уравнения (8), а также свойства решении соответствующего эллиптич. уравнения. Так как решение стохастического дифференциального уравнения нечувствительно к вырождению матрицы b(s, x), то вероятностные методы применялись для построения решений вырождающихся эллиптических и параболических дифференциальных уравнений. Распространение принципа усреднения Н. М. Крылова и Н. Н. Боголюбова на стохастические дифференциальные уравнения позволило с помощью (9) получить соответствующие результаты для эллиптических и параболических дифференциальных уравнений. Нек-рые трудные задачи исследования свойств решений уравнений такого типа с малым параметром при старшей производной оказалось возможным решить с помощью вероятностных соображений. Вероятностный смысл имеет и решение 2-й краевой задачи для уравнения (6). Постановка краевых задач для неограниченной области тесно связана с возвратностью соответствующего диффузионного процесса. В случае однородного по времени процесса (Lне зависит от s) положительное решение уравнения [img: http://localhost:8080/file/031406-207.jpg] с точностью до мультипликативной постоянной совпадает при нек-рых предположениях со стационарной плотностью распределения М. п. Вероятностные соображения оказываются полезными и при рассмотрении краевых задач для нелинейных параболич. уравнений. Р. 3. Хасьминский.