Прикладная математика
1 1 1 1 1 1 1 1 1 1 Рейтинг 0.00 (0 Голоса)

Уравнение Колмогорова для непрерывной цепи Маркова

2.1 Вероятности состояний для произвольного момента времени, .

Пусть ,,.., – возможные состояния системы. Переход из состояния в состояние (при условии, что последнее достижимо из ) может осуществляться в любой момент времени . Возможный граф состояний системы представлен на рис. 2.1.

Граф состояний системы

Рис. 2.1. Граф состояний системы

Обозначим – вероятность пребывания системы в состоянии в момент времени . Очевидно, что

, (2.1)

Задача состоит в том, чтобы для заданного графа состояний системы определить вероятности , .

Обозначим – вероятность того, что система, находящаяся в состоянии , за время перейдет в состояние () и пусть

. (2.2)

Определение 2.1. [1]. Величина называется плотностью вероятности (интенсивностью) перехода из в . Граф состояний системы с заданными плотностями называется размеченным графом системы.

Оказывается, что, зная размеченный граф состояний системы, можно определить все вероятности . Эти вероятности должны удовлетворять так называемой прямой системе дифференциальных уравнений Колмогорова. Покажем вывод этой системы на примере 2.1.

Пример 2.1. Рассмотрим систему с четырьмя состояниями , , представленную размеченным графом на рис. 2.2.

Размеченный граф состояний системы.

Рис. 2.2. Размеченный граф состояний системы.

Начнем с вероятности . Придадим приращение и введем события:

{В момент система находится в состоянии },

{За время система не перешла из состояния в состояние },

{В момент система находится в состоянии },

{За время система перешла из состояния в состояние },

{В момент система находится в состоянии }.

Очевидно, что . Отсюда

(2.3)

Следовательно, учитывая, что согласно (2.2) , , получаем,

.

Раскрывая скобки и перенося в левую часть, находим

.

Переходя к пределу, получаем

.

Таким образом, выведено дифференциальное уравнение, которому должна удовлетворять вероятность . Уравнения для остальных выводятся аналогичным образом. Опуская для краткости аргумент , получаем

,

,

, (2.4)

.

Обратим внимание на структуру каждого из уравнений системы (2.4): в левой части – го уравнения стоит производная . В правой части содержится столько членов, сколько состояний (ребер графа) системы связано с состоянием . Если ребро направлено из , то соответствующий член в правой части уравнения имеет знак минус. Если ребро направлено в , то соответствующий член в правой части уравнения имеет знак плюс. Все члены уравнения имеют вид – произведение плотности вероятности перехода из в на вероятность .

Это мнемоническое правило позволяет легко выписывать соответствующую систему уравнений (2.4) для любого размеченного графа состояний системы. Очевидно, что система (2.4) может быть записана в матричном виде как

, (2.5)

где , -векторы вероятностей и их производных соответственно, – соответствующая матрица системы уравнений Колмогорова.

2.2 Предельные вероятности состояний, .

Предположим, что все плотности вероятностей перехода постоянны. Проинтегрировав систему (2.5), найдем вероятности , ,...,, при этом согласно (1): .

Определение 1.3. Пределы , если они существуют, называются предельными (финальными) вероятностями состояний системы.

Теорема 2.1 [15, теорема 7.7.1]. Если пространство состояний системы конечно и из каждого состояния за конечное число шагов можно перейти в любое другое состояние (все состояния марковской цепи – сообщающиеся), то предельные вероятности состояний системы существуют и не зависят от начального состояния системы.

Пусть выполнены условия теоремы 2.1. Очевидно, что в этом случае аналогично (2.1) имеем:

. (2.6)

Таким образом, при в системе устанавливается некоторый предельный режим: он состоит в том, что система надлежащим образом меняет свои состояния, но вероятность пребывания в каждом из них уже не зависит от времени. Каждая из вероятностей представляет собой среднее относительное время пребывания системы в – ом состоянии.

Для того чтобы вычислить предельные вероятности , необходимо положить в системе уравнений Колмогорова все левые части равными нулю (в установившемся режиме все вероятности состояний системы постоянны, т. е. их производные равны нулю), а в правой части все вероятности заменить на . В результате система линейных дифференциальных уравнений обращается в систему линейных алгебраических уравнений, которая решается совместно с нормирующим условием (6).

Пример 2.2. Обратимся к системе, представленную размеченным графом на рис. 2.2. Согласно (2.4) имеем , где – вектор финальных вероятностей, – матрица системы, имеющая вид

, .

Необходимо решить систему уравнений совместно с нормирующим условием . В общем случае . Вычислим ранг матрицы непосредственно с помощью элементарных преобразований. Имеем:

– прибавляем первую строку ко второй,

   

– переставляем вторую и третью строки,

   

– прибавляем вторую строку к третьей.

Из последнего выражения видим, что . Отбрасывая любое уравнение в исходной системе (в нашем случае – второе), приходим к системе уравнений , где:

, .

По формулам Крамера , , где:

,

,

,

.

Кроме того, в силу структуры матрицы (первая строка составлена из единиц), имеем . Пусть , , ,,,. Тогда , , , и . Отсюда: .

В представляющих интерес практических задачах интенсивности переходов подчиняются определенным закономерностям. Мы изучим их на примере процесса гибели и размножения.

Добавить комментарий


Защитный код
Обновить

Google