Как составить граф состояний системы - Сайт, где вы сможете решить свои вопросы

Марковские случайные процессы. Уравнения Колмогорова для вероятностей состояний.

Наиболее полное исследование процесса функционирования систем получается, если известны явные математические зависимости, связывающие искомые показатели с начальными условиями, параметрами и переменными исследуемой системы. Для многих современных систем, являющихся объектами моделирования, такие математические зависимости отсутствуют или малопригодны, и следует применять другое моделирование, как правило, имитационное.

Большой класс случайных процессов составляют процессы без последействия, которые в математике называют марковскими процессами в честь Андрея Андреевича Маркова – старшего (1856 – 1922), выдающегося русского математика, разработавшего основы теории таких процессов.

Случайный процесс называется марковским, если вероятность перехода системы в новое состояние зависит только от состояния системы в настоящий момент и не зависит от того, когда и каким образом система перешла в это состояние.

Практически любой случайный процесс является марковским или может быть сведен к марковскому. В последнем случае достаточно в понятие состояния включить всю предысторию смен состояний системы.

Марковские процессы делятся на два класса:

· дискретные марковские процессы (марковские цепи);

· непрерывные марковские процессы.

Дискретной марковской цепьюназывается случайный процесс, при котором смена дискретных состояний происходит в определенные моменты времени.

Непрерывным марковским процессомназывается случайный процесс, при котором смена дискретных состояний происходит в случайные моменты времени.

Рассмотрим ситуацию, когда моделируемый процесс обладает следующими особенностями.

Система имеет возможных состояний: , . . Вообще говоря, число состояний может быть бесконечным. Однако модель, как правило, строится для конечного числа состояний.

Смена состояний происходит, будем считать, мгновенно и в строго определенные моменты времени . В дальнейшем будем называть временные точки шагами.

Известны вероятности перехода системы за один шаг из состояния в состояние .

Цель моделирования: определить вероятности состояний системы после -го шага.

Обозначим эти вероятности (не путать с вероятностями ).

Если в системе отсутствует последействие, то есть вероятности не зависят от предыстории нахождения системы в состоянии , а определяются только этим состоянием, то описанная ситуация соответствует модели дискретной марковской цепи.

Марковская цепь называется однородной, если переходные вероятности от времени не зависят, то есть от шага к шагу не меняются. В противном случае, то есть если переходные вероятности зависят от времени, марковская цепь называется неоднородной.

Значения обычно сводятся в матрицу переходных вероятностей:

Значения могут также указываться на графе состояний системы. На рис. показан размеченный граф для четырех состояний системы. Обычно вероятности переходов «в себя» – , и т. д. на графе состояний можно не проставлять, так как их значения дополняют до 1 сумму переходных вероятностей, указанных на ребрах (стрелках), выходящих из данного состояния.

Не указываются также нулевые вероятности переходов. Например, на рис. это вероятности , и др.

Математической моделью нахождения вероятностей состояний однородной марковской цепи является рекуррентная зависимость

где – вероятность -го состояния системы после -го шага, ;

– вероятность -го состояния системы после -го шага, ;

– число состояний системы;

-переходные вероятности.

Рис.Размеченный граф состояний системы

Для неоднородной марковской цепи вероятности состояний системы находятся по формуле:

где – значения переходных вероятностей для -го шага.

Сформулируем методику моделирования по схеме дискретных марковских процессов (марковских цепей).

1. Зафиксировать исследуемое свойство системы.

Определение свойства зависит от цели исследования. Например, если исследуется объект с целью получения характеристик надежности, то в качестве свойства следует выбрать исправность. Если исследуется загрузка системы, то – занятость. Если состояния объектов, то – поражен или непоражен.

2. Определить конечное число возможных состояний системы и убедиться в правомерности моделирования по схеме дискретных марковских процессов.

3. Составить и разметить граф состояний.

4. Определить начальное состояние.

5. По рекуррентной зависимости определить искомые вероятности.

В рамках изложенной методики моделирования исчерпывающей характеристикой поведения системы является совокупность вероятностей .

При моделировании состояния систем с непрерывными марковскими процессами мы уже не можем воспользоваться переходными вероятностями , так как вероятность «перескока» системы из одного состояния в другое точно в момент времени равна нулю (как вероятность любого отдельного значения непрерывной случайной величины).

Поэтому вместо переходных вероятностей вводятся в рассмотрение плотности вероятностей переходов :

где – вероятность того, что система, находившаяся в момент времени в состоянии за время перейдет в состояние .

С точностью до бесконечно малых второго порядка из приведенной формулы можно представить:

Непрерывный марковский процесс называется однородным,если плотности вероятностей переходов не зависят от времени (от момента начала промежутка ). В противном случае непрерывный марковский процесс называется неоднородным.

Целью моделирования,как и в случае дискретных процессов, является определение вероятностей состояний системы Эти вероятности находятся интегрированием системы дифференциальных уравнений Колмогорова.

Сформулируем методику моделирования по схеме непрерывных марковских процессов.

1. Определить состояния системы и плотности вероятностей переходов .

2. Составить и разметить граф состояний.

3. Составить систему дифференциальных уравнений Колмогорова. Число уравнений в системе равно числу состояний. Каждое уравнение формируется следующим образом.

4. B левой части уравнения записывается производная вероятности -го состоянии

5. В правой части записывается алгебраическая сумма произведений и . Число произведений столько, сколько стрелок связано с данным состоянием. Если стрелка графа направлена в данное состояние, то соответствующее произведение имеет знак плюс, если из данного состояния – минус.

6. Определить начальные условия и решить систему дифференциальных уравнений.

Пример. Составить систему дифференциальных уравнений Колмогорова для нахождения вероятностей состояний системы, размеченный граф состояний которой представлен на рисунке.

Рис. Размеченный граф состояний

Очевидно, .

Поэтому любое из первых трех уравнений можно исключить, как линейно зависимое.

Для решения уравнений Колмогорова необходимо задать начальные условия. Для рассмотренного примера можно задать такие начальные условия: , .

Дата добавления: 2015-04-03 ; просмотров: 7913 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ

Уравнения Колмогорова.
Предельные вероятности состояний

Рассмотрим математическое описание марковского процесса с дискретными состояниями и непрерывным временем* на примере случайного процесса из примера 1, граф которого изображен на рис. 1. Будем полагать, что все переходы системы из состояния в происходят под воздействием простейших потоков событий с интенсивностями ; так, переход системы из состояния в будет происходить под воздействием потока отказов первого узла, а обратный переход из состояния в — под воздействием потока “окончаний ремонтов” первого узла и т.п.

Граф состояний системы с проставленными у стрелок интенсивностями будем называть размеченным (см. рис. 1). Рассматриваемая система имеет четыре возможных состояния: .

Вероятностью i-го состояния называется вероятность того, что в момент система будет находиться в состоянии . Очевидно, что для любого момента сумма вероятностей всех состояний равна единице:

Рассмотрим систему в момент и, задав малый промежуток , найдем вероятность того, что система в момент будет находиться в состоянии . Это достигается разными способами.

1. Система в момент с вероятностью находилась в состоянии , а за время не вышла из него.

Вывести систему из этого состояния (см. граф на рис. 1) можно суммарным простейшим потоком с интенсивностью , т.е. в соответствии с формулой (7), с вероятностью, приближенно равной . А вероятность того, что система не выйдет из состояния , равна . Вероятность того, что система будет находиться в состоянии по первому способу (т.е. того, что находилась в состоянии и не выйдет из него за время ), равна по теореме умножения вероятностей:

2. Система в момент с вероятностями (или ) находилась в состоянии или и за время перешла в состояние .

Потоком интенсивностью (или — с- рис. 1) система перейдет в состояние с вероятностью, приближенно равной (или ). Вероятность того, что система будет находиться в состоянии по этому способу, равна (или ).

Применяя теорему сложения вероятностей, получим

Переходя к пределу при (приближенные равенства, связанные с применением формулы (7), перейдут в точные), получим в левой части уравнения производную (обозначим ее для простоты ):

Получили дифференциальное уравнение первого порядка, т.е. уравнение, содержащее как саму неизвестную функцию, так и ее производную первого порядка.

Рассуждая аналогично для других состояний системы , можно получить систему дифференциальных уравнений Колмогорова для вероятностей состояний:

Сформулируем правило составления уравнений Колмогорова . В левой части каждого из них стоит производная вероятности i-го состояния. В правой части — сумма произведений вероятностей всех состояний (из которых идут стрелки в данное состояние) на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного (i-го состояния).

В системе (9) независимых уравнений на единицу меньше общего числа уравнений. Поэтому для решения системы необходимо добавить уравнение (8).

Особенность решения дифференциальных уравнений вообще состоит в том, что требуется задать так называемые начальные условия, т.е. в данном случае вероятности состояний системы в начальный момент . Так, например, систему уравнений (9) естественно решать при условии, что в начальный момент оба узла исправны и система находилась в состоянии , т.е. при начальных условиях .

Уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени . Особый интерес представляют вероятности системы в предельном стационарном режиме , т.е. при , которые называются предельными (или финальными) вероятностями состояний.

В теории случайных процессов доказывается, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое состояние, то предельные вероятности существуют.

Предельная вероятность состояния имеет четкий смысл: она показывает среднее относительное время пребывания системы в этом состоянии . Например, если предельная вероятность состояния , т.е. , то это означает, что в среднем половину времени система находится в состоянии .

Так как предельные вероятности постоянны, то, заменяя в уравнениях Колмогорова их производные нулевыми значениями, получим систему линейных алгебраических уравнений, описывающих стационарный режим. Для системы с графом состояний, изображенном на рис. 1), такая система уравнений имеет вид:

Систему (10) можно составить непосредственно по размеченному графу состояний, если руководствоваться правилом , согласно которому слева в уравнениях стоит предельная вероятность данного состояния , умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа — сумма произведений интенсивностей всех потоков, входящих в i-е состояние, на вероятности тех состояний, из которых эти потоки исходят.

Пример 2. Найти предельные вероятности для системы из примера 1, граф состояний которой приведен на рис. 1, при

Решение. Система алгебраических уравнений, описывающих стационарный режим для данной системы, имеет вид (10) или

(Здесь мы вместо одного “лишнего” уравнения системы (10) записали нормировочное условие (8)).

Решив систему (11), получим , т.е. в предельном, стационарном режиме система в среднем 40% времени будет находиться в состоянии (оба узла исправны), 20% — в состоянии (первый узел ремонтируется, второй работает), 27% — в состоянии (второй узел ремонтируется, первый работает) и 13% времени — в состоянии (оба узла ремонтируются)

Пример 3. Найти средний чистый доход от эксплуатации в стационарном режиме системы в условиях примеров 1 и 2, если известно, что в единицу времени исправная работа первого и второго узлов приносит доход соответственно в 10 и 6 ден.ед., а их ремонт требует затрат соответственно в 4 и 2 ден.ед. Оценить экономическую эффективность имеющейся возможности уменьшения вдвое среднего времени ремонта каждого из двух узлов, если при этом придется вдвое увеличить затраты на ремонт каждого узла (в единицу времени).

Решение. Из примера 2 следует, что в среднем первый узел исправно работает долю времени, равную , а второй узел — . В то же время первый узел находится в ремонте в среднем долю времени, равную , а второй узел — . Поэтому средний чистый доход в единицу времени от эксплуатации системы, т.е. разность между доходами и затратами, равен

Уменьшение вдвое среднего времени ремонта каждого из узлов в соответствии с (6) будет означать увеличение вдвое интенсивностей потока “окончаний ремонтов” каждого узла, т.е. теперь и система линейных алгебраических уравнений (10), описывающая стационарный режим системы , вместе с нормировочным условием (8) примет вид:

Решив систему, получим .

Учитывая, что , а затраты на ремонт первого и второго узла составляют теперь соответственно 8 и 4 ден.ед., вычислим средний чистый доход в единицу времени:

Так как больше (примерно на 20%), то экономическая целесообразность ускорения ремонтов узлов очевидна.

Процесс гибели и размножения

В теории массового обслуживания широкое распространение имеет специальный класс случайных процессов — так называемый процесс гибели и размножения . Название этого процесса связано с рядом биологических задач, где он является математической моделью изменения численности биологических популяций.

Граф состояний процесса гибели и размножения имеет вид, показанный на рис. 4.

Рассмотрим упорядоченное множество состояний системы . Переходы могут осуществляться из любого состояния только в состояния с соседними номерами, т.е. из состояния возможны переходы только либо в состояние , либо в состояние .

Предположим, что все потоки событий, переводящие систему по стрелкам графа, простейшие с соответствующими интенсивностями или .

По графу, представленному на рис. 4, составим и решим алгебраические уравнения для предельных вероятностей состояний (их существование вытекает из возможности перехода из каждого состояния в каждое другое и конечности числа состояний).

В соответствии с правилом составления таких уравнений (см. 13) получим: для состояния

для состояния имеем , которое с учетом (12) приводится к виду

Аналогично, записывая уравнения для предельных вероятностей других состояний, можно получить следующую систему уравнений:

к которой добавляется нормировочное условие

При анализе численности популяций считают, что состояние соответствует численности популяции, равной , и переход системы из состояния в состояние происходит при рождении одного члена популяции, а переход в состояние – при гибели одного члена популяции.

Решая систему (14), (15), можно получить

Легко заметить, что в формулах (17) для коэффициенты при есть слагаемые, стоящие после единицы в формуле (16). Числители этих коэффициентов представляют произведение всех интенсивностей, стоящих у стрелок, ведущих слева направо до данного состояния , а знаменатели — произведение всех интенсивностей, стоящих у стрелок, ведущих справа налево до состояния .

Пример 4. Процесс гибели и размножения представлен графом (рис. 5). Найти предельные вероятности состояний.

Теория случайных процессов и теория массового обслуживания

Теорией случайных процессов называют раздел математики, изучающий закономерности случайных явлений в динамике их развития. Теория случайных процессов — это сравнительно новый раздел теории вероятностей, особенно интенсивно развивающийся в настоящее время в связи с широким кругом его практических приложений.

Содержание:

Элементы теории случайных процессов и теории массового обслуживания

Теория случайных процессов – это раздел математической науки, который изучает закономерности случайных явлений в динамике их развития.

Определение случайного процесса и его характеристики

Случайным процессом называется процесс, значение которого при любом значении аргумента является случайной величиной.

Реализацией случайного процесса называется детерминированная функция в которую преобразуется случайный процесс вследствие испытания, то есть его траектория.

Количество реализаций определенного случайного процесса изображено на рис. 4.1. Пусть сечение процесса при данном является непрерывной случайной величиной. Тогда случайный процесс при данном определяется плотностью вероятности

Очевидно, что плотность вероятности не является исчерпывающей задачей случайного процесса поскольку она не выражает зависимости между его сечениями в разные моменты времени.

Случайный процесс представляет собой совокупность всех сечений при всех возможных значениях поэтому для его задания необходимо рассматривать многомерную случайную величину образованную из всех сечений этого процесса.

Таких сечений бесконечно много, но для задания случайного процесса удается ограничиться сравнительно небольшим количеством сечений.

Случайный процесс имеет порядок если он полностью определяется плотностью общего распределения произвольных сечений процесса, то есть плотностью -мерной случайной величины где – сечение случайного процесса в момент времени

Случайный процесс может быть задан числовыми характеристиками.

Математическим ожиданием случайного процесса называется детерминированная функция которая при любом значении переменной равна математическому ожиданию соответствующего сечения случайного процесса то есть

Дисперсией случайного процесса называется детерминированная функция которая при любом значении переменной равна дисперсии соответствующего сечения случайного процесса то есть

Средним квадратическим отклонением случайного процесса называется арифметическое значение квадратного корня из его дисперсии, то есть

Математическое ожидание случайного процесса характеризует среднюю траекторию всех возможных его реализаций, а его дисперсия или среднее квадратическое отклонение – разброс реализаций относительно средней траектории.

Корреляционной функцией случайного процесса называется детерминированная функция

двух переменных и которая для каждой пары переменных и равна ковариации соответствующих сечений и случайного процесса.

Корреляционная функция характеризует не только степень близости линейной зависимости между двумя сечениями, а и разброс этих сечений относительно математического ожидания

Поэтому рассматривается также нормированная корреляционная функция случайного процесса.

Нормированной корреляционной функцией случайного процесса называется функция

Пример. Случайный процесс определяется формулой где – случайная величина. Найти основные характеристики этого процесса, если

Решение. Согласно свойствам математического ожидания и дисперсии получим:

Находим далее корреляционную функцию

а также нормированную корреляционную функцию

Случайные процессы можно классифицировать в зависимости от того, плавно или скачкообразно изменяются состояния системы, в которой они происходят, конечное или бесконечное множество этих состояний. Среди случайных процессов особое место занимают марковские случайные процессы, которые составляют основу теории массового обслуживания.

Основные понятия теории массового обслуживания

На практике часто приходится сталкиваться с системами, предназначенными для многоразового использования во время решения однотипных задач. Процессы, которые при этом происходят, называются процессами обслуживания, а соответствующие системы – системами массового обслуживания (СМО).

Примерами таких систем являются телефонные системы, ремонтные мастерские, вычислительные комплексы, кассы, где продаются железнодорожные или авиабилеты, магазины, парикмахерские и т.п.

Каждая МСО состоит из определенного количества обслуживаемых единиц (приборов, пунктов, станций), которые будем называть каналами обслуживания. Каналами могут быть линии связи, рабочие точки, вычислительные машины, продавцы и т.п. По количеству каналов СМО делятся на одно- и многоканальные.

Заявки поступают в СМО конечно нерегулярно, а случайно, образуя так называемый случайный поток заявок (ссылок). Обслуживание заявок также длится в течение определенного случайного времени. Учитывая случайность потока заявок и время обслуживания, СМО загружаются неравномерно: в определенные периоды накапливается очень много заявок (они или стают в очередь, или оставляют СМО не обслуженными), в другие периоды СМО работает с малой загрузкой или простаивает.

Предметом теории массового обслуживания является построение математических моделей, которые связывают заданные условия работы СМО с показателями ее эффективности, которые описывают способность этой системы обрабатывать потоки заявок.

Показателями эффективности СМО являются:

– среднее количество заявок, которые она обслуживает за единицу времени;
– среднее количество заявок в очереди;
– среднее время ожидания обслуживания;
– вероятность отказа в обслуживании без ожидания;
– вероятность того, что количество заявок в очереди превышает определенное значение и т.д.

СМО делятся на два основных класса: СМО с отказами и СМО с ожиданием (очередью).

В СМО с отказами заявка, которая поступила в момент, когда все каналы были заняты, получив отказ, оставляет СМО и в дальнейшем процессе обслуживания не участвует.

В СМО с ожиданием заявка, которая поступает в момент, когда все каналы заняты, не оставляет систему, а становится в очередь на обслуживание.

Процесс работы СМО представляет собой случайный процесс.

Процесс называется процессом с дискретными состояниями, если его возможные состояния можно заранее пересчитать, а переход системы от одного к другому происходит мгновенно (скачкообразно). Процесс называется процессом с непрерывным временем, если моменты возможных переходов системы из одного состояния в другое не фиксированы заранее, а случайные.

Процесс функционирования СМО представляет собой случайный процесс с дискретными состояниями и непрерывным временем.

Математический анализ работы СМО существенно упрощается, если процесс этой работы – марковский.

Понятие марковского процесса

Случайный процесс называется марковским, если для любого момента времени вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент и не зависят от того, когда и как система приняла это состояние.

Пример. Система – счетчик в такси. Состояние системы в момент характеризуется количеством километров, пройденных автомобилем до данного момента. Пусть в момент счетчик показывает Вероятность того, что в момент счетчик будет показывать то или иное количество километров зависит от но не зависит от того, в какие моменты времени изменялись показатели счетчика до момента

Некоторые процессы можно приблизительно считать марковскими.

Пример. Система – группа шахматистов. Состояние системы характеризуется количеством фигур противника, которые остались на доске до момента Вероятность того, что в момент материальное преимущество будет на стороне одного из противников, зависит, прежде всего от того, в каком состоянии находится система в данный момент а не от того, когда и в какой последовательности исчезали фигуры с доски до момента

Анализируя случайный процессы с дискретными состояниями, удобно пользоваться геометрической схемой – так называемым графом состояний Обычно состояния системы изображают прямоугольниками (кругами), а возможные переходы от одного состояния к другому – стрелками, которые соединяют состояния.

Пример. Построить граф состояний такого случайного процесса: прибор состоит из двух узлов, каждый из которых в случайный момент времени может выйти из строя, после чего немедленно начинается ремонт узла, который длится в течение заранее неизвестного случайного времени.

Решение. Возможные состояния системы: – оба узла исправны; – первый узел ремонтируется, а второй исправный; второй узел ремонтируется, а первый исправный; – оба узла ремонтируются.

Граф системы приведен на рис. 4.2.

Стрелка, направленная из до означает переход системы в момент отказа первого узла; стрелка из до – переход в момент окончания ремонта этого узла. Стрелки из до нет, поскольку допускается, что узлы выходят из строя независимо друг от друга.

Для математического описания марковского случайного процесса с дискретными состояниями и непрерывным временем, которое происходит в СМО, рассмотрим одно из важных понятий теории вероятностей – понятие потока событий.

Простейший поток событий

Потоком событий называется последовательность событий, которые происходят один за другим в случайный момент времени Например, поток заявок, поступающий на предприятие бытового обслуживания, поток вызовов на телефонной станции, поток отказов (сбоев) во время работы на ЭВМ и т.д. Среднее количество событий, которые происходят за единицу времени, называется интенсивностью потока.

Поток называется простейшим, если он имеет такие свойства:

1) стационарность – вероятность того, что за некоторый промежуток времени произойдет то или иное количество событий, зависит только от длины промежутка и не зависит от начала его отсчета, то есть интенсивность потока постоянная;

2) отсутствие последействия – вероятность наступления некоторого количества событий в произвольном промежутке времени не зависит от того, какое количество событий произошло до начала этого промежутка;

3) ординарность – вероятность наступления двух и более событий за малый промежуток времени существенно меньше, чем вероятность того, что произойдет одно событие.

Если поток событий простейший, то вероятность того, что за промежуток времени событие наступит раз, определяется формулой: где – интенсивность потока. Эта формула отражает все свойства простейшего потока, а следовательно, является его математической моделью.

Пример. Среднее количество заявок, поступающих на комбинат бытового обслуживания за 1 час равно 4. Найти вероятность того, что за 3 часа поступит: 1) 6 заявок; 2) менее 6 заявок; 3) не менее 6 заявок.

Решение. Пусть событие – “поступление одной заявки”. Поток заявок простейший. Поэтому для решения задачи используем приведенную только что формулу, в которой Вычислим соответствующие вероятности:

Уравнения Колмогорова. Предельные вероятности состояний

Вероятностью состояния называется вероятность того, что в момент система будет находиться в состоянии

Очевидно, что для любого момента сумма вероятностей состояний равна 1:

Правило построений уравнений Колмогорова. В левой части каждого из уравнений должна быть производная вероятности состояния. В правой части = сумма произведений вероятностей всех состояний (из которых происходим переход в данное состояние) на интенсивности соответствующих потоков событий минус суммарная интенсивность всех потоков, которые выводят систему из данного состояния, умноженная на вероятность этого состояния.

Например, для системы которая имеет четыре состояния система дифференцированных уравнений Колмогорова для вероятностей состояний принимает такой вид:

В системе (2) независимых уравнений на одно меньше от общего количества уравнений. Поэтому для решения системы необходимо прибавит уравнений (1) при

Особенность решения дифференциальных уравнений вообще состоит в том, что нужно задавать так называемые начальные условия, в данном случае – вероятности состояний системы в начальный момент Так, систему (2) должны решать при условии, что в начальный момент оба узла исправны и система находилась в состоянии то есть при начальных условиях

Уравнения Колмогорова дают возможность находить все вероятности состояний как функции времени. Особый интерес представляет вероятности системы в предельном стационарном режиме, то есть при которые называются предельными вероятностями состояний.

В теории случайных процессов доказано, что количество состояний системы конечное и из каждого из них можно перейти к любому другому состоянию, то предельные вероятности существуют.

Предельная вероятность состояния имеет такое содержание: она показывает среднюю относительную продолжительность пребывания системы в этом состоянии. Например, если предельная вероятность состояния составляет то это означает, что в среднем половину времен системы находится в состоянии

Пример 1. Найти предельные вероятности для системы из последнего примера, граф состояний которой приведен на рис. 4.2. При

Решение. Система алгебраических уравнений, которая описывает стационарный режим для данной системы, принадлежит к виду (1):

Решая эту систему уравнений, получаем Следовательно, в предельном стационарном режиме система в среднем 40% времени находится в состоянии 20% – в состоянии 27% – в состоянии 13% – в состоянии

Пример 2. Найти прибыль от эксплуатации в стационаром режиме системы когда известно, что за единицу времени исправная работа первого и второго узлов приносит доход, который составляет соответственно 10 и 6 ус. ед., а их ремонт требует расходов, которые составляют соответственно 4 и 2 ус. ед.

Оценить экономическую эффективность уменьшения вдвое средней продолжительности ремонта каждого из этих узлов, если в этом случае придется вдвое увеличить расходы на ремонт.

Решение. Из примера 1 следует, что в среднем первый узел исправен в течение части времени, которая составляет а второй узел – в течение части В этом случае первый узел находится в ремонте в среднем часть времени, равной а второй – Поэтому средняя прибыль за единицу времени от эксплуатации системы (разница между доходом и расходами) будет такой:

Прибыль = (ус. ед.).

Уменьшение вдвое среднего времени ремонта каждого из узлов согласно с будет означать увеличение вдвое интенсивности потока “окончания ремонта” каждого узла. Следовательно, в этом случае и система линейных алгебраических уравнений (1) принимает вид:

Решая эту системы, получаем

Поскольку то расходы на ремонт первого и второго узла будут составлять соответственно 8 и 4 ус. ед. Отсюда получим среднюю прибыль за единицу времени:

(Прибыль) (ус. ед.)

(Прибыль) больше, чем Прибыль (приблизительно – на 2%), поэтому экономическая целесообразность сокращения срока ремонта узлов очевидна.

Лекции:

Присылайте задания в любое время дня и ночи в ➔

Официальный сайт Брильёновой Натальи Валерьевны преподавателя кафедры информатики и электроники Екатеринбургского государственного института.

Все авторские права на размещённые материалы сохранены за правообладателями этих материалов. Любое коммерческое и/или иное использование кроме предварительного ознакомления материалов сайта natalibrilenova.ru запрещено. Публикация и распространение размещённых материалов не преследует за собой коммерческой и/или любой другой выгоды.

Сайт предназначен для облегчения образовательного путешествия студентам очникам и заочникам по вопросам обучения . Наталья Брильёнова не предлагает и не оказывает товары и услуги.

[spoiler title=”источники:”]

http://mathhelpplanet.com/static.php?p=uravneniya-kolmogorova

http://natalibrilenova.ru/teoriya-sluchajnyih-protsessov-i-teoriya-massovogo-obsluzhivaniya/

[/spoiler]

Источник

Уравнения Колмогорова.
Предельные вероятности состояний

Рассмотрим математическое описание марковского процесса с дискретными состояниями и непрерывным временем* на примере случайного процесса из примера 1, граф которого изображен на рис. 1. Будем полагать, что все переходы системы из состояния в происходят под воздействием простейших потоков событий с интенсивностями ; так, переход системы из состояния в будет происходить под воздействием потока отказов первого узла, а обратный переход из состояния в — под воздействием потока «окончаний ремонтов» первого узла и т.п.

1. Система в момент с вероятностью находилась в состоянии , а за время не вышла из него.

2. Система в момент с вероятностями (или ) находилась в состоянии или и за время перешла в состояние .

Применяя теорему сложения вероятностей, получим

Пример 2. Найти предельные вероятности для системы из примера 1, граф состояний которой приведен на рис. 1, при

(Здесь мы вместо одного «лишнего» уравнения системы (10) записали нормировочное условие (8)).

Уменьшение вдвое среднего времени ремонта каждого из узлов в соответствии с (6) будет означать увеличение вдвое интенсивностей потока «окончаний ремонтов» каждого узла, т.е. теперь и система линейных алгебраических уравнений (10), описывающая стационарный режим системы , вместе с нормировочным условием (8) примет вид:

Решив систему, получим .

Так как больше (примерно на 20%), то экономическая целесообразность ускорения ремонтов узлов очевидна.

Процесс гибели и размножения

Граф состояний процесса гибели и размножения имеет вид, показанный на рис. 4.

В соответствии с правилом составления таких уравнений (см. 13) получим: для состояния

для состояния имеем , которое с учетом (12) приводится к виду

к которой добавляется нормировочное условие

При анализе численности популяций считают, что состояние соответствует численности популяции, равной , и переход системы из состояния в состояние происходит при рождении одного члена популяции, а переход в состояние — при гибели одного члена популяции.

Решая систему (14), (15), можно получить

Пример 4. Процесс гибели и размножения представлен графом (рис. 5). Найти предельные вероятности состояний.

Марковские случайные процессы. Уравнения Колмогорова для вероятностей состояний.

Большой класс случайных процессов составляют процессы без последействия, которые в математике называют марковскими процессами в честь Андрея Андреевича Маркова — старшего (1856 — 1922), выдающегося русского математика, разработавшего основы теории таких процессов.

Марковские процессы делятся на два класса:

· дискретные марковские процессы (марковские цепи);

· непрерывные марковские процессы.

Рассмотрим ситуацию, когда моделируемый процесс обладает следующими особенностями.

Известны вероятности перехода системы за один шаг из состояния в состояние .

Цель моделирования: определить вероятности состояний системы после -го шага.

Обозначим эти вероятности (не путать с вероятностями ).

Значения обычно сводятся в матрицу переходных вероятностей:

Значения могут также указываться на графе состояний системы. На рис. показан размеченный граф для четырех состояний системы. Обычно вероятности переходов «в себя» — , и т. д. на графе состояний можно не проставлять, так как их значения дополняют до 1 сумму переходных вероятностей, указанных на ребрах (стрелках), выходящих из данного состояния.

Не указываются также нулевые вероятности переходов. Например, на рис. это вероятности , и др.

где — вероятность -го состояния системы после -го шага, ;

— вероятность -го состояния системы после -го шага, ;

— число состояний системы;

-переходные вероятности.

Рис.Размеченный граф состояний системы

Для неоднородной марковской цепи вероятности состояний системы находятся по формуле:

где — значения переходных вероятностей для -го шага.

Сформулируем методику моделирования по схеме дискретных марковских процессов (марковских цепей).

1. Зафиксировать исследуемое свойство системы.

Определение свойства зависит от цели исследования. Например, если исследуется объект с целью получения характеристик надежности, то в качестве свойства следует выбрать исправность. Если исследуется загрузка системы, то — занятость. Если состояния объектов, то — поражен или непоражен.

3. Составить и разметить граф состояний.

4. Определить начальное состояние.

5. По рекуррентной зависимости определить искомые вероятности.

Поэтому вместо переходных вероятностей вводятся в рассмотрение плотности вероятностей переходов :

где — вероятность того, что система, находившаяся в момент времени в состоянии за время перейдет в состояние .

С точностью до бесконечно малых второго порядка из приведенной формулы можно представить:

Сформулируем методику моделирования по схеме непрерывных марковских процессов.

1. Определить состояния системы и плотности вероятностей переходов .

2. Составить и разметить граф состояний.

4. B левой части уравнения записывается производная вероятности -го состоянии

6. Определить начальные условия и решить систему дифференциальных уравнений.

Рис. Размеченный граф состояний

Очевидно, .

Поэтому любое из первых трех уравнений можно исключить, как линейно зависимое.

Дата добавления: 2015-04-03 ; просмотров: 7901 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ

Уравнения Колмогорова для вероятностей состояний. Финальные вероятности состояний

Рассматривая марковские процессы с дискретными состояниями и непрерывным временем, нам удобно будет представлять себе, что все переходы системы S из состояния в состояние происходят под действием каких-то потоков событий (поток вызовов, поток отказов, поток восстановлений и т.д.). Если все потоки событий, переводящие систему S из состояния в состояние,- простейшие, то процесс, протекающий в системе, будет марковским. Это и естественно, так как простейший поток не обладает последействием: в нем «будущее» не зависит от «прошлого».

Если система S находится в каком-то состоянии Si, из которого есть непосредственный переход в другое состояние Sj (стрелка, ведущая из Si в Sj на графе состояний), то мы себе это будем представлять так, как будто на систему, пока она находится в состоянии Si действует простейший поток событий, переводящий ее по стрелке Si → Sj. Как только появится первое событие этого потока, происходит «перескок» системы из Si в Sj.

Для наглядности очень удобно на графе состояний у каждой стрелки проставлять интенсивность того потока событий, который переводит систему по данной стрелке. Обозначим λij интенсивность потока событий, переводящего систему из состояния Si в Sj. На рис. 4.7 дан граф состояний с проставленными у стрелок интенсивностями (мы будем называть такой граф размеченным).

Рис. 4.7. Размеченный граф состояний

Построим размеченный граф состояний для технического устройства из двух узлов. Состояния системы:

S0 — оба узла исправны,

S1 — первый узел ремонтируется, второй исправен,

S2 — второй узел ремонтируется, первый исправен,

S3 — оба узла ремонтируются.

Интенсивности потоков событий, переводящих систему из состояния в состояние, будем вычислять, предполагая, что среднее время ремонта узла не зависит от того, ремонтируется ли один узел или оба сразу. Это будет именно так, если ремонтом каждого узла занят отдельный специалист. Найдем все интенсивности потоков событий, переводящих систему из состояния в состояние. Пусть система находится в состоянии S0. Какой поток событий переводит ее в состояние S1? Очевидно, поток отказов первого узла. Его интенсивность λ1 равна единице, деленной на среднее время безотказной работы первого узла. Какой поток событий переводит систему обратно из S1 в S0? Очевидно, поток «окончаний ремонтов» первого узла. Его интенсивность μ1 равна единице, деленной на среднее время ремонта первого узла. Аналогично вычисляются интенсивности потоков событий, переводящих систему по всем стрелкам графа рис. 4.7.

Имея в своем распоряжении размеченный граф состояний системы, легко построить математическую модель данного процесса.

В самом деле, пусть рассматривается система S, имеющая n возможных состояний S1, S2. Sn. Назовем вероятностью i-го состояния вероятность pi(t) того, что в момент t система будет находиться в состоянии Si. Очевидно, что для любого момента сумма всех вероятностей состояний равна единице:

источники:

http://helpiks.org/3-4019.html

http://3ys.ru/teoriya-igr-i-issledovanie-operatsij/uravneniya-kolmogorova-dlya-veroyatnostej-sostoyanij-finalnye-veroyatnosti-sostoyanij.html

Источник

Марковский
случайный процесс с дискретными
состояниями и непрерывным
временем называется непрерывной
цепью Маркова при
условии,
что переход системы из состояния в
состояние происходит
не в фиксированные, а в случайные моменты
времени.

В
экономике часто встречаются ситуации,
которые указать заранее невозможно.
Например, любая деталь или агрегат
автомобиля
могут выйти из строя в любой, непредсказуемый
заранее момент времени. Для описания
таких систем в отдельных случаях можно
использовать математический аппарат
непрерывной цепи Маркова.

Пусть
система характеризуется п
состояниями

а
переход из состояния в состояние может
осуществляться в любой момент
времени. Обозначим через
вероятность
того, что в мо-

мент
времени t
система
S
будет
находиться в состоянии

….
п).
Требуется
определить для любого t
вероятности
состояний

Очевидно,
что

Для
процесса с непрерывным временем вместо
переходных вероятностей
Pjj
рассматриваются
плотности вероятностей перехода Ху_У
представляющие
собой предел отношения вероятности
перехода
системы за время At
из состояния
5, в состояние Sj
к длине
промежутка
At:

Если
то
процесс называется однородным,
если
плот-

ность
вероятности зависит от времени
то
– неоднородным.

При
рассмотрении непрерывных марковских
процессов принято представлять
переходы системы S
из
состояния в состояние как происходящие
под влиянием некоторых потоков событий¹.
Потоком
событий называется
последовательность однородных событий,
следующих одно за другим через какие-то,
вообще говоря, случайные
интервалы времени. Плотность вероятности
перехода интерпретируется
как интенсивность
соответствующих
потоков событий.
Если все эти потоки пуассон’овские, то
процесс, протекающий в
системе
будет
марковским.

При
изучении марковских случайных процессов
с дискретными
состояниями и непрерывным временем в
графе состояний над стрелками,
ведущими из состояния
в
,
проставляют
соответствующие
интенсивности
Такой
граф состояний называют размеченным.

Пусть
система S
имеет
конечное число состояний

Случайный
процесс, протекающий в этой системе,
описывается вероятностями
состояний
—
вероят-

ность
того, что система S
в
момент / находится в состоянии
.
Для любого

Вероятности
состояний Pfj)
находят
путем решения системы дифференциальных
уравнений (уравнений Колмогорова),
имеющих
вид

Величина
называется
потоком
вероятности перехода из

состояния
в
,
причем интенсивность потоков
может
зависеть от
времени или быть постоянной.

Уравнения
(2.8) составляют по размеченному графу
состояний системы,
пользуясь следующим мнемоническим
правилом:

производная
вероятности каждого состояния равна
сумме всех

потоков
вероятности, идущих из других состояний
в данное

состояние,
минус сумма всех потоков вероятности,
идущих из

данного
состояния в другие.

Чтобы
решить систему дифференциальных
уравнений (2.8), нужно
задать начальное распределение
вероятностей

Для
решения применяют численные методы.

Финальные
вероятности состояний

Если
процесс, протекающий в системе, длится
достаточно долго,
то имеет смысл говорить о предельном
поведении вероятностей

при
В
некоторых случаях существуют финальные
(пре-

дельные)
вероятности состояний:

не
зависящие от того, в каком состоянии
система
находилась
в начальный
момент. Говорят, что в системе
устанавливается
предельный
стационарный режим, в ходе которого она
переходит из состояния
в состояние, но вероятности состояний
уже
не меняются.
Система, для которой существуют финальные
вероятности, называется
эргодической,
а
соответствующий случайный процесс —
эргодинеским.

Финальные
вероятности состояний (если они
существуют) могут
быть получены путем решения системы
линейных алгебраических
уравнений, которые получаются из
дифференциальных уравнений
Колмогорова, если приравнять производные
к нулю, а вероятностные функции
состояний
в
правых частях уравнений
(2.8) заменить соответственно на неизвестные
финальные вероятности

Таким
образом, для системы
с
п
состояниями
получается система
линейных
однородных алгебраических уравнений
с п
неизвестными
которые
можно найти с точностью до произвольного
множителя. Для нахождения точного
значения

к
уравнениям добавляют нормировочное
условие

пользуясь
которым можно выразить любую из
вероятностей
Р,
через
другие и отбросить одно из уравнений.

Пример
2.3. Имеется
размеченный граф состояний системы S
(рис.
2.4). Необходимо составить систему
дифференциальных уравнений
Колмогорова и записать начальные условия
для решения этой
системы, если известно, что в начальный
момент система находилась
в состоянии S.

Рис.
2.4. Граф состояний системы

Решение

Согласно
приведенному мнемоническому правилу
система дифференциальных
уравнений Колмогорова имеет вид

(2.9)

Начальные
условия при

Рассмотрим,
что произойдет с системой
описываемой
дифференциальными
уравнениями Колмогорова, при
Известно,
что
в случае сообщающихся состояний функции

стремятся
к предельным (финальным) вероятностям
состояний системы
Финальные
вероятности не зависят от времени.
Поэтому в
системе дифференциальных уравнений
Колмогорова все левые части уравнений
(производные) принимают равными нулю.
При этом
система дифференциальных уравнений
превратится в систему линейных
алгебраических уравнений.

Для
нашего примера система (2.9) будет иметь
вид

(2.10)

Решая
ее с учетом условия
получим

все
предельные вероятности. Эти вероятности
представляют собой не
что иное, как среднее относительное
время пребывания системы
в данном состоянии.

Рис.
2.5. Граф состояний системы S

Состояния
Si,
S₂
и
S₅
—
несущественные, так как из S_{
можно
уйти, например, в состояние S₂
и
не вернуться, а из состояния S₂
—
в
состояние 5₃
или 5₄
и не вернуться, аналогично из состояния
S₅
–
в состояние 5₆
и З^. Состояния 5₃,
5₄,
5₆
и S₇
— существенные состояния.

Теорема.
При
конечном числе состоянии для существования
финальных вероятностей необходимо
и достаточно, чтобы
из
каждого существенного состояния можно
было (за какое-то число
шагов) перейти в каждое другое существенное
состояние. Граф
из примера рис. 2.5 этому условию не
удовлетворяет, так как
из существенного состояния S₄
нельзя
перейти в существенное состояние
S₇.
Если
система S
имеет
конечное число состояний S^
S₂,
…,
S_n,
то
для существования финальных вероятностей
достаточно,
чтобы из любого состояния системы можно
было (за какое-то число
шагов) перейти в любое другое состояние.

Если
число состояний S_{,
S₂,
…,
S_n
бесконечно,
то это условие перестает
быть достаточным, и существование
финальных вероятностей
зависит не только от графа состояний,
но и от интенсивности
А,0.

При
исследовании непрерывных марковских
цепей, как было уже отмечено, часто
бывает удобно представить переход
системы из
состояния в состояние как воздействие
каких-то потоков событий (поток заявок
на обслуживание, поток автомобилей,
поток документов
и т. п.). Различают следующие основные
свойства, которыми
могут обладать случайные потоки событий:

стационарность;
ординарность;
отсутствие
последействия.

Свойство
стационарности
проявляется
в том, что вероятность попадания
того или иного числа событий на участок
времени т зависит
только от длины участка и не зависит от
расположения на оси
О/. Другими словами, стационарность
означает неизменность вероятностного
режима потока событий во времени. Поток,
обладающий
свойством стационарности, называют
стационарным.
Для
стационарного
потока среднее число событий, воздействующих
на систему в течение единицы времени,
остается постоянным. Реальные
потоки событий в экономике предприятия
являются в действительности
стационарными лишь на ограниченных
участках времени.

Свойство
ординарности
потока
присутствует, если вероятность попадания
на элементарный участок времени двух
и более событий пренебрежимо
мала по сравнению с длиной этого участка.
Свойство
ординарности означает, что за малый
промежуток времени практически
невозможно появление более одного
события. Поток, обладающий
свойством ординарности,
называют
ординарным.
Реальные
потоки событий в различных экономических
системах либо являются
ординарными, либо могут быть достаточно
просто приведены
к ординарным.

Отсутствие
последействия —
это свойство потока, которое состоит
в том, что для любых непересекающихся
участков времени количество
событий, попадающих на один из них, не
зависит от того,
сколько событий попало на другие участки
времени. Поток, обладающий
свойством отсутствия последействия,
называют потоком
без последействия. Поток
событий, одновременно обладающий
свойствами
стационарности, ординарности и отсутствия
последействия,
называется простейшим потоком событий.

Под
интенсивностью потока понимают

(2.11)

Для
простейшего потока интенсивность
Если
поток

событий
не имеет последействия, ординарен, но
не стационарен, то
его называют нестационарным
пуассоновским потоком, а
его интенсивность
зависит от времени, т. е.

В
пуассоновском потоке событий (стационарном
и нестационарном)
число событий потока, попадающих на
любой участок, распределено
по закону
Пуассона:

(2.12)

Для
простейшего потока
а
для нестационарного пуассо-

новского
потока

(2.13)

Отметим
еще одно важное свойство простейшего
потока событий.
Промежуток времени / между соседними
событиями распределен
по показательному закону, а его среднее
значение
и
среднее квадратическое
отклонение а равны, т. е.

(2.14)

где
—
интенсивность потока.

Рассмотрим
еще одну типичную схему непрерывных
марковских цепей, так называемую
схему гибели и размножения, часто
встречающуюся
в разнообразных практических задачах.

Марковский
процесс с дискретными состояниями

…,
S_n
называется
процессом гибели
и размножения, если
все состояния
можно вытянуть в одну цепочку, в которой
каждое из средних состояний
может
переходить только в соседние со-

стояния,
которые, в свою очередь, переходят
обратно, а крайние состояния
переходят
только в соседние состояния (рис. 2.6).

Рис.
2.6. Граф состояний для процесса гибели
и размножения

Название
взято из биологических задач, где
состояние популяции
означает
наличие в ней
единиц
особей.

Переход
вправо связан с размножением единиц, а
влево — с их гибелью.

—
интенсивности
размножения,

—
интенсивности гибели.

У
X
и
[I
индекс
того состояния, из которого стрелка
выходит.

С
состоянием
связана
неслучайная величина
если
система
в
момент времени / находится в состоянии
,
то дискретная случайная величина
,
связанная с функционированием системы,
принимает значение к.
Таким
образом, получаем случайный процесс
,
который в случайные, заранее неизвестные
моменты времени
скачком изменяет свое состояние.

Марковским
процессом гибели и размножения с
непрерывным временем
называется
такой случайный процесс, который может
принимать
только целые неотрицательные значения.
Изменения этого процесса
могут происходить в любой момент времени,
т. е. в любой
момент времени он может либо увеличиться
на единицу, либо уменьшиться
на единицу, либо остаться неизменным.

В
практике встречаются процессы чистого
размножения и чистой
гибели. Процессом
чистого размножения называется
такой процесс
гибели и размножения, у которого
интенсивности всех потоков гибели
равны нулю; аналогично процессом
чистой гибели называется
такой процесс гибели и размножения, у
которого интенсивности
всех потоков размножения равны нулю.

Пример
2.4. Рассмотрим эксплуатацию моделей
автомобилей одной
марки в крупной транспортной фирме (на
предприятии). Интенсивность поступления
автомобилей на предприятие равна

Каждый
поступивший на предприятие автомобиль
списывается
через случайное время
Срок
службы автомобиля
распределен
по показательному закону с параметром
Процесс
эксплуатации
автомобилей является случайным
процессом.
—
число автомобилей
данной марки, находящихся в эксплуатации
в момент t.

Найдем
одномерный
закон распределения случайного процесса

если:

нет
ограничений на число эксплуатируемых
машин;
на
предприятии может эксплуатироваться
не более п
автомобилей.

Решение

1.
Случайный
процесс эксплуатации автомобилей есть
процесс гибели
и размножения, размеченный граф которого
представлен на рис.
2.7.

Рис.
2.7. Граф состояний

Система
уравнений Колмогорова, соответствующая
этому графу,
имеет вид

(2.15)

где
/ = 1, 2,…

Если
в начальный момент времени
на
предприятии не бы-

ло
ни одного автомобиля, то решать эту
систему уравнений нужно при
начальных условиях
Если
при

на
предприятии было
автомобилей
то
началь-

ные
условия будут иметь вид

2.
Если
на предприятии может эксплуатироваться
не более п
автомобилей
моделей одной марки, то имеет место
процесс гибели и
размножения с ограниченным числом
состояний л, размеченный граф
которого представлен на рис. 2.8.

Рис.
2.8.
Граф состояний

Система
уравнений Колмогорова для размеченного
графа (рис. 2.8) имеет вид:

(2.16)

Эту
систему надо решать при начальных
условиях, рассмотренных выше. Решения
систем уравнений (2.15) и (2.16) являются
одномерными законами распределения
Отыскание
решений систем
(2.15) и (2.16) в общем виде при произвольном
виде функции

представляет
значительные трудности и не имеет
практических приложений.

При
постоянных интенсивностях потоков
гибели и размножения
и конечном числе состояний будет
существовать стационарный
режим. Система S
с
конечным числом состояний (п
+
1), в которой
протекает процесс гибели и размножения
с постоянными интенсивностями
потоков гибели и размножения, является
простейшей
эргодической системой. Размеченный
граф состояний для такой
системы представлен на рис. 2.9.

Предельные
(финальные) вероятности состояний для
простейшего эргодического процесса
гибели и размножения, находящегося в
стационарном режиме, определяются по
следующим формулам:

(2.17)

Рис.
2.9.
Граф состояний

(2.18)

Правило.
Вероятность
к-то
состояния
в схеме гибели и размножения
равна дроби, в числителе которой стоит
произведение всех интенсивностей
размножения, стоящих левее
,
а в знаменателе — произведение всех
интенсивностей гибели, стоящих
левее
,
умноженной на вероятность крайнего
левого состояния
системы

В
примере 2.4 для стационарного режима
если интенсивность поступления
автомобилей постоянная
то
фи-

нальные
вероятности состояний при условии, что
нет ограничений на
число автомобилей на предприятии,
равны:

(2.19)

(2.20)

При
этом математическое ожидание числа
эксплуатируемых автомобилей
равно его дисперсии:

(2.21)

Если
существует ограничение по числу
автомобилей на предприятии (не более
я), то финальные вероятности равны

(2.22)

(2.23)

Математическое
ожидание числа эксплуатируемых
автомобилей
в стационарном режиме

(2.24)

Пример
2.5. В
состав ЭВМ входят четыре накопителя
на магнитных
дисках (НМД). Бригада в составе четырех
человек обслуживающего персонала
проводит профилактический ремонт
каждого
диска. Суммарный поток моментов окончания
ремонтов для всей
бригады — пуассоновский с интенсивностью
.
После окончания
ремонта диск проверяется; с вероятностью
Р
он
оказывается
работоспособным (время проверки мало,
и им можно пренебречь
по сравнению со временем профилактики).
Если диск оказался
неработоспособным, то вновь проводится
его профилактика (время
на которую не зависит от того, проводилась
ли она ранее) и
т.д. В начальный момент все НМД нуждаются
в профилактическом
ремонте¹.

Требуется:

построить
граф состояний для системы
(четыре
НМД);

написать
дифференциальные уравнения для
вероятностей состояний;
найти
математическое ожидание числа дисков
, успешно прошедших
профилактику к моменту
,

Решение

1. Граф
состояний показан на рис. 2.10, в котором

— все
четыре НМД нуждаются в профилактическом
ремонте;

— один
НМД успешно прошел профилактику, а три
НМД

нуждаются
в профилактическом ремонте;

— два
НМД успешно прошли профилактику, а два
нуждают

ся
в профилактическом ремонте;

— три
НМД успешно прошли профилактику, один
нуждает

ся
в профилактическом ремонте;

— все
четыре НМД успешно прошли профилактику.

Рис.
2.10. Граф состояний системы

Каждый
профилактический ремонт успешно
заканчивается с вероятностью
р, что
равносильно /^-преобразованию потока
окончаний
ремонтов, после которого он остается
пуассоновским, но с интенсивностью
pk(f).
В этом
примере мы имеем дело с процессом
чистого
размножения с ограниченным числом
состояний.

2.
Уравнения
Колмогорова имеют следующий вид:

(2.25)

Начальные
условия
При
по-

стоянной
интенсивности
и
вероятности состояний опреде-

ляются
по следующим формулам:

(2.26)

3.
Математическое
ожидание числа дисков, успешно прошедших
профилактику к моменту
равно:

(2.27)

Пример
2.6. Рассмотрим
производство автомобилей на заводе.
Поток производимых автомобилей —
нестационарный пуассонов-ский
с интенсивностью
.
Найдем одномерный закон распределения
случайного процесса
—
число выпущенных автомобилей к моменту
времени /, если в момент
начат
выпуск автомобилей.

Решение

Очевидно,
что здесь процесс чистого размножения
без ограничения
на число состояний, при этом
,
так как интенсивность
выпуска автомобилей не зависит от того,
сколько их уже выпущено.
Граф состояний такого процесса показан
на рис, 2.11.

Рис.
2.11. Граф состояний

Одномерный
закон распределения случайного
процесса
для
графа,
изображенного на рис. 2.11, определяется
следующей системой
уравнений Колмогорова:

Так
как число выпущенных автомобилей
на
любой фиксированный
момент / распределено по закону Пуассона
с параметром

то

Рассмотренный
в этом примере процесс
называется
неоднородным
процессом Пуассона. Если
интенсивность
:,
то

получим
однородный
процесс Пуассона. Для
такого процесса при

Характеристиками
процесса Пуассона будут

2.4.
Моделирование
работы подвижного состава с использованием
марковских случайных процессов

Представим
автомобиль как некоторую систему
с
дискретными состояниями
которая
переходит из состояния в состояние
под влиянием случайных событий (отказов).

На
стадии прогнозирования (планирования)
работы автомобиля
целесообразно рассматривать следующие
состояния, в которых подвижной
состав может находиться в процессе
эксплуатации и котооые
характеризуются целодневными простоями:

— исправен,
работает;

— находится
на капитальном ремонте (КР);

— проходит
;

— находится
в текущем ремонте (ТР);

— исправен,
не работает по организационным причинам
(без

водителя,
шин, запасных частей);

— не
работает, снятие агрегата для отправки
на капитальный

ремонт;

— не
работает, списание агрегата, замена на
новый;

— исправен,
не работает (выходные и праздничные
дни);

— списывается.

Надо
отметить, что в настоящее время
вышеперечисленные состояния
автомобиля планируются при разработке
годовой программы работы
автотранспортного предприятия (АТП),
при этом состояния
объединяются
в одно состояние «находится в ТР».

Для
анализа процесса эксплуатации автомобиля
как случайного
процесса с дискретными состояниями
удобно воспользоваться геометрической
схемой, так называемым графом состояний
(рис.
2.12). Граф состояний изображает возможные
состояния автомобиля
и его возможные переходы из состояния
в состояние.

На
рис. 2.12 через
и
обозначены
плотности вероятностей перехода
автомобиля из состояния
в
состояние
Напри-

Рис.
2.12. Граф состояний автомобиля

мер,
—
плотность вероятности перехода
автомобиля из состояния
«исправен, работает» в состояние
«находится в текущем ремонте».

Можно
считать, что события, переводящие
автомобиль из состояния в состояние,
представляют собой потоки событий
(например, потоки отказов). Если все
потоки событий, переводящие систему
(автомобиль) из состояния в состояние,
пуассоновские (стационарные или
нестационарные), то процесс, протекающий
в системе,
будет марковским, а плотности вероятности
перехода
в
непрерывной
цепи Маркова представляют собой
интенсивности потока событий, переводящего
систему из состояния
в
состояние
.
Например,
—
интенсивность потока отказов автомобиля,
который переводит автомобиль из
состояния «исправен, работает»
в состояние «находится в ТР».

Рассматриваемые
состояния автомобиля
характеризуются
средним
числом дней пребывания автомобиля в
каждом состоянии

.
Показатели
находят
отражение в статистической отчетности
автотранспортного предприятия. Отношение

(2.28)

где
—
число календарных дней в году.

можно
трактовать как вероятность нахождения
автомобиля в
-м
состоянии.

Вероятности
состояний автомобиля
как

функции
пробега в случае марковского процесса
с дискретными состояниями
и непрерывным временем удовлетворяют
определенного
вида дифференциальным уравнениям
(уравнениям Колмогорова),
записываемым в виде

Число
уравнений в системе (2.29) зависит от числа
состояний автомобиля.
Вероятность нахождения автомобиля в
состоянии «ис-правен-работает»
представляет
собой коэффициент выпуска

а
сумма вероятностей
–
коэф-

фициент
технической готовности автомобиля.

Поскольку
большинство интенсивностей перехода
зависят от
пробега, то решение системы (2.29)
производится с помощью методов
численного интегрирования, например
метода
Рунге-Кутта.

Необходимо
учесть, что для расчета производственной
программы
АТП требуется зачастую определять
показатели работы группы автомобилей
определенной модели у-го возраста
(коэффициент выпуска
и годовой пробег автомобиля у-й возрастной
группы).

Для
описания процесса функционирования
группы автомобилей
может быть использован метод
динамики средних. Этот
метод вытекает из теории марковских
случайных процессов. Удобство его
заключается
в том, что, зная возможные состояния
одного (условного)
автомобиля, можно моделировать процесс
функционирования
группы из любого числа автомобилей.

Схема,
изображающая процесс работы условного
автомобиля определенной
модели, аналогична схеме рис. 2.12, лишь
с той разницей,
что через
и
обозначены
средние интенсивности потоков
событий, переводящих автомобиль из
состояния S;
в
состояние Sp
и
наоборот. При этом каждое состояние
характеризуется средней численностью
автомобилей Nj(t),
находящихся
в нем в момент времени
t.
Очевидно,
что для любого / сумма численностей всех
состояний
равна общей численности автомобилей
исследуемой группы:

Величина
для
любого / представляет собой случайную
ве-

личину,
а при меняющемся / — случайную функцию
времени.

Зная
граф состояний (рис. 2.12) и соответствующие
интенсивности
перехода Х_/7
и jli_/7,
определим
средние численности автомобилей
как
функции пробега

Согласно
графу состояний (рис. 2.12) система
дифференциальных
уравнений для средних численностей
состояний запишется следующим образом:

(2.30)

Отношение

равно
коэффициенту выпуска автомоби-

лей
определенной модели на пробеге L
с
начала их эксплуатации, а
отношение
—
коэффициенту техниче-

ской
готовности автомобилей.

Докажем,
что формулы для определения коэффициентов
технической
готовности (к_тг),
выпуска подвижного состава (ос_в)
являются частным
случаем, соответствующим стационарному
решению системы
уравнений (2.30), описывающей функционирование
автопарка.

Для
расчета средней численности автомобилей,
находящихся в исправном
состоянии, можно предварительно
объединить состояния

в
одно состояние: «исправен» —
Тогда
граф состояний условного
автомобиля примет вид, представленный
на рис. 2.13.

Рис.
2.13. Граф состояний условного автомобиля

Система
дифференциальных уравнений для средних
численно-стей подвижного состава
запишется следующим образом:

(2.31)

Положим
левые части уравнений равными нулю,
получим систему
алгебраических уравнений для средних
численностей состояний
автопарка, работающего в стационарном
режиме:

Решим
систему алгебраических уравнений с
учетом так называемого
нормировочного условия:

где
,
– среднесписочная численность автопарка,
шт.

Для
примера
из
системы (2.32) определим неизвестные
средние численности
состояний, используя N{.
Так,
из второго и третьего уравнений
имеем

Согласно
нормировочному условию

Подставляя
в первое уравнение (2.32), получим:

Разделим полученное
уравнение на jn^:

Последнее уравнение можно
записать следующим образом:

Тогда
коэффициент технической готовности
равен:

(2.37)

интенсивности
перехода автомобиля в состояния
«техническое
обслуживание», «текущий ремонт»,
«капитальный
ремонт» соответственно, отк/тыс. км;
интенсивности
восстановления, равные обратным средним
величинам продолжительности
соответствующих ремонтных
воздействий технического обслуживания
(ТО-2), текущего
ремонта (ТР), капитального ремонта (КР),
отк/день.

Отношение

Таким образом,

– удельная
величина, характеризую-

щая количество дней в у-м
состоянии (ТО-2, ТР, КР) на 1 тыс. км пробега.
Тогда формулу (2.37) можно записать в
виде:

(2.38)

Очевидно, формула (2.38)
есть частный случай, соответствующий
стационарному режиму работы автомобиля,
который является решением
системы алгебраических уравнений.

Рассмотрим
все потоки событий, переводящие условный
автомобиль
из состояния в состояние. Характер
потока отказов автомобиля,
переводящего условный автомобиль из
состояния «исправен, работает» в
состояние «находится в текущем ремонте»,
не изменяется. При определении его
величины учитывается возрастная
структура
автомобилей данной модели.

Наработка
до первого капитального ремонта
автомобиля подчиняется нормальному
закону распределения с коэффициентом
вариации
0,1-0,33. Вместе с тем следует отметить
значительное абсолютное рассеивание
пробегов до первого капитального ремонта
автомобиля в исследуемых группах
подвижного состава. Размах между
минимальным и максимальным пробегами
может составить пробег,
примерно равный среднему пробегу до
первого капитального
ремонта этих автомобилей.

Таким
образом, поток событий, который переводит
автомобиль в
состояние «капитальный ремонт», протекает
на значительном интервале пробега.
В этом потоке интенсивность А₀₁(Ј)
(среднее число
событий в единицу пробега) зависит от
пробега, т. е. поток является
нестационарным.

Очевидно,
на малом интервале пробега автомобиля
(1-2 тыс. км) интенсивность X₀₁(L)
меняется сравнительно медленно. В этом
случае
закон распределения наработки до
капитального ремонта можно
приближенно считать показательным, а
интенсивность Л₀₁
принимать
равной среднему значению X₀₁(L)
на этом интервале. Аналогичные
утверждения справедливы относительно
потоков отказов,
переводящих условный автомобиль в
состояния «капитальный ремонт
агрегата» и «списание агрегата».

Общий
поток отказов, связанный с попаданием
автомобилей исследуемой
группы в ТО-2, получается путем наложения
(суперпозиции)
потоков «ТО-2» этих автомобилей. Как
показывают расчеты, распределение
интервала пробега между событиями в
этом потоке
подчиняется показательному закону. При
этом поток «ТО-2»
всех исследуемых автомобилей является
пуассоновским.

Образ
потока отказов, связанного со списанием
автомобиля, является
условным. Действительно, если автомобиль
отказывает в тот момент, когда происходит
первое событие данного потока, то
совершенно
все равно, продолжается после этого
поток отказов или
прекращается: судьба автомобиля от
этого уже не зависит. В случае когда
элемент (автомобиль) не подлежит
восстановлению, поток
отказов является пуассоновским.

Поток
отказов автомобиля, связанный со
списанием, является нестационарным,
так как пробег до списания подвижного
состава подчиняется
закону распределения, отличному от
показательного. Очевидно,
на малом интервале пробега автомобиля
(1—2 тыс. км)

интенсивность
отказов меняется сравнительно медленно,
в таком случае
закон распределения событий можно
приблизительно считать
показательным, и для описания процесса
эксплуатации автомобиля
использовать марковскую схему.

Характер
остальных потоков событий, связанных
с процессом работы
группы автомобилей, не изменяется.

Таким
образом, все средние потоки, переводящие
условный автомобиль
из состояния в состояние, либо
пуассоновские, либо сводятся к ним
путем рассмотрения процесса эксплуатации
на малых интервалах
пробега (1—2 тыс. км) и корректировки
исходного потока
отказов деталей для исключения
последействия. Это позволяет
использовать метод динамики средних
для описания процесса эксплуатации
группы автомобилей.

В
табл. 2.1 приведены формулы для расчета
интенсивностей перехода
_tj
И
ij_t.

Таблица
2.1

Интенсивности
перехода Х₀
и
1у
для
расчета комплексных
показателей надежности автомобилей
МАЗ

Продолжение

Продолжение

Значения
параметров модели
могут

быть
определены двумя способами. Согласно
первому способу полученные значения
параметров потока отказов автомобиля,
связанных с его текущим ремонтом,
капитальным ремонтом и списанием его
агрегатов, аппроксимируются
экспоненциальными зависимостями
следующего вида:

Ошибка
аппроксимации при небольших п
бывает
высокой и может
достигать 10—20%. Это один из главных
недостатков первого
способа, существенно снижающий точность
последующих расчетов годового
пробега. Указанный недостаток можно
исключить.

Согласно
второму способу параметры
задаются
дис-

кретно
для каждого интервала пробега и являются
постоянными величинами
на каждом заданном интервале пробега,
составляющем
10—20 тыс. км, но значения этих параметров
меняются в течение
пробега с начала эксплуатации автомобиля
скачкообразно от одного
интервала к другому.

Метод
динамики средних может быть использован
и для определения
коэффициента выпуска автопарка,
состоящего из автомобилей
разных моделей.

Указанная
задача может быть решена двумя способами.
Первый способ
состоит в рассмотрении изолированного
процесса эксплуатации
совокупности автомобилей одной модели.

Второй
способ предполагает рассмотрение
процесса функционирования
моделей автомобилей многомарочного
парка в целом. В этом случае без
принципиальных изменений может быть
использован
изложенный выше способ, разница будет
только в том, что

число
дифференциальных уравнений увеличится
в п
раз,
где п
— число
моделей подвижного состава, обслуживаемых
на одних и тех же
постах ТО и ТР. Использование метода
динамики средних для определения
коэффициентов технической готовности
и выпуска автомобилей
моделей разномарочного парка¹
позволяет учесть ограниченное
количество постов для проведения ТО и
ТР.

При
определении коэффициентов технической
готовности и выпуска
автомобилей разномарочного парка
необходимо разбить все
модели подвижного состава, эксплуатирующегося
в АТП, на группы,
включающие автомобили тех моделей,
которые обслуживаются
на одних и тех же постах ТО-2 и ТР. Для
каждой группы моделей
подвижного состава строится единая
система дифференциальных
уравнений, описывающая функционирование
соответствующей
группы автомобилей¹.

Задачи

2.1.
В
моменты времени
проводится
осмотр ЭВМ. Воз-

можны
следующие состояния ЭВМ:

— полностью
исправна;

— незначительные
неисправности, которые позволяют
экс

плуатировать
ЭВМ;

— существенные
неисправности, дающие возможность
ре

шать
ограниченное число задач;

— ЭВМ
полностью вышла из строя.

Матрица
переходных вероятностей имеет вид

Постройте
граф
состояний. Найдите
вероятности
состояний ЭВМ после одного, двух, трех
осмотров, если вначале

ЭВМ была полностью исправна.

2.2.
Магазин
продает две марки автомобилей А и В.
Опыт эксплуатации
этих марок автомобилей свидетельствует
о том, что для

них
имеют место различные матрицы переходных
вероятностей, соответствующие
состояниям: работает хорошо (состояние
1) и требует
ремонта (состояние 2):

Элементы
матрицы перехода определены на годовой
период эксплуатации автомобиля.
Требуется:

найти
вероятности состояний для каждой марки
автомобиля после двухлетней эксплуатации,
если в начальном состоянии автомобиль
«работает хорошо»;
определить
марку автомобиля, являющуюся более
предпочтительной
для приобретения в личное пользование.

2.3. Система
^-автомобиль может находиться в одном
из пяти

возможных
состояний:

исправен,
работает;

неисправен,
ожидает осмотра;

осматривается;

ремонтируется;

списывается.

Постройте
граф состояний системы.

2.4. Организация
по прокату автомобилей в городе выдает
ав

томобили
напрокат в трех пунктах города: А, В, С.
Клиенты могут

возвращать
автомобили в любой из трех пунктов.
Анализ процесса

возвращения
автомобилей из проката в течение года
показал, что

клиенты
возвращают автомобили в пункты А, В, С
в соответствии

со
следующими вероятностями:

Требуется:

1)
в
предположении, что число клиентов в
городе не изменяется, найти процентное
распределение клиентов, возвращающих
автомобили
по станциям проката к концу года, если
в начале года оно было равномерным;

найти
вероятности состояний в установившемся
режиме;
определить
пункт проката, у которого более
целесообразно строить
станцию по ремонту автомобилей.

2.5. Рассматривается
процесс накопления терминов в
динами

ческом
словаре (тезаурусе) при функционировании
автоматизиро

ванного
банка данных (АБД). Сущность процесса в
том, что терми

ны
заносятся в словарь по мере их появления
в той информации,

которая
вводится в АБД. Например, в АБД
автоматизированной

системы
управления производством (АСУП) могут
в качестве тер

минов
заноситься наименования организаций,
с которыми данное

предприятие
поддерживает производственные отношения.
Дина

мический
словарь наименрваний таких организаций
будет накап

ливаться
в АБД АСУП по мере появления этих
наименований в

единицах
информации, вводимых в АБД.

В
каждой единице информации, поступающей
в АБД, в среднем
встречается х
терминов
словаря, а интенсивность поступления
единиц информации в АБД равна
Следовательно,
интенсивность
потока терминов словаря в информации,
поступающей в АБД,
будет
Предполагается,
что поток терминов словаря
является пуассоновским. Число терминов
словаря п
является
конечным
и неслучайным, хотя, возможно, и неизвестным
нам заранее.
Все термины словаря могут находиться
в единице информации
с одинаковой вероятностью. В словарь
заносятся, естественно, лишь те термины,
которые до сих пор еще не встречались
в единицах
информации.

Требуется
найти
математическое ожидание и дисперсию
числа терминов,
накопленных в динамическом словаре¹.

2.6. Водитель
такси обнаружил, что если он находится
в городе

А,
то в среднем в 8 случаях из 10 он везет
следующего пассажира в

город
Б, в остальных случаях будет поездка по
городу А. Если же

он
находится в городе Б, то в среднем в 4
случаях из 10 он везет

следующего
пассажира в город А, в остальных же
случаях будет по

ездка
по городу Б.

Требуется:

перечислить
возможные состояния процесса и построить
граф состояний;
записать
матрицу переходных вероятностей;
найти
вероятности состояний после двух шагов
процесса, если:

а) в
начальном состоянии водитель находится
в городе А;

б) в
начальном состоянии водитель находится
в городе Б;

4) найти
вероятности состояний в установившемся
режиме.

2.7. Система
S
представляет
собой техническое устройство, со

стоящее
из т
узлов
и время от времени (в моменты t_b
t₂_i…,
t_k)
под

вергающееся
профилактическому осмотру и ремонту.
После каждо

го
шага (момента осмотра и ремонта) система
может оказаться в

одном
из следующих состояний:

— все
узлы исправны (ни один не заменялся
новым);

— один
узел заменен новым, остальные исправны;

_
— два узла заменены новыми, остальные
исправны;

₉
—
i
узлов
(/ < т)
заменены
новыми, остальные исправны;

,
—
все т
узлов
заменены новыми. Суммарный поток моментов
окончания осмотров для всех узлов —
пуассоновский с интенсивностью X
=
4. Вероятность того, что
в
момент профилактики узел придется
заменить новым, равна

Рассматривая
процесс профилактического осмотра и
ремонта (замены)
как марковский процесс размножения,
вычислите
вероятности
состояний системы (S)
в
стационарном режиме (для т
=
3), если в начальный момент времени все
узлы исправны¹.

2.8. Техническое
устройство имеет два возможных состояния:

— исправно,
работает;

— неисправно,
ремонтируется.

Матрица
переходных вероятностей имеет вид:

Постройте
граф состояний.
Найдите
вероятности
состояний после
третьего шага и в установившемся режиме,
если в начальном состоянии
техническое устройство исправно.

2.9. Система
S
состоит
из двух узлов — I
и II,
каждый из кото

рых
может в ходе работы системы отказать
(выйти из строя).

Перечислите
возможные
состояния системы и постройте
граф
состояний
для двух случаев:

ремонт
узлов в процессе работы системы не
производится (чистый процесс гибели
системы);
отказавший
узел немедленно начинает восстанавливаться.

2.10. В
городе издаются три журнала: Q,
С₂,
С₃,
и читатели вы

писывают
только один из них. Пусть в среднем
читатели стремят

ся
поменять журнал, т. е. подписаться на
другой не более одного

раза
в год, и вероятности таких изменений
постоянны. Результаты

маркетинговых
исследований спроса читателей на журналы
дали

следующее
процентное соотношение:

80%
читателей
С_х
подписываются
на С₂;
15% читателей С₂
подписываются на С₃;
8%
читателей С₃
подписываются на Cj.
Требуется:

записать матрицу переходных
вероятностей для средних годовых
изменений;
предположить, что общее
число подписчиков в городе постоянно,
и определить, какая доля из их числа
будет подписываться
на указанные журналы через два года,
если по состоянию
на 1 января текущего года каждый журнал
имел одинаковое
число подписчиков;
найти вероятности состояний
в установившемся режиме и определить
журнал, который будет пользоваться
наибольшим спросом у читателей.

2.11. Техническое
устройство состоит из двух узлов и может
на

ходиться
в одном из следующих состояний:

оба узла исправны, работают;

неисправен только первый
узел;

неисправен только второй
узел;

неисправны оба узла.

Вероятность выхода из
строя (отказов) после месячной эксплуатации
для первого узла – Р_х
=
0,4; для второго узла — Р₂
= 0,3,
а вероятность
совместного выхода их из строя — Р_х
₂
⁼
0,1. В
исходном
состоянии оба узла исправны, работают.

Запишите
матрицу
переходных вероятностей и найдите
вероятности
состояний после двухмесячной эксплуатации.

Рис.
2.14. Граф состояний

2.12. Размеченный
граф состояний системы S
имеет вид,
пока

занный
на рис. 2.14.

Запишите систему
дифференциальных уравнений Колмогорова
и начальные условия для решения системы,
если известно, что в начальный момент
система находится в состоянии S^

Источник

2.2. Моделирование по схеме непрерывных марковских процессов

Существует широкий класс систем, которые меняют свои состояния в случайные моменты времени . Как и в предыдущем случае, в этих системах рассматривается процесс с дискретными состояниями $S_{1},S_{2},...,S_{n}$ . Например, переход объекта от исправного состояния к неисправному, соотношение сил сторон в ходе боя и т. п. Оценка эффективности таких систем определяется с помощью вероятностей каждого состояния $p_{i}(t)$ на любой момент времени , .

Чтобы определить вероятности состояния системы $p_{i}(t)$ для любого момента времени необходимо воспользоваться математическими моделями марковских процессов с непрерывным временем (непрерывных марковских процессов).

При моделировании состояния систем с непрерывными марковскими процессами мы уже не можем воспользоваться переходными вероятностями $p_{i}$ , так как вероятность “перескока” системы из одного состояния в другое точно в момент времени равна нулю (как вероятность любого отдельного значения непрерывной случайной величины).

Поэтому вместо переходных вероятностей вводятся в рассмотрение плотности вероятностей переходов $lambda_{ij}$ :

$lambda_{ij} = lim_{Delta t to 0}{frac{p_{ij}(Delta t)}{Delta t}},$

где $p_{ij} (Delta t)$ – вероятность того, что система, находившаяся в момент времени в состоянии $S_{i}$ за время Delta t перейдет в состояние $S_{j}$ .

С точностью до бесконечно малых второго порядка из приведенной формулы можно представить:

$p_{ij} (Delta t) approx lambda_{ij} cdot Delta t$

Непрерывный марковский процесс называется однородным,если плотности вероятностей переходов $lambda_{ij}$ не зависят от времени (от момента начала промежутка Delta t ). В противном случае непрерывный марковский процесс называется неоднородным.

Целью моделирования, как и в случае дискретных процессов, является определение вероятностей состояний системы $p_{i}(t)$ . Эти вероятности находятся интегрированием системы дифференциальных уравнений Колмогорова.

Сформулируем методику моделирования по схеме непрерывных марковских процессов.

Определить состояния системы и плотности вероятностей переходов $lambda_{ij}$ .
Составить и разметить граф состояний.
Составить систему дифференциальных уравнений Колмогорова. Число уравнений в системе равно числу состояний. Каждое уравнение формируется следующим образом.
B левой части уравнения записывается производная вероятности -го состоянии $frac{dp_{i}(t)}{dt}$ .
В правой части записывается алгебраическая сумма произведений $lambda_{ij}p_{j}(t)$ и $- lambda_{ij}p_{i}(t)$ . Число произведений столько, сколько стрелок связано с данным состоянием. Если стрелка графа направлена в данное состояние, то соответствующее произведение имеет знак плюс, если из данного состояния – минус.
Определить начальные условия и решить систему дифференциальных уравнений.

Пример 2.2. Составить систему дифференциальных уравнений Колмогорова для нахождения вероятностей состояний системы, размеченный граф состояний которой представлен на рис. 2.3.

Рис.
2.3.
Размеченный граф состояний

Решение

$left { begin {array} {l} cfrac{dp_1(t)}{dt} = lambda_{31}p_3(t) - lambda_{13}p_1(t) - lambda_{12}p_1(t) \ cfrac{dp_2(t)}{dt} = lambda_{12}p_1(t) + lambda_{32}p_3(t) - lambda_{23}p_2(t) \ cfrac{dp_3(t)}{dt} = lambda_{13}p_1(t) + lambda_{23}p_2(t) - lambda_{31}p_3(t) - lambda_{32}p_3(t) end {array}$

Очевидно, $p_{1}(t) + p_{2}(t) + p_{3}(t) = 1$ .

Поэтому любое из первых трех уравнений можно исключить, как линейно зависимое.

Для решения уравнений Колмогорова необходимо задать начальные условия. Для рассмотренного примера 2.2, можно задать такие начальные условия: $p_{1}(0) = 1$ , $p_{2}(0) = p_{3}(0) = 0$ .

Однородный марковский процесс с непрерывным временем можно трактовать как процесс смены состояний под влиянием некоторого потока событий. То есть плотность вероятности перехода можно трактовать как интенсивность потока событий, переводящих систему из -го состояния в -е. Такими потоками событий являются отказы техники, вызовы на телефонной станции, рождение и т. п.

При исследовании сложных объектов всегда интересует: возможен ли в исследуемой системе установившейся (стационарный) режим? То есть, как ведет себя система при ? Существуют ли предельные значения $p_{j}(k), p_{i}(t)$ ? Как правило, именно эти предельные значения интересуют исследователя.

Ответ на данный вопрос дает теорема Маркова.

Если для однородного дискретного марковского процесса с конечным или счетным числом состояний все $p_{ij} succ 0$ , то предельные значения $p_{j}(k)$ существуют и их значения не зависят от выбранного начального состояния системы.

Применительно к непрерывным марковским процессам теорема Маркова трактуется так: если процесс однородный и из каждого состояния возможен переход за конечное время в любое другое состояние и число состояний счетно или конечно, то предельные значения $p_{i}(t)$ существуют и их значения не зависят от выбранного начального состояния.

Например (рис. 2.4), в системе А стационарный режим есть, а в системе В стационарного режима нет: если система окажется в состоянии $S_{4}$ она не сможет перейти ни в какое другое состояние.

2.3. Схема гибели и размножения

Часто в системах самого различного назначения протекают процессы, которые можно представить в виде модели “гибели и размножения”.

Граф состояний такого процесса показан на рис. 2.5.

Особенностью модели является наличие прямой и обратной связей с каждым соседним состоянием для всех средних состояний; первое и последнее (крайние) состояния связаны только с одним “соседом” (с последующим и предыдущим состояниями соответственно).

Название модели – “гибель и размножение” – связано с представлением, что стрелки вправо означают переход к состояниям, связанным с ростом номера состояния (“рождение”), а стрелки влево – с убыванием номера состояний (“гибель”).

Очевидно, стационарное состояние в этом процессе существует. Составлять уравнения Колмогорова нет необходимости, так как структура регулярна, необходимые формулы приводятся в справочниках, а также в рекомендованной литературе.

Для приведенных на рис. 2.5 обозначений формулы имеют вид:

$begin{array}{*{20}{l}} {begin{array}{*{20}{l}} {{P_1} = cfrac{1}{{1 + cfrac{{{lambda _{12}}}}{{{mu _{21}}}} + cfrac{{{lambda _{12}}{lambda _{23}}}}{{{mu _{21}}{mu _{32}}}} + cfrac{{{lambda _{12}}{lambda _{23}}{lambda _{34}}}}{{{mu _{21}}{mu _{32}}{mu _{43}}}} + ldots + cfrac{{{lambda _{12}}{lambda _{23}} ldots {lambda _{n - 1,n}}}}{{{mu _{21}}{mu _{32}} ldots {mu _{n,n - 1}}}}}};} \ {{P_2} = cfrac{{{lambda _{12}}{lambda _{23}}}}{{{mu _{21}}{mu _{32}}}}*{P_1}; ldots ;{P_n} = cfrac{{{lambda _{12}}{lambda _{23}} ldots {lambda _{n - 1,n}}}}{{{mu _{21}}{mu _{32}} ldots {mu _{n,n - 1}}}}*{P_1}.} end{array}}&{left( {2.2} right)} end{array}$

Пример 2.3. Имеется система из двух одинаковых и работающих параллельно компьютеров.

Требуется определить надежностные характеристики этой системы.

Решение

В этой системе возможны три состояния:

$S_{1}$ – оба компьютера исправны;

$S_{2}$ – один компьютер исправен, другой ремонтируется;

$S_{3}$ – оба компьютера неисправны и ремонтируются. Будем полагать, что процессы отказов и восстановлений – однородные марковские, одновременный выход из строя обоих компьютеров, как и одновременное восстановление двух отказавших компьютеров практически невозможно.

Поскольку компьютеры одинаковые, то с точки зрения надежности, неважно, какой именно компьютер неисправен в состоянии $S_{2}$ , важно, что один.

С учетом сказанного, ситуация моделируется схемой “гибели и размножения” (рис. 2.6).

Рис.
2.6.

На рис. 2.6:

$lambda_{12}$ , $lambda_{23}$ – интенсивности потоков отказов;

$mu_{21}$ , $mu_{32}$ – интенсивности потоков восстановлений.

Пусть среднее время безотказной работы каждого компьютера , а среднее время восстановления одного компьютера $overline{t}_{в} = 0,1;сут$ .

Тогда интенсивность отказов одного компьютера будет равна $lambda = cfrac{1}{overline{t}} = cfrac{1}{10;сут} = 0,1;cfrac{1}{сут}$ , а интенсивность восстановления одного компьютера – $mu = cfrac{1}{overline{t}_{в}} = cfrac{1}{0,1;сут} = 10;cfrac{1}{сут}$ .

В состоянии $S_{1}$ работают оба компьютера, следовательно:

$lambda_{12} = 2lambda = 2*0,1 = 0,2;cfrac{1}{сут}.$

В состоянии $S_{2}$ работает один компьютер, значит:

$lambda_{23} = lambda = 0,1;cfrac{1}{сут}.$

В состоянии $S_{2}$ восстанавливается один компьютер, тогда:

$mu_{21} = mu = 10;cfrac{1}{сут}.$

В состоянии $S_{3}$ восстанавливаются оба компьютера:

$mu_{32} = 2mu = 20;cfrac{1}{сут}.$

Используем зависимости (2.2). Вероятность состояния, когда обе машины исправны:

${P_1} = cfrac{1}{{1 + cfrac{{{lambda _{12}}}}{{{mu _{21}}}} + cfrac{{{lambda _{12}}{lambda _{23}}}}{{{mu _{21}}{mu _{32}}}}}} = cfrac{1}{{1 + cfrac{{0,2}}{{10}} + cfrac{{0,2*0,1}}{{10*20}}}} = cfrac{1}{{1 + 0,02 + 0,0004}} = 0,98.$

Вероятность второго состояния $S_{2}$ (работает один компьютер):

$P_2 = cfrac{lambda_{12}}{mu_{21}}*P_1 = 0,02*0,98 = 0,0196.$

Аналогично вычисляется и $P_{3}$ . Хотя найти $P_{3}$ можно и так:

$[{P_3} = 1 - left( {{P_1} + {P_2}} right) = 1 - left( {0,98 + 0,0196} right) = 1 - 0,9996 = 0,0004.]$

Пример 2.4. В полосе объединения работают передатчики противника. Подразделение операторов-связистов армейской контрразведки ведет поиск передатчиков по их радиоизлучениям. Каждый оператор, обнаружив передатчик противника, следит за его частотой, при этом новым поиском не занимается. В процессе слежения частота может быть потеряна, после чего оператор снова осуществляет поиск.

Разработать математическую модель для определения эффективности службы подразделения операторов. Под эффективностью понимается среднее число обнаруженных передатчиков за установленный промежуток времени.

Решение

Будем считать, что наши операторы и радисты противника обладают высокой квалификацией, хорошо натренированы. Следовательно, можно принять, что интенсивности обнаружения частот передатчиков противника и потерь слежения – постоянны. Обнаружение частоты и ее потеря зависят только от того, сколько запеленговано передатчиков в настоящий момент и не зависят от того, когда произошло это пеленгование. Следовательно, процесс обнаружения и потерь слежения за частотами можно считать непрерывным однородным марковским процессом.

Исследуемое свойство этой системы пеленгации: загруженность операторов, что, очевидно, совпадает с числом обнаруженных частот.

Введем обозначения:

– количество операторов;

– количество передатчиков противника, полагаем M ge N ;

– среднее число операторов, ведущих слежение;

– среднее число запеленгованных передатчиков;

lambda – интенсивность пеленгации передатчика противника одним оператором;

– интенсивность потока потерь слежения оператором;

$n_{i}$ – текущая численность запеленгованных передатчиков .

В системе пеленгации возможны следующие состояния:

$S_{0}$ – запеленгованных передатчиков нет, поиск ведут операторов, вероятность состояния $P_{0}$ ;

$S_{1}$ – запеленгован 1 передатчик, поиск ведут (M - 1) операторов, вероятность состояния $P_{1}$ ;

$S_{2}$ – запеленгованы 2 передатчика, поиск ведут (M - 2) операторов, вероятность состояния $P_{2}$ ;

…

$S_{n}$ – запеленгованы $n_{i}$ передатчиков, вероятность $P_{i}$ ;

…

$S_{N}$ – запеленгованы передатчиков, вероятность $P_{N}$ .

Цель моделирования – – достигается вычислением:

$overline{n} = sum_{i = 0}^{N}P_{i}cdot n.$

Как и в примере 2.3 полагаем, что одновременное обнаружение или потеря двух и более частот практически невозможно. Граф состояний системы показан на рис. 2.7.

Граф соответствует процессу “гибели и размножения”, полносвязный, число состояний системы конечно, значит, установившийся режим, и предельные значения вероятностей в системе пеленгации существуют.

Пусть, к примеру, количество операторов M = 4 , а количество передатчиков противника N = 3 . В этом случае граф состояний имеет вид (рис. 2.8):

Рис.
2.8.
Вариант графа состояний системы пеленгации

Для упрощения вычислений примем . Тогда для этой схемы “гибели и размножения” по зависимостям (2.2) имеем:

$begin{array}{*{20}{l}} {{P_0} = cfrac{1}{{1 + cfrac{{12lambda }}{mu } + cfrac{{12lambda *6lambda }}{{mu *2mu }} + cfrac{{12lambda *6lambda *2lambda }}{{mu *2mu *3mu }}}} = cfrac{1}{{1 + 12 + 36 + 24}} = cfrac{1}{{73}} approx 0,0137;} \ {{P_1} approx 0,168;{P_2} approx 0,5;{P_3} approx 0,33.} end{array}$

Окончательно:

$overline{n} = sumlimits_{i = 0}^3 {{P_{i}}{n_{i}}} = 0*0,0137 + 1*0,168 + 2*0,5 + 3*0,33 = 2,17.$

Таким образом, в условиях данного примера в среднем будут пеленговаться не менее двух передатчиков противника.

Непрерывный марковский процесс полностью определяется значениями плотностей вероятностей переходов $lambda_{ij}$ , $mu_{ji}$ . Ранее был установлен их физический смысл как интенсивности потоков событий, переводящих систему из одного состояния в другое. Поток событий в однородных непрерывных марковских процессах характеризуется экспоненциальным законом распределения случайных интервалов времени между событиями. Такой поток называют простейшим или стационарным пуассоновским.

Простейший поток обладает свойствами:

стационарности, что означает независимость характеристик потока от времени;
ординарности, что означает практическую невозможность появления двух и более событий одновременно;
отсутствия последействия, об этом говорилось в начале темы.

Источник

Уравнения Колмогорова.
Предельные вероятности состояний

Рассмотрим математическое описание марковского процесса с дискретными состояниями и непрерывным временем* на примере случайного процесса из примера 1, граф которого изображен на рис. 1. Будем полагать, что все переходы системы из состояния S_i в S_j происходят под воздействием простейших потоков событий с интенсивностями $lambda_{ij},(i,j=0,1,2,3)$ ; так, переход системы из состояния S_0 в S_1 будет происходить под воздействием потока отказов первого узла, а обратный переход из состояния S_1 в S_0 — под воздействием потока “окончаний ремонтов” первого узла и т.п.

Граф состояний системы с проставленными у стрелок интенсивностями будем называть размеченным (см. рис. 1). Рассматриваемая система имеет четыре возможных состояния: S_0,,S_1,,S_2,,S_3 .

Граф системы состояний случайного процесса

Вероятностью i-го состояния называется вероятность p_i(t) того, что в момент система будет находиться в состоянии S_i . Очевидно, что для любого момента сумма вероятностей всех состояний равна единице:

$sum_{i=0}^{3}p_i(t)=p_0(y)+p_1(t)+p_2(t)+p_3(t)=1.$

(8)

Рассмотрим систему в момент и, задав малый промежуток Delta t , найдем вероятность p_0(t+Delta t) того, что система в момент будет находиться в состоянии S_0 . Это достигается разными способами.

1. Система в момент с вероятностью p_0(t) находилась в состоянии S_0 , а за время Delta t не вышла из него.

Вывести систему из этого состояния (см. граф на рис. 1) можно суммарным простейшим потоком с интенсивностью $(lambda_{01}+lambda_{02})$ , т.е. в соответствии с формулой (7), с вероятностью, приближенно равной $(lambda_{01}+lambda_{02})Delta t$ . А вероятность того, что система не выйдет из состояния S_0 , равна $[1-(lambda_{01}+lambda_{02})Delta t]$ . Вероятность того, что система будет находиться в состоянии S_0 по первому способу (т.е. того, что находилась в состоянии S_0 и не выйдет из него за время Delta t ), равна по теореме умножения вероятностей:

$p_0(t)[1-(lambda_{01}+lambda_{02})Delta t].$

2. Система в момент с вероятностями p_1(t) (или p_2(t) ) находилась в состоянии S_1 или S_2 и за время Delta t перешла в состояние S_0 .

Потоком интенсивностью $lambda_{10}$ (или $lambda_{20}$ — с- рис. 1) система перейдет в состояние S_0 с вероятностью, приближенно равной $lambda_{10}Delta t$ (или $lambda_{20}Delta t$ ). Вероятность того, что система будет находиться в состоянии S_0 по этому способу, равна $p_1(t)lambda_{10}Delta t$ (или $p_2(t)lambda_{20}Delta t$ ).

Применяя теорему сложения вероятностей, получим

$p_0(t+Delta t)= p_1(t)lambda_{10}Delta t+ p_2(t)lambda_{20}Delta t+p_0(t)[1- (lambda_{01}+lambda_{02})Delta t],$

откуда

$frac{p_0(t+Delta t)-p_0(t)}{Delta t}= p_1(t)lambda_{10}+ p_2(t)lambda_{20}-(lambda_{01}+lambda_{02})p_0(t).$

Переходя к пределу при Delta tto0 (приближенные равенства, связанные с применением формулы (7), перейдут в точные), получим в левой части уравнения производную p'_0(t) (обозначим ее для простоты p'_0 ):

$p'_0=lambda_{10}p_1+lambda_{20}p_2-(lambda_{01}+lambda_{02})p_0.$

$begin{cases} p'_0=lambda_{10}p_1+lambda_{20}p_2-(lambda_{01}+lambda_{02})p_0,\[2pt] p'_1=lambda_{01}p_0+lambda_{31}p_3-(lambda_{10}+lambda_{13})p_1,\[2pt] p'_2=lambda_{02}p_0+lambda_{32}p_3-(lambda_{20}+lambda_{23})p_2,\[2pt] p'_3=lambda_{13}p_1+lambda_{23}p_2-(lambda_{31}+lambda_{32})p_3. end{cases}$

(9)

Сформулируем правило составления уравнений Колмогорова. В левой части каждого из них стоит производная вероятности i-го состояния. В правой части — сумма произведений вероятностей всех состояний (из которых идут стрелки в данное состояние) на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного (i-го состояния).

Особенность решения дифференциальных уравнений вообще состоит в том, что требуется задать так называемые начальные условия, т.е. в данном случае вероятности состояний системы в начальный момент t=0 . Так, например, систему уравнений (9) естественно решать при условии, что в начальный момент оба узла исправны и система находилась в состоянии S_0 , т.е. при начальных условиях p_0(0)=1, p_1(0)=p_2(0)=p_3(0)=0 .

Уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени. Особый интерес представляют вероятности системы p_i(t) в предельном стационарном режиме, т.е. при ttoinfty , которые называются предельными (или финальными) вероятностями состояний.

Предельная вероятность состояния S_i имеет четкий смысл: она показывает среднее относительное время пребывания системы в этом состоянии. Например, если предельная вероятность состояния S_0 , т.е. p_0=0,!5 , то это означает, что в среднем половину времени система находится в состоянии S_0 .

$begin{cases}(lambda_{01}+lambda_{02})p_0= lambda_{10}p_1+lambda_{20}p_2,\[2pt] (lambda_{10}+lambda_{13})p_1= lambda_{01}p_0+lambda_{31}p_3,\[2pt] (lambda_{20}+lambda_{23})p_2= lambda_{02}p_0+lambda_{32}p_3,\[2pt] (lambda_{31}+lambda_{32})p_3= lambda_{13}p_1+lambda_{23}p_2. end{cases}$

(10)

Систему (10) можно составить непосредственно по размеченному графу состояний, если руководствоваться правилом, согласно которому слева в уравнениях стоит предельная вероятность данного состояния p_i , умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа — сумма произведений интенсивностей всех потоков, входящих в i-е состояние, на вероятности тех состояний, из которых эти потоки исходят.

Пример 2. Найти предельные вероятности для системы из примера 1, граф состояний которой приведен на рис. 1, при

$lambda_{01}=1,quad lambda_{02}=2,quad lambda_{10}=2,quad lambda_{13}=2,quad lambda_{20}=3,quad lambda_{23}=1,quad lambda_{31}=3,quad lambda_{32}=2.$

$begin{cases}3p_0=2p_1+3p_2,\ 4p_1=p_0+3p_3,\ 4p_2=2p_0+2p_3,\ p_0+p_1+p_2+p_3=1.end{cases}$

(11)

(Здесь мы вместо одного “лишнего” уравнения системы (10) записали нормировочное условие (8)).

Решив систему (11), получим p_0=0,!4,~p_1=0,,2,~p_2=0,!27,~p_3=0,!13 , т.е. в предельном, стационарном режиме система в среднем 40% времени будет находиться в состоянии S_0 (оба узла исправны), 20% — в состоянии S_1 (первый узел ремонтируется, второй работает), 27% — в состоянии S_2 (второй узел ремонтируется, первый работает) и 13% времени — в состоянии S_3 (оба узла ремонтируются)

Решение. Из примера 2 следует, что в среднем первый узел исправно работает долю времени, равную p_0+p_3=0,!4+0,!27=0,!67 , а второй узел — p_0+p_1=0,!4+0,!2=0,!6 . В то же время первый узел находится в ремонте в среднем долю времени, равную p_1+p_3=0,!2+0,!13=0,!33 , а второй узел — p_2+p_3=0,!27+0,!13=0,!4 . Поэтому средний чистый доход overline{D} в единицу времени от эксплуатации системы, т.е. разность между доходами и затратами, равен

overline{D}= 0,!67cdot10+0,!6cdot6-0,!33cdot4-0,!4cdot2= 8,!18 ден. ед.

Уменьшение вдвое среднего времени ремонта каждого из узлов в соответствии с (6) будет означать увеличение вдвое интенсивностей потока “окончаний ремонтов” каждого узла, т.е. теперь $lambda_{10}=4,$ $lambda_{20}=6,$ $lambda_{31}=6,$ $lambda_{32}=4$ и система линейных алгебраических уравнений (10), описывающая стационарный режим системы , вместе с нормировочным условием (8) примет вид:

$begin{cases}3p_0=4p_1+6p_2,\ 6p_1=p_0+6p_3,\ 7p_2=2p_0+4p_3,\ p_0+p_1+p_2+p_3=1.end{cases}$

Решив систему, получим p_0=0,!6,~p_1=0,!15,~p_2=0,!2,~p_3=0,!05 .

Учитывая, что p_0+p_2=0,!8,~p_0+p_1=0,!75,~p_1+p_3=0,!2,~p_2+p_3=0,!25 , а затраты на ремонт первого и второго узла составляют теперь соответственно 8 и 4 ден.ед., вычислим средний чистый доход $overline{D}_1$ в единицу времени:

$overline{D}_1=0,!8cdot10+0,!75cdot6-0,!2cdot8-0,!25cdot4=9,!9$ ден.ед.

Так как $overline{D}_1$ больше (примерно на 20%), то экономическая целесообразность ускорения ремонтов узлов очевидна.

Процесс гибели и размножения

В теории массового обслуживания широкое распространение имеет специальный класс случайных процессов — так называемый процесс гибели и размножения. Название этого процесса связано с рядом биологических задач, где он является математической моделью изменения численности биологических популяций.

Граф состояний процесса гибели и размножения имеет вид, показанный на рис. 4.

Граф состояний процесса гибели и размножения

Рассмотрим упорядоченное множество состояний системы S_0,S_1,S_2,ldots,S_k . Переходы могут осуществляться из любого состояния только в состояния с соседними номерами, т.е. из состояния S_k возможны переходы только либо в состояние $S_{k-1}$ , либо в состояние $S_{k+1}$ .

Предположим, что все потоки событий, переводящие систему по стрелкам графа, простейшие с соответствующими интенсивностями $lambda_{k,k+1}$ или $lambda_{k+1,k}$ .

В соответствии с правилом составления таких уравнений (см. 13) получим: для состояния S_0

$lambda_{01}cdot p_0=lambda_{10}cdot p_1,$

(12)

для состояния S_1 имеем $(lambda_{12}+lambda_{10})p_1=lambda_{01}p_0+ lambda_{21}p_2$ , которое с учетом (12) приводится к виду

$lambda_{12}cdot p_1=lambda_{21}cdot p_2.$

(13)

$begin{cases}lambda_{01}cdot p_0=lambda_{10}cdot p_1,\ lambda_{12}cdot p_1=lambda_{21}cdot p_2,\ cdotscdotscdotscdotscdots\ lambda_{k-1,k}cdot p_{k-1}=lambda_{k,k+1}cdot p_k,\ cdotscdotscdotscdotscdots\ lambda_{n-1,n}cdot p_{n-1}=lambda_{n,n+1}cdot p_n.end{cases}$

(14)

к которой добавляется нормировочное условие

p_0+p_1+p_2+ldots+p_n=1.

(15)

При анализе численности популяций считают, что состояние S_k соответствует численности популяции, равной , и переход системы из состояния S_k в состояние $S_{k+1}$ происходит при рождении одного члена популяции, а переход в состояние $S_{k-1}$ – при гибели одного члена популяции.

Решая систему (14), (15), можно получить

$p_0={left(1+ frac{lambda_{01}}{lambda_{10}}+ frac{lambda_{12}lambda_{01}}{lambda_{21}lambda_{10}}+ldots+ frac{lambda_{n-1,n}cdotslambda_{12}lambda_{01}}{lambda{n,n-1}cdotslambda_{21}lambda_{10}}right)!}^{-1},$

(16)

$p_1=frac{lambda_{01}}{lambda_{10}}p_0,quad p_2=frac{lambda_{12}lambda_{01}}{lambda_{21}lambda_{10}}p_0,quad ,ldots,quad p_n=frac{lambda_{n-1,n}cdotslambda_{12}lambda_{01}}{lambda{n,n-1}cdotslambda_{21}lambda_{10}}p_0.$

(17)

Процесс гибели и размножения - Рисунок

Легко заметить, что в формулах (17) для p_1,p_2,ldots,p_n коэффициенты при p_0 есть слагаемые, стоящие после единицы в формуле (16). Числители этих коэффициентов представляют произведение всех интенсивностей, стоящих у стрелок, ведущих слева направо до данного состояния S_k,(k=1,2,ldots,n) , а знаменатели — произведение всех интенсивностей, стоящих у стрелок, ведущих справа налево до состояния S_k .

Пример 4. Процесс гибели и размножения представлен графом (рис. 5). Найти предельные вероятности состояний.

Решение. По формуле (16) найдем

$p_0={left(1+frac{1}{4}+frac{2cdot1}{3cdot4}right)!}^{-1}= 0,!706,$ по (17) $p_1=frac{1}{4}cdot0,!706= 0,!176,~ p_2=frac{2cdot1}{3cdot4}cdot 0,!706=0,!118,$

т.е. в установившемся, стационарном режиме в среднем 70,6% времени система будет находиться в состоянии S_0 , 17,6% — в состоянии S_1 и 11,8% — в состоянии S_2 .

Математический форум (помощь с решением задач, обсуждение вопросов по математике).

Кнопка "Поделиться"

Если заметили ошибку, опечатку или есть предложения, напишите в комментариях.

Источник

Марковские случайные процессы. Уравнения Колмогорова для вероятностей состояний.

Уравнения Колмогорова.Предельные вероятности состояний

Процесс гибели и размножения

Теория случайных процессов и теория массового обслуживания

Элементы теории случайных процессов и теории массового обслуживания

Определение случайного процесса и его характеристики

Основные понятия теории массового обслуживания

Понятие марковского процесса

Простейший поток событий

Уравнения Колмогорова. Предельные вероятности состояний

Уравнения Колмогорова.Предельные вероятности состояний

Процесс гибели и размножения

Марковские случайные процессы. Уравнения Колмогорова для вероятностей состояний.

Уравнения Колмогорова для вероятностей состояний. Финальные вероятности состояний

2.2. Моделирование по схеме непрерывных марковских процессов

2.3. Схема гибели и размножения

Уравнения Колмогорова.Предельные вероятности состояний

Процесс гибели и размножения

Вам также может понравиться

Как найти пропорцию двух чисел

Как составить несколько изображений

Как найти робота алису

Добавить комментарий Отменить ответ

Уравнения Колмогорова.
Предельные вероятности состояний

Уравнения Колмогорова.
Предельные вероятности состояний

Уравнения Колмогорова.
Предельные вероятности состояний