Metoda wyznaczania średniego czasu dojścia do stanu pochłaniającego jednorodnego łańcucha Markowa

Rozpatrywany jest jednorodny łańcuch Markowa o wielu stanach pochłaniających. Przedstawiona jest metoda wyznaczania średniego czasu dojścia do wybranego stanu pochłaniającego. Metoda oparta jest na rozszerzeniu zadanego łańcucha Markowa o nowe stany. Dla łańcucha rozszerzonego definiowana jest funkcja wypłat towarzysząca tranzycjom. Szczególne podejście do analitycznego rozwiązania problemu związane jest z zależnością wypłaty nie tylko od tranzycji, ale także od czasu. Rozpatrywane w artykule zadanie pojawia się przy projektowaniu interfejsów, protokołów, planowania etapowych przedsięwzięć o charakterze transportowym, produkcyjnym itp.

A homogeneous Markov chain with many absorbing states is considered. A method to obtain an average time to reach a selected absorbing state is presented. The method is based on an extension of the given Markov chain with new states. For the extended Markov chain a reward function associated with transitions is defined. A particular approach to the analytical solution of the problem is based on the dependence of rewards not only on transitions, but also on time. The task considered in this paper emerges during the design of interfaces, protocols, planning of staged transport or production projects etc.