Bibliography

(eng): This note presents succinct proofs of the basic perturbation formulas for the steady state distributions of finite state discrete-time Markov chains. Perturbation results are then applied to Markov reward chains. For the average reward criterion the respective perturbation formulae follow then immediately. For models with discounting some perturbation formulas are presented and it is shown how the perturbation results for steady state distributions can be employed for obtaining error bounds formulas of total discounted rewards.

(cze): V příspěvku je uvedeno jednoduché odvození základních perturbačních vztahů pro markovské řetězce s diskrétním časem: Tyto vztahy jsou následně použity pro markovské procesy s ohodnoceními. Pro případ kritéria průměrného výnosu perturbační vztahy plynou okamžitě; pro modely s diskontovaním přibližné rovnice dostanememe rozvojem mocnin přechodových matic, přesně vztahy pak transformací diskontovaných modelů na tvar odpovídající modelům s kritériem průměrného výnosu.