Naho Dne Proce Sy

Markovovy řetězce:
diskrétnı́ i spojitý čas

Petr Lachout, Zuzana Prášková
verze 27.února 2021
Tento text byl vytištěn typografickým systémem LATEX 2ε
1
2 NP1-poznámky February 28, 2021:569
Obsah
1 Úvod 5
1.1 Definice a základnı́ charakteristiky náhodného procesu . . . . . . . . . . . . . . . . 5
1.1.1 Obecné pojmy a vlastnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.2 Pojmy pro spojitý čas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2 Přı́klady náhodných procesů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 Cvičenı́ a doplňky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2 Markovovy řetězce s diskrétnı́m časem 19

2.1 Definice a základnı́ vlastnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Homogennı́ Markovovy řetězce s diskrétnı́m časem . . . . . . . . . . . . . . . . . . 28
2.3 Přı́klady Markovových řetězců . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4 Klasifikace stavů homogennı́ho Markovova řetězce s diskrétnı́m časem . . . . . . . 38
2.5 Rozklad množiny stavů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.6 Pravděpodobnosti absorpce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.7 Stacionárnı́ a limitnı́ rozdělenı́ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
2.8 Limitnı́ věty pro četnosti návratů . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
2.9 Markovovy řetězce s oceněnı́m přechodů . . . . . . . . . . . . . . . . . . . . . . . . 84
2.10 Řı́zené Markovovy řetězce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3 Markovovy řetězce se spojitým časem 97

3.1 Základnı́ vlastnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
3.2 Kolmogorovovy diferenciálnı́ rovnice a jejich řešenı́ . . . . . . . . . . . . . . . . . . 123
3.3 Stacionárnı́ a limitnı́ rozdělenı́ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
3.4 Poissonův proces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
3.5 Lineárnı́ proces růstu (Yuleův proces) . . . . . . . . . . . . . . . . . . . . . . . . . 145
3.6 Obecný proces růstu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
3.7 Lineárnı́ proces množenı́ a zániku . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
3.8 Obecný proces množenı́ a zániku . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
3.9 Systémy hromadné obsluhy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
3.9.1 Systém (M/M/∞) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
3.9.2 Systém (M/M/c) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
3.9.3 Systém (M/G/1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Literatura 165
A 167
A.1 Vytvořujı́cı́ funkce celočı́selných náhodných veličin . . . . . . . . . . . . . . . . . . 167
A.2 Konvoluce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
A.3 Laplaceova transformace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
A.4 Náhodný součet náhodných veličin . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
3
B 175
B.1 Některé věty o maticı́ch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
B.2 Parciálnı́ diferenciálnı́ rovnice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
B.3 Doplňková literatura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
C 181
C.1 Sčı́tánı́ řad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
D 185
D.1 Dalšı́ pomocná tvrzenı́ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
Kapitola 1
Úvod
1.1 Definice a základnı́ charakteristiky náhodného procesu

V této úvodnı́ kapitole se seznámı́me se základnı́mi pojmy z teorie náhodných procesů. Nejdřı́ve
ze všeho musı́me upřesnit samotný pojem náhodného procesu.
Definice 1.1: Necht’ (Ω, A, P ) je pravděpodobnostnı́ prostor, T 6= ∅ a pro každé t ∈ T jsou
dány náhodné veličiny Xt : (Ω, A) → (Ht , Ht ), kde (Ht , Ht ) jsou měřitelné prostory. Rodinu
náhodných veličin {Xt , t ∈ T} nazýváme náhodný proces (též, stochastický proces) (ang. random
process, stochastic process).
Označme X = {Xt , t ∈ T}, pak můžeme definici náhodného procesu ekvivalentně přepsat jako
měřitelnost zobrazenı́
!
O
X : (Ω, A) → X Ht , Ht .
t∈T
t∈T
Rozdělenı́ (pravděpodobnosti) náhodného procesu (ang. distribution of a random N process) budeme

proto v tomto textu chápat N jako pravděpodobnostnı́ mı́ru PX definovanou na t∈T Ht tak, že
PX (B) = P (X ∈ B) pro B ∈ t∈T Ht .
Připomeňme, že rozdělenı́ náhodného procesu je jednoznačně určeno rozdělenı́mi náhodných
vektorů (Xt1 , . . . , XtK ), t1 , t2 , . . . , tK ∈ T, K ∈ N.
V tomto textu budeme pouze na několika málo mı́stech manipulovat s rozdělenı́m náhodného
procesu pro obecnou množinu ze součinové σ-algebry. Převážně budeme potřebovat pouze konečně-
rozměrné pravděpodobnosti typu P (Xt1 ∈ B1 , Xt2 ∈ B2 , . . . , XtK ∈ BK ) , kde K ∈ N,
t1 , t2 , . . . , tK ∈ T, B1 ∈ Ht1 , B2 ∈ Ht2 , . . . , BK ∈ HtK .
1.1.1 Obecné pojmy a vlastnosti

V přı́padě, že T ⊂ Z = {0, ±1, ±2, . . .} (speciálně T = Z nebo T = N0 = {0, 1, . . .} nebo T =
N = {1, 2, 3, . . .}), mluvı́me o náhodném procesu s diskrétnı́m časem (ang. a random process with
discrete time) nebo o časové řadě (ang. time series). Pokud T ⊂ R je interval (speciálně T =
[a, b] nebo T = (a, b) nebo T = R nebo T = R+,0 = [0, +∞) ), řı́káme, že X = {Xt , t ∈ T} je
náhodný proces se spojitým časem (ang. a random process with continuous time). Pokud bude ze
souvislosti jasné, o jakou množinu T se jedná, budeme informaci t ∈ T pro zjednodušenı́ vynechávat
a náhodný proces označovat {Xt }.
V tomto textu budeme uvažovat speciálnı́ strukturu hodnot náhodného procesu. Budeme
předpokládat, že jeho hodnoty jsou prvky nějakého úplného metrického prostoru H = (H, h),
tj. pro všechna t ∈ T je Ht = H a Ht = B (H), kde B (H) značı́ borelovskou σ-algebru H. Prostor
5
H budeme nazývat stavový prostor (ang. state space) náhodného procesu X = {Xt , t ∈ T}. Sta-
vový prostor však bývá neúměrně velký a často obsahuje množinu stavů, do které náhodný proces
vstoupı́ s nulovou pravděpodobnostı́. Stavový prostor proto zúžı́me a budeme se zabývat pouze
hodnotami, které lze u náhodného procesu pozorovat s kladnou pravděpodobnostı́. To znamená
budeme uvažovat množinu Q ⊂ H s vlastnostı́ P (Xt ∈ Q) = 1 pro všechna t ∈ T. Taková množina
však nenı́ jednoznačně určená. Budeme proto využı́vat nejmenšı́ uzavřenou množinu S ⊂ H s vlast-
nostı́ P (Xt ∈ S) = 1 pro všechna t ∈ T. Takovou množinu budeme nazývat množina stavů (též,
množina efektivnı́ch stavů) (ang. set of states) náhodného procesu X. Poznamenejme, že množina
stavů je korektně definována a je určena jednoznačně, nebot’ H = (H, h) je úplný metrický prostor.
Pokud množina stavů S náhodného procesu je diskrétnı́ nejvýše spočetná množina, řı́káme, že
jde o proces s diskrétnı́mi stavy (ang. a random process with discrete states). Že jde o diskrétnı́
množinu znamená, že existuje ∆ > 0 s vlastnostı́ h (s1 , s2 ) ≥ ∆ pro všechna s1 , s2 ∈ S, s1 6= s2 .
Lemma 1.2: Když pro náhodný proces {Xt , t ∈ T} se stavovým prostorem H existuje diskrétnı́
nejvýše spočetná množina Q ⊂ H s vlastnostı́ P (Xt ∈ Q) = 1 pro všechna t ∈ T, pak množina
stavů tohoto procesu je
S = {s ∈ H : existuje t ∈ T tak, že P (Xt = s) > 0} . (1.1)
Množina S je diskrétnı́ nejvýše spočetná, S ⊂ Q a P (Xt ∈ S) = 1 pro všechna t ∈ T.
Důkaz. 1. Když s ∈ H \ Q, pak pro každé t ∈ T je P (Xt = s) = 0. Tudı́ž S ⊂ Q a proto S je

diskrétnı́ nejvýše spočetná množina. To znamená, že S je uzavřená.
2. Když s ∈ Q \ S, pak pro každé t ∈ T je P (Xt = s) = 0. Proto pro každé t ∈ T platı́

X X
P (Xt ∈ S) = P (Xt = s) = P (Xt = s) = P (Xt ∈ Q) = 1.
s∈S s∈Q
3. Když A ⊂ S, A 6= S, pak vezměme u ∈ S \ A. Vı́me, že existuje t ∈ T tak, že P (Xt = u) > 0,
proto platı́
X X
P (Xt ∈ A) = P (Xt = s) ≤ P (Xt = s) − P (Xt = u) < 1.
s∈A s∈S
Ověřili jsme, že S je nejmenšı́ uzavřená množina s vlastnostı́ P (Xt ∈ S) = 1 pro každé t ∈ T.
Jedná se tedy o množinu stavů náhodného procesu X.
Pokud H ⊂ R a h (κ1 , κ2 ) = |κ1 − κ2 | pro každé κ1 , κ2 ∈ H, potom řı́káme, že jde o

reálný náhodný proces (ang. a real random process). Pokud je množina stavů S reálného náhodného
procesu neprázdný uzavřený interval, pak mluvı́me o reálném náhodném procesu se spojitými stavy
(ang. a real random process with continuous states).
Pokud H ⊂ R = [−∞, +∞], mluvı́me o zobecněném reálném náhodném procesu (ang. a gene-
ralized real random process). Na prostoru R uvažujeme metriku h (κ1 , κ2 ) = |ϕ(κ1 ) − ϕ(κ2 )| pro
u
každou dvojici κ1 , κ2 ∈ R, kde ϕ(u) = 1+|u| pro u ∈ R, ϕ(+∞) = 1 a ϕ(−∞) = −1.
Zobecněný reálný náhodný proces {Xt , t ∈ T} můžeme chápat jako funkci dvou proměnných
ω, t. Pro pevné t ∈ T je Xt = Xt (·) zobecněná reálná náhodná veličina definovaná na Ω. Pro
pevné ω ∈ Ω je X (ω) = X(·) (ω) funkcı́ jen proměnné t. Této funkci řı́káme trajektorie procesu
{Xt , t ∈ T} (ang. trajectory of a random process).
Rozdělenı́ reálného náhodného procesu {Xt , t ∈ T} je jednoznačně určeno rozdělenı́mi reálných

náhodných vektorů (Xt1 , . . . , Xtn ), t1 , t2 , . . . , tn ∈ T, n ∈ N a rozdělenı́ reálného náhodného vektoru
Petr Lachout February 28, 2021:569 7
je jednoznačně určeno jeho distribučnı́ funkcı́. Tudı́ž

rozdělenı́ reálného náhodného procesu je
jednoznačně určeno systémem distribučnı́ch funkcı́ FXt1 ,...,Xtn , t1 , t2 , . . . , tn ∈ T, n ∈ N , kde
FXt1 ,...,Xtn (x1 , x2 , . . . , xn ) = P (Xt1 ≤ x1 , x2 , . . . , Xtn ≤ xn ) pro každé x1 , x2 , . . . , xn ∈ R.
Definice 1.3: Necht’ T 6= ∅ a pro každé t1 , t2 , . . . , tn ∈ T, n ∈ N je dána Gt1 ,t2 ,...,tn distribučnı́
funkce nějakého n-dimenzionálnı́ho reálného náhodného vektoru. Řekneme, že systém distribučnı́ch
funkcı́
{ Gt1 ,t2 ,...,tn , t1 , t2 , . . . , tn ∈ T, n ∈ N} je konzistentnı́ (ang. consistent system), jestliže má následujı́cı́
vlastnosti:
a) Pro každé n ∈ N, t1 , t2 , . . . , tn ∈ T, x1 , x2 , . . . , xn ∈ R a pro libovolnou permutaci i1 , . . . , in čı́sel
1, . . . , n platı́
Gti1 ,...,tin (xi1 , . . . , xin ) = Gt1 ,t2 ,...,tn (x1 , x2 , . . . , xn ) .
b) Pro každé n ∈ N, t1 , t2 , . . . , tn , tn+1 ∈ T, x1 , x2 , . . . , xn ∈ R platı́
lim Gt1 ,t2 ,...,tn ,tn+1 (x1 , x2 , . . . , xn , xn+1 ) = Gt1 ,t2 ,...,tn (x1 , x2 , . . . , xn ) .
xn+1 →∞
Evidentně každý systém distribučnı́ch funkcı́ určený nějakým reálným náhodným procesem
je konzistentnı́. Naopak také platı́, že ke každému konzistentnı́mu systému distribučnı́ch funkcı́
lze nalézt reálný náhodný proces tak, že systém distribučnı́ch funkcı́ určených tı́mto procesem se
shoduje s výchozı́m systémem.
Věta 1.4 (Daniell-Kolmogorov): Necht’ T 6= ∅ a pro každé t1 , t2 , . . . , tn ∈ T, n ∈ N je

dána Gt1 ,t2 ,...,tn distribučnı́ funkce nějakého n-dimenzionálnı́ho reálného náhodného vektoru. Když
je systém distribučnı́ch funkcı́ { Gt1 ,t2 ,...,tn , t1 , t2 , . . . , tn ∈ T, n ∈ N} konzistentnı́, potom existuje
reálný náhodný proces X = {Xt , t ∈ T} takový, že pro každé n ∈ N, libovolná t1 , t2 , . . . , tn ∈ T a
libovolná reálná x1 , x2 , . . . , xn platı́
FXt1 ,...,Xtn (x1 , x2 , . . . , xn ) = Gt1 ,t2 ,...,tn (x1 , x2 , . . . , xn ) .
Rozdělenı́ procesu X je určeno jednoznačně.

t
Důkaz. Štěpán (1987), věta I.10.3, str.84.

Indexujeme-li přirozenými čı́sly, dajı́ se předpoklady věty zjednodušit.
Lemma 1.5: Necht’ pro každé k ∈ N je dána Hk distribučnı́ funkce nějakého k -dimenzionálnı́ho
reálného náhodného vektoru tak, že pro každé m ∈ N, x1 , x2 , . . . , xm ∈ R je splněno
lim Hm+1 (x1 , x2 , . . . , xm , xm+1 ) = Hm (x1 , x2 , . . . , xm ) .

xm+1 →∞
Potom existuje reálný náhodný proces X = {Xn , n ∈ N0 } takový, že pro každé k ∈ N a libovolná
x1 , x2 , . . . , xk ∈ R platı́
FX0 ,X1 ,...,Xk −1 (x1 , x2 , . . . , xk ) = Hk (x1 , x2 , . . . , xk ) .
Rozdělenı́ procesu X je určeno jednoznačně.

Důkaz. Pro každé k ∈ N najdeme reálné náhodné veličiny Xk ,0 , Xk ,1 , . . . , Xk ,k −1 tak, aby

FXk ,0 ,Xk ,1 ,...,Xk ,k −1 = Hk . Pak pro t1 , t2 , . . . , tk ∈ N0 definujeme distribučnı́ funkci
Gt1 ,t2 ,...,tk := FXK ,t1 ,XK ,t2 ,...,XK ,tk , kde K := max {t1 , t2 , . . . , tk }.
Systém distribučnı́ch funkcı́ { Gt1 ,t2 ,...,tn , t1 , t2 , . . . , tn ∈ T, n ∈ N} je konzistentnı́, nebot’
Gt1 ,t2 ,...,tk = FXK ,t1 ,XK ,t2 ,...,XK ,tk = FXM ,t1 ,XM ,t2 ,...,XM ,tk pro každé M ≥ K .
Tudı́ž podle Věty 1.4 požadovaný proces existuje.
Definice 1.6: Necht’ X = {Xt , t ∈ T} je reálný náhodný proces.
• Když pro každé t ∈ T je Xt ∈ L1 , pak funkce
µX : T → R : t ∈ T 7→ E [Xt ]
se nazývá střednı́ hodnota reálného náhodného procesu X (ang. the mean of a real random
process).
• Když pro každé t ∈ T je Xt ∈ L2 , pak funkce
RX : T2 → R : (s, t) ∈ T2 7→ cov (Xs , Xt )
se nazývá autokovariančnı́ funkce reálného náhodného procesu X

(ang. the autocovariance function of a real random process) a funkce
σX2 : T → R : t ∈ T 7→ var (Xt )
se nazývá rozptyl reálného náhodného procesu v čase t (ang. the variance of a real random
process).
Povšimněme si, že pro každé t ∈ T je σX2 (t) = RX (t, t).
Důležitou vlastnostı́ reálného náhodného procesu je jeho stacionarita.
Definice 1.7: Necht’ T ⊂ R, T 6= ∅. Budeme řı́kat, že reálný náhodný proces {Xt , t ∈ T} je
striktně stacionárnı́ (též, silně stacionárnı́) (ang. strictly stationary random process), jestliže pro
libovolné n ∈ N, x1 , x2 , . . . , xn ∈ R, t1 , t2 , . . . , tn ∈ T a h ∈ R taková, že tk + h ∈ T pro všechna
k ∈ {1, 2, . . . , n}, platı́
FXt1 ,Xt2 ,...,Xtn (x1 , x2 , . . . , xn ) = FXt1 +h ,Xt2 +h ,...,Xtn +h (x1 , x2 , . . . , xn ) .
Z definice striktnı́ stacionarity procesu plyne např., že všechny náhodné veličiny Xt majı́ stejné
rozdělenı́ a dále, že základnı́ charakteristiky jako střednı́ hodnota a autokovariančnı́ funkce (pokud
existujı́) se neměnı́ při posunutı́ v čase.
Od pojmu striktnı́ stacionarita je třeba odlišit pojem slabá stacionarita.
Definice 1.8: Necht’ T ⊂ R, T 6= ∅. Budeme řı́kat, že reálný náhodný proces {Xt , t ∈ T} je
slabě stacionárnı́ (též, stacionárnı́ do momentů druhého řádu) (ang. weakly stationary random
process), jestliže
i) Pro každé t ∈ T je Xt ∈ L2 .
ii) Pro každé s, t ∈ T platı́ µX (s) = µX (t).
iii) Pro každé s, t ∈ T, h ∈ R taková, že s + h, t + h ∈ T, platı́ RX (s, s + h) = RX (t, t + h).
Jinými slovy slabě stacionárnı́ reálný náhodný proces má konečné druhé momenty, konstantnı́
střednı́ hodnotu a hodnoty jeho autokovariančnı́ funkce nezávisı́ na posunu argumentů. Střednı́
hodnotu slabě stacionárnı́ho reálného náhodného procesu chápeme jako čı́slo a označujeme µX ∈ R
a jeho autokovariančnı́ funkci chápeme jako funkci jednoho argumentu RX : T − T → R, kde
RX (h) = cov (Xs , Xs+h ) pokud s, s + h ∈ T. Proces je slabě stacionárnı́ a tak na volbě s hodnota
autokovariančnı́ funkce nezáležı́.
Poznámka 1.9:
• Když reálný náhodný proces je striktně stacionárnı́ a má konečné druhé momenty, pak je i
slabě stacionárnı́.
• Když reálný náhodný proces je slabě stacionárnı́ a je gaussovský (tj. jeho konečněrozměrná
rozdělenı́ jsou gaussovská), pak je i striktně stacionárnı́.
1.1.2 Pojmy pro spojitý čas
Definice 1.10: Necht’ X = {Xt , t ∈ T}, Y = {Yt , t ∈ T} jsou náhodné procesy definované na
stejném pravděpodobnostnı́m prostoru (Ω, A, P ) s hodnotami ve stejném stavovém prostoru (H, H).
Jestliže pro každé t ∈ T platı́
P (Xt = Yt ) = P ({ω ∈ Ω : Xt (ω) = Yt (ω)}) = 1,
řı́káme, že náhodné procesy X, Y jsou stochasticky ekvivalentnı́ (ang. stochastically equivalent).
Řı́káme také, že Y je stochastickou verzı́ procesu X (ang. stochastic version), když náhodný
proces Y je stochasticky ekvivalentnı́ s X.
Náhodné procesy, které jsou stochasticky ekvivalentnı́, majı́ stejné rozdělenı́, nebot’ majı́ stejná
všechna konečněrozměrná rozdělenı́. Proved’me důkaz pro reálné náhodné procesy.
Uvažujme n ∈ N, t1 , t2 , . . . , tn ∈ T a libovolná reálná x1 , x2 , . . . , xn . Pak platı́
P (Xt1 ≤ x1 , x2 , . . . , Xtn ≤ xn ) = P (Xt1 ≤ x1 , x2 , . . . , Xtn ≤ xn , Xt1 = Yt1 , . . . , Xtn = Ytn )

= P (Yt1 ≤ x1 , x2 , . . . , Ytn ≤ xn )
Poznámka. Náhodné procesy, které jsou stochasticky ekvivalentnı́, nemusı́ mı́t stejné trajektorie.
Necht’ např. Ω = [0, 1], A je σ-algebra borelovských podmnožin [0, 1], P je Lebesgueova mı́ra na
[0, 1] a T = [0, 1]. Uvažujme náhodné procesy X = {Xt , t ∈ T} a Y = {Yt , t ∈ T} definované na

(Ω, A, P ) předpisem
Xt (ω) = 0 pro všechna ω ∈ Ω, t ∈ T,

(
0 pro t 6= ω,
Yt (ω) = pro všechna ω ∈ Ω, t ∈ T.
1 pro t = ω,
Potom pro každé t ∈ T
P ({ω ∈ Ω : Xt (ω) = Yt (ω)}) = P ({ω ∈ Ω : ω 6= t}) = 1,
takže náhodné procesy X, Y jsou stochasticky ekvivalentnı́, ale jejich trajektorie jsou odlišné.
t
V přednášce budeme použı́vat a rozlišovat dva druhy “spojitosti” náhodného procesu. Půjde
jednak o “spojitost” jeho trajektoriı́ a jednak o “spojitost” jeho rozdělenı́.
Nejdřı́ve si indexovou množinu T rozdělı́me na body dosažitelné zleva a na body dosažitelné
zprava.
Definice 1.11: Necht’ T ⊂ R, T 6= ∅. Označme
T+ = {t ∈ T : ∃δ > 0 tak, že [t, t + δ) ⊂ T}
množinu bodů T dosažitelných zprava a
T− = {t ∈ T : ∃δ > 0 tak, že (t − δ, t] ⊂ T}
množinu bodů T dosažitelných zleva.

t
Definice 1.12: Necht’ T ⊂ R, T 6= ∅ a X = {Xt , t ∈ T} je náhodný proces se stavovým prostorem

H = (H, h), který je úplný separabilnı́ metrický prostor.
Když t ∈ T, pak budeme řı́kat, že náhodný proces X je
i) spojitý zprava v bodě t (ang. continuous from right-hand side at t), jestliže t ∈ T+ a
lims→t+ Xs = Xt .
ii) spojitý zleva v bodě t (ang. continuous from left-hand side at t), jestliže t ∈ T− a
lims→t− Xs = Xt .
iii) spojitý v bodě t (ang. continuous at t), jestliže t ∈ T+ ∩ T− a lims→t Xs = Xt .
iv) spojitý zprava (ang. continuous from right-hand side), je-li spojitý zprava v každém bodě T+ .
v) spojitý zleva (ang. continuous from left-hand side), je-li spojitý zleva v každém bodě T− .
vi) spojitý (ang. continuous), je-li spojitý zleva v každém bodě T− a spojitý zprava v každém
bodě T+ .
Pro potřeby přednášky definujeme stochastickou spojitost náhodného procesu následujı́cı́m

způsobem.
Definice 1.13: Necht’ T ⊂ R, T 6= ∅ a X = {Xt , t ∈ T} je náhodný proces se stavovým prostorem

H = (H, h), který je úplný separabilnı́ metrický prostor.
Když t ∈ T, pak budeme řı́kat, že náhodný proces X je
i) stochasticky spojitý zprava v bodě t (též, spojitý zprava podle pravděpodobnosti v bodě t)
(ang. stochastically continuous from right-hand side at t),
jestliže t ∈ T+ a pro každé ε > 0 platı́ lims→t+ P (h (Xs , Xt ) > ε) = 0.
ii) stochasticky spojitý zleva v bodě t (též, spojitý zleva podle pravděpodobnosti v bodě t) (ang.
stochastically continuous from left-hand side at t),
jestliže t ∈ T− a pro každé ε > 0 platı́ lims→t− P (h (Xs , Xt ) > ε) = 0.
iii) stochasticky spojitý v bodě t (též, spojitý podle pravděpodobnosti v bodě t) (ang. stochasti-
cally continuous at t), jestliže t ∈ T+ ∩T− a pro každé ε > 0 platı́ lims→t P (h (Xs , Xt ) > ε) = 0.
iv) stochasticky spojitý zprava (též, spojitý zprava podle pravděpodobnosti) (ang. stochastically
continuous from right-hand side), je-li stochasticky spojitý zprava v každém bodě T+ .
v) stochasticky spojitý zleva (též, spojitý zleva podle pravděpodobnosti) (ang. stochastically
continuous from left-hand side), je-li stochasticky spojitý zleva v každém bodě T− .
vi) stochasticky spojitý (též, spojitý podle pravděpodobnosti) (ang. stochastically continuous),
je-li stochasticky spojitý zleva v každém bodě T− a stochasticky spojitý zprava v každém
bodě T+ .
Poznámka. Povšimněme si, že spojitý náhodný proces je spojitý v každém bodě T+ ∩T− . Podobně
stochasticky spojitý náhodný proces je stochasticky spojitý v každém bodě T+ ∩ T− .
Poznámka. Spojitost i stochastickou spojitost náhodného procesu budeme v tomto textu uvažovat
převážně pro přı́pad T = R+,0 , kde T+ = R+,0 a T− = R+ . V tomto přı́padě spojitost náhodného
procesu znamená jeho spojitost v každém bodě R+ a spojitost zprava v bodě 0. Podobně sto-
chastická spojitost náhodného procesu znamená jeho stochastickou spojitost v každém bodě R+
a stochastickou spojitost zprava v bodě 0.
Náhodný proces, který je stochasticky spojitý podle předchozı́ definice, nemusı́ mı́t spojité
trajektorie. Uved’me si dva přı́klady skokovitých procesů, kreré jsou stochasticky spojité.
Přı́klad 1.14: Uvažujme reálnou náhodnou veličinu ξ se spojitou distribučnı́ funkcı́ F a definujme
reálný náhodný proces {Xt , t ∈ R} předpisem
Xt = I [ξ ≤ t] pro t ∈ R.
Jeho trajektorie jsou neklesajı́cı́ schodovité funkce se skokem v bodě ξ, ale náhodný proces je
stochasticky spojitý. Přesvědčı́me se o tom výpočtem.
1. Pro t ∈ R, h > 0 a 1 > ε > 0 platı́:
P (|Xt+h − Xt | > ε) = P (Xt+h − Xt > ε) = P (t < ξ ≤ t + h)

= F(t + h) − F(t) .
Vzhledem ke spojitosti distribučnı́ funkce F, výraz konverguje k nule při h → 0+ . Tudı́ž

tento náhodný proces je stochasticky spojitý zprava v každém bodě t ∈ R.
2. Pro t ∈ R, h < 0 a 1 > ε > 0 platı́:
P (|Xt+h − Xt | > ε) = P (Xt − Xt+h > ε) = P (t + h < ξ ≤ t)

= F(t) − F(t + h) .
Vzhledem ke spojitosti distribučnı́ funkce F, výraz konverguje k nule při h → 0− . Tudı́ž

tento náhodný proces je stochasticky spojitý zleva v každém bodě t ∈ R.
Přı́klad 1.15: Uvažujme nezávislé stejně rozdělené reálné náhodné veličiny T1 , T2 , . . . , Tn se

spojitou distribučnı́ funkcı́ F. Definujme reálný náhodný proces {Xt , t ≥ 0} předpisem
n
X
Xt = I [Tk ≤ t] , t ≥ 0.
k =1
Zřejmě je 0 ≤ Xt1 ≤ Xt2 pro každé 0 ≤ t1 < t2 . Trajektorie tohoto náhodný proces jsou neklesajı́cı́
schodovité funkce se skoky v bodech T(1) < · · · < T(n) , kde T(1) , . . . T(n) jsou pořádkové statistiky
T1 , . . . , Tn . Proces sám však je stochasticky spojitý.
Přesvědčı́me se o tom využitı́m Markovovy nerovnosti.
1. Pro t ≥ 0, h > 0 a ε > 0 platı́:
1 1
P (|Xt+h − Xt | > ε) ≤ E [|Xt+h − Xt |] = E [Xt+h − Xt ]
" n ε # ε
1 X n n
= E I [t < Tk ≤ t + h] = E [I [t < T1 ≤ t + h]] = ( F(t + h) − F(t)).
ε ε ε
k =1
Vzhledem ke spojitosti distribučnı́ funkce F, výraz konverguje k nule při h → 0+ .

Proces je stochasticky spojitý zprava v každém bodě t ≥ 0.
2. Pro t > 0, −t < h < 0 a ε > 0 platı́:
1 1
P (|Xt+h − Xt | > ε) ≤ E [|Xt+h − Xt |] = E [Xt − Xt+h ]
" n ε # ε
1 X n n
= E I [t + h < Tk ≤ t] = E [I [t + h < T1 ≤ t]] = ( F(t) − F(t + h)).
ε ε ε
k =1
Vzhledem ke spojitosti distribučnı́ funkce F, výraz konverguje k nule při h → 0− .

Proces je stochasticky spojitý zleva v každém bodě t > 0.
Necht’ X = {Xt , t ∈ T} je reálný náhodný proces definovaný na (Ω, A, P ). Pak zobrazenı́ Xt (·) :
Ω → R je A−měřitelné pro každé t ∈ T, tj. {ω ∈ Ω : Xt (ω) ∈ B} ∈ A pro každou borelovskou
podmnožinu B ⊂ R. V přı́padě, že T nenı́ spočetná, však množiny
\
{ω ∈ Ω : Xt (ω) ∈ B, t ∈ T} = {ω ∈ Ω : Xt (ω) ∈ B}
t∈T
nejsou obecně v A. Tedy je-li {Xt , t ∈ T} náhodný proces se spojitým časem, takové funkcionály
jako např. sups∈T Xt , inf s∈T Xt nemusı́ být náhodné veličiny. To nás vede k definici separabilnı́ho
procesu.
Definice 1.16: Zobecněný reálný náhodný proces X = {Xt , t ∈ T}, kde T ⊂ R je interval, se
nazývá separabilnı́ (ang. separable), jestliže existuje spočetná hustá podmnožina D ⊂ T a jev
Λ ⊂ Ω s nulovou pravděpodobnostı́ tak, že
{ω ∈ Ω : Xt (ω) ∈ C, t ∈ J ∩ D} \ {ω ∈ Ω : Xt (ω) ∈ C, t ∈ J ∩ T} ⊂ Λ
pro libovolnou uzavřenou množinu C ⊂ R a libovolný otevřený interval J ⊂ R. Spočetná množina

D se nazývá separant procesu X (ang. separant).
t
Vzhledem k tomu, že
{ω ∈ Ω : Xt (ω) ∈ C, t ∈ J ∩ D} ⊃ {ω ∈ Ω : Xt (ω) ∈ C, t ∈ J ∩ T} ,
plyne z definice separability, že
(Ω \ Λ) ∩ {ω ∈ Ω : Xt (ω) ∈ C, t ∈ J ∩ D} = (Ω \ Λ) ∩ {ω ∈ Ω : Xt (ω) ∈ C, t ∈ J ∩ T } ,
a protože na levé straně je jev z A, je i pravá strana jev z A. Pojem separability náhodného procesu
umožňuje tudı́ž redukovat studium jisté vlastnosti V, která se vztahuje ke všem hodnotám t ∈ T,
na studium této vlastnosti jen pro spočetně mnoho hodnot t.
Poznámka. Je-li {Xt , t ∈ T} separabilnı́ zobecněný reálný náhodný proces a Λ, D majı́ stejný
význam jako v předchozı́ definici, lze ukázat, že pro každé ω ∈ Ω \ Λ, t ∈ T existuje posloupnost
{tn , n ∈ N} ⊂ D a tn → t při n → ∞ taková, že
Xt (ω) = lim Xtn (ω) .

n→∞
Někdy se proto pojem separability definuje tı́mto ekvivalentnı́m způsobem; viz [14], str.85.
t
Definice 1.17: Zobecněný reálný náhodný proces {Xt , t ∈ T}, kde T ⊂ R, se nazývá měřitelný
(ang. measurable), jestliže zobrazenı́ (ω, t) → Xt (ω) je A ⊗ BT −měřitelné, kde BT je σ−algebra
borelovských podmnožin T a A ⊗ BT značı́ součinovou σ−algebru.
Připomeňme, že BT = B ∩ T, kde B je borelovská σ-algebra R.
t
V Kapitole 3 využijeme následujı́cı́ tvrzenı́.
Věta 1.18: Necht’ T ⊂ R je interval a X = {Xt , t ∈ T} je stochasticky spojitý reálný náhodný

proces. Potom existuje zobecněný reálný náhodný proces (tj. se stavy v R), který je separabilnı́,
měřitelný a je stochastickou verzı́ X.
t
Důkaz. Štěpán (1987), 1.10.14, str.90.
Věta 1.19: Necht’ {Xt , t ≥ 0} je reálný náhodný proces, který je zprava spojitý, pak je separabilnı́
a měřitelný.
Definice 1.20: Reálnou funkci f : R+,0 → R nazveme càdlàg funkce, pokud je zprava spojitá v
každém t ∈ R+,0 a existuje limita zleva v každém t ∈ R+ .
1.2 Přı́klady náhodných procesů
Přı́klad 1.21: Bı́lý šum (ang. White Noise) je reálný náhodný proces B = {Bt , t ∈ Z} nekore-
lovaných reálných náhodných veličin se stejnou střednı́ hodnotou a stejným konečným kladným
rozptylem, tj.
pro každé s, t ∈ Z, s 6= t je cov (Bs , Bt ) = 0 a pro každé s, t ∈ Z je E [Bs ] = E [Bt ], var (Bs ) = var (Bt ).
Pokud jsou navı́c náhodné veličiny {Bt , t ∈ Z} nezávislé a stejně rozdělené, pak mluvı́me o
striktnı́m bı́lém šumu (ang. Strict White Noise). Pojmenovánı́ tohoto procesu je odvozeno z jeho
spektrálnı́ch vlastnostı́ a z analogie se spektrem bı́lého světla.
Přı́klad 1.22: Náhodná procházka na přı́mce (ang. Random Walk).

Necht’ Y1 , Y2 , . . . jsou nezávislé stejně rozdělené náhodné veličiny nabývajı́cı́
Pn hodnot ±1 s pravdě-
podobnostmi 1/2. Definujme X0 = 0 a pro n ∈ N položme Xn = j=1 Yj . Náhodná veličina Xn
potom udává polohu, kterou má po n krocı́ch částice, jež se náhodně pohybuje po celočı́selných bo-
dech na přı́mce, ve všech krocı́ch se stejnou pravděpodobnostı́ v obou možných směrech. Posloup-
nost {Xn , n ∈ N0 } se nazývá náhodná procházka. Obecněji se jako náhodná procházka označuje
posloupnost částečných součtů nezávislých stejně rozdělených náhodných veličin.
Přı́klad 1.23: Galtonův-Watsonův proces větvenı́ (ang. Galton-Watson branching process) je

náhodná posloupnost {Xn , n ∈ N0 }, která udává počet jedinců v generacı́ch v časech n = 0, 1, 2, . . . .
Předpokládá se, že z každého jedince n−té generace vzniká v dalšı́ generaci náhodný počet po-
tomků. Počty těchto potomků majı́ stejné rozdělenı́ a jsou nezávislé mezi sebou a na předchozı́m
průběhu procesu. Za předpokladu, že v nulté generaci je jeden jedinec, lze vyjádřit počet potomků
n−té generace jako Xn = Un,1 + · · · + Un,Xn−1 , kde Un,1 , Un,2 , . . . jsou nezávislé náhodné veličiny
stejně rozdělené jako X1 , nezávislé na Xn−1 , Xn−2 , . . . , X0 .
Přı́klad 1.24: Poissonův proces

Sledujeme výskyt, počet nějakých událostı́ v časovém intervalu [0, t], např. počet částic, které
registruje Geigerův-Müllerův čı́tač, počet hovorů, které přicházejı́ do telefonnı́ ústředny nebo počet
pojistných událostı́ evidovaných nějakou pojišt’ovnou.
Předpokládáme přitom:
• V intervalu (t, t + h], a to nezávisle na t, dojde k výskytu právě jedné události s pravděpo-
dobnostı́ λh + o(h), kde λ je kladná konstanta.
• V intervalu (t, t+h], a to nezávisle na t, dojde k vı́ce než k jedné události s pravděpodobnostı́
o(h).
• Počty událostı́, které se vyskytnou v disjunktnı́ch časových intervalech, jsou nezávislé náhodné
veličiny.
(Připomeňme, symbol o(h) zde znamená, že o(h) /h → 0 při h → 0+ .)

Necht’ Nt značı́ počet událostı́ v intervalu [0, t]. Potom {Nt , t ≥ 0} je náhodný proces, který
se nazývá Poissonův. Za předpokladů, které jsme uvedli výše, platı́, že počty událostı́ Nt majı́
Poissonovo rozdělenı́ s parametrem λt, tj.
e−λt (λt)k
P (Nt = k ) = , k = 0, 1, . . .
k!
Konstanta λ se nazývá intenzita Poissonova procesu.
Výpočet bude proveden v Kapitole 3.4.
Přı́klad 1.25: Wienerův proces (Brownův pohyb) je reálný náhodný proces W = {Wt , t ≥ 0},
který má tyto vlastnosti:
(1) W0 = 0.
(2) W má spojité trajektorie.
(3) Pro libovolné časové okamžiky 0 ≤ t1 < t2 < · · · < tn jsou přı́růstky procesu
Wt2 − Wt1 , Wt3 − Wt2 , . . . , Wtn − Wtn−1 nezávislé náhodné veličiny.
(4) Pro libovolné 0 ≤ t < s majı́ přı́růstky Ws − Wt normálnı́ rozdělenı́ s nulovou střednı́ hodnotou
a rozptylem σ 2 (s − t), kde σ 2 je kladná konstanta.
Wienerův proces, který byl původně odvozen pro popis pohybu malých částic v kapalině jako
výsledek nárazů molekul, je aplikován v kvantové mechanice, sloužı́ pro popis difuznı́ch modelů a
hraje důležitou roli v modernı́ teorii náhodných procesů a v asymptotické statistice.
Striktnı́ bı́lý šum z Přı́kladu 1.21 a procesy z ostatnı́ch přı́kladů patřı́ do rozsáhlé třı́dy
náhodných procesů, kterým se řı́ká Markovovy procesy (ang. Markov processes). Jedná se o
náhodné procesy, jejichž chovánı́ v budoucnosti závisı́ pouze na stavu v němž se proces nacházı́
v přı́tomnosti; viz Definice 2.1 a 3.1. Na minulosti jeho budoucı́ chovánı́ nezávisı́. V dalšı́ch
kapitolách probereme dvě důležité skupiny Markovových procesů:
• Markovovy řetězce s diskrétnı́m časem, tj. Markovovy procesy s diskrétnı́mi stavy a diskrétnı́m
časem.
• Markovovy řetězce se spojitým časem, tj. Markovovy procesy s diskrétnı́mi stavy a spojitým
časem.
1.3 Cvičenı́ a doplňky
Cvičenı́ 1.26: Necht’ X je reálná náhodná veličina, která má rovnoměrné rozdělenı́ na intervalu
[0, π]. Definujme reálný náhodný proces {Yt , t ∈ N} předpisem
Yt = t + cos(tX), t = 1, 2, 3, . . . .
Spočtěte střednı́ hodnotu a autokovariančnı́ funkci náhodného procesu {Yt }.
Cvičenı́ 1.27: Necht’ {Xt , t ∈ Z} je posloupnost nezávislých stejně rozdělených reálných náhodných
veličin. Dokažte, že {Xt , t ∈ Z} je striktně stacionárnı́ proces.
t
Cvičenı́ 1.28: Necht’ X je reálná náhodná veličina s nulovou střednı́ hodnotou a konečným
kladným rozptylem σ 2 . Definujme náhodný proces {Xt , t ∈ Z} předpisem Xt = (−1)t X. Ukažte, že
{Xt } je slabě stacionárnı́. Je také striktně stacionárnı́?
t
Cvičenı́ 1.29: Necht’ (Ω, A, P ) je pravděpodobnostnı́ prostor, kde Ω = [0, 1], A je σ-algebra
borelovských podmnožin [0, 1] a P je Lebesgueova mı́ra na [0, 1]. Označme T = [0, 1] a na (Ω, A, P )
definujme náhodný proces {Xt , t ∈ T} předpisem
(
1, t = ω,
Xt (ω) =
0, t 6= ω.
Ukažte, že {Xt } nenı́ separabilnı́.

Návod: Necht’ Γ je podmnožina T. Potom
{ω ∈ Ω : Xt (ω) = 0, t ∈ Γ} = {ω ∈ Ω : ω 6= t, t ∈ Γ} = [0, 1] − Γ
(nakreslete si obrázek), tedy
P ({ω ∈ Ω : Xt (ω) = 0, t ∈ Γ}) = 1 − P (Γ) .
Necht’ nynı́ J ⊂ [0, 1] je neprázdný otevřený interval a necht’ D je spočetná hustá podmnožina
[0, 1]. Potom
P ({ω ∈ Ω : Xt (ω) = 0, t ∈ J}) = 1 − P (J) .
P ({ω ∈ Ω : Xt (ω) = 0, t ∈ J ∩ D}) = 1 − P (J ∩ D) = 1,
nebot’ D je spočetná. Je tedy
P ({ω ∈ Ω : Xt (ω) = 0, t ∈ J ∩ D} \ {ω ∈ Ω : Xt (ω) = 0, t ∈ J}) = P (J) > 0,
proces {Xt } tudı́ž nenı́ separabilnı́.

Cvičenı́ 1.30: Necht’ (Ω, A, P ), T a {Xt , t ∈ T} jsou jako v Cvičenı́ 1.29. Uvažujme náhodný
proces {Yt , t ∈ T} definovaný předpisem
Yt (ω) = 0, t ∈ T, ω ∈ Ω.
Ukažte, že {Yt , t ∈ T} je stochastická verze {Xt , t ∈ T}, která je separabilnı́.
t
Kapitola 2
Markovovy řetězce s diskrétnı́m

časem
2.1 Definice a základnı́ vlastnosti
V této kapitole budeme uvažovat pravděpodobnostnı́ prostor (Ω, A, P ) a na něm definovaný

náhodný proces s diskrétnı́m časem a diskrétnı́mi stavy. Stavy procesu lze očı́slovat přirozenými
čı́sly a bez újmy na obecnosti můžeme mı́sto prvků stavového prostoru pracovat s jejich čı́selnými
indexy. Toho budeme využı́vat zejména v důkazech jednotlivých tvrzenı́. Avšak samotná tvrzenı́
se budeme snažit formulovat obecně. Při použitı́ odvozené teorie pro konkrétnı́ situaci je naopak
vhodné využı́t přirozenou množinu stavů dané úlohy a ne se snažit stavy násilně očı́slovat. Ztratila
by se tı́m přirozená struktura úlohy a úvahy by se staly nepřehlednými.
Definice 2.1: Řekneme, že náhodný proces X = {Xn , n ∈ N0 } s diskrétnı́ nejvýše spočetnou
množinou stavů S je Markovův řetězec s diskrétnı́m časem (ang. discrete-time Markov chain),
jestliže
P ( Xn+1 = j | Xn = i , Xn−1 = in−1 , . . . , X0 = i0 ) = P ( Xn+1 = j | Xn = i ) (2.1)
pro všechna n ∈ N0 a všechna i , j , in−1 , . . . , i0 ∈ S taková, že
P (Xn = i , Xn−1 = in−1 , . . . , X0 = i0 ) > 0.
Vztah (2.1) nazýváme markovská vlastnost (ang. Markov property); znamená, že podmı́něná
pravděpodobnost výsledku v budoucı́m čase n+1, známe-li výsledek v přı́tomném čase n a výsledky
z minulých časů n − 1, n − 2, . . . , 0, je stejná, jako když známe jen výsledek v přı́tomném čase.
Podmı́něné pravděpodobnosti budeme pro i , j ∈ S, n ∈ N0 , m ∈ N, P (Xn = i ) > 0 označovat
pi,j (n, n + m) = P ( Xn+m = j | Xn = i )
a budeme je nazývat pravděpodobnosti přechodu ze stavu i v čase n do stavu j v čase n + m (ang.

transition probabilities).
Pro m = 1 se často použı́vá termı́n pravděpodobnosti přechodu prvého řádu (ang. transition pro-
babilities of the first order).
19
Podobně pro m > 1 se použı́vá termı́n pravděpodobnosti přechodu m-tého řádu (ang. transition
probabilities of the mth order).
Označme dále
pi = P (X0 = i ) pro i ∈ S.
Rozdělenı́ pravděpodobnosti p = {pi , i ∈ S} se nazývá počátečnı́ rozdělenı́ (ang. initial distribu-

tion).
Nepodmı́něné pravděpodobnosti
pi (n) = P (Xn = i ) pro i ∈ S, n ∈ N0
se nazývajı́ absolutnı́ pravděpodobnosti v čase n a p (n) = {pj (n) , j ∈ S} je rozdělenı́ Markovova

řetězce s diskrétnı́m časem v čase n.
Povšimněme si, že přı́mo z definice vyplývajı́ následujı́cı́ vlastnosti.
Lemma 2.2: Pro Markovův řetězec s diskrétnı́m časem platı́:
P
• pi ≥ 0 pro každé i ∈ S, j ∈S pj = 1.
P
• pi (n) ≥ 0 pro každé i ∈ S, n ∈ N0 , j ∈S pj (n) = 1 pro každé n ∈ N0 .
• p = p (0).
• p
Pi,j (n, n + m) ≥ 0 pro každé i , j ∈ S, n ∈ N0 , m ∈ N s P (Xn = i ) > 0,
l∈S pk ,l (n, n + m) = 1 pro každé k ∈ S, n ∈ N0 , m ∈ N s P (Xn = k ) > 0.
Důkaz. Platı́ z definice.
Poznámka. Terminologie, kterou zde užı́váme (stavy, přechody mezi nimi, atd.), je přejata z fy-
ziky. Modely, kterými se zde budeme zabývat, totiž často popisujı́ vývoj nějakého reálného sta-
vového systému, který se měnı́ v čase. V této kapitole budeme uvažovat výhradně diskrétnı́ čas;
Markovovy řetězce v této kapitole budou vždy řetězce s diskrétnı́m časem, i když to nebude expli-
citně uvedeno.
Pravděpodobnosti přechodů budeme potřebovat násobit a jejich součiny sčı́tat. Musı́me proto
ošetřit přı́pady, kdy potřebná pravděpodobnost přechodu nenı́ korektně definována. Pokud toto
nastane při našich výpočtech, pak uvidı́me, že vždy budeme schopni nalézt v daném součinu nulový
člen. Většinou bude předcházet nedefinovanému členu. Je proto přirozené takovýto součin chápat
jako nulový.
Úmluva 2.3: Dále budeme využı́vat úmluvy, že součiny 0 × a, a × 0 jsou rovny nule, i když a
nenı́ definováno.
Pravděpodobnost přechodu pi,j (n, n + m) je dobře definována pokud P (Xn = i ) > 0. Když
P (Xn = i ) = 0, pak tento symbol sice nenı́ korektně definován, nicméně na základě Úmluvy 2.3
jej budeme moci i v tomto přı́padě využı́vat. Ukažme si to na výpočtu rozdělenı́ Markovova řetězce
s diskrétnı́m časem.
Nejdřı́ve ale připomeňme formuli postupného podmiňovánı́m, jednu ze základnı́ch vlastnostı́

podmı́něných pravděpodobnostı́.
Lemma 2.4: Jestliže A0 , A1 , . . . , Ak jsou náhodné jevy, potom
−1 −2
k
! k\
! k\
!
\
P Ai = P Ak Ai · P Ak −1 Ai · . . . · P ( A1 | A0 ) · P (A0 ) , (2.2)
i=0 i=0 i=0
pokud
−1
k\
!
P Ai > 0.
i=0
Důkaz. Vyjděme z pravé strany rovnosti. Podmı́něné pravděpodobnosti rozepı́šeme podle definice.
Uvědomı́me si, že se jmenovatel zlomku vždy skrátı́ s čitatelem zlomku následujı́cı́ho. Zı́skáme tak
levou stranu (2.2).
−1 −2
k\
! k\
!
P Ak Ai ·P Ak −1 Ai · . . . · P ( A1 | A0 ) · P (A0 )
i=0 i=0
T T
k k −1 k
!
P i=0 Ai P i=0 Ai
P (A0 ∩ A1 ) \
= T T · ... · P (A0 ) = P Ai .
P
k −1
A P
k −2
A P (A0 ) i=0
i=0 i i=0 i
Lemma 2.5: Necht’ X = {Xn , n ∈ N0 } je Markovův řetězec s diskrétnı́m časem a s množinou

stavů S, pak s využitı́m Úmluvy 2.3 platı́:
P (X0 = i0 , X1 = i1 , . . . , Xm = im ) = pi0 pi0 ,i1 (0, 1) . . . pim−1 ,im (m − 1, m) (2.3)
pro všechna m ∈ N0 , i0 , i1 , . . . , im ∈ S.
Důkaz. 1. Předpokládejme nejprve, že
P (X0 = i0 , X1 = i1 , . . . , Xm−1 = im−1 ) > 0. (2.4)
Postupným podmiňovánı́m (2.2) a využitı́m markovské vlastnosti zı́skáme vztah (2.3):
P (X0 = i0 , X1 = i1 , . . . , Xm = im )
= P ( Xm = im | Xm−1 = im−1 , . . . , X0 = i0 )
· P ( Xm−1 = im−1 | Xm−2 = im−2 , . . . , X0 = i0 ) · . . .
. . . · P ( X1 = i1 | X0 = i0 ) P (X0 = i0 )
(2.1)
= P ( Xm = im | Xm−1 = im−1 ) P ( Xm−1 = im−1 | Xm−2 = im−2 ) · . . .
. . . · P ( X1 = i1 | X0 = i0 ) P (X0 = i0 )
= pi0 pi0 ,i1 (0, 1) . . . pim−1 ,im (m − 1, m) .
2. Pokud podmı́nka (2.4) nenı́ splněna, musı́me v součinu (2.3) nalézt nulu a použı́t Úmluvu
2.3. Položme proto
$ = min {j ∈ {0, 1, . . . , m − 1} : P (X0 = i0 , . . . , Xj = ij ) = 0} .
Je-li $ = 0, je P (X0 = i0 ) = pi0 = 0 a (2.3) platı́ dı́ky Úmluvě 2.3.

Je-li $ > 0, potom
P (X0 = i0 , . . . X$−1 = i$−1 ) > 0,

P (X0 = i0 , . . . , X$ = i$ ) = 0.
Odtud, vzhledem k tomu, že
P (X$ = i$ , X$−1 = i$−1 , . . . , X0 = i0 )

pi$−1 ,i$ ($ − 1, $) = = 0,
P (X$−1 = i$−1 , . . . , X0 = i0 )
plyne opět platnost (2.3), nebot’ je tento součin nulový dı́ky Úmluvě 2.3.
Nynı́ pro množiny stavů.

P (X0 ∈ B0 , X1 ∈ B1 , . . . , Xm ∈ Bm )
X X X
= ··· pi0 pi0 ,i1 (0, 1) . . . pim−1 ,im (m − 1, m) (2.5)
i0 ∈B0 i1 ∈B1 im ∈Bm
pro všechna m ∈ N0 , Bk ⊂ S, Bk 6= ∅ pro k ∈ {0, 1, . . . , m}.
Důkaz. Jedná se vlastně pouze o rozpis po jednotlivých stavech a využitı́ Lemmy 2.5:
P (X0 ∈ B0 , X1 ∈ B1 , . . . , Xm ∈ Bm )
X X X
= ··· P (X0 = i0 , X1 = i1 , . . . , Xm = im )
(2.3) X X X
= ··· pi0 pi0 ,i1 (0, 1) . . . pim−1 ,im (m − 1, m) .
Nynı́ si ukážeme vlastnosti Markovova řetězce s diskrétnı́m časem, které plynou přı́mo z mar-
kovské vlastnosti.
Nynı́ uvažujme minulost nikoli od času 0, ale až od nějakého pozdějšı́ho časového okamžiku.
P (Xn = i0 , Xn+1 = i1 , . . . , Xn+m = im ) = pi0 (n) pi0 ,i1 (n, n + 1) . . . pim−1 ,im (n + m − 1, n + m)
(2.6)
pro všechna n, m ∈ N0 , i0 , i1 , . . . , im ∈ S.
t
Důkaz. Doplněnı́m minulosti a využitı́m Lemmy 2.6 zı́skáme (2.6):
P (Xn = i0 , Xn+1 = i1 , . . . , Xn+m = im )

= P (X0 ∈ S, X1 ∈ S, . . . , Xn−1 ∈ S, Xn = i0 , Xn+1 = i1 , . . . , Xn+m = im )
(2.5)
X X X
= ··· pj0 pj0 ,j1 (0, 1) . . . pjn−2 ,jn−1 (n − 2, n − 1) pjn−1 ,i0 (n − 1, n)
j0 ∈S j1 ∈S jn−1 ∈S
· pi0 ,i1 (n, n + 1) pi1 ,i2 (n + 1, n + 2) . . . pim−1 ,im (n + m − 1, n + m)

= P (X0 ∈ S, X1 ∈ S, . . . , Xn−1 ∈ S, Xn = i0 )
· pi0 ,i1 (n, n + 1) pi1 ,i2 (n + 1, n + 2) . . . pim−1 ,im (n + m − 1, n + m)
= pi0 (n) pi0 ,i1 (n, n + 1) . . . pim−1 ,im (n + m − 1, n + m) .
Nynı́ pro množiny stavů.

P (Xn ∈ B0 , Xn+1 ∈ B1 , . . . , Xn+m ∈ Bm )
X X X
= ··· pi0 (n) pi0 ,i1 (n, n + 1) . . . pim−1 ,im (n + m − 1, n + m) (2.7)
pro všechna n, m ∈ N0 , Bk ⊂ S, Bk 6= ∅ pro k ∈ {0, 1, . . . , m}.

t
P (Xn ∈ B0 , Xn+1 ∈ B1 , . . . , Xn+m ∈ Bm )

X X X
= ··· P (Xn = i0 , Xn+1 = i1 , . . . , Xn+m = im )
(2.6) X X X
= ··· pi0 (n) pi0 ,i1 (n, n + 1) . . . pim−1 ,im (n + m − 1, n + m) .
Speciálně dostáváme vyjádřenı́ pro pravděpodobnosti přechodů m-tého řádu.

P (Xn = i , Xn+m = j )
X X X
= pi (n) ··· pi,i1 (n, n + 1) pi1 ,i2 (n + 1, n + 2) . . . pim−1 ,j (n + m − 1, n + m) (2.8)
i1 ∈S i2 ∈S im−1 ∈S
pro všechna n ∈ N0 , m ∈ N, i , j ∈ S. Pokud pi (n) > 0 můžeme rovnost s nı́m vydělit a dostat
X X X
pi,j (n, n + m) = ··· pi,i1 (n, n + 1) pi1 ,i2 (n + 1, n + 2) . . . pim−1 ,j (n + m − 1, n + m)
i1 ∈S i2 ∈S im−1 ∈S
(2.9)
pro všechna n ∈ N0 , m ∈ N, i , j ∈ S.
t
Důkaz. Jedná se vlastně o použitı́ Lemmy 2.8 pro volbu B0 = {i }, Bm = {j }, Bl = S

pro l ∈ {1, 2, . . . , m − 1}. Zbytek tvrzenı́ je zřejmý.
Dostáváme také zobecněnı́ vlastnosti (2.3).

P (Xn0 = i0 , Xn1 = i1 , . . . , Xnk = ik ) = pi0 (n0 ) pi0 ,i1 (n0 , n1 ) . . . pik −1 ,ik (nk −1 , nk ) (2.10)
pro všechna k ∈ N0 , i0 , i1 , . . . , ik ∈ S, n0 , n1 , . . . , nk ∈ N0 , 0 ≤ n0 < n1 < · · · < nk .
Důkaz. Jedná se vlastně o použitı́ Lemmy 2.8 pro volbu n = n0 , m = nk − n0 , Bnj −n0 = {ij } pro
j = 0, 1, . . . , k , Bl = S pro l = 1, 2, . . . , n1 − n0 − 1, n1 − n0 + 1, . . . , nk − n0 − 1:
P (Xn0 = i0 , Xn1 = i1 , . . . , Xnk = ik ) = P (Xn ∈ B0 , Xn+1 ∈ B1 , . . . , Xn+m ∈ Bm )

(2.7) X X X
= ··· pj0 (n) pj0 ,j1 (n, n + 1) . . . pjm−1 ,jm (n + m − 1, n + m)
j0 ∈B0 j1 ∈B1 jm ∈Bm
−1
kY
"
X X X
= pi0 (n0 ) ···
l=0 jnl −n0 +1 ∈S jnl −n0 +2 ∈S jnl+1 −n0 −1 ∈S
#
pil ,jnl −n0 +1 (nl , nl + 1) pjnl −n0 +1 ,jnl −n0 +2 (nl + 1, nl + 2) . . . pjnl+1 −n0 −1 ,il+1 (nl+1 − 1, nl+1 )
(2.9)
= pi0 (n0 ) pi0 ,i1 (n0 , n1 ) . . . pik −1 ,ik (nk −1 , nk ) .
Při závěrečné úpravě jsme použili Lemma 2.9.
Ještě zobecnı́me Lemma 2.8 pro množiny stavů.

X
P ((Xn , Xn+1 , . . . , Xn+m ) ∈ B) = pi0 (n) pi0 ,i1 (n, n + 1) . . . pim−1 ,im (n + m − 1, n + m)
(i0 ,i1 ,...,im )∈B
(2.11)
pro všechna n, m ∈ N0 , B ⊂ S m+1 .
X
P ((Xn , Xn+1 , . . . , Xn+m ) ∈ B) = P (Xn = i0 , Xn+1 = i1 , . . . , Xn+m = im )
(i0 ,i1 ,...,im )∈B
(2.6) X
= pi0 (n) pi0 ,i1 (n, n + 1) . . . pim−1 ,im (n + m − 1, n + m) .
(i0 ,i1 ,...,im )∈B
Nynı́ odvodı́me obecnou formu markovské vlastnosti a nezávislost budoucnosti a minulosti

Markovova řetězce za podmı́nky, že známe přı́tomnost.
Věta 2.12: Necht’ X = {Xn , n ∈ N0 } je Markovův řetězec s diskrétnı́m časem a s množinou stavů
S.
Pak pro n, m, q ∈ N, n ≥ q, i ∈ S s P (Xn = i ) > 0 a množiny Bk ⊂ S, Bk 6= ∅ pro
k ∈ {n − q, n − q + 1, , . . . , n − 1} ∪ {n + 1, n + 2, . . . , n + m} platı́:
q
m
!
\ \
P [Xn+k ∈ Bn+k ] ∩ [Xn−l ∈ Bn−l ] Xn = i (2.12)
k =1 l=1
q
m
! !
\ \
= P [Xn+k ∈ Bn+k ] Xn = i P [Xn−l ∈ Bn−l ] Xn = i .
k =1 l=1
Pokud navı́c P (Xn = i , Xn−1 ∈ Bn−1 , Xn−2 ∈ Bn−2 , . . . , Xn−q ∈ Bn−q ) > 0, pak
q
m
! m
!
\ \ \
P [Xn+k ∈ Bn+k ] [Xn = i ] ∩ [Xn−l ∈ Bn−l ] =P [Xn+k ∈ Bn+k ] Xn = i . (2.13)
k =1 l=1 k =1
Formule (2.12) řı́ká, že při známém výsledku v přı́tomném čase n jsou výsledky v budoucı́ch
časech n+1, n+2, . . . , n+m a minulých časech n−1, n−2, . . . , n−q vzájemně nezávislé (podmı́něná
nezávislost).
Formule (2.13) je zobecněnı́m markovské vlastnosti (2.1).
Speciálnı́ přı́pady (2.12) a (2.13) jsou ve Cvičenı́ch 2.122 a 2.123.
Důkaz. 1. Počı́tejme pravděpodobnost

q
m
!
\ \
P [Xn+k ∈ Bn+k ] ∩ [Xn = i ] ∩ [Xn−l ∈ Bn−l ]
k =1 l=1
(2.7) X X X X X X
= ··· ···
in−q ∈Bn−q in−q+1 ∈Bn−q+1 in−1 ∈Bn−1 in+1 ∈Bn+1 in+2 ∈Bn+2 in+m ∈Bn+m
pin−q (n − q) pin−q ,in−q+1 (n − q, n − q + 1) . . . pin−1 ,i (n − 1, n)

pi,in+1 (n, n + 1) pin+1 ,in+2 (n + 1, n + 2) . . . pin+m−1 ,in+m (n + m − 1, n + m)
X X X
= ···
in−q ∈Bn−q in−q+1 ∈Bn−q+1 in−1 ∈Bn−1
!
1 X X X
pi (n) ···
pi (n)
in+1 ∈Bn+1 in+2 ∈Bn+2 in+m ∈Bn+m
!
q
! m
!
(2.7) 1 \ \
= P [Xn = i ] ∩ [Xn−l ∈ Bn−l ] P [Xn+k ∈ Bn+k ] ∩ [Xn = i ] .
P (Xn = i )
l=1 k =1
Ve výpočtu jsme využili Lemma 2.8.

2. Ukázali jsme rovnost

q
m
!
\ \
P [Xn+k ∈ Bn+k ] ∩ [Xn = i ] ∩ [Xn−l ∈ Bn−l ]
k =1 l=1
q
! m
!
\ \
=P [Xn = i ] ∩ [Xn−l ∈ Bn−l ] P [Xn+k ∈ Bn+k ] Xn = i .
l=1 k =1
Když rovnost vydělı́me P (X

Tqn = i ) zı́skáme (2.12).
Pokud bude P ([Xn = i ] ∩ l=1 [Xn−l ∈ Bn−l ]) > 0 a rovnost s nı́ vydělı́me, zı́skáme (2.13).
Tı́m je tvrzenı́ věty ukázáno.
Tvrzenı́ Věty 2.12 rozšı́řı́me pro nekonečnou budoucnost.
S.
Pak pro n, q ∈ N, n ≥ q, i ∈ S s P (Xn = i ) > 0 a množiny Bk ⊂ S, Bk 6= ∅ pro
k ∈ {n − q, n − q + 1, , . . . , n − 1} ∪ {n + 1, n + 2, n + 3, . . .} platı́:
q
+∞
!
\ \
P [Xn+k ∈ Bn+k ] ∩ [Xn−l ∈ Bn−l ] Xn = i (2.14)
k =1 l=1
q
+∞
! !
\ \
= P [Xn+k ∈ Bn+k ] Xn = i P [Xn−l ∈ Bn−l ] Xn = i .
k =1 l=1
Pokud navı́c P (Xn = i , Xn−1 ∈ Bn−1 , Xn−2 ∈ Bn−2 , . . . , Xn−q ∈ Bn−q ) > 0, pak
q
+∞
! +∞
!
\ \ \
P [Xn+k ∈ Bn+k ] [Xn = i ] ∩ [Xn−l ∈ Bn−l ] = P [Xn+k ∈ Bn+k ] Xn = i . (2.15)
k =1 l=1 k =1
Důkaz. Tvrzenı́ plyne ze spojitosti pravděpodobnosti. Limitnı́m přechodem při m → ∞ přejde

formule (2.12) ve formuli (2.14) a formule (2.13) ve formuli (2.15).
Zobecnı́me Větu 2.12 pro obecné množiny stavů.
S. Pak pro n, m, q ∈ N, n ≥ q, i ∈ S s P (Xn = i ) > 0 a množiny stavů A ⊂ S m , B ⊂ S q platı́:
P ( [(Xn+1 , Xn+2 , . . . , Xn+m ) ∈ A] ∩ [(Xn−q , Xn−q+1 , . . . , Xn−1 ) ∈ B]| Xn = i ) (2.16)
= P ( [(Xn+1 , Xn+2 , . . . , Xn+m ) ∈ A]| Xn = i ) P ( [(Xn−q , Xn−q+1 , . . . , Xn−1 ) ∈ B]| Xn = i ) .

Pokud navı́c P ([Xn = i ] ∩ [(Xn−q , Xn−q+1 , . . . , Xn−1 ) ∈ B]) > 0, pak
P ( [(Xn+1 , Xn+2 , . . . , Xn+m ) ∈ A]| [Xn = i ] ∩ [(Xn−q , Xn−q+1 , . . . , Xn−1 ) ∈ B])
= P ( [(Xn+1 , Xn+2 , . . . , Xn+m ) ∈ A]| Xn = i ) . (2.17)
t
Důkaz. 1. Počı́tejme pravděpodobnost
P ([(Xn+1 , Xn+2 , . . . , Xn+m ) ∈ A] ∩ [Xn = i ] ∩ [(Xn−q , Xn−q+1 , . . . , Xn−1 ) ∈ B])

(2.11) X X
=
(in−q ,in−q+1 ,...,in−1 )∈B (in+1 ,in+2 ,...,in+m )∈A

!
X
= pin−q (n − q) pin−q ,in−q+1 (n − q, n − q + 1) . . . pin−1 ,i (n − 1, n)
(in−q ,in−q+1 ,...,in−1 )∈B
1 X
pi (n)
pi (n)
(in+1 ,in+2 ,...,in+m )∈A
!
(2.11) 1
= P ([Xn = i ] ∩ [(Xn−q , Xn−q+1 , . . . , Xn−1 ) ∈ B])
P (Xn = i )
·P ([(Xn+1 , Xn+2 , . . . , Xn+m ) ∈ A] ∩ [Xn = i ]) .
Ve výpočtu jsme využili Lemma 2.11. Ukázali jsme rovnost
P ([(Xn+1 , Xn+2 , . . . , Xn+m ) ∈ A] ∩ [Xn = i ] ∩ [(Xn−q , Xn−q+1 , . . . , Xn−1 ) ∈ B])

1
= P ([Xn = i ] ∩ [(Xn−q , Xn−q+1 , . . . , Xn−1 ) ∈ B]) ·
P (Xn = i )
· P ([(Xn+1 , Xn+2 , . . . , Xn+m ) ∈ A] ∩ [Xn = i ]) .
Když rovnost vydělı́me P (Xn = i ) zı́skáme (2.16).

Pokud bude P ([Xn = i ] ∩ [(Xn−q , Xn−q+1 , . . . , Xn−1 ) ∈ B]) > 0 a rovnost s nı́ vydělı́me,
zı́skáme (2.17).
Tı́m je tvrzenı́ věty ukázáno.
Speciálnı́m přı́padem Věty 2.12 je ekvivalentnı́ formulace markovské vlastnosti pro Markovův
řetězec s diskrétnı́m časem.
Věta 2.15: Náhodný proces X = {Xn , n ∈ N0 } s diskrétnı́ nejvýše spočetnou množinou stavů S
je Markovův řetězec s diskrétnı́m časem tehdy a jen tehdy, když
P ( Xm = j | Xn = i , Xnk = ik , . . . , Xn0 = i0 ) = P ( Xm = j | Xn = i ) (2.18)
pro všechna n, m, k ∈ N, n0 , n1 , . . . , nk ∈ N0 , 0 ≤ n0 < n1 < n2 < · · · < nk < n < m a všechna

i , j , i0 , i1 , . . . , ik ∈ S taková, že
P (Xn = i , Xnk = ik , . . . , Xn0 = i0 ) > 0.
Povšimněme si podobnosti s definicı́ Markovova řetězce se spojitým časem; viz definice 3.1.
2.2 Homogennı́ Markovovy řetězce s diskrétnı́m časem
Nejdřı́ve si uved’me definici homogennı́ho Markovova řetězce s diskrétnı́m časem.

Definice 2.16: Řekneme, že X = {Xn , n ∈ N0 } Markovův řetězec s diskrétnı́m časem a s množinou
stavů S je homogennı́, jestliže pro každé i , j ∈ S, m ∈ N, n1 , n2 ∈ N0 s vlastnostı́ P (Xn1 = i ) > 0,
P (Xn2 = i ) > 0 platı́ pi,j (n1 , n1 + m) = pi,j (n2 , n2 + m).
Pro zjištěnı́ homogenity Markovova řetězce stačı́ vyšetřit pouze pravděpodobnosti přechodů
prvého řádu.
Lemma 2.17: Mějme X = {Xn , n ∈ N0 } Markovův řetězec s diskrétnı́m časem a s množinou stavů
S.
Když je pro každé i , j ∈ S, n1 , n2 ∈ N0 s vlastnostı́ P (Xn1 = i ) > 0, P (Xn2 = i ) > 0 splněno
pi,j (n1 , n1 + 1) = pi,j (n2 , n2 + 1), pak je tento řetězec homogennı́.
Důkaz. Pro i ∈ S podle Lemmatu 1.2 existuje mi ∈ N0 tak, že P (Xmi = i ) > 0.
Označme si ρi,j = P ( Xmi +1 = j | Xmi = i ) pro všechna i , j ∈ S.
Vı́me, že pravděpodobnosti přechodů prvnı́ho řádu nezávisı́ na n, pak pro každé n ∈ N0 , bud’
pi,j (n, n + 1) nenı́ definována, nebo pi,j (n, n + 1) = pi,j (mi , mi + 1) = ρi,j .
Vezměme nynı́ n ∈ N0 , m ∈ N, i , j ∈ S s P (Xn = i ) > 0. Pak podle Lemmy 2.9
pi (n) pi,j (n, n + m) = P (Xn = i , Xn+m = j )

(2.8) X X
= pi (n) ··· pi,i1 (n, n + 1) pi1 ,i2 (n + 1, n + 2) . . . pim−1 ,j (n + m − 1, n + m)
i1 ∈S im−1 ∈S
X X X
= pi (n) ··· ρi,i1 ρi1 ,i2 . . . ρim−1 ,j .
i1 ∈S i2 ∈S im−1 ∈S
Vı́me pi (n) > 0 a tak

X X X
pi,j (n, n + m) = ··· ρi,i1 ρi1 ,i2 . . . ρim−1 ,j .
i1 ∈S i2 ∈S im−1 ∈S
Ověřili jsme, že pravděpodobnosti přechodů všech řádů nezávisı́ na n, ale pouze na m.
Tudı́ž řetězec je homogennı́.
Definice 2.18: Když X = {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s diskrétnı́m časem a

s množinou stavů S, pak pro každé i ∈ S nalezneme mi ∈ N0 tak, že P (Xmi = i ) > 0 (Podle
Lemmatu 1.2 vı́me, že nějaké takové existuje.) Budeme označovat pi,j = P ( Xmi +1 = j | Xmi = i )
pro všechna i , j ∈ S.
Pravděpodobnosti přechodů pi,j sestavı́me do pole P = {pi,j , i , j ∈ S}, které budeme nazývat
maticı́ pravděpodobnostı́ přechodů (ang. matrix of transition probabilities); ikdyž pole může mı́t
spočetně řádků i spočetně sloupců.
Podle Definice 2.16 vı́me, že hodnota pravděpodobnostı́ přechodů pi,j nezávisı́ na výběru mi .
Úmluva 2.19: Pro homogennı́ Markovův řetězec s diskrétnı́m časem budeme použı́vat hodnotu
pi,j pro pravděpodobnost přechodu pi,j (n, n + 1) pro každé n ∈ N0 i když nebude korektně
definována.
Lemma 2.20: Necht’ X = {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s diskrétnı́m časem,

s množinou stavů S, s počátečnı́m rozdělenı́m p = {pi , i ∈ S} a s maticı́ pravděpodobnostı́
přechodů P = {pi,j , i , j ∈ S}, pak platı́
X
pi,j ≥ 0 pro každé i , j ∈ S, pi,j = 1 pro každé i ∈ S, (2.19)
j ∈S
X
pi ≥ 0 pro každé i ∈ S, pi = 1. (2.20)
i∈S
t
V některých úvahách budeme potřebovat i stavy, které nejsou prvky množiny stavů S. Rozšiřme
proto předchozı́ definice.
Definice 2.21: Necht’ Q je nejvýše spočetná množina, a = {ai , i ∈ Q} je reálný vektor a A =

{Ai,j , i , j ∈ Q} je reálná matice, které splňujı́
X
ai ≥ 0 pro každé i ∈ Q, ai = 1, (2.21)
i∈Q
X
Ai,j ≥ 0 pro každé i , j ∈ Q, Ai,j = 1 pro každé i ∈ Q. (2.22)
j ∈Q
Pak vektor a nazýváme stochastický vektor nebo pravděpodobnostnı́ rozdělenı́ a matici A nazý-
váme stochastická matice.
t
Počátečnı́ rozdělenı́ p homogennı́ho Markovova řetězce s diskrétnı́m časem a p (n) jeho rozdělenı́
v čase n ∈ N0 jsou stochastické vektory. Jeho matice pravděpodobnostı́ přechodů P je stochastická
matice.
Úmluva 2.22: Necht’ X = {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s diskrétnı́m časem,

s množinou stavů S, s počátečnı́m rozdělenı́m p a s maticı́ pravděpodobnostı́ přechodů P . Když
Q je diskrétnı́ nejvýše spočetná množina, a = {ai , i ∈ Q} je stochastický vektor, tj. splňuje (2.21),
a A = {Ai,j , i , j ∈ Q} je stochastická matice, tj. splňuje (2.22), takové, že Q ⊃ S, ai = pi pro
každé i ∈ S, Ai,j = pi,j pro každé i , j ∈ S, potom budeme a nazývat počátečnı́m rozdělenı́m a
A maticı́ pravděpodobnostı́ přechodů homogennı́ho Markovova řetězce X.
t
Dále nás budou zajı́mat konečněrozměrná rozdělenı́ homogennı́ho Markovova řetězce s diskrét-
nı́m časem, která jsou v tomto přı́padě jednoznačně popsána pravděpodobnostmi
P (X0 = i0 , X1 = i1 , . . . , Xk = ik ) pro všechna k ∈ N0 a všechna i0 , i1 , . . . , ik ∈ S.
Věta 2.23: Necht’ X = {Xn , n ∈ N0 } je náhodný proces s diskrétnı́ nejvýše spočetnou množinou
stavů S, a = {ai , i ∈ S} je stochastický vektor, tj. splňuje (2.21), a A = {Ai,j , i , j ∈ S} je sto-
chastická matice, tj. splňuje (2.22). Potom X je homogennı́ Markovův řetězec s diskrétnı́m časem,
se stavovým prostorem S, s počátečnı́m rozdělenı́m a a s maticı́ pravděpodobnostı́ přechodů A
tehdy a jen tehdy, když všechna konečněrozměrná rozdělenı́ tohoto procesu jsou tvaru
P (X0 = i0 , X1 = i1 , . . . , Xk = ik ) = ai0 Ai0 ,i1 Ai1 ,i2 . . . Aik−1 ,ik (2.23)
pro všechna i0 , i1 , . . . , ik ∈ S a všechna k ∈ N0 .

Důkaz. 1. Necht’ X je homogennı́ Markovův řetězec s diskrétnı́m časem, se stavovým prostorem

S, s počátečnı́m rozdělenı́m a a s maticı́ pravděpodobnostı́ přechodů A. Pak splňuje (2.23),
nebot’ jde o formuli (2.3) pro homogennı́ Markovův řetězec.
2. Nynı́ předpokládejme, že konečněrozměrná rozdělenı́ X jsou dána formulı́ (2.23).
(a) Pro k = 0 nám (2.23) řı́ká, že P (X0 = i0 ) = ai0 pro každé i0 ∈ S.
Tedy a je počátečnı́m rozdělenı́m X.
(b) Vezměme i , j ∈ S.
Vı́me, že S je množina stavů X, proto existuje m ∈ N0 tak, že P (Xm = i ) > 0.
Vezměme n ∈ N0 takové, že P (Xn = i ) > 0 a s využitı́m (2.23) vypočteme podmı́něnou
pravděpodobnost
P (Xn+1 = j , Xn = i )
P ( Xn+1 = j | Xn = i ) =
P (Xn = i )
P
P (X0 = i0 , . . . , Xn−1 = in−1 , Xn = i , Xn+1 = j )
i0 ,i1 ...,in−1 ∈S
= P
P (X0 = i0 , . . . , Xn = i )
i0 ,i1 ...,in−1 ∈S
P
ai0 Ai0 ,i1 Ai1 ,i2 . . . Ain−1 ,i Ai,j
(2.23) i0 ,i1 ...,in−1 ∈S
= P = Ai,j .
ai0 Ai0 ,i1 Ai1 ,i2 . . . Ain−1 ,i
i0 ,i1 ...,in−1 ∈S
Zjistili jsme, že pravděpodobnosti přechodů jsou homogennı́ a tvořı́ matici pravděpo-
dobnostı́ přechodů A.
(c) Zbývá ukázat, že X má markovskou vlastnost.
Necht’
(2.23)
P (X0 = i0 , . . . , Xn−1 = in−1 , Xn = i ) = ai0 Ai0 ,i1 Ai1 ,i2 . . . Ain−1 ,i > 0. (2.24)
Potom
(2.23) ai0 Ai0 ,i1 Ai1 ,i2 . . . Ain−1 ,i Ai,j
P ( Xn+1 = j | Xn = i , Xn−1 = in−1 , . . . , X0 = i0 ) = = Ai,j .
ai0 Ai0 ,i1 Ai1 ,i2 . . . Ain−1 ,i
Věta 2.24: Necht’ Q je diskrétnı́ nejvýše spočetná množina, a = {ai , i ∈ Q} je stochastický vektor,
tj. splňuje (2.21), a A = {Ai,j , i , j ∈ Q} je stochastická matice, tj. splňuje (2.22). Potom existuje
homogennı́ Markovův řetězec s diskrétnı́m časem X = {Xn , n ∈ N0 } s množinou stavů S ⊂ Q,
počátečnı́m rozdělenı́m p = {ai , i ∈ S} a maticı́ pravděpodobnostı́ přechodů P = {Ai,j , i , j ∈ S}.
Důkaz. Bez újmy na obecnosti uvažujme Q = N0 (Jinak bychom přidali fiktivnı́ stavy, aby jich
bylo spočetně, a očı́slovali bychom je. Vektor a bychom doplnili nulami a matici A bychom vhodně
doplnili tak, aby byla stochastická.)
Pro k ∈ N můžeme tedy definovat distribučnı́ funkci Hk předpisem

bx1 c bx2 c bxk c
XX X
Hk (x1 , x2 , . . . , xk ) = ··· ai0 Ai0 ,i1 . . . Aik−2 ,ik−1 pro každé x1 , x2 , . . . , xk ∈ R.
i0 =0 i1 =0 ik−1 =0
Systém distribučnı́ch funkcı́ { Hk , k ∈ N} splňuje předpoklady Lemmatu 1.5, proto podle něj exis-
tuje reálný náhodný proces X = {Xn , n ∈ N0 }, jehož rozdělenı́ je jednoznačně určeno a splňuje
P (X0 = i0 , X1 = i1 , . . . , Xk = ik ) = ai0 Ai0 ,i1 . . . Aik−1 ,ik (2.25)
pro všechna i0 , i1 , . . . , ik ∈ N0 , k ∈ N0 .
a) Z (2.25) pro k ∈ N0 dostáváme

+∞ X
X +∞ +∞
X
P (Xk ∈ N0 ) ≥ ··· P (X0 = i0 , X1 = i1 , . . . , Xk = ik )
i0 =0 i1 =0 ik =0
+∞ X
X +∞ +∞
X
= ··· ai0 Ai0 ,i1 . . . Aik−1 ,ik = 1 .
i0 =0 i1 =0 ik =0
Tudı́ž pro každé k ∈ N0 je P (Xk ∈ N0 ) = 1. To ale znamená, že množina stavů procesu X je
S ⊂ N0 .
b) Zúženı́m (2.25) dostaneme (2.23), tj.
P (X0 = i0 , X1 = i1 , . . . , Xk = ik ) = ai0 Ai0 ,i1 . . . Aik−1 ,ik = pi0 pi0 ,i1 . . . pik−1 ,ik
pro i0 , i1 , . . . , ik ∈ S, k ∈ N0 .
c) Když i ∈ N0 , ai > 0, pak i ∈ S. Proto, když i ∈ N0 \ S, pak ai = 0. Tudı́ž p splňuje (2.20),

nebot’
X X +∞
X
pi = ai = ai = 1 .
i∈S i∈S i=0
d) Necht’ i ∈ S, j ∈ N0 , Ai,j > 0.

Pak existuje m ∈ N0 tak, že P (Xm = i ) > 0. Potom existujı́ i0 , i1 , . . . , im−1 ∈ N0 takové, že
0 0 .
Tudı́ž také j ∈ S.
Zjistili jsme, že pro i ∈ S, j ∈ N0 \ S je nutně Ai,j = 0. Proto P splňuje (2.19), nebot’ platı́
X X +∞
X
pi,j = Ai,j = Ai,j = 1 .
j ∈S j ∈S j =0
Podle Věty 2.23 je proces X homogennı́ Markovův řetězec s diskrétnı́m časem, s počátečnı́m
rozdělenı́m p = {ai , i ∈ S} a maticı́ pravděpodobnostı́ přechodů P = {Ai,j , i , j ∈ S}.
Uved’me si užitečné zobecněnı́ vztahu (2.23).

Věta 2.25: Necht’ X = {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s diskrétnı́m časem, s množinou
stavů S, s počátečnı́m rozdělenı́m p a s maticı́ pravděpodobnostı́ přechodů P , pak platı́:
X X X
P (Xn ∈ B0 , Xn+1 ∈ B1 , . . . , Xn+m ∈ Bm ) = ··· pi0 (n) pi0 ,i1 pi1 ,i2 . . . pim−1 ,im (2.26)
pro všechna n, m ∈ N0 , Bk ⊂ S, Bk 6= ∅ pro k ∈ {0, 1, . . . , m}.

t
Důkaz. Jedná se o formuli (2.7) pro homogennı́ Markovův řetězec s diskrétnı́m časem.
Poznamenejme, že homogennı́ Markovovy řetězce s diskrétnı́m časem splňujı́ samozřejmě také
zobecněnı́ markovské vlastnosti (2.13), (2.15), (2.18) a podmı́něnou nezávislost mezi budoucnostı́
a minulostı́ (2.12), (2.14). Zápis těchto vlastnostı́ je pro ně dı́ky Úmluvě 2.19 jednoduššı́.
Nynı́ opět uvažujme homogennı́ Markovův řetězec s diskrétnı́m časem a s maticı́ pravděpodob-
nostı́ přechodů P .
(0)
Konstrukce 2.26: Pro i , j ∈ S položme pi,j = δi,j , kde δi,j je Kroneckerův symbol
(
0, i=6 j,
δi,j =
1, i = j.
(1)
Dále položme pi,j = pi,j a pro n ∈ N definujme postupně
(n+1) (n)
X
pi,j = pi,k pk ,j . (2.27)
k ∈S
n o
(n)
Zkonstruované hodnoty sdružı́me do matic P (n) = pi,j pro n ∈ N0 .
i,j ∈S
(n)
Lemma 2.27: Součty v (2.27) jsou konvergentnı́ a pro každé n ∈ N0 , i , j ∈ S je 0 ≤ pi,j ≤ 1,
P (n)
k ∈S pi,k = 1.
Důkaz. Tvrzenı́ ukážeme indukcı́.

1) Pro n = 0, 1 tvrzenı́ platı́ z definice.
2) Předpokládejme N ∈ N takové, že tvrzenı́ platı́ pro každé n ∈ {0, 1, . . . , N }.
P (N )
Vezměme i , j ∈ S, pak součet k ∈S pi,k pk ,j je konvergentnı́ a nezáporný, protože sčı́táme
nezáporná čı́sla. Dále platı́
(N +1)
X (N ) X (N )
0 ≤ pi,j = pi,k pk ,j ≤ pi,k = 1,
k ∈S k ∈S
 
(N +1) (N ) (N ) (N )
X XX X X X
pi,j = pi,k pk ,j = pi,k  pk ,j  = pi,k = 1.
j ∈S j ∈S k ∈S k ∈S j ∈S k ∈S
Tvrzenı́ je ukázáno pro N + 1.

Tedy matice P (n) , n ∈ N0 jsou stochastické matice a z Konstrukce 2.26 plyne
P (0) = I, P (1) = P a pro každé n∈N je P (n+1) = P (n) P = P (n−1) P P = · · · = P n+1 .
Nynı́ ukážeme souvislost s pravděpodobnostmi přechodů vyššı́ch řádů.
Věta 2.28: Necht’ X = {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s diskrétnı́m časem s maticı́
pravděpodobnostı́ přechodů P . Potom pro pravděpodobnosti přechodu n−tého řádu platı́
(n)
P ( Xm+n = j | Xm = i ) = pi,j , i, j ∈ S (2.28)
pro všechna m, n ∈ N0 pokud P (Xm = i ) > 0.
Důkaz. Tvrzenı́ ukážeme indukcı́.
1) Pro n = 0, 1 je vztah (2.28) zřejmý.
2) Předpokládejme N ∈ N takové, že formule (2.28) platı́ pro všechna n ∈ {0, 1, . . . , N } a všechna
i , j ∈ S, m ∈ N0 , pokud P (Xm = i ) > 0. Potom s využitı́m indukčnı́ho předpokladu a Věty
2.15 dostáváme
P (Xm+N +1 = j , Xm = i )
P ( Xm+N +1 = j | Xm = i ) =
P (Xm = i )
1 X
= P (Xm+N +1 = j , Xm+N = k , Xm = i )
P (Xm = i )
k ∈S
1 X
= P ( Xm+N +1 = j | Xm+N = k , Xm = i ) P (Xm+N = k , Xm = i )
P (Xm = i )
k ∈S
(2.18) X
= P ( Xm+N +1 = j | Xm+N = k ) P ( Xm+N = k | Xm = i )
k ∈S
(N ) (N +1)
X
= pi,k pk ,j = pi,j .
k ∈S
(Zde jsme využili toho, že pokud pro nějaké k ∈ S je P (Xm+N = k , Xm = i ) = 0, pak je také
(N ) (N )
P ( Xm+N = k | Xm = i ) = pi,k = 0, tedy podle Úmluvy 2.3 je pi,k pk ,j = 0.)
Vztah (2.27) lze snadno zobecnit.

Věta 2.29: Pro homogennı́ Markovův řetězec s diskrétnı́m časem platı́ pro všechna m, n ∈ N0
rovnost
(m+n)
X (m) (n)
pi,j = pi,k pk ,j ; (2.29)
k ∈S
neboli maticově
P (m+n) = P (m) P (n) .
Vztah (2.29) se nazývá Chapmanova-Kolmogorovova rovnost.

Důkaz. Důkaz je v maticovém zápisu jednoduchý:
P (m+n) = P m+n = P m P n = P (m) P (n) .
Poznámka. Slovně lze formuli (2.29) vyjádřit následovně: Přechod ze stavu i do stavu j v m + n
krocı́ch lze uskutečnit tak, že nejdřı́ve se v m krocı́ch přejde do nějakého stavu k a potom ve
zbývajı́cı́ch n krocı́ch ze stavu k do stavu j .
t
Nynı́ již můžeme také přepsat Lemma 2.10 pro homogennı́ Markovův řetězec s diskrétnı́m
časem.
Věta 2.30: Necht’ X = {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s diskrétnı́m časem, pak
platı́:
(n −n ) (nk −nk −1 )
P (Xn0 = i0 , Xn1 = i1 , . . . , Xnk = ik ) = pi0 (n0 ) pi0 ,i1 1 0 . . . pik −1 ,ik (2.30)
pro všechna k ∈ N0 , i0 , i1 , . . . , ik ∈ S, n0 , n1 , . . . , nk ∈ N0 , 0 ≤ n0 < n1 < · · · < nk .
t
Důkaz. Jedná se pouze o přepis Lemmy 2.10.
Lemma 2.31: Pro homogennı́ Markovův řetězec s diskrétnı́m časem, všechna n ∈ N0 , j ∈ S

platı́:
(n)
X
pj (n) = pk pk ,j . (2.31)
k ∈S
Maticově můžeme vztah zapsat

>
p (n) = p> P (n) = p> P n pro všechna n ∈ N0 . (2.32)
Důkaz.
X
pj (n) = P (Xn = j ) = P (X0 = k , Xn = j )
k ∈S
(n)
X X
= P ( Xn = j | X0 = k ) P (X0 = k ) = pk pk ,j .
k ∈S k ∈S
Poznámka. Je-li množina stavů S konečná, můžeme prvky matice P n počı́tat např. podle Perro-
nova vzorce (Přı́loha B, Věta B.10).
t
2.3 Přı́klady Markovových řetězců
Přı́klad 2.32: Posloupnost nezávislých náhodných veličin.

Posloupnost X = {Xn , n ∈ N0 } nezávislých náhodných veličin s Xn ∈ N0 pro každé n ∈ N0 tvořı́
Markovův řetězec s diskrétnı́m časem, nebot’ pro každé n ∈ N0 a i , j , in−1 , . . . , i0 ∈ N0 platı́
P ( Xn+1 = j | Xn = i , . . . , X0 = i0 ) = P (Xn+1 = j ) = P ( Xn+1 = j | Xn = i )
pokud
P (Xn = i , . . . , X0 = i0 ) > 0.
Markovská vlastnost (2.1) je splněna.
Jsou-li Xn stejně rozdělené s rozdělenı́m {ai , i ∈ N0 }, jde o homogennı́ Markovův řetězec s dis-
krétnı́m časem s počátečnı́m rozdělenı́m
>
p = (a0 , a1 , . . . )
a maticı́ pravděpodobnostı́ přechodů
 
a0 a1 ...
a0 a1 . . .
P = .
.. .. ..
. . .
Přı́klad 2.33: Náhodná procházka.

Necht’ {Yk , k ∈ N} je posloupnost nezávislých náhodných veličin s Yk ∈ Z pro každé k ∈ N.
Položme
n
X
X0 = 0, Xn = Yk pro každé n ∈ N.
k =1
Ukážeme, že X = {Xn , n ∈ N0 } má markovskou vlastnost (2.1). Podle definice podmı́něné pravdě-
podobnosti je levá strana v (2.1) rovna
P (Xn+1 = j , Xn = i , . . . , X1 = i1 , X0 = 0)
. (2.33)
P (Xn = i , . . . , X1 = i1 , X0 = 0)
Vzhledem k rovnosti jevů
[Xn+1 = j , Xn = i , . . . , X1 = i1 , X0 = 0] = [Yn+1 = j − i , Yn = i − in−1 , . . . , Y1 = i1 ] ,
[Xn = i , . . . , X1 = i1 , X0 = 0] = [Yn = i − in−1 , . . . , Y1 = i1 ]
a vzhledem k nezávislosti náhodných veličin Yn je výraz v (2.33) roven P (Yn+1 = j − i ). Pravá
strana (2.1) je analogicky
P (Yn+1 = j − i , Xn = i )
P ( Xn+1 = j | Xn = i ) = = P (Yn+1 = j − i ) .
P (Xn = i )
Posloupnost {Xn , n ∈ N0 } tedy tvořı́ Markovův řetězec, jehož pravděpodobnosti přechodu jsou
pi,j (n, n + 1) = P (Yn+1 = j − i ).
V přı́padě, že Yn jsou stejně rozdělené, jde o homogennı́ Markovův řetězec s diskrétnı́m časem.
Speciálně, náhodná procházka na přı́mce popsaná v Přı́kladě 1.22 je homogennı́ Markovův řetězec
s diskrétnı́m časem s množinou stavů S = Z a s pravděpodobnostmi přechodů pi,i+1 = pi,i−1 = 21 ,
i ∈ Z.
Přı́klad 2.34: Úloha o ruinovánı́ hráče. Hráč A a jeho protivnı́k B hrajı́ opakovaně jistou hru,
která může skončit jen výhrou jednoho z nich. Ve hře je kapitál a jednotek, přičemž na počátku
má hráč A celkem z jednotek kapitálu, jeho protivnı́k a − z jednotek. Vyhraje-li hráč A, zı́ská
od svého protivnı́ka jednu jednotku kapitálu, prohraje-li, jednu jednotku ztrácı́. Hráči hrajı́ tak
dlouho, dokud jeden z nich neztratı́ všechen svůj kapitál. Předpokládá se, že pravděpodobnosti
výhry hráčů A a B jsou p a q = 1 − p a že výsledky opakovaných partiı́ jsou stochasticky nezávislé.
Jestliže Xn značı́ kapitál, který po n−té partii vlastnı́ hráč A, můžeme se snadno přesvědčit, že {Xn }
je homogennı́ Markovův řetězec s diskrétnı́m časem se stavy 0, 1, . . . , a, s počátečnı́m rozdělenı́m
pz = 1, pj = 0 pro j 6= z a s pravděpodobnostmi přechodů p0,0 = pa,a = 1, pi,i+1 = p, pi,i−1 = q
pro i ∈ {1, 2, . . . , a − 1}. Matice pravděpodobnostı́ přechodů má tedy tvar
 
1 0 0 0 ... 0 0 0
q 0 p 0 . . . 0 0 0 
 
0 q 0 p . . . 0 0 0
P = . . . . . . . .
 
 .. .. .. .. . . . .. .. .. 
 
0 0 0 0 . . . q 0 p
0 0 0 0 ... 0 0 1
Jiná interpretace úlohy může být tato: částice se pohybuje po celočı́selných bodech na přı́mce
mezi bariérami v bodech x = 0 a x = a > 0, v každém kroku o jednotku vpravo s pravděpodobnostı́
p, o jednotku vlevo s pravděpodobnostı́ q, nezávisle na předchozı́m kroku. Dosáhne-li bodu 0 nebo
a, setrvá v něm (pohlcujı́cı́ bariéry v bodech 0, a). Poloha částice v čase n je potom Markovův
řetězec popsaný výše.
t
Přı́klad 2.35: Galtonův-Watsonův proces větvenı́ popsaný v úvodnı́ kapitole Přı́klad 1.23 je Mar-
kovův řetězec s diskrétnı́m časem. Počet jedinců v nulté generaci je X0 = 1, počet jedinců prvnı́
generace je náhodná veličina X1 s rozdělenı́m P (X1 = j ) = aj , j = 0, 1, . . . a počet jedinců n−té
generace je Xn = Un,1 + · · · + Un,Xn−1 , kde Un,i jsou náhodné veličiny se stejným rozdělenı́m jako
X1 , nezávislé mezi sebou i na Xn−1 , Xn−2 , . . . , X0 . Je tedy
P ( Xn = j | Xn−1 = i , . . . , X1 = i1 , X0 = 1)
 
Xn−1
X
=P Un,k = j Xn−1 = i , . . . , X1 = i1 , X0 = 1
k =1
i
!
X
=P Un,k = j Xn−1 = i , . . . , X1 = i1 , X0 = 1
k =1
i
!
X
=P Un,k = j = P ( Xn = j | Xn−1 = i ) ,
k =1
což je markovská vlastnost.

Počátečnı́ rozdělenı́ procesu {Xn , n ∈ N0 } je p = (0, 1, 0 . . . )T a pravděpodobnosti přechodu
jsou
i
!
X
P ( Xn = j | Xn−1 = i ) = P Un,k = j = a∗i j ,
k =1
∗i
kde a∗i

j = {aj } je i −tá konvolučnı́ mocnina {aj } (viz Přı́loha A.)
t
Přı́klad 2.36: Generovánı́ homogennı́ho Markovova řetězce s diskrétnı́m časem s množinou stavů
S = N0 , s předepsaným počátečnı́m rozdělenı́m p = {pi , i ∈ N0 } a předepsanou maticı́ pravděpo-
dobnostı́ přechodů P = {pi,j , i , j ∈ N0 }.
Necht’ {Un , n ∈ N0 } je posloupnost nezávislých stejně rozdělených náhodných veličin s rov-
noměrným rozdělenı́m na intervalu [0, 1]. Definujme náhodnou veličinu X0 předpisem
k
X −1 k
X
X0 = k ⇐⇒ pi < U0 ≤ pi
i=0 i=0
P−1
(položı́me i=0 pi = 0). Potom X0 nabývá hodnoty k s pravděpodobnostı́ pk . Dále definujme
funkci f (i , u) na N0 × [0, 1] předpisem
k
X −1 k
X
f (i , u) = k ⇐⇒ pi,j < u ≤ pi,j .
j =0 j =0
Nynı́ definujeme náhodné veličiny Xn rekurentně předpisem
Xn+1 = f (Xn , Un+1 ) pro všechna n ∈ N0 .
Pokud Xn = i , náhodná veličina Xn+1 nabývá hodnoty k s pravděpodobnostı́ pi,k . Je vidět, že
náhodná veličina Xn je funkcı́ jen náhodných veličin Un , Un−1 , . . . , U0 , tedy Xn a Un+1 jsou nezávislé
a
P ( Xn+1 = j | Xn = i ) = P ( f (Xn , Un+1 ) = j | Xn = i ) = P (f (i , Un+1 ) = j ) = pi,j .
Dále platı́
P ( Xn+1 = j | Xn = i , Xn−1 = in−1 , . . . , X0 = i0 )

= P ( f (i , Un+1 ) = j | Xn = i , Xn−1 = in−1 , . . . , X0 = i0 ) = P (f (i , Un+1 ) = j ) = pi,j ,
nebot’ náhodné veličiny Xn , Xn−1 , . . . , X0 nezávisı́ na Un+1 .

Takto zkonstruovaná posloupnost {Xn , n ∈ N0 } má tudı́ž markovskou vlastnost.
t
Přı́klad 2.37: Model zásob.

Uvažujme nějaké zbožı́, po kterém je poptávka, a jehož zásoba v celých jednotkách se kontroluje
ve stanovených časových okamžicı́ch t0 , t1 , t2 . . . Poptávka po zbožı́ v intervalu [tn , tn+1 ) je náhodná
veličina Dn . Předpokládáme, že Dn , n = 0, 1, . . . jsou nezávislé stejně rozdělené celočı́selné náhodné
veličiny s rozdělenı́m P (Dn = k ) = pk , k = 0, 1, . . . Zásobovacı́ strategie je následujı́cı́: necht’ m, M
jsou dvě přirozená čı́sla, m < M . Jestliže v čase tn je velikost zásoby Xn v rozpětı́ m < Xn ≤ M ,
zbožı́ se nedoplňuje, je-li však Xn ≤ m, doplnı́ se jeho množstvı́ až na úroveň M . Předpokládáme,
že Dn nezávisı́ na X0 a X0 ≤ M . Potom velikost zásoby v čase tn+1 (před možným doplněnı́m) je
(
max {Xn − Dn , 0} , m < Xn ≤ M ,
Xn+1 =
max {M − Dn , 0} , Xn ≤ m.
Vidı́me, že Xn+1 závisı́ jen na Xn a Dn , a že Xn , Dn jsou nezávislé. Je tedy posloupnost {Xn , n ∈ N0 }
Markovův řetězec se stavy 0, 1, . . . , M . Matice pravděpodobnostı́ přechodů má prvky
pi,0 = qM , i = 0, 1, . . . , m,
pi,j = pM −j , i = 0, 1, . . . , m, j = 1, . . . , M ,
pi,0 = qi , i = m + 1, . . . , M ,
pi,j = pi−j , i = m + 1, . . . , M , j = 1, . . . , i ,
pi,j = 0, i = m + 1, . . . , M , j = i + 1, . . . , M ,
kde
qk = pk + pk +1 + . . . , m < k ≤ M .
Přı́klad 2.38: Model havarijnı́ho pojištěnı́. Pro pojištěnı́ motorových vozidel použı́vá pojišt’ovna
tři kategorie pojistného: 0–základnı́ pojistné, 1–bonus 30%, 2–bonus 50%. V prvnı́m pojistném
obdobı́ (roce) platı́ pojištěný základnı́ pojistné. Jestliže pojistné obdobı́ má bezeškodnı́ průběh, je
pojištěný v dalšı́m pojistném obdobı́ zařazen o kategorii výše (zı́ská bonus), pokud ale uplatnı́ 1
pojistný nárok, je v přı́štı́m obdobı́ zařazen o jednu kategorii nı́že, při uplatněnı́ vı́ce než jednoho
pojistného nároku o dvě kategorie nı́že. Počet výskytů pojistné události v n−tém pojistném obdobı́
je náhodná veličina Yn ; předpokládáme, že náhodné veličiny Yn , n = 1, 2, 3, . . . jsou nezávislé a
majı́ stejné Poissonovo rozdělenı́ s parametrem λ. Necht’ Xn značı́ kategorii pojistného v n−tém
pojistném obdobı́. Zřejmě platı́ pro n ≥ 1

min {Xn + 1, 2}
 pro Yn = 0,
Xn+1 = max {Xn − 1, 0} pro Yn = 1,

0 pro Yn > 1.

Je tedy {Xn , n ∈ N} Markovův řetězec s množinou stavů S = {0, 1, 2}, s počátečnı́m rozdělenı́m
p = (1, 0, 0)T a s maticı́ pravděpodobnostı́ přechodů
1 − e−λ e−λ
 
0
P =  1 − e−λ 0 e−λ  .
−λ −λ −λ
1 − e − λe λe e−λ
2.4 Klasifikace stavů homogennı́ho Markovova řetězce s dis-

krétnı́m časem
Základnı́m nástrojem, který budeme v této i v dalšı́ch kapitolách využı́vat, je markovský čas.
Začneme definicı́ přirozené filtrace a pak představı́me markovský čas.

Definice 2.39: Pro náhodný proces X = {Xn , n ∈ N0 } definovaný na (Ω, A, P ) budeme FnX , n ∈ N0
označovat jeho přirozenou filtraci (ang. natural filtration), kde FnX = σ{X0 , X1 , . . . , Xn } je σ-algebra
generovaná náhodnými veličinami X0 , X1 , . . . , Xn .
Dále označme
∞
!
[
X
F∞ =σ FnX = σ {Xn , n ∈ N0 } .
n=0
(Zřejmě F0X ⊂ F1X ⊂ · · · ⊂ FnX ⊂ Fn+1

X X
⊂ · · · ⊂ F∞ ⊂ A.)
t
Definice 2.40: Markovský čas náhodného procesu X = {Xn , n ∈ N0 } (ang. stopping time, Markov
time) definovaného na (Ω, A, P ) je taková náhodná veličina τ : Ω → N0 ∪ {∞}, pro kterou pro
každé n ∈ N0 náhodný jev [τ ≤ n] patřı́ do σ-algebry FnX .
X
(Zřejmě τ je F∞ -měřitelná, tedy je náhodná veličina.)
t
Pro náhodný proces s diskrétnı́m časem, lze definici ekvivalentně vyjádřit pomocı́ jevů [τ = n].
Pro náhodný proces se spojitým časem již tento přepis nefunguje, viz Definice 3.33.
Lemma 2.41: Pro náhodný proces X = {Xn , n ∈ N0 } a náhodnou veličinu τ : Ω → N0 ∪ {∞}

platı́,
τ je Markovský čas náhodného procesu X tehdy a jen tehdy, když pro každé n ∈ N0 je [τ = n] ∈ FnX .
Důkaz. 1) Pro n = 0 jsou podmı́nky shodné, nebot’ [τ = 0] = [τ ≤ 0].

2) Pro n ≥ 1 musı́me rozepsat.
a) Když τ je Markovský čas, pak [τ = n] = [τ ≤ n] \ [τ ≤ n − 1] ∈ FnX , nebot’
[τ ≤ n] ∈ FnX , [τ ≤ n − 1] ∈ Fn−1
X
⊂ FnX .
b) Když [τ =Sn] ∈ FnX pro každé n ∈ N0 , pak τ je Markovský čas, nebot’
n
[τ ≤ n] = k=0 [τ = k] ∈ FnX .
Lemma 2.42: Když τ je markovský čas náhodného procesu X = {Xn , n ∈ N0 }, pak pro každé
k ∈ N je τ + k také markovský čas procesu X = {Xn , n ∈ N0 }.
t
Důkaz. 1) Pro n < k je [τ + k ≤ n] = ∅ ∈ FnX .

2) Pro n ≥ k je [τ + k ≤ n] = [τ ≤ n − k ] ∈ Fn−k ⊂ FnX .
Ukázali jsme, že τ + k je markovský čas procesu X = {Xn , n ∈ N0 } pro každé n ∈ N0 .
Definice 2.43: Necht’ X = {Xn , n ∈ N0 } je náhodný proces, který je definovaný na (Ω, A, P ) a má
hodnoty v úplném metrickém prostoru H = (H, h), a τ je jeho markovský čas.
Pak definujeme Xτ : Ω → H ∪ {∞} zastavenı́ procesu X v markovském času τ předpisem
pro každé ω ∈ Ω (
Xτ (ω) (ω) pokud τ (ω) < ∞,
Xτ (ω) = (2.34)
∞ pokud τ (ω) = ∞.
Dále definujeme
FτX = A ∈ F∞
X
: A ∩ [τ ≤ n] ∈ FnX

pro všechna n ∈ N0 (2.35)
σ-algebru jevů předcházejı́cı́ch markovskému času τ .
Lemma 2.44: Když X = {Xn , n ∈ N0 } je náhodný proces a τ je jeho markovský čas, pak FτX je
σ-algebra.
Důkaz. Dokážeme postupně vlastnosti σ-algebry.
1) Zřejmě ∅, Ω ∈ FτX .
2) Když A, B ∈ FτX , pak A \ B ∈ FτX , nebot’ pro každé n ∈ N0 platı́
(A \ B) ∩ [τ ≤ n] = (A ∩ [τ ≤ n]) \ (B ∩ [τ ≤ n]) ∈ FnX .

S∞
3) Když Ai ∈ FτX , i ∈ N, pak i=1 Ai ∈ FτX , nebot’ pro každé n ∈ N0 platı́
∞ ∞
!
[ [
Ai ∩ [τ ≤ n] = (Ai ∩ [τ ≤ n]) ∈ FnX .
i=1 i=1
Lemma 2.45: Když X = {Xn , n ∈ N0 } je náhodný proces s diskrétnı́ nejvýše spočetnou množinou
stavů S a τ je jeho markovský čas, potom Xτ je FτX −měřitelná náhodná veličina.
Důkaz. Stačı́ ukázat, že pro každé i ∈ S a každé n ∈ N0 je [Xτ = i ] ∩ [τ ≤ n] ∈ FnX .

To však ověřı́me celkem snadno
n
! n n
[ [ [
[Xτ = i ]∩[τ ≤ n] = [Xτ = i ]∩ [τ = k] = ([Xτ = i ] ∩ [τ = k]) = ([Xk = i ] ∩ [τ = k]) ∈ FnX .
k=0 k=0 k=0
stavů S, s počátečnı́m rozdělenı́m p a s maticı́ pravděpodobnostı́ přechodů P definovaný na
(Ω, A, P ). Když τ je markovský čas procesu X takový, že P (τ < ∞) = 1, potom
P ( Xτ +1 = j | Xτ = i , Xτ −1 = iτ −1 , . . . , X0 = i0 ) = P ( Xτ +1 = j | Xτ = i ) = pi,j (2.36)
pro všechna i , j ∈ S, ik ∈ S pro k ∈ N0 splňujı́cı́ P (Xτ = i , Xτ −1 = iτ −1 , . . . , X0 = i0 ) > 0.
Důkaz. Veličina τ je markovský čas, proto pro každé k ∈ N0 platı́ [τ = k ] ∈ FkX . To znamená, že
pro každé k ∈ N0 existuje množina Θk ⊂ S k +1 tak, že [τ = k ] = [(X0 , X1 , . . . , Xk ) ∈ Θk ] .
Potom pro k ∈ N0 , s0 , s1 , . . . , sk ∈ S platı́ dichotomie
bud’ [X0 = s0 , X1 = s1 , . . . , Xk = sk ] ⊂ [τ = k ],
nebo [X0 = s0 , X1 = s1 , . . . , Xk = sk ] ∩ [τ = k ] = ∅.
1) Označme Kτ = {k ∈ N0 : [Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 ] ⊂ [τ = k ]} .
Vzhledem k předpokladu P (τ < ∞) = 1, s použitı́m markovské vlastnosti, dichotomie a

Úmluvy 2.3 můžeme upravovat
P (Xτ +1 = j , Xτ = i , Xτ −1 = iτ −1 , . . . , X0 = i0 )
X+∞
= P (Xτ +1 = j , Xτ = i , Xτ −1 = iτ −1 , . . . , X0 = i0 , τ = k )
k =0
+∞
X
= P (Xk +1 = j , Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 , τ = k )
k =0
X
= P (Xk +1 = j , Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 , τ = k )
k ∈Kτ
X
= P (Xk +1 = j , Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 )
k ∈Kτ
X h
= P ( Xk +1 = j | Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 )
k ∈Kτ
i
×P (Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 )
(2.1) X
= P ( Xk +1 = j | Xk = i ) P (Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 )
k ∈Kτ
X
= pi,j P (Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 )
k ∈Kτ
+∞
X
= pi,j P (Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 , τ = k )
k =0
+∞
X
= pi,j P (Xτ = i , Xτ −1 = iτ −1 , . . . , X0 = i0 , τ = k )
k =0
= pi,j P (Xτ = i , Xτ −1 = iτ −1 , . . . , X0 = i0 ) .
2) Podobně lze odvodit také rovnost
P (Xτ +1 = j , Xτ = i ) = pi,j P (Xτ = i ) .
Budeme však postupovat trochu jinak, využijeme Lemma 2.11. Z měřitelnosti markovského času
pro každé k ∈ N0 nalezname množinu Θk ⊂ S k +1 tak, aby [τ = k ] = [(X0 , X1 , . . . , Xk ) ∈ Θk ] .
Potom
+∞
X
P (Xτ +1 = j , Xτ = i ) = P (Xτ +1 = j , Xτ = i , τ = k )
k =0
+∞
X
= P (Xk +1 = j , Xk = i , τ = k )
k =0
+∞
X
= P (Xk +1 = j , Xk = i , (X0 , X1 , . . . , Xk ) ∈ Θk )
k =0
+∞
X X
= P (Xk +1 = j , Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 )
k =0 (i0 ,i1 ,...,ik −1 ,i)∈Θk
+∞
(2.23) X X
= pi0 pi0 ,i1 . . . pik −1 ,i pi,j
k =0 (i0 ,i1 ,...,ik −1 ,i)∈Θk
+∞
X X
= pi,j pi0 pi0 ,i1 . . . pik −1 ,i .
k =0 (i0 ,i1 ,...,ik −1 ,i)∈Θk
+∞
X
P (Xτ = i ) = P (Xτ = i , τ = k )
k =0
+∞
X
= P (Xk = i , τ = k )
k =0
+∞
X
= P (Xk = i , (X0 , X1 , . . . , Xk ) ∈ Θk )
k =0
+∞
X X
= P (Xk = i , Xk −1 = ik −1 , . . . , X0 = i0 )
k =0 (i0 ,i1 ,...,ik −1 ,i)∈Θk
+∞
X X
= pi0 pi0 ,i1 . . . pik −1 ,i .
k =0 (i0 ,i1 ,...,ik −1 ,i)∈Θk
Pokud P (Xτ = i , Xτ −1 = iτ −1 , . . . , X0 = i0 ) > 0, můžeme rovnice v obou přı́padech vydělit a

zı́skáme (2.36).
stavů S, s počátečnı́m rozdělenı́m p a s maticı́ pravděpodobnostı́ přechodů P definovaný na
(Ω, A, P ). Když τ je markovský čas procesu X = {Xn , n ∈ N0 } takový, že P (τ < ∞) = 1, po-
tom {Xτ +n , n ∈ N0 } je homogennı́ Markovův řetězec s diskrétnı́m časem, se stavovým prostorem
S, s počátečnı́m rozdělenı́m {P (Xτ = i ) , i ∈ S} a s maticı́ pravděpodobnostı́ přechodů P .
Věta 2.46 řı́ká, že markovská vlastnost platı́, když proces X = {Xn , n ∈ N0 } pozorujeme v
náhodných časových okamžicı́ch τ + m, m ∈ N, kde τ je markovský čas. Tato vlastnost se nazývá
silná markovská vlastnost. Pokud τ < ∞ a Xτ = i pro i ∈ S, potom podobně jako ve Cvičenı́
2.123 lze ukázat, že (X0 , . . . , Xτ −1 ) a (Xτ +1 , . . . , Xτ +m ) , m = 1, 2, . . . jsou podmı́něně nezávislé.
Mı́sto markovského času mluvı́me také o zastavovacı́m času procesu.
Rozdělenı́ Homogennı́ho Markovova řetězce s diskrétnı́m časem je jednoznačně určeno počátečnı́m

rozdělenı́m a maticı́ pravděpodobnostı́ přechodů. Změnou počátečnı́ho rozdělenı́ dostáváme vlastně
jiný homogennı́ Markovův řetězec s diskrétnı́m časem, který ale můžeme chápat jako řetězec
původnı́ se změněným počátečnı́m rozdělenı́m.
Definice 2.48: Uvažujme X = {Xn , n ∈ N0 } homogennı́ Markovův řetězec s diskrétnı́m časem,

s množinou stavů S, s počátečnı́m rozdělenı́m p a s maticı́ pravděpodobnostı́ přechodů P a stav
i ∈ S. nOznačme δ (i)
o = {δi,j , j ∈ S}, kde δi,i = 1 a δi,j = 0 pro j ∈ S, j 6= i , a označme
(i)
X(i) = Xn , n ∈ N0 homogennı́ Markovův řetězec s diskrétnı́m časem, se stavovým prostorem
S, s počátečnı́m rozdělenı́m δ (i) a s maticı́ pravděpodobnostı́ přechodů P . Budeme řı́kat, že X(i)
je řetězec X za podmı́nky, že byl na začátku ve stavu i (přı́padně, který startoval ze stavu i ). Toto
podmiňovánı́“ budeme zapisovat
”
n o
⊗N
Pi ({Xn , n ∈ N} ∈ A) = P X(i)
n ,n ∈ N ∈ A pro všechna A ∈ P(S) . (2.37)
Podobně budeme označovat podmı́něnou střednı́ hodnotu Ei a podmı́něný rozptyl vari .
t
⊗N
V definici jsme využili toho, že B S = P(S) , jelikož je množina stavů nejvýše spočetná.
N
Když vyčkáme na okamžik, kdy homogennı́ Markovův řetězec s diskrétnı́m časem s kladnou
pravděpodobnostı́ vstoupı́ do stavu i , pak půjde opravdu o podmiňovánı́, jak ukazuje následujı́cı́
lemma.
Lemma 2.49: Uvažujme X = {Xn , n ∈ N0 } homogennı́ Markovův řetězec s diskrétnı́m časem,

s množinou stavů S, s počátečnı́m rozdělenı́m p a s maticı́ pravděpodobnostı́ přechodů P a stav
i ∈ S. Když m ∈ N0 je takový, že P (Xm = i ) > 0, pak
⊗N
Pi ({Xn , n ∈ N} ∈ A) = P ( {Xn+m , n ∈ N} ∈ A| Xm = i ) pro všechna A ∈ P(S) . (2.38)
⊗N
Důkaz. Stačı́ vlastnost (2.38) ověřit pro všechny základnı́ stavebnı́ kameny σ-algebry P(S) .
Vezměme tedy k ∈ N a i1 , . . . , ik ∈ S, pak

(i) (i) (i)
Pi (X1 = i1 , X2 = i2 , . . . , Xk = ik ) = P X1 = i1 , X2 = i2 , . . . , Xk = ik
= P ( Xm+1 = i1 , Xm+2 = i2 , . . . , Xm+k = ik | Xm = i ) = pi,i1 . . . pik−1 ,ik .
Definice 2.50: Pro j ∈ S položme
τj (0) = 0,
τj (1) = inf {n > 0 : Xn = j } . (2.39)
Pro k ∈ N pokračujme rekurentnı́m předpisem
τj (k + 1) = inf {n > τj (k ) : Xn = j } pokud τj (k ) < ∞, (2.40)

= ∞ pokud τj (k ) = ∞.
V definici využı́váme konvenci inf {∅} = ∞.

Podle této definice je τj (1) náhodná veličina, která nabývá hodnot z N ∪ {∞} a značı́ náhodný
okamžik, ve kterém Markovův řetězec poté, co opustil počátečnı́ stav, poprvé vstoupı́ do stavu j .
Hodnota ∞ znamená, že ke vstupu do stavu j nedošlo.
Čas τj (1) bývá nazýván čas prvnı́ho návratu (resp. vstupu) do stavu j . Pojmenovánı́ záležı́ na
tom, zda Markovův řetězec ve stavu j začı́ná nebo ne. Podobně τj (k ), k ∈ N značı́ časy dalšı́ch
návratů (resp. vstupů) do stavu j .
Lemma 2.51: Náhodné veličiny τj (k ), k ∈ N jsou markovské časy.
Důkaz. Důkaz provedeme pouze pro k = 1. Pro j ∈ S, n ∈ N platı́:
[τj (1) = n] = [X1 6= j , . . . , Xn−1 6= j , Xn = j ] ∈ FnX = σ{X0 , X1 , . . . , Xn }.
Stavy homogennı́ho Markovova řetězce rozdělujeme na dvě základnı́ skupiny.

Definice 2.52: Stav j homogennı́ho Markovova řetězce s diskrétnı́m časem se nazývá trvalý,
jestliže Markovův řetězec, který vycházı́ z j , se do j vrátı́ s pravděpodobnostı́ 1 po konečně mnoha
krocı́ch, tj.
Pj (τj (1) < ∞) = 1.
Stav j se nazývá přechodný, jestliže Markovův řetězec, který vycházı́ z j , se s kladnou pravděpo-
dobnostı́ do j nikdy nevrátı́, tj.
Pj (τj (1) = ∞) > 0.
Trvalé stavy ještě rozdělujeme na dvě skupiny.

Definice 2.53: Pro trvalý stav j ∈ S označme střednı́ dobu prvnı́ho návratu symbolem
µj := Ej [τj (1)]; vždy 1 ≤ µj ≤ ∞.
Trvalý stav j se nazývá nenulový, jestliže µj < ∞, a nulový, jestliže µj = ∞.
Dalšı́ vlastnostı́, kterou u stavů sledujeme, je periodičnost. S tou se však seznámı́me až později.
Definice 2.54: Pro stavy i , j ∈ S budeme použı́vat označenı́

(0)
fi,j = 0,
(n)
fi,j = Pi (τj (1) = n) pro každé n ∈ N,
+∞
(n)
X
fi,j = fi,j = Pi (τj (1) < ∞) .
n=1
t
Věta 2.55: Pro homogennı́ Markovův řetězec s diskrétnı́m časem a j ∈ S platı́:

P+∞ (n)
i) µj = n=1 nfj ,j .
ii) Stav j je přechodný tehdy a jen tehdy, když fj ,j < 1.
iii) Stav j je trvalý tehdy a jen tehdy, když fj ,j = 1.
P+∞ (n)
iv) Stav j je trvalý nenulový tehdy a jen tehdy, když fj ,j = 1 a n=1 nfj ,j < ∞.
P+∞ (n)
v) Stav j je trvalý nulový tehdy a jen tehdy, když fj ,j = 1 a n=1 nfj ,j = ∞.
Důkaz. Jedná se pouze o přepis Definic 2.52 a 2.53.

Nynı́ můžeme ukázat souvislost mezi rozdělenı́m času prvnı́ho návratu a pravděpodobnostmi
přechodů.
Lemma 2.56: Pro homogennı́ Markovův řetězec s diskrétnı́m časem platı́

(1) (n+1) (n)
X
fi,j = pi,j , fi,j = pi,k fk ,j pro každé n ∈ N, i , j ∈ S, (2.41)
k 6=j
X
fi,j = pi,j + pi,k fk ,j pro každé i , j ∈ S. (2.42)
k 6=j
Důkaz. Pro i , j ∈ S, n ∈ N vypočteme

(1)
fi,j = Pi (τj (1) = 1) = Pi (X1 = j ) = pi,j ,
(n+1) (n)
X X
fi,j = Pi (τj (1) = n + 1) = Pi (X1 = k ) Pk (τj (1) = n) = pi,k fk ,j .
k 6=j k 6=j
Sečtenı́m rovnostı́ (2.41) zı́skáme rovnost (2.42).
Věta 2.57: Pro homogennı́ Markovův řetězec s diskrétnı́m časem platı́

n n−1
(n) (k) (n−k) (n) (k) (n−k)
X X
pi,i = fi,i pi,i = fi,i + fi,i pi,i pro každé n ∈ N, i ∈ S, (2.43)
k=0 k=1
n n
(n) (k) (n−k) (n) (k) (n−k)
X X
pi,j = fi,j pj ,j = fi,j + fi,j pj ,j pro každé n ∈ N0 , i , j ∈ S, i 6= j . (2.44)
k=0 k=1
n o n o
(n) (n)
Pro vytvořujı́cı́ funkce Pi,j , Fi,j posloupnostı́ pi,j , fi,j (viz Přı́loha A) platı́
1
Pi,i (s) = , |s| < 1 pro každé i ∈ S, (2.45)
1 − Fi,i (s)
Fi,j (s)
Pi,j (s) = Fi,j (s) Pi,i (s) = , |s| < 1 pro každé i , j ∈ S, i 6= j . (2.46)
1 − Fi,i (s)
Důkaz. Vezměme stavy i , j ∈ S a předpokládejme BÚNO P (X0 = i ) > 0.
1. Pro n = 0 z definic platı́

0
(0) (k) (n−k) (0) (0)
X
pi,i = 1, fi,i pi,i = fi,i pi,i = 0,
k=0
0
(0) (k) (n−k) (0) (0)
X
pi,j = 0, fi,j pj ,j = fi,j pj ,j = 0 pro j 6= i .
k=0
Tedy pro n = 0 formule (2.43) neplatı́ a formule (2.44) platı́.
2. Pro n ∈ N.
Protože platı́ [Xn = j ] ⊂ [τj (1) ≤ n], máme
n
(n)
X
pi,j = P ( Xn = j | X0 = i ) = Pi (Xn = j ) = Pi (Xn = j , τj (1) = k)
k=1
n
X
= Pi (Xn = j |τj (1) = k ) Pi (τj (1) = k)
k=1
n
(k)
X
= Pi (Xn = j |τj (1) = k ) fi,j
k=1
a dále s využitı́m markovské vlastnosti
Pi (Xn = j |τj (1) = k ) = P ( Xn = j | X0 = i , X1 6= j , . . . , Xk−1 6= j , Xk = j )

(2.13) (n−k)
= P ( Xn = j | Xk = j ) = pj ,j .
(0) (0)
Tı́m je (2.43) i (2.44) dokázáno, nebot’ fi,j = 0 a pj ,j = 1.
P+∞ (n) P+∞ (n)
3. Uvažované vytvořujı́cı́ funkce majı́ tvar Pi,j (s) = n=0 pi,j s n , Fi,j (s) = n=0 fi,j s n .
S využitı́m (2.43), (2.44) a vlastnostı́ konvoluce (Věta A.6, Přı́loha A) pro |s| < 1 vypočteme
+∞ +∞ +∞ X n
!
(n) n (n) n (k) (n−k)
X X X
Pi,i (s) = pi,i s = 1 + pi,i s = 1 + fi,i pi,i sn
n=0 n=1 n=1 k=0
+∞
! +∞
!
(n) (n)
X X
= 1+ fi,i s n pi,i s n = 1 + Fi,i (s) Pi,j (s) .
n=0 n=0
Odkud plyne (2.45). Pro j 6= i dostáváme

+∞ +∞ n
!
(n) (k) (n−k)
X X X
Pi,j (s) = pi,j s n = s n
fi,j pj ,j
n=0 n=0 k=0
+∞
! +∞
!
(n) (n)
X X
= fi,j s n pj ,j s n = Fi,j (s) Pj ,j (s) .
n=0 n=0
Tı́m je vztah (2.46) ukázán.

(n)
Poznámka. Pravděpodobnosti fi,j lze počı́tat také rekurentně (viz Cvičenı́ 2.128).
t
Následujı́cı́ tvrzenı́ může být užitečnou pomůckou pro klasifikaci stavů.
Věta 2.58: Pro homogennı́ Markovův řetězec s diskrétnı́m časem a j ∈ S platı́:

P+∞ (n)
i) Stav j je trvalý, právě když n=0 pj ,j = ∞.
P+∞ (n)
ii) Stav j je přechodný, právě když n=0 pj ,j < ∞.
Důkaz. Zřejmě fj ,j = lim Fj ,j (s) = Fj ,j (1).

s→1−
Vı́me, že stav j je trvalý, právě když fj ,j = 1, a to je podle (2.45) právě tehdy, když
+∞
X (n) 1
pj ,j = lim Pj ,j (s) = lim = ∞.
n=0
s→1− s→1− 1 − Fj ,j (s)
Vı́me, že stav j je přechodný, právě když fj ,j < 1, a to je podle (2.45) právě tehdy, když
+∞
X (n) 1 1 1
pj ,j = lim Pj ,j (s) = lim = = < ∞.
n=0
s→1− s→1− 1 − Fj ,j (s) 1 − Fj ,j (1) 1 − fj ,j
Poznámka. Podobně jako v Přı́loze A jsme označili limitu vytvořujı́cı́ funkce pro s → 1 zleva jako
funkčnı́ hodnotu v bodě 1. Toto označenı́ budeme užı́vat i nadále nejen pro vytvořujı́cı́ funkce, ale
i pro jejich derivace.
t
Přı́klad 2.59: Uvažujme posloupnost nezávislých hodů hracı́ kostkou. Necht’ Xm značı́ maximálnı́
počet ok dosažených do m−tého hodu včetně. Potom {Xm } je homogennı́ Markovův řetězec s dis-
krétnı́m časem s množinou stavů S = {1, . . . , 6} a pravděpodobnostmi přechodů

1
6, i < j,

pi,j = 6j , i = j ,

0, i > j .

Pravděpodobnosti přechodů n−tého řádu jsou

 n
j j −1 n

 6 −
 6 , i < j,
(n) j n
pi,j = 6 , i = j,

0, i > j.

P+∞ (n)
Vidı́me tedy, že n=0 pj ,j konverguje pro j = 1, . . . , 5 a diverguje pro j = 6. Stavy 1, . . . , 5 jsou
proto přechodné a stav 6 je trvalý.
Přı́klad 2.60: Symetrická náhodná procházka na přı́mce, je Markovův řetězec s množinou stavů
S = Z a pravděpodobnostmi přechodů pi,i+1 = pi,i−1 = 12 , i ∈ S (viz Přı́klady 1.22 a 2.33).
Pravděpodobnosti přechodu ze stavu j do stavu j po n krocı́ch jsou
 !
 2k
 1 2k

, n = 2k , k = 0, 1, . . . ,
(n) 2
pj ,j = k

0, n = 2k + 1, k = 0, 1, . . . .

Použijeme-li Stirlingovu formuli

√

k −k 1
k! = k e 2πk 1+O , k ∈ N,
k
dostaneme pro každé j ∈ S

2k 2k p 2k
(2k )2k e−2k 2π(2k ) 1 + O 2k 1

(2k) 2k 1 (2k )! 1 1
=
pj ,j = = √ 2
k 2 (k !)2 2

2
k k e−k 2πk 1 + O k1

√ 2k
22k k 2k e−2k 4πk 1 + O 2k 1 1

1 1 1 + O 2k
= 2 =√
k 2k e−2k (2πk ) 1 + O k1 2 πk 1 + O k1 2

1 1
= √ 1+O .
πk k
P+∞ (n)
Odtud plyne, že n=0 pj ,j = ∞ pro každé j ∈ S, tedy všechny stavy jsou trvalé.
t
Nynı́ budeme vyšetřovat doby mezi návraty do stavu j .

Definice 2.61: Budeme značit
Tj ,1 = τj (1) ,
pro k = 2, 3, 4, . . . . definujeme
Tj ,k = τj (k ) − τj (k − 1) pokud τj (k − 1) < ∞,
= ∞ pokud τj (k − 1) = ∞.
t
Platı́ pro ně následujı́cı́ vztahy.
Věta 2.62: Uvažujme homogennı́ Markovův řetězec s diskrétnı́m časem, stavy i , j ∈ S, k ∈ N a

m1 , m2 , . . . , mk ∈ N. Pak platı́:
(m ) (m ) (m )
Pi (Tj ,1 = m1 , Tj ,2 = m2 , . . . , Tj ,k = mk ) = fi,j 1 fj ,j 2 · · · · · fj ,j k . (2.47)
t
Důkaz. 1. Nejdřı́ve pro k = 1, máme z definice:

(m )
Pi (Tj ,1 = m1 ) = Pi (τj (1) = m1 ) = fi,j 1 .
2. Nynı́ pro k ≥ 2.
e l = m1 + m2 + · · · + ml
Předpokládejme BÚNO P (X0 = j ) > 0 a pro přehlednost označme m
pro l ∈ {1, 2, . . . , k }. Počı́tejme
Pi (Tj ,1 = m1 , Tj ,2 = m2 , . . . , Tj ,k = mk )
= Pi (τj (1) = m1 , τj (2) = m1 + m2 , . . . , τj (k ) = m1 + m2 + · · · + mk )
= Pi (τj (1) = m
e 1 , τj (2) = m
e 2 , . . . , τj (k ) = m
ek)
k
Y
= Pi (τj (1) = m
e 1) e l |τj (l − 1) = m
Pi (τj (l ) = m e l−1 , τj (l − 2) = m
e l−2 , . . . , τj (1) = m
e1 )
l=2
k
(m )
Y
= fi,j 1 P Xm e l −1 6= j , . . . , Xm
e l = j , Xm e l−1 +1 6= j Xm e l−1 −1 6= j , . . . , X0 = i
e l−1 = j , Xm
l=2
k
(2.13) (m )
Y
= fi,j 1 P Xm e l −1 6= j , . . . , Xm
e l = j , Xm e l−1 +1 6= j Xm
e l−1 = j
l=2
k
(m )
Y
= fi,j 1 P ( Xml = j , Xml −1 6= j , . . . , X1 6= j | X0 = j )
l=2
k k
(m ) (m )
Y Y
= fi,j 1 P ( τj (1) = ml | X0 = j ) = fi,j 1 Pj (τj (1) = ml )
l=2 l=2
(m1 ) (m2 ) (m )
= fi,j fj ,j · · · · · fj ,j k .
Při výpočtu jsme využili zobecněnı́ markovské vlastnosti (2.13) a homogenity. Vlastnost
(2.47) je tı́m dokázána.
Vlastnost (2.47) určuje rozdělenı́ dob čekánı́ na k -tý návrat do daného stavu a také určuje
rozdělenı́ dob mezi k -tým a k + 1-vým návratem do daného stavu.
Věta 2.63: Pro homogennı́ Markovův řetězec s diskrétnı́m časem, stavy i , j ∈ S a k , m ∈ N platı́
(m ) (m ) (m )
X
Pi (τj (k ) = m) = fi,j 1 fj ,j 2 · · · · · fj ,j k . (2.48)
m1 +m2 +···+mk =m
m1 ,m2 ...,mk ∈N
Tuto vlastnost můžeme přepsat pomocı́ vytvořujı́cı́ funkce náhodné veličiny τj (k ) za podmı́nky,
že Markovův řetězec vyšel ze stavu i , jako
Pi,τj (k ) (s) = Fi,j (s) [Fj ,j (s)]k −1 pro |s| < 1, (2.49)
n o n o
(n) (n)
kde Fi,j je vytvořujı́cı́ funkce posloupnosti fi,j a Fj ,j je vytvořujı́cı́ funkce posloupnosti fj ,j
(viz Přı́loha A, Věta A.6).
Speciálně
Pi (τj (k ) < ∞) = fi,j fjk,j−1 . (2.50)
t
Důkaz. Podle (2.47) máme
Pi (τj (k ) = m) = Pi (Tj ,1 + Tj ,2 + · · · + Tj ,k = m)
X
= Pi (Tj ,1 = m1 , Tj ,2 = m2 , . . . , Tj ,k = mk )
m1 +m2 +···+mk =m
m1 ,m2 ...,mk ∈N
(m ) (m ) (m )
X
= fi,j 1 fj ,j 2 · · · · · fj ,j k .
m1 +m2 +···+mk =m
m1 ,m2 ...,mk ∈N
Odtud také dostáváme (2.49) a (2.50).
Věta 2.64: Uvažujme homogennı́ Markovův řetězec s diskrétnı́m časem a stavy i , j ∈ S. Pak pro
dobu čekánı́ na prvnı́ návrat platı́
(m)
Pi (Tj ,1 = m) = fi,j pro každé m ∈ N. (2.51)
Pokud fi,j > 0, fj ,j > 0, pak pro doby čekánı́ na dalšı́ návraty platı́
(m)
Pi (Tj ,k = m |τj (k − 1) < ∞ ) = fj ,j pro každé m ∈ N, k ∈ {2, 3, . . . .} , (2.52)
(m)
fj ,j
Pi (Tj ,k = m |τj (k + l ) < ∞ ) = pro každé m ∈ N, k ∈ N, l ∈ N0 . (2.53)
fj ,j
Speciálně pro j trvalý stav, fi,j > 0 máme pro každé k ∈ {2, 3, . . . .}
(m)
Pi (Tj ,k = m) = fj ,j pro každé m ∈ N,
Ej [Tj ,k ] = µj .
Pokud navı́c i = j , pak má stejné podmı́něné rozdělenı́ i Tj ,1 .

Povšimněme si, že tato podmı́něná rozdělenı́ nezávisı́ na stavu z kterého Markovův řetězec
vyšel.
t
Důkaz. 1. Nejdřı́ve rozdělenı́ Tj ,1 . Pro m ∈ N máme z definice:

(m)
Pi (Tj ,1 = m) = Pi (τj (1) = m) = fi,j .
2. Pro k ≥ 2 postupným vysčı́távánı́m (2.47) dostaneme
Pi (Tj ,k = m) = Pi (Tj ,k = m, τj (k − 1) < ∞)

X
= Pi (Tj ,1 = m1 , Tj ,2 = m2 , . . . , Tj ,k −1 = mk −1 , Tj ,k = m)
m1 ,m2 ...,mk −1 ∈N
(m ) (m ) (m ) (m)
X
= fi,j 1 fj ,j 2 · · · · · fj ,j k −1 fj ,j
m1 ,m2 ...,mk −1 ∈N
(m)
= fi,j fjk,j−2 fj ,j .
Odtud
Pi (Tj ,k = m, τj (k − 1) < ∞)
Pi (Tj ,k = m |τj (k − 1) < ∞ ) =
Pi (τj (k − 1) < ∞)
(m)
Pi (Tj ,k = m) fi,j fjk,j−2 fj ,j (m)
= = = fj ,j .
Pi (τj (k − 1) < ∞) fi,j fjk,j−2
3. Pro k ≥ 2 dostaneme
Pi (Tj ,k = m, τj (k ) < ∞)
Pi (Tj ,k = m |τj (k ) < ∞ ) =
Pi (τj (k ) < ∞)
(m) (m)
Pi (Tj ,k = m) fi,j fjk,j−2 fj ,j fj ,j
= = k −1
= .
Pi (τj (k ) < ∞) fi,j fj ,j fj ,j
4. Pro k ≥ 2 a l ∈ N dostáváme
Pi (Tj ,k = m, τj (k + l ) < ∞)
X
= Pi (Tj ,1 = m1 , . . . , Tj ,k −1 = mk −1 , Tj ,k = m, Tj ,k +1 = mk +1 , . . . , Tj ,k +l = mk +l )
m1 ,...,mk −1 ,mk +1 ,...,mk +l ∈N
(m ) (m ) (m ) (m) (m ) (m )
X
= fi,j 1 fj ,j 2 · · · · · fj ,j k −1 fj ,j fj ,j k +1 · · · · · fj ,j k +l
m1 ,...,mk −1 ,mk +1 ,...,mk +l ∈N
(m)
= fi,j fjk,j+l−2 fj ,j .
Odtud
Pi (Tj ,k = m, τj (k + l ) < ∞)
Pi (Tj ,k = m |τj (k + l ) < ∞ ) =
Pi (τj (k + l ) < ∞)
(m) (m)
fi,j fjk,j+l−2 fj ,j fj ,j
= = .
fi,j fjk,j+l−1 fj ,j
Věta 2.65: Uvažujme homogennı́ Markovův řetězec s diskrétnı́m časem, stavy i , j ∈ S a k ∈ N.

Za podmı́nky X0 = i , τj (k ) < ∞ jsou Tj ,1 , Tj ,2 , . . . , Tj ,k nezávislé náhodné veličiny. To znamená,
že pro každé m1 , m2 , . . . , mk ∈ N platı́:
Pi (Tj ,1 = m1 , Tj ,2 = m2 , . . . , Tj ,k = mk |τj (k ) < ∞ )

= Pi (Tj ,1 = m1 |τj (k ) < ∞ ) Pi (Tj ,2 = m2 |τj (k ) < ∞ ) · . . . · Pi (Tj ,k = mk |τj (k ) < ∞ ) .
Speciálně pro trvalý stav j jsou za podmı́nky X0 = i doby mezi návraty Tj ,k , k ∈ N nezávislé
náhodné veličiny.
Důkaz. Počı́tejme
Pi (Tj ,1 = m1 , Tj ,2 = m2 , . . . , Tj ,k = mk |τj (k ) < ∞ )

Pi (Tj ,1 = m1 , Tj ,2 = m2 , . . . , Tj ,k = mk , τj (k ) < ∞)
=
Pi (τj (k ) < ∞)
Pi (Tj ,1 = m1 , Tj ,2 = m2 , . . . , Tj ,k = mk )
=
Pi (τj (k ) < ∞)
(m ) (m ) (m )
fi,j 1 fj ,j 2 · · · · · fj ,j k
=
fi,j fjk,j−1
= Pi (Tj ,1 = m1 |τj (k ) < ∞ ) Pi (Tj ,2 = m2 |τj (k ) < ∞ ) . . . Pi (Tj ,k = mk |τj (k ) < ∞ ) .
Nynı́ uvažujme náhodnou veličinu

+∞
X
Nj = I(Xn = j ), (2.54)
n=1
která udává, kolikrát Markovův řetězec projde stavem j ; přičemž se počátečnı́ stav nepočı́tá.
Zřejmě Nj je náhodná veličina nabývajı́cı́ hodnot z N0 ∪ {∞}. Rozdělenı́ této náhodné veličiny
udává následujı́cı́ věta.
Věta 2.66: Platı́
Pi (Nj ≥ k ) = Pi (τj (k ) < ∞) = fi,j fj ,j k −1 pro každé k ∈ N,

(
1 − fi,j pro k = 0,
Pi (Nj = k ) =
fi,j fjk,j−1 (1 − fj ,j ) pro každé k ∈ N.
Důkaz. Pro k = 0 máme
Pi (Nj = 0) = 1 − Pi (Nj ≥ 1) = 1 − Pi (τj (1) < ∞) = 1 − fi,j .
Pro k ∈ N využijeme (2.50) a tedy
Pi (Nj ≥ k ) = Pi (τj (k ) < ∞) = fi,j fj ,j k −1 .
Tudı́ž
Pi (Nj = k ) = Pi (Nj ≥ k ) − Pi (Nj ≥ k + 1) = fi,j fjk,j−1 − fi,j fjk,j = fi,j fjk,j−1 (1 − fj ,j ).
Nynı́ můžeme snadno dokázat následujı́cı́ větu.
Věta 2.67: Uvažujme homogennı́ Markovův řetězec s diskrétnı́m časem a stav j ∈ S.

• Stav j je trvalý tehdy a jen tehdy, když Pj (Nj = ∞) = 1.
• Je-li j stav přechodný, platı́ Pi (Nj = ∞) = 0 pro každý stav i ∈ S.
• Je-li j stav přechodný a Markovův řetězec z něj startuje, pak Nj má geometrické rozdělenı́
s parametrem fj ,j , tj.
Pj (Nj = k ) = (1 − fj ,j )fjk,j pro každé k ∈ N0 .
Důkaz. S využitı́m Věty 2.66 dostáváme

(
fi,j pro fj ,j = 1,
Pi (Nj = ∞) = lim Pi (Nj ≥ k ) = lim fi,j fjk,j−1 =
k →∞ k →∞ 0 pro fj ,j < 1.
Tı́m jsou prvnı́ dvě tvrzenı́ ukázány. Třetı́ tvrzenı́ plyne přı́mo z Věty 2.66.
Vidı́me tedy, že je-li stav j trvalý, vstoupı́ do něj Markovův řetězec s pravděpodobnostı́ jedna
nekonečně mnohokrát, je-li přechodný, je počet vstupů do j s pravděpodobnostı́ jedna konečný.
Zaved’me ještě dalšı́ klasifikaci.
Definice 2.68: Pro homogennı́ Markovův řetězec s diskrétnı́m časem a stav i ∈ S zavádı́me
následujı́cı́ pojmy:
n o
(n)
• Ni = n ∈ N : pi,i > 0 časy možných návratů řetězce do stavu i (ang. times of possible
returns).
• Když je Ni nekonečná, pak zavádı́me di periodu stavu i (ang. period), jako největšı́ společný
(n)
dělitel čı́sel n ∈ N, pro které pi,i > 0; tj. di = NSD {Ni }.
• Je-li Ni nekonečná a di > 1, řı́káme, že stav i je periodický s periodou di (ang. periodic).
• Je-li Ni prázdná nebo konečná nebo nekonečná a di = 1, řı́káme, že stav i je neperiodický
(ang. aperiodic).
Povšimněme si množiny časů možných návratů.
Lemma 2.69: Pro homogennı́ Markovův řetězec s diskrétnı́m časem a stav i ∈ S je množina Ni
bud’ prázdná nebo nekonečná.
t
Důkaz. Když n ∈ Ni , pak pro každé k ∈ N je také k n ∈ Ni , nebot’

(k n) (n) (n) (n)
pi,i ≥ pi,i pi,i · · · · · pi,i > 0.
| {z }
k×
Lemma 2.70: Pro homogennı́ Markovův řetězec s diskrétnı́m časem a stav j ∈ S platı́
(n)
i) Nj = ∅ tehdy a jen tehdy, když pro každé n ∈ N je fj ,j = 0.
n o
(n)
ii) Pro Nj nekonečnou je dj = NSD n ∈ N : fj ,j > 0 .
(n)
Důkaz. 1. Ze vzorce (2.43) okamžitě plyne ekvivalence pj ,j = 0 pro každé n ∈ N tehdy a jen
(n)
tehdy, když fj ,j = 0 pro každé n ∈ N.
2. Necht’ je množina Nj nekonečná.

(s)
Označme s nejmenšı́ přirozené čı́slo, pro které pj ,j > 0. Ze vzorce (2.43) plyne, že to je
(s) (s) (s)
zároveň nejmenšı́m čı́slem, pro které fj ,j > 0 a platı́ pj ,j = fj ,j .
Pro N ∈ N, N ≥ s označme
n o n o
(n) (n)
dfj (N ) = NSD n ∈ N : fj ,j > 0, s ≤ n ≤ N a dpj (N ) = NSD n ∈ N : pj ,j > 0, s ≤ n ≤ N .
Indukcı́ podle N ∈ N ukážeme rovnost těchto dvou čı́sel.
a) Vı́me, že dfj (s) = dpj (s).

b) Necht’ N ∈ N, N ≥ s je takové, že dfj (N ) = dpj (N ).
i) Když N + 1 je dělitelné dfj (N ), pak nutně dfj (N + 1) = dpj (N + 1).
(N +1) (N +1)
ii) Když N + 1 nenı́ dělitelné dfj (N ), pak ze vzorce (2.43) plyne, že pj ,j = fj ,j a
tudı́ž opět dfj (N + 1) = dpj (N + 1).
Ukázali jsme dfj (N ) = dpj (N ) pro všechna N ∈ N, N ≥ s.

Jelikož dfj (s) ≥ dfj (s + 1) ≥ dfj (s + 2) ≥ · · · ≥ 1, existuje m ∈ N, m ≥ s takové, že
n o
(n)
dj = dpj (m) = dfj (m) = NSD n ∈ N : fj ,j > 0 .
Přı́klad 2.71: V úloze o ruinovánı́ hráče (Přı́klad 2.34) jsou stavy 0, a neperiodické, stavy
1, . . . , a − 1 periodické s periodou 2. V Přı́kladě 2.60 (symetrická náhodná procházka na přı́mce)
jsou všechny stavy periodické s periodou 2.
t
Poznámka. Je-li pj ,j > 0, je stav j neperiodický. Tato podmı́nka však nenı́ nutná; např. v řetězci
s maticı́ pravděpodobnostı́ přechodů
 
0 1 0
P =  12 0 21 
1 0 0
(2) (3)
máme p1,1 = 0, p1,1 = 12 , p1,1 = 12 , tedy d1 = 1.
t
Definice 2.72: Uvažujme homogennı́ Markovův řetězec s diskrétnı́m časem, pak stav j ∈ S,
který je trvalý nenulový a neperiodický, se nazývá ergodický.
t
Dále se budeme zabývat limitnı́m chovánı́m pravděpodobnostı́ přechodů v souvislosti s klasifi-

kacı́ stavů. Nejdřı́ve uvedeme jednu pomocnou větu.
’
P+∞ 2.73: Necht {fn , n ∈ N0 } je posloupnost reálných čı́sel takových, že f0 = 0, fn ≥ 0,
Věta
n=0 fn = 1 a NSD {n ∈ N : fn > 0} = 1. Definujme posloupnost {un , n ∈ N0 } předpisem
u0 = 1,
Xn
un = fk un−k , n ≥ 1.
k =0
P+∞
Označme µ = k =0 kfk . Potom 1 ≤ µ ≤ ∞ a při n → ∞
1
un → pokud µ < ∞,
µ
un → 0 pokud µ = ∞.
Důkaz. Feller (1964), str. 331–333.
Věta 2.74: Uvažujme homogennı́ Markovův řetězec s diskrétnı́m časem a stav j ∈ S.

(n)
(i) Když j je přechodný stav, potom pro každé i ∈ S je pi,j → 0 při n → ∞.
(ii) Když j je ergodický (tj. trvalý nenulový a neperiodický), potom 1 ≤ µj < ∞ a při n → ∞
(n) 1
pj ,j → ,
µj
(n) fi,j
pi,j → pro všechna i 6= j ,
µj
P+∞ (n)
kde µj = n=0 nfj ,j je střednı́ doba prvnı́ho návratu do stavu j .
(iii) Když j je trvalý nenulový a periodický s periodou dj , potom 1 ≤ µj < ∞ a při k → ∞
(k dj ) dj (νd +l)
pj ,j → , pj ,j j =0 pro všechna ν ∈ N0 , l ∈ {1, 2, . . . , dj − 1},
µj
+∞
(k dj +l) dj X (νdj +l)
pi,j → f pro všechna l ∈ {0, 1, . . . , dj − 1}, i 6= j
µj ν=0 i,j
a dále platı́ při n → ∞

n
(n) 1 X (ν) 1
pj ,j = pj ,j → ,
n ν=1 µj
n
(n) 1 X (ν) fi,j
pi,j = p → pro všechna i 6= j .
n ν=1 i,j µj
(iv) Když j je trvalý nulový, potom při n → ∞

(n)
pi,j → 0 pro všechna i ∈ S.
Důkaz. i) Necht’ stav j je přechodný.

P+∞ (n) (n)
Potom n=0 pj ,j < ∞ (Věta 2.58) a tudı́ž pj ,j → 0 s rostoucı́m n.
Pro i 6= j podle (2.46) platı́
+∞
X (n) Fi,j (1) fi,j
pi,j = Pi,j (1) = = < ∞.
n=0
1 − Fj ,j (1) 1 − fj ,j
(n)
Odtud pi,j → 0 pro i 6= j .
ii) Necht’ j je ergodický.

n o
(n) (n) (n)
Položme fn = fj ,j , un = pj ,j a uvědomme si, že je-li NSD n ∈ N : pj ,j > 0 = 1, pak je také
n o
(n)
NSD n ∈ N : fj ,j > 0 = 1; viz Lemma 2.70. Zvolená čı́sla splňujı́ předpoklady Věty 2.73,
(n) P+∞ (n)
a proto pj ,j → µ1j , kde µj = n=1 nfj ,j = F0j ,j (1).
Pro i 6= j konvergence
n
(n)
X (k ) (n−k ) fi,j
pi,j = fi,j pj ,j → při n → ∞ (2.55)
µj
k =0
(k ) (n−k ) (k )
plyne z Lebesgueovy věty o integrovatelné majorantě, nebot’ 0 ≤ fi,j pj ,j ≤ fi,j pro každé
(k )
P+∞ (k ) (k ) (n−k ) f
k , n ∈ N0 , k =0 fi,j = fi,j ≤ 1 a fi,j pj ,j → µi,jj při n → ∞, jelikož jsme již dokázali, že
(n−k ) 1
pj ,j → µj při n → ∞.
iii) Necht’ j je trvalý nenulový s periodou dj ≥ 2.

n o n o
(n) (n)
Vı́me dj = NSD n ∈ N : pj ,j > 0 = NSD n ∈ N : fj ,j > 0 ; viz Lemma 2.70.
(n) (n)
Potom pj ,j = 0, fj ,j = 0 pro n 6= k dj , k ∈ N0 . Označme pro k ∈ N0
(k ) (k dj ) (k ) (k d )
pej ,j = pj ,j , fej ,j = fj ,j j . (2.56)
(k ) (k )
Podle Věty 2.73 aplikované na fk = fej ,j , uk = pej ,j platı́ pro k → ∞
(k ) 1
pej ,j → ,
µ
ej
n o
kde µ
ej =
P+∞
k e(k ) = F
f ej ,j je vytvořujı́cı́ funkce posloupnosti fe(k ) .
e0 (1) a F
k =1 j ,j j ,j j ,j
Platı́
+∞ +∞ k d j +∞ n
(k ) (k dj ) (n)
X X X
F
ej ,j (s) = fej ,j s k = fj ,j s 1/dj = fj ,j s 1/dj = Fj ,j s 1/dj .
k =0 k =0 n=0
Odkud dostáváme
e0 (1) = 1 0 µj
µ
ej = F j ,j F (1) = ,
dj j ,j dj
takže
(k dj ) dj
pj ,j → při k → ∞.
µj
Pro i 6= j dostaneme z (2.44)

k +∞
(k d +l)
X (νd +l) (k −ν)dj dj X (νdj +l)
pi,j j = fi,j j pj ,j → f při k → ∞.
ν=0
µj ν=0 i,j
Konvergence plyne z Lebesgueovy věty o integrovatelné majorantě, nebot’

(νd +l) (k −ν)dj (νd +l)
0 ≤ fi,j j pj ,j ≤ fi,j j pro každé k , ν ∈ N0 ,
P+∞ (νdj +l) P+∞ (k ) (νd +l) (k −ν)dj (νd +l) d
ν=0 fi,j ≤ k =0 fi,j = fi,j ≤ 1 a fi,j j pj ,j → fi,j j µjj při k → ∞, jelikož
(k −ν)dj dj
jsme již dokázali, že pj ,j → µj při k → ∞.
Podle Tauberovy věty (položka (iv) v Přı́loze A) a (2.46)

n
(n) 1 X (ν)
lim pi,j = lim pi,j = lim (1 − s)Pi,j (s)
n→∞ n→∞ n s→1−
ν=1
1−s Fi,j (1) fi,j
= lim Fi,j (s) = 0 = .
s→1− 1 − Fj ,j (s) Fj ,j (1) µj
(n) (n)
iv) Je-li j trvalý nulový neperiodický, potom podle Věty 2.73 pro volbu fn = fj ,j , un = pj ,j je
(n) P+∞ (n)
pj ,j → 0, jelikož µj = n=1 nfj ,j = ∞.
Pro i 6= j konvergence
n
(n) (k ) (n−k )
X
pi,j = fi,j pj ,j →0 při n → ∞
k =0
(k ) (n−k ) (k )
plyne z Lebesgueovy věty o integrovatelné majorantě, nebot’ 0 ≤ fi,j pj ,j ≤ fi,j pro každé
P+∞ (k ) (k ) (n−k ) (n−k )
k , n ∈ N0 , k =0 fi,j = fi,j ≤ 1 a fi,j pj ,j → 0 při n → ∞, jelikož již vı́me, že pj ,j →0
při n → ∞.
v) Necht’ j trvalý nulový s periodou dj ≥ 2.
n o n o
(n) (n)
Vı́me dj = NSD n ∈ N : pj ,j > 0 = NSD n ∈ N : fj ,j > 0 ; viz Lemma 2.70.
(n) (n)
Potom pj ,j = 0, fj ,j = 0 pro n 6= k dj , k ∈ N0 . Označme pro k ∈ N0
(k ) (k dj ) (k ) (k d )
pej ,j = pj ,j , fej ,j = fj ,j j .
(k ) (k )
Podle Věty 2.73 aplikované na fk = fej ,j , uk = pej ,j platı́ pro k → ∞
(k )
pej ,j → 0,
P+∞ (k ) P+∞ (k dj ) 1
P+∞ (n)
nebot’ µ
ej = k =1 k fej ,j = k =1 k fj ,j = dj n=0 nfj ,j = ∞.
(n)
Tudı́ž pj ,j → 0 při n → ∞.
Pro i 6= j dostaneme z (2.44)

k
(k dj +l) (νdj +l) (k −ν)dj
X
pi,j = fi,j pj ,j →0 při k → ∞.
ν=0
Konvergence plyne z Lebesgueovy věty o integrovatelné majorantě, nebot’

(νd +l) (k −ν)dj (νd +l)
0 ≤ fi,j j pj ,j ≤ fi,j j pro každé k , ν ∈ N0 ,
P+∞ (νdj +l) P+∞ (k ) (νd +l) (k −ν)dj
ν=0 fi,j ≤ k =0 fi,j = fi,j ≤ 1 a fi,j j pj ,j → 0 při k → ∞, jelikož jsme již
(k −ν)dj
dokázali, že pj ,j → 0 při k → ∞.
Podle Tauberovy věty (položka (iv) v Přı́loze A) a (2.46)
n
(n) 1 X (ν)
lim pi,j = lim pi,j = lim (1 − s)Pi,j (s)
n→∞ n→∞ n s→1−
ν=1
1−s
= lim Fi,j (s) = 0,
s→1− 1 − Fj ,j (s)
1−Fj ,j (s) P+∞ (n)
nebot’ lims→1− 1−s = n=0 nfj ,j = ∞.
Poznámka. Vztah
n
(n) 1 X (k ) fi,j
pi,j = pi,j → , i 6= j
n µj
k =1
platı́ i v přı́padě, že stav j je trvalý nenulový neperiodický.
Věta 2.75: Uvažujme homogennı́ Markovův řetězec s diskrétnı́m časem a trvalý stav j ∈ S, pak
(n)
j je nulový právě tehdy, když pj ,j → 0 při n → ∞.
(n)
Důkaz. Necht’ j je trvalý stav, pro který pj ,j → 0.
n (k)
Potom 1n k =1 pj ,j → 0 a tedy podle Tauberovy věty
P
lim (1 − s)Pj ,j (s) = 0,

s→1−
což podle (2.45) implikuje

1−s 1 1
lim = 0 = = 0,
s→1− 1 − Fj ,j (s) Fj ,j (1) µj
tedy j je nulový.
Zbytek důkazu plyne z Věty 2.74.
2.5 Rozklad množiny stavů
Definice 2.76: Řekneme, že stav j je dosažitelný ze stavu i , jestliže existuje n ∈ N0 tak, že
(n) (n)
pi,j > 0. Jestliže pi,j = 0 pro všechna n ∈ N0 , řı́káme, že j nenı́ dosažitelný z i .
(0) (0)
Poznámka. Každý stav je dosažitelný ze sebe sama, nebot’ pj ,j = 1 (je pi,j = δi,j ).
Definice 2.77: Neprázdná množina stavů C se nazývá uzavřená, jestliže žádný stav mimo C
(n)
nenı́ dosažitelný z žádného stavu z C, tj. pi,j = 0 ∀n ∈ N0 , ∀i ∈ C a j ∈ / C. Když A je množina
stavů, pak nejmenšı́ uzavřená množina, která ji obsahuje, se nazývá uzávěr množiny A. Uzavřená
množina stavů se nazývá nerozložitelná, jestliže neobsahuje žádnou uzavřenou vlastnı́ podmnožinu.
Věta 2.78: Množina stavů C je uzavřená tehdy a jen tehdy, když pi,j = 0 pro všechna i ∈ C,
j ∈
/ C.
Důkaz.
(n)
1. Necht’ C je uzavřená, potom ∀ i ∈ C, j ∈
/ C je pi,j = 0 ∀ n ∈ N0 a tedy i pro n = 1.
(n)
2. Necht’ pi,j = 0 ∀ i ∈ C, j ∈
/ C. Ukážeme indukcı́, že pi,j = 0 pro každé n ∈ N0 .
Pro n = 0 tento vztah platı́ triviálně, nebot’ i 6= j , a pro n = 1 platı́ podle předpokladu.
(n)
Necht’ pro nějaké n ∈ N platı́ pi,j = 0 ∀ i ∈ C, j ∈
/ C.
Podle Chapmanovy-Kolmogorovovy rovnosti (2.29) platı́
(n+1) (n) (n) (n)
X X X
pi,j = pi,k pk ,j = pi,k pk ,j + pi,k pk ,j = 0.
k ∈S k ∈C k ∈C
/
(n)
Protože, když k ∈ C, potom pk ,j = 0 podle předpokladu věty, a když k ∈
/ C, potom pi,k = 0
podle indukčnı́ho předpokladu.
Poznámka. Vynecháme-li v matici pravděpodobnostı́ přechodů P řádky a sloupce odpovı́dajı́cı́

stavům vně uzavřené množiny C, dostaneme opět stochastickou matici. Takto vybraná podmatice
je maticı́ pravděpodobnostı́ přechodů Markovova řetězce, jehož množina stavů je C. Tomuto řetězci
se řı́ká podřetězec původnı́ho řetězce.
Poznámka. Uzávěr jednobodové množiny {j } je množina všech stavů dosažitelných z j (podle

definice do něho patřı́ i sám stav j ).
Jednobodová množina {j } je uzavřená, když pj ,j = 1.
Definice 2.79: Stav j se nazývá absorpčnı́, je-li jednobodová množina {j } uzavřená, tj. jestliže
pj ,j = 1.
Definice 2.80: Markovův řetězec se nazývá nerozložitelný, jestliže v něm neexistuje jiná uzavřená
množina než množina všech stavů, tj. jestliže každý jeho stav je dosažitelný z každého jiného stavu.
V opačném přı́padě je řetězec rozložitelný.
Definice 2.81: Nerozložitelnému homogennı́mu Markovovu řetězci s diskrétnı́m časem, ve kterém

jsou všechny stavy ergodické, řı́káme ergodický řetězec.
t
Přı́klad 2.82: V úloze o ruinovánı́ hráče (Přı́klad 2.34) jsou ze stavů 1, 2, . . . , a − 1 dosažitelné
všechny stavy 0, 1, . . . , a,, ze stavu 0 je dosažitelný jen stav 0, ze stavu a je dosažitelný jen stav
a. Množiny {0} , {a} jsou uzavřené, množina {1, 2, . . . , a − 1} nenı́ uzavřená, nebot’ např. stav 0 je
dosažitelný ze stavu 1. Stavy 0 a a jsou absorpčnı́. Řetězec je rozložitelný.
V modelu havarijnı́ho pojištěnı́ (Přı́klad 2.38) jsou všechny stavy vzájemně dosažitelné. Řetězec
je nerozložitelný.
t
Přı́klad 2.83: Uvažujme řetězec s množinou stavů S = {1, 2, 3, . . .}, s počátečnı́m rozdělenı́m
>
p = (1, 0, 0, . . . ) a s pravděpodobnostmi přechodů pi,i+1 = 1 pro i ∈ N. Množina stavů obsahuje
uzavřené podmnožiny {i , i + 1, . . .} pro každé i ∈ N. Tento řetězec je rozložitelný.
t
Věta 2.84: Homogennı́ Markovův řetězec s diskrétnı́m časem s konečně mnoha stavy je rozložitelný
tehdy a jen tehdy, je-li (po přı́padném přečı́slovánı́ stavů) matice pravděpodobnostı́ přechodů tvaru

P1 0
P = (2.57)
A B
kde P 1 , B jsou čtvercové matice.
t
Důkaz. 1. Necht’ P je tvaru (2.57), kde P 1 , B jsou čtvercové matice. Potom P 1 je stochastická
matice, která odpovı́dá vlastnı́ uzavřené podmnožině stavů a řetězec je rozložitelný.
2. Necht’ řetězec je rozložitelný, tedy obsahuje uzavřenou podmnožinu stavů. Stavy řetězce
přečı́slujme tak, aby nejnižšı́ pořadová čı́sla patřila stavům z uvažované uzavřené množiny.
Provedenı́m permutacı́ na řádky a sloupce matice P dostane matice tvar (2.57).
Přı́klad 2.85: Uvažujme řetězec s maticı́ pravděpodobnostı́ přechodů

 
0 0 0 0 1
0 0 0 1 0
 
 1 1 1

P = 0 3 3 3 0
 .
1 1 1 1 1
5 5 5 5 5
1 0 0 0 0
Vidı́me, že v řetězci je uzavřená množina {1, 5}. Po provedenı́ permutace (1, 5, 2, 3, 4) na řádky a
sloupce dostaneme matici ve tvaru

 
0 1 0 0 0
1 0 0 0 0
 
 
0 0 0 0 1
 .
1 1 1
0 0

3 3 3
1 1 1 1 1
5 5 5 5 5
Poznámka. Předpoklad o tom, že matice P 1 , B jsou čtvercové, je podstatný. Např. řetězec s ma-
ticı́ pravděpodobnostı́ přechodů
1 1 
2 2 0
P =  13 13 13 
 
1 1 1
3 3 3
(2)
je nerozložitelný, nebot’ p1,3 > 0, tedy stav 3 je dosažitelný ze stavu 1 (po dvou krocı́ch).
Definice 2.86: Řekneme, že dva stavy Markovova řetězce jsou stejného typu, jsou-li oba současně
bud’ přechodné nebo oba trvalé nulové nebo nenulové, oba neperiodické nebo periodické se stejnou
periodou.
Věta 2.87: Je-li stav j dosažitelný ze stavu i a stav i dosažitelný ze stavu j , potom jsou oba
stejného typu.
Důkaz. Když je stav j dosažitelný ze stavu i a stav i dosažitelný ze stavu j , potom existujı́
(M ) (N )
M , N ∈ N tak, že pi,j = α > 0, pj ,i = β > 0.
Podle Chapmanovy-Kolmogorovovy rovnosti (2.29) pro libovolné n ∈ N0 platı́:
(M +N +n)
X (M ) (N +n) (M ) (N +n)
pi,i = pi,k pk ,i ≥ pi,j pj ,i
k ∈S
(M ) (n) (N ) (M ) (n) (N )
X
= pi,j pj ,k pk ,j ≥ pi,j pj ,j pj ,i .
k ∈S
Zaměnı́me-li roli i a j , dostaneme

(M +N +n) (N ) (n) (M )
pj ,j ≥ pj ,i pi,i pi,j .
Odtud dostáváme:
(M +N +n) (n)
pi,i ≥ αβpj ,j , (2.58)
(M +N +n) (n)
pj ,j ≥ αβpi,i . (2.59)
Argumentace pro stavy j a i je symetrická. Stačı́ proto z parametrů stavu i odvodit parametry
stavu j .
• Je-li i přechodný, je také j přechodný, podle (2.58) a Věty 2.58.
• Je-li i trvalý, potom z (2.59) a Věty 2.58 plyne, že také j je trvalý.
• Je-li i trvalý nulový, potom podle (2.58) a Věty 2.75 také j musı́ být trvalý nulový.
• Je-li i trvalý nenulový, potom (2.59) implikuje, že j je trvalý nenulový.

• Nynı́ vyšetřeme periodicitu. Necht’ i má “periodu” di .

(M +N )
Podle (2.58) pro n = 0 je pi,i ≥ αβ > 0, tedy M + N je dělitelné čı́slem di .
(M +N +n)
Potom pi,i je rovno nule pro n nedělitelné di . Kladné může být pouze pro n dělitelné
di .
(n)
Odtud a z (2.58) pj ,j = 0 pro n nedělitelné di .
n o n o
(n) (n)
Tedy dj = NSD n : pj ,j > 0 ≥ NSD n : pi,i > 0 = di .
Zaměnı́me-li roli i a j , dostaneme di ≥ dj , tedy di = dj .
Věta 2.88: V nerozložitelném řetězci jsou všechny stavy stejného typu.
Důkaz. Plyne jako důsledek z předchozı́ věty.
Věta 2.89: Uvažujme stavy j , k ∈ S, j 6= k . Necht’ j je trvalý a k je dosažitelný z j . Potom
(i) k je trvalý,
(ii) j je dosažitelný z k ,
(iii) fj ,k = Pj (τk (1) < ∞) = Pk (τj (1) < ∞) = fk ,j = 1.
Důkaz. Předpokládejme BÚNO P (X0 = j ) > 0.

Stav k je podle předpokladu dosažitelný z j , tedy existuje m takové, že
(m) (1) (2) (m−1)
pj ,k > 0 a pj ,k = pj ,k = pj ,k = 0.
1. Máme odhad
0 ≤ P (X0 = j , Xm = k ) − P (X0 = j , X1 6= j , . . . , Xm−1 6= j , Xm = k )

= P ([X0 = j ] ∩ ([X1 = j ] ∪ [X2 = j ] ∪ · · · ∪ [Xm−1 = j ]) ∩ [Xm = k ])
m−1 m−1
(ν) (m−ν)
X X
≤ P (X0 = j , Xν = j , Xm = k ) = pj pj ,j pj ,k = 0.
ν=1 ν=1
Odtud
(m)
Pj (X1 6= j , . . . , Xm−1 6= j , Xm = k ) = Pj (Xm = k ) = pj ,k . (2.60)
2. Předpokládejme, že j nenı́ dosažitelný z k , potom
Pk (Xn 6= j ∀ n ∈ N) = Pk (τj (1) = ∞) = 1.
Protože j je trvalý, je podle Věty 2.67 Pj (Nj = ∞) = 1, tedy musı́ být

Pj (Xm+n 6= j ∀ n ∈ N0 ) = 0 (m je konečné).
Potom s využitı́m (2.15) platı́

0 = Pj (Xm+n 6= j ∀ n ∈ N0 ) ≥ Pj (Xm = k , Xm+n 6= j ∀ n ∈ N)
= P ( Xm = k , Xm+n 6= j ∀ n ∈ N| X0 = j )
= P ( Xm+n 6= j ∀ n ∈ N| Xm = k , X0 = j ) P ( Xm = k | X0 = j )
= P ( Xm+n 6= j ∀ n ∈ N| Xm = k ) P ( Xm = k | X0 = j )
(m) (m)
= Pk (Xn 6= j ∀ n ∈ N) pj ,k = pj ,k > 0,
což je spor, tedy j je dosažitelný z k .
Tı́m je (ii) dokázáno.
3. Vı́me již, že stavy j , k jsou vzájemně dosažitelné. Podle Věty 2.87 jsou tedy stejného typu.
Tedy (i) je ukázáno.
4. Podobně máme s využitı́m podmiňovánı́, homogenity, (2.15) a (2.60)
1 − fj ,j = Pj (τj (1) = ∞) ≥ Pj (τj (1) = ∞, Xm = k )
= Pj (X1 6= j , . . . , Xm−1 6= j , Xm = k , Xm+n 6= j ∀ n ∈ N)
= Pj (X1 6= j , . . . , Xm−1 6= j , Xm = k )
· P ( Xm+n 6= j ∀ n ∈ N | X0 = j , X1 6= j , . . . , Xm−1 6= j , Xm = k )
(2.60),(2.15)
= Pj (Xm = k ) P ( Xm+n 6= j ∀ n ∈ N | Xm = k )
(m) (m) (m)
= pj ,k Pk (Xn 6= j ∀ n ∈ N) = pj ,k Pk (τj (1) = ∞) = pj ,k [1 − fk ,j ] .
(m)
Protože j je trvalý, je fj ,j = 1 a tudı́ž i fk ,j = 1 (nebot’ pj ,k > 0).
Protože také k je trvalý, dokážeme stejným způsobem, že fj ,k = 1.
Vidı́me, že množina stavů dosažitelných z nějakého trvalého stavu je uzavřená a nerozložitelná.
Předchozı́ věta nám tak umožňuje rozložit množinu stavů S Markovova řetězce následujı́cı́m
způsobem. Necht’ j1 je trvalý stav a C1 je množina všech stavů dosažitelných z j1 ; necht’ j2 je
trvalý stav, který nepatřı́ do C1 , a C2 je množina všech stavů dosažitelných z j2 atd.
Můžeme tedy psát S ve tvaru
S = T ∪ C1 ∪ C2 ∪ . . . ,
kde T je množina stavů přechodných a C1 , C2 , . . . jsou disjunktnı́ uzavřené nerozložitelné množiny
stavů trvalých.
Je-li množina stavů S konečná, potom matice pravděpodobnostı́ přechodů (po eventuálnı́m
přečı́slovánı́ stavů) má tvar
 
P1 0 ... 0 0
 0 P2 ... 0 0 
 
 .. .
.. .
. ..  ,
P = . ... . . 
 
0 0 ... Pr 0 
Q1 Q2 . . . Qr Qr+1
kde P 1 , . . . , P r jsou čtvercové matice pravděpodobnostı́ přechodů mezi trvalými stavy v jed-
notlivých podřetězcı́ch C1 , . . . , Cr a Q1 , . . . , Qr+1 obsahujı́ pravděpodobnosti přechodu ze stavů
přechodných. (Analogický rozklad si lze představit i pro matici pravděpodobnostı́ přechodů v řetězci
se spočetně mnoha stavy. !! Ale každá ze skupin může být nekonečná ! Musı́ se tedy použı́t inde-
xovánı́ ordinálnı́mi čı́sly !!).
Existenci trvalých stavů v řetězci s konečně mnoha stavy zaručuje následujı́cı́ věta.
Věta 2.90: V řetězci s konečně mnoha stavy nemohou být všechny stavy přechodné.
Důkaz. Předpokládejme, že všechny stavy jsou přechodné. Potom podle tvrzenı́ (i) ve Větě 2.74
(n)
platı́ pi,j → 0 při n → ∞ ∀ i , j ∈ S. Odtud
(n) (n)
X X
lim pi,j = lim p = 0, ∀ i ∈ S,
n→∞ n→∞ i,j
j ∈S j ∈S
n o
(n)
což je spor, nebot’ matice P (n) = pi,j , i , j ∈ S je stochastická a jejı́ řádkové součty jsou rovny
jedné.
Přı́klad 2.91: V řetězci s nekonečně mnoha stavy mohou být všechny stavy přechodné. Uvažujme
stejně jako v Přı́kladě 2.83 řetězec s množinou stavů S = {1, 2, 3, . . .}, s počátečnı́m rozdělenı́m
> (n)
p = (1, 0, 0, . . . ) a s pravděpodobnostmi přechodu pi,i+1 = 1, i ≥ 1. Potom pi,i = 0 ∀ i ∈ S a
P+∞ (n)
∀ n ≥ 1, tedy n=1 pi,i = 0 < ∞ pro každý stav i ∈ S. Všechny stavy jsou přechodné.
Věta 2.92: V homogennı́m Markovově řetězci s diskrétnı́m časem s konečně mnoha stavy neexis-
tujı́ trvalé nulové stavy.
Důkaz. Necht’ i je trvalý nulový stav a C je množina stavů dosažitelných z i . Potom podle Věty 2.89
je C uzavřená nerozložitelná množina trvalých nulových stavů, která definuje podřetězec s maticı́
(n)
pravděpodobnostı́ přechodů P C = {pi,j , i , j ∈ C}. Podle Věty 2.74 (iv) pi,j → 0 ∀i , j ∈ C. Jelikož
C je konečná
(n) (n)
X X
lim pi,j = lim p = 0, i ∈ C,
n→∞ n→∞ i,j
j ∈C j ∈C
n o
(n) (n)
což je spor, nebot’ P C i P C = pi,j , i , j ∈ S jsou stochastické matice.
Věta 2.93: V nerozložitelném řetězci s konečně mnoha stavy jsou všechny stavy trvalé nenulové.
Důkaz. Tvrzenı́ je důsledek Vět 2.88, 2.90 a 2.92.

2.6 Pravděpodobnosti absorpce

V předchozı́m odstavci jsme ukázali, že množinu stavů S Markovova řetězce lze rozložit na dis-
junktnı́ sjednocenı́
S = T ∪ C1 ∪ C2 ∪ . . . ,
kde T je množina stavů přechodných a C1 , C2 , . . . jsou uzavřené nerozložitelné množiny stavů

trvalých. Množiny Ck mohou být i jednoprvkové; ty odpovı́dajı́ stavům absorpčnı́m, pro které
pj ,j = 1. Řetězec s konečně mnoha stavy, jehož všechny trvalé stavy jsou absorpčnı́, se nazývá
absorpčnı́ řetězec.
Uvažujme homogennı́ Markovův řetězec s diskrétnı́m časem X = {Xn , n ∈ N0 } s množinou
přechodných stavů T a definujme náhodnou veličinu
τ = inf {n ≥ 0 : Xn ∈
/ T}, (2.61)
která značı́ čas prvnı́ho výstupu z množiny přechodných stavů T . Zřejmě τ je náhodná veličina
nabývajı́cı́ hodnot 0, 1, . . . a ∞. Nevlastnı́ hodnotu ∞ může nabývat s kladnou pravděpodobnostı́,
jako v Přı́kladě 2.91, kde T = S a tudı́ž Pi (τ = ∞) = 1 ∀ i ∈ S.
Věta 2.94: V homogennı́m Markovově řetězci s diskrétnı́m časem a konečně mnoha stavy je
Pi (τ = ∞) = 0 pro každé i ∈ T .
Důkaz. Protože S a tudı́ž i T je konečná, platı́ pro každé i ∈ T

 
[ X
Pi (τ = ∞) = Pi  [Nj = ∞] ≤ Pi (Nj = ∞) = 0,
j ∈T j ∈T
nebot’ je-li stav j přechodný, platı́ podle Věty 2.67 Pi (Nj = ∞) = 0. (Připommı́náme, že Nj značı́
počet návštěv stavu j po čase 0.)
Náhodná veličina Xτ označuje ten stav, do kterého řetězec vstoupı́, jakmile opustı́ množinu
přechodných stavů T , tj. v náhodném čase τ . Pokud řetězec množinu přechodných stavů neopustı́,
klademe Xτ = ∞.
Definujme pravděpodobnosti
ui,j = Pi (Xτ = j ) , i ∈ T, j ∈ S \ T, (2.62)

(n)
ui,j = Pi (Xτ = j , τ = n) , i ∈ T, j ∈ S \ T, n ∈ N0 .
Významem ui,j je pravděpodobnost, že řetězec, který byl na počátku v přechodném stavu i , opustı́
množinu přechodných stavů a přejde do trvalého stavu j .
(n)
Obdobně ui,j je pravděpodobnost, že k tomuto přechodu dojde právě v čase n.
Je-li j absorpčnı́ stav, potom ui,j je pravděpodobnost, že řetězec, který byl na počátku v přechodném
stavu i , je absorbován stavem j .
Je-li Ck nějaká uzavřená nerozložitelná množina stavů trvalých, potom pravděpodobnost, že
řetězec, který vycházı́ z i , po opuštěnı́ množiny přechodných stavů setrvá v množině Ck , budeme
označovat
X
ui (Ck ) = Pi (Xτ ∈ Ck ) = ui,j . (2.63)
j ∈Ck
Ukažme nynı́, jak lze pravděpodobnosti ui,j počı́tat pomocı́ pravděpodobnostı́ přechodu.
Věta 2.95: Pro pravděpodobnosti ui,j definované v (2.62) platı́

X
ui,j = pi,j + pi,ν uν,j , i ∈ T, j ∈ S \ T. (2.64)
ν∈T
Důkaz. Předpokládejme BÚNO P (X0 = i ) > 0. Z definice vı́me

∞
(n)
X
ui,j = ui,j , i ∈ T, j ∈ S \ T.
n=0
(n)
Pro pravděpodobnosti ui,j platı́
(0)
ui,j = Pi (Xτ = j , τ = 0) = 0, nebot’ τ ≥ 1,
(1)
ui,j = Pi (Xτ = j , τ = 1) = Pi (X1 = j , τ = 1) = Pi (X1 = j ) = pi,j .
Pro n ∈ N odvodı́me rekurentnı́ formuli

(n+1)
ui,j = Pi (Xτ = j , τ = n + 1) = Pi (Xn+1 = j , τ = n + 1)
= Pi (X1 ∈ T, X2 ∈ T, . . . , Xn ∈ T, Xn+1 = j )
X
= Pi (X1 = ν, X2 ∈ T, . . . , Xn ∈ T, Xn+1 = j )
ν∈T
X
= Pi (X1 = ν) P ( X2 ∈ T, . . . , Xn ∈ T, Xn+1 = j | X1 = ν, X0 = i )
ν∈T
(2.1) X
= Pi (X1 = ν) P ( X2 ∈ T, . . . , Xn ∈ T, Xn+1 = j | X1 = ν)
ν∈T
X
= Pi (X1 = ν) Pν (X1 ∈ T, . . . , Xn−1 ∈ T, Xn = j )
ν∈T
X X
= pi,ν Pν (Xn = j , τ = n) = pi,ν Pν (Xτ = j , τ = n)
ν∈T ν∈T
(n)
X
= pi,ν uν,j .
ν∈T
Dostáváme tedy
∞ ∞ ∞ X
(n) (n) (n−1)
X X X
ui,j = ui,j = ui,j = pi,j + pi,ν uν,j
n=0 n=1 n=2 ν∈T
∞
(n−1)
X X X
= pi,j + pi,ν uν,j = pi,j + pi,ν uν,j .
ν∈T n=2 ν∈T
Vztah (2.64) můžeme vyjádřit i maticově. U řetězce s konečně stavy můžeme matici pravdě-
podobnostı́ přechodů (po eventuálnı́m přečı́slovánı́ stavů ) psát ve tvaru
∗
P 0
P = , (2.65)
Q R
kde P ∗ = {pi,j , i , j ∈ S \ T }, Q = {pi,j , i ∈ T, j ∈ S \ T }, R = {pi,j , i , j ∈ T }.
Pro obecnou množinu stavů označme

Q = {pi,j , i ∈ T, j ∈ S \ T }, R = {pi,j , i , j ∈ T }, U = {ui,j , i ∈ T, j ∈ S \ T }.
Potom vztah (2.64) můžeme přepsat do tvaru
U = Q + RU , (2.66)
přı́padně
(I − R) U = Q, (2.67)
kde I je jednotková matice stejného řádu jako R.
Pokud má Markovův řetězec konečně přechodných stavů a když k matici I − R existuje matice
inverznı́, potom existuje jediné řešenı́ této soustavy
U = (I − R)−1 Q. (2.68)
Existenci inverznı́ matice k I − R zaručuje následujı́cı́ tvrzenı́.
Věta 2.96: Uvažujme homogennı́ Markovův řetězec s diskrétnı́m časem. Necht’ množina jeho
přechodných stavů T je konečná. Potom matice I − R je regulárnı́ a platı́
∞
X
−1
(I − R) = Rk .
k =0
Důkaz. Je-li množina T konečná, je R konečná čtvercová matice obsahujı́cı́ jen pravděpodobnosti
přechodu mezi stavy přechodnými. n o
(n) (n)
Z rozkladu (2.65) plyne, že Rn = pi,j , i , j ∈ T . Podle Věty 2.74 pi,j → 0 při n → ∞ ∀ i , j ∈
T, tedy Rn konverguje s rostoucı́m n k nulové matici.
Zbytek tvrzenı́ plyne z Věty B.3 v Přı́loze B.
Poznámka. Matice F = (I − R)−1 = {ϕi,j , i , j ∈ T } se nazývá fundamentálnı́ matice Markovova
P∞ (n)
řetězce. Pro jejı́ prvky platı́ ϕi,j = n=0 pi,j .
t
Přı́klad 2.97: Student vysoké školy během studia úspěšně ukončı́ ročnı́k a postoupı́ do dalšı́ho
ročnı́ku s pravděpodobnostı́ p, opakuje ročnı́k s pravděpodobnostı́ r a zanechá studia s pravděpo-
dobnostı́ q, kde p + q + r = 1. Předpokládáme, že pravděpodobnosti p, q, r jsou konstantnı́. Potom
lze výsledky studia v jednotlivých ročnı́cı́ch popsat Markovovým řetězcem s množinou stavů 1–
zanechánı́ studia, 2–úspěšné ukončenı́ studia, 3–studium 1.ročnı́ku, atd., 7– studium 5.ročnı́ku.
Matice pravděpodobnostı́ přechodů má tvar
 
1 0 0 0 0 0 0
0 1 0 0 0 0 0
 
q 0 r p 0 0 0 
 
P = q 0 0 r p 0 0  ,

q 0 0 0 r p 0 
 
q 0 0 0 0 r p 
q p 0 0 0 0 r
stavy ”zanechánı́ studia”a ”úspěšné ukončenı́ studia”jsou absorpčnı́, ostatnı́ stavy jsou přechodné.
Máme
   
q 0 r p 0 0 0
q 0 0 r p 0 0
   
Q = q 0 ,
  R= 0 0 r p 0

q 0 0 0 0 r p
q p 0 0 0 0 r
a
p2 p3 p4
 p

1
p+q (p+q)2 (p+q)3 (p+q)4 (p+q)5
p p2 p3 
 1

 0
 p+q (p+q)2 (p+q)3 (p+q)4 
F = 0 1 p p2  .
 
 0 p+q (p+q)2 (p+q)3 
1 p
 0 0 0
 
p+q (p+q)2 
1
0 0 0 0 p+q
Student, který studuje v prvnı́m ročnı́ku, zanechá studia s pravděpodobnostı́

p2 p3 p4

1 p
u3,1 = q + + + +
p + q (p + q)2 (p + q)3 (p + q)4 (p + q)5
a úspěšně ukončı́ studium s pravděpodobnostı́
p5
u3,2 = = 1 − u3,1 .
(p + q)5
Přı́klad 2.98: Určeme pravděpodobnost zruinovánı́ hráče A z Úlohy 2.34.

Vı́me, že stavy 0, a jsou absorpčnı́, ostatnı́ stavy jsou přechodné. Hledáme tedy pravděpodob-
nost absorpce z přechodného stavu i ∈ {1, 2, . . . , a − 1} (počátečnı́ kapitál hráče A) do stavu 0.
Podle (2.64) pravděpodobnosti absorpce musı́ splňovat rovnice
a−1
X
ui,0 = pi,0 + pi,ν uν,0 , i = 1, . . . , a − 1.
ν=1
Dosadı́me-li za pravděpodobnosti přechodu, vidı́me, že hledané pravděpodobnosti absorpce musı́

vyhovovat soustavě rovnic
u1 − q − pu2 = 0,
ui − qui−1 − pui+1 = 0, i = 2, . . . , a − 2, (2.69)
ua−1 − qua−2 = 0,
když pro jednoduchost značı́me ui,0 jako ui . Dodefinujme
u0 = 1, ua = 0. (2.70)
Potom soustavu (2.69) lze řešit jako homogennı́ diferenčnı́ rovnici
−pui+1 + ui − qui−1 = 0 (2.71)

s okrajovými podmı́nkami (2.70). Charakteristický polynom této rovnice je −pλ2 + λ − q, který

má kořeny 1 a pq .
Obecné řešenı́ diferenčnı́ rovnice (2.71) je
i
q
ui = c 1 + c 2 , p 6= q
p
ui = c 1 + i c 2 , p = q.
Z okrajových podmı́nek dostaneme pro p 6= q konstanty

a
q
p 1
c1 = − a , c2 = a ,
q q
1− p 1− p
tedy
i a
q
p − pq
ui = a , i = 1, . . . , a − 1.
q
1− p
Pro p = q z okrajových podmı́nek dostaneme

1
c1 = 1, c2 = − ,
a
tedy
i
ui = 1 − , i = 1, . . . a − 1.
a
Uvažujme ještě náhodnou veličinu Wj , která značı́ celkový počet časových okamžiků, které
řetězec strávı́ v přechodném stavu j . Zřejmě
(
Nj + 1, když X0 = j ,
Wj =
Nj , když X0 = i a i 6= j .
Pro střednı́ hodnotu náhodné veličiny Wj máme

"∞ # ∞ ∞
(n)
X X X
Ei [Wj ] = Ei [Nj ] = Ei I [Xn = j ] = Pi (Xn = j ) = pi,j
n=1 n=1 n=1
pro i , j ∈ T, i 6= j ,
∞
(n)
X
Ej [Wj ] = Ej [Nj ] + 1 = pj ,j + 1 pro j ∈ T.
n=1
(0)
Jelikož pi,j = δi,j , dostáváme jednotný vzoreček
∞
(n)
X
Ei [Wj ] = pi,j pro i , j ∈ T.
n=0
Je-li množina T konečná, potom s přihlédnutı́m k Větě 2.96 můžeme psát
Ei [Wj ] = ϕi,j , i , j ∈ T,
kde ϕi,j jsou odpovı́dajı́cı́ prvky fundamentálnı́ matice F = (I − R)−1 .

P
Označı́me-li ještě jako W = j ∈T Wj celkový počet časových okamžiků strávených v množině
přechodných stavů T , potom
∞
(n)
X XX
Ei [W ] = Ei [Wj ] = ϕi,· 1 = pi,j pro i , j ∈ T,
j ∈T j ∈T n=0
>
kde ϕi,· je řádek matice F odpovı́dajı́cı́ počátečnı́mu stavu i a 1 = (1, 1, . . . , 1) (sloupcový
vektor.)
Zatı́m vı́me, že je-li S ( a tedy i T ) konečná množina, potom Pi (τ = ∞) = 0, i ∈ T a
soustava rovnic (2.64), resp. (2.66) má jediné řešenı́, které v maticovém tvaru je U = F Q, kde F
je fundamentálnı́ matice. V přı́padě, že S nenı́ konečná, může být, jak jsme ukázali na Přı́kladě
2.91, Pi (τ = ∞) > 0 a nabı́zı́ se také otázka, zda soustava (2.64) má jediné řešenı́. Tento problém
řešı́ následujı́cı́ věta.
Věta 2.99: Rozdělme množinu stavů homogennı́ho Markovova řetězce s diskrétnı́m časem na dvě
disjunktnı́ neprázdné skupiny A, B, tedy S = A ∪ B, A ∩ B = ∅, a uvažujme markovský čas
σ = inf {n ∈ N : Xn ∈
/ A} ,
který značı́ čas prvnı́ho výstupu z množiny stavů A, nebo-li čas prvnı́ho vstupu do množiny stavů
B. Potom je ekvivalentnı́:
(i) Soustava rovnic

X
xi = pi,j xj pro každé i ∈ A (2.72)
j ∈A
nemá jiné řešenı́ s vlastnostı́ 0 ≤ xi ≤ 1 ∀i ∈ A nežli triviálnı́, tj. xi = 0 ∀i ∈ A.
(ii)
Pi (σ = ∞) = 0 pro každé i ∈ A. (2.73)
Důkaz. Předpokládejme BÚNO P (X0 = i ) > 0 pro každé i ∈ A.

(n) (n)
Označme vi = Pi (σ = ∞) a vi = Pi (σ > n) pro každé i ∈ A, n ∈ N0 . Význam vi je
pravděpodobnost, že do času n byl řetězec stále v množině A, podmı́něná jevem X0 = i .
Pro každé i ∈ A platı́:

(n)
lim v = vi ,
n→∞ i
(0)
vi = Pi (σ > 0) = 1,
(1)
X X
vi = Pi (σ > 1) = Pi (X1 ∈ A) = Pi (X1 = ν) = pi,ν ,
ν∈A ν∈A
(n+1)
vi = Pi (σ > n + 1) = Pi (X1 ∈ A, X2 ∈ A, . . . , Xn+1 ∈ A)
X
= Pi (X1 = ν, X2 ∈ A, . . . , Xn+1 ∈ A)
ν∈A
X
= Pi (X1 = ν) P ( X2 ∈ A, . . . , Xn+1 ∈ A| X1 = ν, X0 = i )
ν∈A
(2.1) X
= Pi (X1 = ν) P ( X2 ∈ A, . . . , Xn+1 ∈ A| X1 = ν)
ν∈A
X X
= pi,ν Pν (X1 ∈ A, X2 ∈ A, . . . , Xn ∈ A) = pi,ν vν(n) , n ∈ N.
ν∈A ν∈A
1. Ukážeme, že vi , i ∈ A řešı́ (2.72).

Vı́me
(n+1)
X
vi = pi,ν vν(n) ,
ν∈A
X
0 ≤ pi,ν vν ≤ pi,ν , pi,ν ≤ 1.
ν∈A
Sumy majı́ integrovatelnou majorantu, podle Lebesgueovy věty můžeme proto zaměnit pořadı́
limity a sumy. Tudı́ž
(n+1)
X X X
vi = lim vi = lim pi,ν vν(n) = pi,ν lim vν(n) = pi,ν vν .
n→∞ n→∞ n→∞
ν∈A ν∈A ν∈A
Tedy vi , i ∈ A řešı́ (2.72).
2. Necht’ 0 ≤ vei ≤ 1, i ∈ A je nějaké řešenı́ (2.72). Ukážeme, že vei ≤ vi pro všechna i ∈ A.
Platı́
(1)
X X
vei = pi,ν veν ≤ pi,ν = vi .
ν∈A ν∈A
(n)
Předpokládejme, že pro n ∈ N platı́ vei ≤ vi pro každé i ∈ A. Pak
(n+1)
X X
vei = pi,ν veν ≤ pi,ν vν(n) = vi .
ν∈A ν∈A
(n)
Indukcı́ jsme ukázali vei ≤ vi pro každé i ∈ A, n ∈ N.
Odtud limitnı́m přechodem
(n)
vei ≤ lim vi = vi , i ∈ A.
n→∞
3. (a) Je-li Pi (σ = ∞) = 0 ∀ i ∈ A, pak vi = Pi (σ = ∞) = 0 ∀ i ∈ A.

Vı́me, že vi , i ∈ A je řešenı́m (2.72) a dominuje každé řešenı́ (2.72). Proto vi = 0
∀ i ∈ A, je jediné řešenı́ (2.72) s vlastnostı́ 0 ≤ vi ≤ 1.
(b) Má-li naopak (2.72) jen triviálnı́ řešenı́ s vlastnostı́ 0 ≤ xi ≤ 1, pak je vi = 0 ∀i ∈ A,

protože je řešenı́m (2.72).
Věta 2.100: Pro homogennı́ Markovův řetězec s diskrétnı́m časem s množinou stavů S a množinou
přechodných stavů T je následujı́cı́ ekvivalentnı́:
(i) Soustava rovnic (2.64) má jediné řešenı́ 0 ≤ ui,j ≤ 1, i ∈ T, j ∈ S \ T .
(ii) Soustava rovnic

X
xi = pi,j xj , i ∈T (2.74)
j ∈T
nemá jiné řešenı́ s vlastnostı́ 0 ≤ xi ≤ 1 než triviálnı́, tj. xi = 0 ∀i ∈ T .
(iii) Pro τ čas prvnı́ho výstupu z množiny přechodných stavů T , viz (2.61), platı́
Pi (τ = ∞) = 0 ∀ i ∈ T. (2.75)
Důkaz. Důkaz je uveden v knize Resnick (1992), Proposition 2.11.1.

Ekvivalenci podmı́nek (2.74) a (2.75) jsme navı́c ukázali separátně, jako speciálnı́ přı́pad věty
2.99. Jde o volbu A = T , B = S \ T a σ = τ .
V Přı́kladě 2.91 jsme ukázali řetězec se spočetnou množinou stavů, které byly všechny přechodné.
Následujı́cı́ věta nám umožnı́ rozhodnout, zda v nerozložitelném řetězci s nekonečně mnoha stavy
jsou všechny stavy trvalé nebo všechny přechodné.
Věta 2.101: Uvažujme nerozložitelný homogennı́ Markovův řetězec s diskrétnı́m časem a stav
i0 ∈ S.
(i) Všechny stavy tohoto řetězce jsou trvalé tehdy a jen tehdy, když soustava rovnic
X
xi = pi,j xj , i = S \ {i0 } (2.76)
j ∈S\{i0 }
má pouze jediné řešenı́ s vlastnostı́ 0 ≤ xi ≤ 1 pro všechna i ∈ S \ {i0 } a to je triviálnı́.
(ii) Všechny stavy tohoto řetězce jsou přechodné tehdy a jen tehdy, když (2.76) má netriviálnı́
řešenı́ s vlastnostı́ 0 ≤ xi ≤ 1 pro všechna i ∈ S \ {i0 }.
Důkaz. Využijeme věty 2.99 pro volbu A = S \ {i0 }, B = {i0 } a pro markovský čas
σ = inf {n ∈ N : Xn = i0 } .
Řetězec je nerozložitelný, proto jsou všechny stavy bud’ trvalé nebo přechodné.
1. Necht’ všechny stavy jsou trvalé.

Podle Věty 2.89 je fi,j = 1 pro všechna i , j ∈ S, nebot’ předpokládáme, že všechny stavy
řetězce jsou trvalé. Speciálně fi,i0 = 1 pro všechna i ∈ S \ {i0 }.
Pak pro všechna i ∈ S \ {i0 } je
Pi (σ = ∞) = Pi (τi0 (1) = ∞) = 1 − Pi (τi0 (1) < ∞) = 1 − fi,i0 = 0.
Tedy je splněno (2.73). Podle věty 2.99 platı́ (2.72) a tudı́ž (2.76) má jediné řešenı́ v [0, 1] a
to je triviálnı́.
2. Necht’ naopak jediné řešenı́ (2.76) v [0, 1] je triviálnı́.
Potom je splněno (2.72). Podle věty 2.99 platı́ (2.73).
Pak pro všechna i ∈ S \ {i0 } platı́
0 = Pi (σ = ∞) = Pi (τi0 (1) = ∞) = 1 − Pi (τi0 (1) < ∞) = 1 − fi,i0 .
Odtud fi,i0 = 1 pro všechna i ∈ S \ {i0 }. Potom ale

(2.42) X X
fi0 ,i0 = Pi0 (τi0 (1) < ∞) = pi0 ,i0 + pi0 ,i fi,i0 = pi0 ,i = 1.
i∈S\{i0 } i∈S
Tudı́ž stav i0 je trvalý. Protože řetězec je nerozložitelný, jsou všechny stavy trvalé.
Tı́m jsme ukázali ekvivalenci (i) této věty. Ekvivalence (ii) je vlastně přeformulovaná ekvivalence
(i), nebot’ ¬A ⇔ ¬B řı́ká to samé jako A ⇔ B .
V následujı́cı́m odstavci si ukážeme dalšı́ kritéria pro klasifikaci stavů a budeme se podrobněji
zabývat limitnı́mi vlastnostmi pravděpodobnostı́ přechodu.
2.7 Stacionárnı́ a limitnı́ rozdělenı́
Definice 2.102: Necht’ X = {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s diskrétnı́m časem

s množinou stavů S a maticı́ pravděpodobnostı́ přechodů P . Reálný vektor γ = {γi , i ∈ S}, γ ≥ 0
takový, že
γ> = γ>P , (2.77)

P
neboli rozepsáno po složkách γj = k ∈S γk pk ,j , j ∈ S,
se nazývá invariantnı́ mı́ra řetězce X. Pravděpodobnostnı́ rozdělenı́ π = {πi , i ∈ S}, které splňuje
(2.77), se nazývá stacionárnı́ rozdělenı́ tohoto řetězce.
t
Lemma 2.103: Když X = {Xn , n ∈ N0 } je nerozložitelný homogennı́ Markovův řetězec s diskrét-

nı́m časem, jehož všechny stavy jsou trvalé, pak existuje jeho invariantnı́ mı́ra γ, která splňuje
γj > 0 pro všechna j ∈ S. Tato invariantnı́ mı́ra je určena jednoznačně až na multiplikativnı́
konstantu. P
γ
Jestliže j ∈S γj < ∞, potom π = {πj , j ∈ S} , kde πj = P j γk , je stacionárnı́ rozdělenı́
k ∈S
procesu X = {Xn , n ∈ N0 }.
t
Důkaz. Invariantnı́ mı́ra je zkonstruována ve Cvičenı́ 2.144.
Definice 2.104: Necht’ {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s diskrétnı́m časem s množinou
stavů S a maticı́ pravděpodobnostı́ přechodů P . Necht’ α =P{αj , j ∈ S} je nějaké pravděpodob-
nostnı́ rozdělenı́ na množině S, tj. αj ≥ 0 pro každé j ∈ S, j ∈S αj = 1.
Potom α se nazývá limitnı́ rozdělenı́ daného řetězce, jestliže
lim pi (n) = αi pro všechna i ∈ S. (2.78)

n→∞
Lemma 2.105: Necht’ π je stacionárnı́ rozdělenı́ homogennı́ho Markovova řetězce s diskrétnı́m

časem. Pak pro každé n ∈ N platı́
(n)
π > = π > P n = π > P (n) = π > P n = π > P , (2.79)
kde
n n
n 1X k (n) 1 X (k)
P = P , P = P .
n n
k=1 k=1
Rozepsáno po složkách, pro každé j ∈ S platı́

n
X (n)
X (n) (n) 1 X (k)
πj = πk pk ,j , πj = πk pk ,j , kde pi,j = pi,j .
n
k ∈S k ∈S k=1
Důkaz. Postupným dosazovánı́m vztahu (2.77) dostáváme
π> = π> P = π> P P = π> P 2 = · · · = π> P n = . . . .

Tı́m je (2.79) dokázáno, nebot’ průměrovánı́ rovnost zachová.
Ukažme souvislost právě uvedeného pojmu s pojmem striktnı́ stacionarita procesu, který jsme
definovali v prvnı́ kapitole; Definice 1.7.
Věta 2.106: Necht’ počátečnı́ rozdělenı́ homogennı́ho Markovova řetězce s diskrétnı́m časem je
stacionárnı́ ve smyslu (2.77). Potom Markovův řetězec je striktně stacionárnı́ náhodný proces, viz
Definice 1.7. Speciálně, pro absolutnı́ pravděpodobnosti platı́
pj (n) = P (Xn = j ) = πj , j ∈ S,
kde πj = pj jsou počátečnı́ pravděpodobnosti daného řetězce, které jsou stacionárnı́.
t
Důkaz. Necht’ π je počátečnı́ rozdělenı́ daného homogennı́ho Markovova řetězce s diskrétnı́m

časem, které je stacionárnı́. S využitı́m Věty 2.23, Věty 2.25 a (2.79) máme
(2.6)
P (Xk = i0 , Xk+1 = i1 , . . . , Xk+n = in ) = pi0 (k) pi0 ,i1 . . . pin−1 ,in
 
(2.32) X (k)
=  pj pj ,i0  pi0 ,i1 . . . pin−1 ,in
j ∈S
 
X (k) (2.79)
= πj pj ,i0  pi0 ,i1 . . . pin−1 ,in = πi0 pi0 ,i1 . . . pin−1 ,in
j ∈S
= P (X0 = i0 , X1 = i1 , . . . , Xn = in ) .
Ověřili jsme, že tento proces je striktně stacionárnı́.
Věta 2.107: Limitnı́ rozdělenı́ homogennı́ho Markovova řetězce s diskrétnı́m časem je také jeho
stacionárnı́m rozdělenı́m.
Důkaz. Necht’ α = {αi , i ∈ S} je limitnı́ rozdělenı́. Pro n ∈ N0 vı́me, že platı́

X
pj (n + 1) = pk (n) pk ,j pro každé j ∈ S.
k ∈S
Sčı́táme nezáporná čı́sla, proto můžeme použı́t Fatooovo lemma, viz Věta C.4. Zı́skáme tak pro
každé j ∈ S nerovnost
X X
αj = lim pj (n + 1) ≥ lim pk (n) pk ,j = αk pk ,j .
n→∞ n→∞
k ∈S k ∈S
Sečtěme rozdı́ly levých a pravých stran těchto nerovnostı́

!
X X X XX
αj − αk pk ,j = αj − αk pk ,j
j ∈S k ∈S j ∈S j ∈S k ∈S
 
X X X
=1− αk  pk ,j  = 1 − αk = 1 − 1 = 0.
k ∈S j ∈S k ∈S
Sečtenı́m nezáporných hodnot jsme dostali nulu, proto každá z nich musı́ být nulová. Tudı́ž jsme
zjistili
X
αj = αk pk ,j pro každé j ∈ S.
k ∈S
Tedy α je stacionárnı́ rozdělenı́.
Opačný vztah je složitějšı́.

Věta 2.108: Necht’ je dán nerozložitelný homogennı́ Markovův řetězec s diskrétnı́m časem. Potom
jsou tři možnosti:
(i) Všechny jeho stavy jsou přechodné. Potom stacionárnı́ rozdělenı́ neexistuje.
(ii) Všechny jeho stavy jsou trvalé nulové. Pak stacionárnı́ rozdělenı́ neexistuje.
(iii) Všechny jeho stavy jsou trvalé nenulové. Pak stacionárnı́ rozdělenı́ existuje a je jediné;
označme je π.
a) Jsou-li všechny stavy neperiodické, potom platı́
(n)
πj = lim pi,j > 0, i, j ∈ S
n→∞
a rovněž
πj = lim pj (n) > 0, j ∈ S.
n→∞
b) Jsou-li všechny stavy periodické, potom platı́

n
(n) (n) 1 X (k)
πj = lim pi,j > 0, kde pi,j = pi,j , i , j ∈ S,
n→∞ n
k=1
n
1X
πj = lim pj (n) > 0, kde pj (n) = pj (k) , j ∈ S.
n→∞ n
k=1
Důkaz. Postupně využijeme naše znalosti.

(n)
1) Jsou-li všechny stavy přechodné nebo trvalé nulové, podle Věty 2.74 platı́ pi,j → 0 při n →
∞ ∀i , j ∈ S.
Předpokládejme, že stacionárnı́ rozdělenı́ existuje a označme je π.
P (n)
Potom podle (2.79) platı́ πj = i∈S πi pi,j pro každé n ∈ N.
(n)
Máme integrovatelnou majorantu 0 ≤ πi pi,j ≤ πi , i ∈ S a tak podle Lebesgueovy věty platı́
(n) (n)
X X
πj = lim πi pi,j = πi lim pi,j = 0,
n→∞ n→∞
i∈S i∈S
což je ovšem spor, protože potom π nenı́ pravděpodobnostnı́ rozdělenı́.

2) Jsou-li všechny stavy trvalé nenulové, potom podle Věty 2.89 fi,j = 1 pro všechna i , j ∈ S.
a) Jsou-li všechny stavy neperiodické, potom podle Věty 2.74 (ii) platı́
(n)
pi,j → µ1j ∀i , j ∈ S, kde 1 ≤ µj < ∞, j ∈ S.
b) Jsou-li všechny periodické se stejnou periodou, potom podle Věty 2.74 (iii)
(n) Pn (k)
pi,j = 1n k =1 pi,j → µ1j pro všechna i , j ∈ S.
c) Nynı́ ukážeme, že stacionárnı́ rozdělenı́ existuje.
(n) (n)
Vı́me, že (2.79) platı́ pro pi,j i pro pi,j . Stačı́ tedy důkaz provést pro stavy neperiodické a
(n) (n)
v důkazu pro stavy periodické mı́sto pi,j všude psát pi,j .
i) Necht’ S je konečná.
Vyjděme ze vztahů
(n+1)
X (n) X (n)
pk ,j = pk ,i pi,j , pk ,i = 1, k, j ∈ S.
i∈S i∈S
Limitnı́m přechodem pro n → ∞ odtud ihned dostaneme

1 X 1 X 1
= pi,j , = 1, j ∈ S. (2.80)
µj µi µi
i∈S i∈S
>
1
Tedy, π = µi , i ∈S .
ii) Necht’ S je nekonečná (tedy spočetná). BÚNO S = N.

Pak pro N ∈ N platı́
∞ N
(n+1) (n) (n)
X X
pk ,j = pk ,i pi,j ≥ pk ,i pi,j ,
i=0 i=0
∞ N
(n) (n)
X X
1= pk ,i ≥ pk ,i .
i=0 i=0
Limitnı́m přechodem pro n → ∞ dostaneme

N N
1 X 1 X 1
≥ pi,j , 1≥ > 0, j ∈ S.
µj µ
i=0 i
µ
i=0 i
Limitnı́m přechodem pro N → ∞

∞ ∞
1 X 1 X 1
≥ pi,j , 1≥ > 0, j ∈ S.
µj µ
i=0 i
µ
i=0 i
Pokud by pro nějaké j platila předposlednı́ nerovnost ostře, muselo by po sečtenı́ být
∞ ∞ X ∞ ∞ ∞ ∞
X 1 X 1 X 1 X X 1
> pi,j = pi,j = ,
µ
j =0 j
µ
j =0 i=0 i
µ
i=0 i j =0
µ
i=0 i
což vede ke sporu. Proto platı́

∞ ∞
1 X 1 X 1
= pi,j , 0< ≤ 1, j ∈ S.
µj µ
i=0 i
µ
i=0 i
Uvažme vektor π = {πj , j ∈ S}, kde

!−1
1 X 1
πj = , j ∈ S.
µj µi
i∈S
π je vektor rozdělenı́ pravděpodobnosti, který splňuje (2.77), je to tedy stacionárnı́

rozdělenı́.
Protože π je stacionárnı́ rozdělenı́, platı́ pro n ∈ N
(n)
X
πj = πi pi,j , i , j ∈ S.
i∈S
(n)
P pevné j ∈ S máme integrovatelnou majorantu 0 ≤ πi pi,j ≤ πi pro každé i ∈ S,
Pro
i∈S πi = 1, proto podle Lebesgueovy věty limitnı́m přechodem n → ∞ dostaneme
X (n)
X (n)
X 1 1
πj = lim πi pi,j = πi lim pi,j = πi = .
n→∞ n→∞ µj µj
i∈S i∈S i∈S
n o
1 1
P
Pak musı́ platit j ∈S µj =1aπ= µi ,i ∈ S je stacionárnı́ rozdělenı́.
d) Necht’ v = {vj , j ∈ S} je stacionárnı́ rozdělenı́.
Potom pro každé j ∈ S, n ∈ N platı́
(n)
X
vj = vi pi,j .
i∈S
vi µ1j = 1
P
Odtud limitnı́m přechodem opět vj = i∈S .
nµj o
1
Existuje tedy jediné stacionárnı́ rozdělenı́ a to π = µi ,i ∈ S .
3) Pro absolutnı́ pravděpodobnosti podle (2.32) platı́

X (n)
X 1 1
lim pj (n) = lim pi (0) pi,j = pi (0) = = πj pro každé j ∈ S.
n→∞ n→∞ µj µj
i∈S i∈S
Tedy v neperiodickém nerozložitelném homogennı́m Markovově řetězci s diskrétnı́m časem s

trvalými nenulovými stavy je stacionárnı́ rozdělenı́ limitnı́m rozdělenı́m.
(n)
Poznámka. Vztah limn→∞ pi,j = πj , i , j ∈ S lze maticově zapsat jako
lim P n = Π,
n→∞
kde
   >
π1 π2 ... π
π1 π2 . . . π > 
Π=  =  .
.. .. .. ..
. . . .
t
Věta 2.109: V nerozložitelném řetězci s konečně mnoha stavy stacionárnı́ rozdělenı́ existuje.
t
Důkaz. Důsledek Vět 2.93 a 2.108.
Přı́klad 2.110: Uvažujme model havarijnı́ho pojištěnı́ z Přı́kladu 2.38. Ukázali jsme, že kategorie
pojistného Xn v n-tém pojistném obdobı́ tvořı́ Markovův řetězec se stavy 0, 1, 2, s počátečnı́m
>
rozdělenı́m p = (1, 0, 0) a maticı́ pravděpodobnostı́ přechodů
 
1 − a0 a0 0
P =  1 − a0 0 a0  ,
1 − a0 − a1 a1 a0
kde a0 = e−λ , a1 = λe−λ .

Řetězec je nerozložitelný, všechny stavy jsou trvalé nenulové. Stacionárnı́ rozdělenı́ existuje a
je určeno jako řešenı́ (2.77), tj. jako řešenı́ soustavy rovnic
π0 = π0 (1 − a0 ) + π1 (1 − a0 ) + π2 (1 − a0 − a1 ),
π1 = π0 a0 + π2 a1 ,
π2 = π1 a0 + π2 a0 ,
což je
1 − a0 − a0 a1 1 − e−λ − λe−2λ
π0 = = ,
1 − a0 a1 1 − λe−2λ
a0 (1 − a0 ) e−λ (1 − e−λ )
π1 = = ,
1 − a0 a1 1 − λe−2λ
a20 e−2λ
π2 = = .
1 − a0 a1 1 − λe−2λ
Je-li výše základnı́ho pojistného V, potom střednı́ výše pojistného, kterou pojištěný zaplatı́
v dlouhodobém časovém horizontu, je při uvedeném systému bonusů rovna
π0 V + 0, 7π1 V + 0, 5π2 V.
t
Přı́klad 2.111: Existence stacionárnı́ho rozdělenı́ lze užı́t jako kriteria ke klasifikaci stavů.
Uvažujme řetězec s množinou stavů S = {0, 1, . . .} a s maticı́ pravděpodobnostı́ přechodů
 
q p 0 0 ...
q 0 p 0 . . .
P = 0 q .
 
 0 p . . .

.. .. .. .
. . . ..
Řetězec je nerozložitelný, všechny stavy jsou tedy stejného typu. Pokud stacionárnı́ rozdělenı́
existuje, musı́ být kladným řešenı́m soustavy rovnic
π0 = qπ0 + qπ1 ,
π1 = pπ0 + qπ2 ,
..
.
πj = pπj −1 + qπj +1 ,
..
.
Postupným řešenı́m těchto rovnic dostaneme

j
p
πj = π0 , j = 0, 1, . . . , π0 > 0.
q
P∞
Z podmı́nky j =0 πj = 1 dostaneme pro pq < 1 řešenı́
j
p p p
π0 = 1 − , πj = 1− , j ≥ 1.
q q q
Pro p < q tedy stacionárnı́ rozdělenı́ existuje, všechny stavy tudı́ž jsou trvalé nenulové.
Pro p ≥ q stacionárnı́ rozdělenı́ neexistuje a všechny stavy jsou bud’ trvalé nulové, nebo všechny
přechodné. O tom, který přı́pad nastane, můžeme nynı́ rozhodnout podle Věty 2.101. Soustava
(2.76) má v našem přı́padě tvar
x1 = px2 ,
xi = qxi−1 + pxi+1 , i ≥ 2.
Na tuto soustavu můžeme pohlı́žet jako na diferenčnı́ rovnici
pxi+1 − xi + qxi−1 = 0, i ≥1
s okrajovou podmı́nkou x0 = 0. To je stejná diferenčnı́ rovnice jako rovnice (2.71), jejı́ž řešenı́ jsme
určili v Přı́kladě 2.98. Zjistili jsme, že jejı́ obecné řešenı́ je
i
q
xi = c1 + c2 , p 6= q,
p
xi = c1 + i c2 , p = q.
Při okrajové podmı́nce x0 = 0 dostaneme řešenı́

i !
q
xi = A 1 − , p > q,
p
xi = Bi , p = q,
kde A, B jsou nějaké konstanty. Vidı́me tedy, že

pro p > q v intervalu [0, 1] existuje netriviálnı́ řešenı́ soustavy (2.76), všechny stavy jsou tudı́ž
přechodné;
pro p = q v intervalu [0, 1] neexistuje jiné řešenı́ než triviálnı́, všechny stavy jsou v tomto přı́padě
trvalé nulové.
Přı́klad 2.112: Řetězec s množinou stavů S = {0, 1, . . .} a maticı́ pravděpodobnostı́ přechodů

1 1
0 0 ...

2 2
1 0 2
0 . . .
3 3 
P = 1
4 0 0 3
. . .

 4 
.. .. .. ..
. . . .
je nerozložitelný, ale stacionárnı́ rozdělenı́ v něm neexistuje, nebot’ soustava (2.77) je
1 1 1
π0 = π0 + π1 + π2 + . . . ,
2 3 4
j 1
πj = πj −1 = π0 , j = 1, 2 . . .
j +1 j +1
P∞ P∞ 1
Protože j =0 πj = π0 j =0 j +1 nekonverguje pro žádné π0 > 0, neexistuje žádné kladné řešenı́
(2.77). Protože řetězec je nerozložitelný, musı́ být všechny stavy bud’ přechodné, nebo všechny
trvalé nulové. Opět můžeme rozhodnout podle Věty 2.101. (Soustava (2.76)) je
j +1
xj = xj +1 , j = 1, 2 . . . ,
j +2
odtud
j +1
xj = x1 , j = 1, 2 . . .
2
a jediné řešenı́ v intervalu [0, 1] je xj = 0, ∀j . Všechny stavy jsou trvalé nulové (a neperiodické,
nebot’ p0,0 > 0).
t
2.8 Limitnı́ věty pro četnosti návratů

Uvažujme nerozložitelný řetězec, ve kterém jsou všechny stavy trvalé nenulové. Z Věty 2.108 vı́me,
že v takovém řetězci existuje stacionárnı́ rozdělenı́, označme je {πj , j ∈ S}, je jednoznačně určené
a platı́
1
πj = > 0, j ∈ S,
µj
kde µj = Ej [τj (1)] = Ej [Tj ,1 ] je střednı́ doba prvnı́ho návratu do stavu j .

Necht’ Nj (n) značı́ náhodnou veličinu, která udává, kolikrát v prvnı́ch n krocı́ch řetězec projde
stavem j (kolikrát se vrátı́ do stavu j ), tj.
n
X
Nj (n) = I [Xν = j ] .
ν=1
Potom platı́ pro k = 1, 2 . . .
[Nj (n) < k ] ⇐⇒ [τj (k ) > n] ,
kde τj (k ) je čas k -tého návratu do stavu j . Vzhledem k tomu, že řetězec je nerozložitelný a všechny
stavy jsou trvalé, je Pi (τj (k ) < ∞) = 1 ∀i , j ∈ S, ∀k = 1, 2 . . . .
Nynı́ můžeme dokázat analogii silného zákona velkých čı́sel pro relativnı́ četnost návratů do
stavu j .
Věta 2.113: V nerozložitelném homogennı́m Markovově řetězci s diskrétnı́m časem s trvalými

nenulovými stavy platı́
Nj (n)
→ πj při n → ∞ skoro jistě (též, s pravděpodobnostı́ 1)
n
pro každé j ∈ S.
t
Důkaz. Necht’ j ∈ S, ε > 0. Pak pro n ∈ N taková, že nε ≥ 2, platı́ tyto vztahy mezi náhodnými
jevy:

Nj (n)
− πj < ε = [Nj (n) < n(πj + ε)] = [Nj (n) < Zn ] ,
n
kde jsme pro zjednodušenı́ zápisu jako Zn označili nejmenšı́ celé čı́slo vetšı́ nebo rovné n(πj + ε);
tedy Zn = n(πj + ε) + θn ∈ N, 0 ≤ θn < 1. Potom dále

τj (Zn ) n τj (Zn ) n
[Nj (n) < Zn ] = [τj (Zn ) > n] = > = >
Zn Zn Zn n(πj + ε) + θn

τj (Zn ) 1 τj (Zn ) 1 ε
⊃ > = − >− .
Zn πj + ε Zn πj πj (πj + ε)
PZ
Vı́me, že pro Z ∈ N je τj (Z ) = k =1 Tj ,k , kde Tj ,1 , Tj ,2 , . . . , Tj ,Z jsou podle Věty 2.65 nezávislé
náhodné veličiny, nebot’ stav j je trvalý. Pokud řetězec vycházı́ ze stavu j , majı́ podle Věty 2.64
náhodné veličiny Tj ,1 , Tj ,2 , . . . , Tj ,Z všechny stejné rozdělenı́ s konečnou střednı́ hodnotou µj = π1j .
Proto pro ně platı́ silný zákon velkých čı́sel
τj (Z ) 1
→ pro Z → ∞ skoro jistě (též, s pravděpodobnostı́ 1) (2.81)
Z πj
(viz např. Štěpán (1987), věta IV.2.2).

Vycházı́-li řetězec z jiného stavu než j , majı́ stejné rozdělenı́ pouze Tj ,2 , . . . , Tj ,Z , ale Tj ,1 je
s pravděpodobnostı́ 1 konečná. Odtud opět dostaneme (2.81).
Platı́ tedy ∀ ε > 0 ∀ δ > 0 ∃ Z0 = Z0 (ε, δ) přirozené tak, že

τj (Z ) 1
P − > −ε ∀ Z > Z0 > 1 − δ.
Z πj
Protože Zn → ∞ při n → ∞, plyne odtud, že ∀ ε > 0, ∀ δ > 0 ∃ n0 = n0 (ε, δ) tak, že

Nj (n)
P − πj < ε ∀ n > n0 > 1 − δ.
n
Podobnými úvahami dospějeme k závěru, že ∀ ε > 0, ∀ δ > 0 ∃ n1 = n1 (ε, δ) tak, že

Nj (n)
P − πj > −ε ∀ n > n1 > 1 − δ.
n
Odkud již plyne tvrzenı́ věty.
Uvažujme opět nerozložitelný řetězec s trvalými nenulovými stavy (střednı́ doba návratu µj do
stavu j je konečná) a předpokládejme, že také rozptyly doby návratu je kladný a konečný. Potom
lze dokázat analogii centrálnı́ limitnı́ věty pro četnost návratů do stavu j .
Věta 2.114: V nerozložitelném homogennı́m Markovově řetězci s diskrétnı́m časem s trvalými

nenulovými stavy pro j ∈ S, 0 < σj2 = varj [τj (1)] < ∞ platı́
 
Nj (n) − µnj
lim P  q ≤ x  = Φ(x ) pro každé x ∈ R, (2.82)
n→∞ 2 3
nσj /µj
kde Φ je distribučnı́ funkce normovaného normálnı́ho rozdělenı́.
σ2

n
Věta 2.114 nám řı́ká, že náhodná veličina Nj (n) má “přibližně” normálnı́ rozdělenı́ N µj , n µj3 .
j
Důkaz. Větu dokážeme podrobně jen pro přı́pad, že řetězec vycházı́ ze stavu j .
Vzhledem k tomu, že Nj (n) je celočı́selná náhodná veličina, platı́
 
Nj (n) − µnj
P q ≤ x  = P (Nj (n) < rn ) ,
nσj2 /µ3j
q
n
kde rn je nejmenšı́ celé čı́slo většı́ než µj + x σj n/µ3j , tj.
s
n n
rn = + x σj + θn ∈ N, 0 < θn ≤ 1.
µj µ3j
Dále,

τj (rn ) − rn µj n − rn µj
P (Nj (n) < rn ) = P (τj (rn ) > n) = P √ > √
σj rn σj rn
a snadno ukážeme, že

q
n n
n− µj + x σj µ3j
+ θn µj
n − rn µj
lim √ = lim r
n→∞ σj rn n→∞ n
q
n
σj µj + x σj µ3j
+ θn
q
−x σj µnj + θn µj
= lim q r = −x .
n→∞ q
µ
σj µnj 1 + x σj nµ1 j + θn nj
Protože τj (rn ) je součet rn nezávislých stejně rozdělených náhodných veličin a rn → ∞ při n → ∞,

plyne z centrálnı́ limitnı́ věty (Štěpán (1987), věta IV.3.4), že

τj (rn ) − rn µj n − rn µj
lim P √ > √ = 1 − Φ(−x ) = Φ(x ).
n→∞ σj rn σj rn
Přı́klad 2.115: V určitém psychologickém experimentu je pokusnému subjektu předložen obrázek,

který lze vnı́mat dvěma způsoby (např. na vhodně narýsovaný obraz krychle můžeme nahlı́žet
bud’ z nadhledu nebo podhledu). Obrázek je osvětlován zábleskem v pevných časových interva-
lech; délka intervalu je volena tak, že jedinec je schopen si pamatovat předchozı́ vjem. 1 Tento
proces vnı́mánı́ může být popsán Markovovým řetězcem {Xn , n ∈ N0 } se dvěma stavy 0 a 1, které
odpovı́dajı́ dvěma různým výpovědı́m pokusného subjektu, a maticı́ pravděpodobnostı́ přechodů

1−a a
P = ,
b 1−b
kde 0 < a < 1, 0 < b < 1. Řetězec je nerozložitelný, oba stavy jsou trvalé nenulové a v řetězci
existuje jediné stacionárnı́ rozdělenı́. Řešenı́m soustavy (2.77) dostaneme
b a
π0 = , π1 = .
a+b a+b
Rozdělenı́ dob návratu do stavu 0, tj. náhodné veličiny τ0 (1) = T0,1 a náhodných veličin
T0,2 = τ0 (2) − τ0 (1) , . . . , je dáno Větou 2.62. Přı́mým výpočtem dostaneme
(n)
P ( T0,1 = n| X0 = 0) = P0 (τ0 (1) = n) = f0,0 ,
kde
(
(n) 1 − a, n = 1,
f0,0 = n−2
ab(1 − b) , n = 2, 3, 4, . . . .;
(n)
stačı́ si uvědomit, že v tomto přı́padě f0,0 = P ( X1 = 1, . . . , Xn−1 = 1, Xn = 0| X0 = 0). Podobně
(n)
P ( T0,1 = n| X0 = 1) = P1 (τ0 (1) = n) = f1,0 ,
kde
(n)
f1,0 = b(1 − b)n−1 pro každé n ∈ N.
1 Havránek, T. a kol. (1981): Matematika pro biologické a lékařské vědy, Academia, Praha
Vycházı́-li řetězec
n oze stavu 0, jsou náhodné veličiny T0,1 , T0,2 , . . . nezávislé a stejně rozdělené
(n)
s rozdělenı́m f0,0 . Střednı́ hodnota a rozptyl tohoto rozdělenı́ jsou
1 a+b a(2 − a − b)
µ0 = = , σ02 = .
π0 b b2
n o
(n) 1
Vycházı́-li řetězec ze stavu 1, má náhodná veličina T0,1 rozdělenı́ f1,0 se střednı́ hodnotou b a
1−b
rozptylem b2 .
Náhodná veličina N0 (n), která v našem přı́padě udává počet odpovědı́ typu 0 v prvnı́ch n
pokusech, tedy má při dostatečně velkém počtu pokusů přibližně normálnı́ rozdělenı́

nb nab(2 − a − b)
N , .
a+b (a + b)3
Je-li a + b = 1, tento vztah se zjednodušı́ na
N0 (n) ∼ N (nb, nb(1 − b))) .
Podobně lze určit přibližné rozdělenı́ počtu odpovědı́ typu 1.
2.9 Markovovy řetězce s oceněnı́m přechodů

Uvažujme nerozložitelný homogennı́ Markovův řetězec s diskrétnı́m časem a s konečnou množinou
stavů, které jsou všechny trvalé nenulové (vı́me, že toto plyne z Věty 2.93) a neperiodické (tedy
ergodické). (Připomeňme, nerozložitelnému řetězci, ve kterém jsou všechny stavy ergodické, řı́káme
ergodický řetězec.) Vedle matice pravděpodobnostı́ přechodů P uvažujme ještě matici oceněnı́
přechodů Z = {zi,j , i , j ∈ S}. Předpokládáme tedy, že s přechodem ze stavu i do stavu j za
jednotku času je spojen zisk (nebo náklad) zi,j .
Očekávaný
P výnos spojený s realizacı́ jednoho přechodu (za jedno obdobı́) ze stavu i je tudı́ž
qi = j ∈S zi,j pi,j . Označme q = {qj , i ∈ S}.
Obecněji, necht’ vi (n) značı́ očekávaný výnos za n ∈ N0 obdobı́ (za dobu n), když na počátku
byl řetězec ve stavu i . Přirozeně klademe vi (0) = 0. Označme v (n) = {vi (n) , i ∈ S}.
Pro očekávaný výnos můžeme sestavit rekurentnı́ formuli.
Věta 2.116: Pro střednı́ výnos platı́ rekurentnı́ vztah
v (n) = q + P v (n − 1) , n ∈ N, (2.83)
kde q = v (1) je střednı́ výnos za jedno obdobı́.
Důkaz. Realizace [X0 = i , X1 = i1 , . . . , Xn = in ] dává výnos zi,i1 + zi1 ,i2 + · · · + zin−1 ,in a pravděpo-
dobnost této realizace je pi pi,i1 · . . . · pin−1 ,in . Střednı́ výnos za n obdobı́ při počátečnı́m stavu i je
tedy roven
X X
vi (n) = ··· zi,i1 + zi1 ,i2 + · · · + zin−1 ,in pi,i1 . . . pin−1 ,in
i1 ∈S in ∈S
"
X X X
= pi,i1 zi,i1 ··· pi1 ,i2 . . . pin−1 ,in +
i1 ∈S i2 ∈S in ∈S
#
X X
+ ··· zi1 ,i2 + · · · + zin−1 ,in pi1 ,i2 . . . pin−1 ,in
i2 ∈S in ∈S
X X X
= pi,i1 zi,i1 + pi,i1 vi1 (n − 1) = qi + pi,i1 vi1 (n − 1) ,
i1 ∈S i1 ∈S i1 ∈S
P
kde qi = j pi,j zi,j = vi (1) je střednı́ výnos za jedno obdobı́, když řetězec je na jeho počátku ve
stavu i ∈ S.
Nynı́ využijme předpokladu, že řetězec je nerozložitelný, s ergodickými stavy. Z toho zejména
plyne existence stacionárnı́ho rozdělenı́. Označme
 >
π
Π =  ...  , (2.84)
 
π>
kde π je vektor stacionárnı́ho rozdělenı́. Nynı́ můžeme dokázat následujı́cı́ tvzenı́.
Věta 2.117: Pro střednı́ výnos za dobu n platı́
v (n) = (n − 1)Πq + (I − (P − Π))−1 q − (I − (P − Π))−1 (P − Π)n q. (2.85)
Důkaz. Opakovaným použitı́m rekurentnı́ho vzorce (2.83) dostaneme

n−1
X
v (n) = q + P v (n − 1) = q + P (q + P v (n − 2)) = · · · = P k q. (2.86)
k =0
Předpokládáme, že všechny stavy jsou neperiodické, musı́ tedy platit
P k → Π pro k → ∞.
Z vlastnostı́ stacionárnı́ho rozdělenı́ plyne, že P Π = Π, ΠP = Π a také Π2 = Π.

Máme tedy
(P − Π)2 = P 2 − ΠP − P Π + Π2 = P 2 − Π
a indukcı́ pro k ∈ N dostaneme podobně
(P − Π)k = P k − Π.
Matice P − Π je čtvercová a platı́
(P − Π)k = P k − Π → 0 pro k → ∞.
Tedy podle Věty B.3 Přı́lohy B existuje matice (I − (P − Π))−1 a platı́

∞
X ∞
X
(I − (P − Π))−1 = (P − Π)k = I + (P k − Π).
k =0 k =1
Je tudı́ž
∞
X ∞
X
k
(P − Π) = I − Π + (P k − Π) = (I − (P − Π))−1 − Π
k =0 k =1
konvergentnı́ maticová řada a vztah (2.86) můžeme dále upravit na tvar

n−1
X n−1
X
v (n) = Pkq = (P k − Π)q + nΠq (2.87)
k =0 k =0
X∞ ∞
X
= (P k − Π)q − (P k − Π)q + nΠq
k =0 k =n
∞
X
= (I − (P − Π))−1 q − Πq − (P k − Π)q + nΠq
k =n
−1
= (I − (P − Π)) q − Πq − (I − (P − Π))−1 (P − Π)n q + nΠq.
Poznámka. Pro dostatečně velké n lze zanedbat člen s (P − Π)n , takže (2.85) lze přibližně psát
jako
v (n) ' (n − 1)Πq + (I − (P − Π))−1 q.
Přı́klad 2.118: Výrobce limonád pravidelně sleduje prodejnost nového výrobku na domácı́m
trhu. Výrobek hodnotı́ v každém sledovaném obdobı́ jakou úspěšný (stav 0) nebo neúspěšný (stav
1), přičemž lze předpokládat, že úspěšnost či neúspěšnost prodeje v daném obdobı́ je ovlivněna jen
tı́m, jak se výrobek prodával v předchozı́m obdobı́ a dynamika prodeje je popsána Markovovým
řetězcem. Předpokládejme, že matice pravděpodobnostı́ přechodů je

0, 8 0, 2
P =
0, 3 0, 7
a odpovı́dajı́cı́ matice oceněnı́

10 5
Z= .
10 −20
Snadno spočteme, že

0, 6 0, 4 1, 4 −0, 4
Π= , (I − (P − Π))−1 =
0, 6 0, 4 −0, 6 1, 6
P >
a pro vektor q se složkami qi = j pi,j zi,j máme q = (9, −11) . Očekávaný výnos z prodeje za n
obdobı́ tedy je pro velké n
>
v (n) ' (n + 16, n − 24) .
Dosud jsme předpokládali, že výnosy (náklady) spojené s realizacı́ řetězce v dalšı́m obdobı́ se
kalkulujı́ na konci předcházejı́cı́ho obdobı́, tj. v čase 0 na prvnı́ obdobı́, v čase 1 na druhé obdobı́
atd. Předpokládejme nynı́, že kapitál je úročen a uvažujme tyto výnosy (náklady) přepočtené
k počátečnı́mu okamžiku: jestliže se uskutečnı́ přechod ze stavu i v čase k do stavu j v čase k + 1 a
toto oceněnı́ má v čase k hodnotu zi,j , potom oceněnı́ tohoto přechodu přepočı́tané k počátečnı́mu
okamžiku je β k zi,j , kde 0 < β < 1 je odúročitel (diskontnı́ faktor). Střednı́ výnos za n obdobı́
diskontovaný k počátečnı́mu okamžiku je (v přı́padě, že řetězec je na počátku ve stavu i )
X X X
zi,i1 + βzi1 ,i2 + · · · + β n−1 zin−1 ,in pi,i1 pi1 ,i2 . . . pin−1 ,in

vi (n) = ···
" #
X X X
n−2

= pi,i1 zi,i1 + β ··· zi1 ,i2 + βzi2 ,i3 + · · · + β zin−1 ,in pi1 ,i2 . . . pin−1 ,in
X X X
= pi,i1 zi,i1 + β pi,i1 vi1 (n − 1) = qi + β pi,i1 vi1 (n − 1) ,
i1 ∈S i1 ∈S i1 ∈S
maticově
v (n) = q + βP v (n − 1) pro každé n ∈ N. (2.88)
Věta 2.119: Pro diskontovaný střednı́ výnos platı́
v (n) = (I − βP )−1 q − β n (I − βP )−1 P n q pro každé n ∈ N
a dále
lim v (n) = (I − βP )−1 q.

n→∞
Důkaz. Z rekurentnı́ho vztahu (2.88) dostaneme

n−1
X
v (n) = q + βP v (n − 1) = q + βP (q + βP v (n − 2)) = · · · = β k P k q.
k =0
Protože 0 < β < 1 a P k → Π, konverguje matice β k P k k nulové matici. Podle Vět B.5 a B.3 tedy
n−1
X ∞
X ∞
X
v (n) = k
β P q= k k
β P q− k
β k P k q = (I − βP )−1 q − β n (I − βP )−1 P n q
k =0 k =0 k =n
a
n−1
X ∞
X
lim v (n) = lim βk P k q = β k P k q = (I − βP )−1 q.
n→∞ n→∞
k =0 k =0
2.10 Řı́zené Markovovy řetězce

Řı́zený Markovův řetězec s konečnou množinou stavů S je definován soustavou K matic pravděpo-
dobnostı́ přechodů 1 P , . . . , K P a K matic oceněnı́ 1 Z, 2 Z, . . . , K Z. Řı́zenı́ řetězce spočı́vá v tom, že
v každém kroku se rozhodneme pro nějaké k ∈ {1, 2, . . . , K}, které pro následný přechod použijeme;
tedy k ∈ {1, 2, . . . , K} je parametr řı́zenı́. To znamená, že se v každém kroku rozhodneme, kterou
matici pravděpodobnostı́ přechodů k P a matici oceněnı́ k Z využijeme. Rozhodnutı́ může záviset
na čase a stavu, ve kterém se řetězec právě nacházı́. Obecně by mohlo naše rozhodnutı́ záviset i
na předchozı́ch stavech řetězce, budeme se ale zabývat jen touto jednoduššı́ situacı́.
Necht’ ki (n) ∈ {1, 2, . . . , K} je rozhodnutı́ (tj. hodnota parametru řı́zenı́) v čase n, jestliže v
čase n je řetězec ve stavu i . V dalšı́m kroku tedy volı́me matice ki (n) P , ki (n) Z. Jestliže Xn je stav
řetězce v čase n, potom P ( Xn+1 = j | Xn = i , Xn−1 = in−1 , . . . , X0 = i0 ) = ki (n) pi,j . Obecně je tedy
posloupnost {Xn , n ∈ N0 } nehomogennı́ Markovův řetězec.
Vektor k (n) = {ki (n) , i ∈ S} je vektor možných rozhodnutı́ v čase n a posloupnost
{k (n) , n = 0, 1, . . .} se nazývá (markovské) řı́zenı́ řetězce. Jestliže k (n) nezávisı́ na n, mluvı́me o
homogennı́m řı́zenı́.
Definice 2.120: Uvažujme stav i ∈ S, časové okamžiky m, n ∈ N0 , m ≤ n a označme vi (m, n)

střednı́ výnos daný vývojem řetězce od času m do času n, když v čase m byl řetězec ve stavu i .
t
Našı́m cı́lem je nalézt řı́zenı́, které povede k maximálnı́mu střednı́mu výnosu v zadaném
konečném horizontu H ∈ N. Budeme postupovat podobně jako při odvozovánı́ rekurentnı́ho vztahu
(2.83): je-li v čase m řetězec ve stavu i , vybereme řı́zenı́ ki (m) a přı́slušné matice pravděpodobnostı́
přechodů a oceněnı́ a dostaneme
X
vi (m, H) = ki (m) qj + ki (m) pi,j vj (m + 1, H) , (2.89)
j ∈S
kde
X
ki (m) qj = ki (m) pi,j ki (m) zi,j (2.90)
j ∈S
je střednı́ výnos za jedno obdobı́ při řı́zenı́ ki (m).

Optimálnı́ řı́zenı́ nalezneme postupnou optimalizacı́ proti směru času, od horizontu k současnosti.
n o
Věta 2.121: Necht’ H ∈ N, k (n) , n ∈ {0, 1, . . . , H − 1} je řı́zenı́ řetězce takové, že pro každé
b
i ∈S
vbi (H − 1, H) = = max {k qi : k ∈ {1, 2, . . . , K}} ,

ki (H−1) qi
b
X
vbi (m − 1, H) = bki (m−1) qi + ki (m−1) pi,j v
b bj (m, H)
j ∈S
 
 X 
= max k qi + k pi,j vbj (m, H) : k ∈ {1, 2, . . . , K}
 
j ∈S
pro všechna m = H − 1, H − 2, . . . , 1.
Potom vbi (0, H) je maximálnı́ střednı́ výnos v horizontu H, když řetězce byl na začátku ve stavu
in, a o
k (n) , n ∈ {0, 1, . . . , H − 1} je přı́slušné optimálnı́ řı́zenı́ řetězce.
b
t
Důkaz. Uvažujme řı́zenı́ řetězce {k (n) , n ∈ {0, 1, . . . , H − 1}}. Ukážeme, že

vi (m, H) ≤ vbi (m, H) pro všechna m = 0, 1, . . . , H − 1.
Budeme postupovat matematickou indukcı́ pro m = H − 1, H − 2, . . . , 0. Zřejmě
vi (H − 1, H) = ki (H−1) qi ≤ max {k qi : k ∈ {1, 2, . . . , K}} = bki (H−1) qi = vbi (H − 1, H) .
Dále, jestliže vi (m, H) ≤ vbi (m, H) pro nějaké m < H − 1, potom také
vi (m − 1, H) ≤ vbi (m − 1, H) ,
nebot’
X
vi (m − 1, H) = ki (m−1) qi + ki (m−1) pi,j vj (m, H)
j ∈S
X
≤ ki (m−1) qi + ki (m−1) pi,j vbj (m, H)
j ∈S
 
 X 
≤ max qi + k pi,j vbj (m, H) : k ∈ {1, 2, . . . , K}
k 
j ∈S
X
= ki (m−1) qi
b + ki (m−1) pi,j
b vbj (m, H) = vbi (m − 1, H) .
j ∈S
Tedy vi (m, H) ≤ vbi (m,nH) pro všechna m = 0, 1, . . o. , H − 1. Odtud vbi (0, H) je maximálnı́ střednı́
výnos v horizontu H a k (n) , n = {0, 1, . . . , H − 1} je optimálnı́ řı́zenı́ řetězce.
b
Cvičenı́ 2.122: Necht’ {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s množinou stavů S ⊂ N0 .

Dokažte, že
P ( Xm+n = kn , Xm+n−1 = kn−1 , . . . , Xm+1 = k1 | Xm = i )
= P ( Xn = kn , Xn−1 = kn−1 , . . . , X1 = k1 | X0 = i )
pro každé i , k1 , . . . , kn ∈ S a každé m, n ∈ N.
Dále dokažte, že

P ( Xm+n = km+n , Xm+n−1 = km+n−1 , . . . , Xm+1 = km+1 | Xm = km , . . . , X0 = k0 )
= P ( Xm+n = km+n , Xm+n−1 = km+n−1 , . . . , Xm+1 = km+1 | Xm = km )
pro všechna ki ∈ S, i = 0, 1, . . . , m + n, m, n ∈ N.
t
Cvičenı́ 2.123: Necht’ {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s množinou stavů S ⊂ N0 .

Dokažte, že
P ( X0 = i0 , X1 = i1 , . . . , Xn−1 = in−1 , Xn+1 = in+1 , . . . , Xn+m = in+m | Xn = in )
= P ( X0 = i0 , X1 = i1 , . . . , Xn−1 = in−1 | Xn = in )
×P ( Xn+1 = in+1 , . . . , Xn+m = in+m | Xn = in ) ,
pro všechna ij ∈ S, j = 0, . . . , n + m, m, n ∈ N a P (Xn = in ) > 0.
Cvičenı́ 2.124: Model mı́senı́ dvou nestlačitelných kapalin.(D. Bernoulli, 1769).

Uvažujme dvě urny A, B, které obsahujı́ celkem 2l koulı́, z toho l bı́lých a l černých. V každém
časovém okamžiku n = 0, 1, . . . probı́há proces mı́senı́ takto: v každé z uren náhodně zvolı́me jednu
kouli a přemı́stı́me ji do druhé urny. Počet koulı́ v každé urně zůstává konstantnı́ a je roven l. Stav
systému v čase n, n ∈ N0 je popsán náhodnou veličinou Xn , která nabývá hodnoty i tehdy a jen
tehdy, když v čase n je v urně A právě i bı́lých koulı́, 0 ≤ i ≤ l.
Dokažte, že posloupnost {Xn , n ∈ N0 } tvořı́ Markovův řetězec se stavy 0, 1, . . . , l a najděte
pravděpodobnosti přechodů.
t
Cvičenı́ 2.125: Model výměny tepla (T. a P. Ehrenfestovi, 1907).

Teploty dvou izolovaných těles jsou reprezentovány počtem koulı́ ve dvou urnách A, B. Celkem je
v obou urnách umı́stěno 2l koulı́, které jsou očı́slovány 1, 2 . . . , 2l. K výměně tepla docházı́ podle
tohoto schématu: v každém kroku se náhodně vytáhne jedno čı́slo mezi 1, . . . , 2l a koule, jejı́ž čı́slo
bylo vytaženo, se přemı́stı́ do druhé urny. Stav systému v čase n, n ∈ N0 je popsán náhodnou
veličinou Xn , která nabývá hodnoty i tehdy a jen tehdy, když urna A obsahuje právě i koulı́,
0 ≤ i ≤ 2l.
Dokažte, že posloupnost {Xn , n ∈ N0 } tvořı́ Markovův řetězec se stavy 0, 1, . . . , l a najděte
pravděpodobnosti přechodů.
t
Cvičenı́ 2.126: Je dán Galtonův-Watsonův proces větvenı́ popsaný v Přı́kladech 1.23 a 2.35.
Necht’ počet jedinců X1 prvnı́ generace má rozdělenı́ {pj , j ≥ 0} s vytvořujı́cı́ funkcı́ P1 , střednı́
hodnotou µ1 a rozptylem σ12 .
Dokažte, že pro počet jedinců Xn n−té generace platı́
EXn = µn = µn1 ,
(
nσ12 , µ1 = 1,
var Xn = σn2 = µn −1
σ12 µ1n−1 µ11 −1 , µ1 6= 1.
Návod:
Dokažte, že vytvořujı́cı́ funkce Pn náhodné veličiny Xn splňuje rekurentnı́ vztah
Pn (s) = Pn−1 (P1 (s)) = P1 (Pn−1 (s)), n≥2
a užijte Vět A.2 a A.11 z Přı́lohy A.

t
Cvičenı́ 2.127: Necht’ X = {Xn , n ∈ N0 } je počet jedinců n-té generace v Galtonově - Watsonově
procesu větvenı́ z Přı́kladů 1.23 a 2.35. Necht’ P (X0 = 1) = 1 a X1 má rozdělenı́ P (X1 = 0) =
P (X1 = 1) = P (X1 = 2) = 31 a pro j ≥ 3 je P (X1 = j ) = 0. Spočtěte pravděpodobnosti přechodů
pi,j v řetězci X.
t
Cvičenı́ 2.128: Necht’ {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s množinou stavů S =

{0, 1, . . . } a maticı́ pravděpodobnostı́ přechodů P = {pi,j , i , j ∈ S}.
(n)
Dokažte, že pro rozdělenı́ fi,j doby prvnı́ho návratu do stavu j platı́ rekurentnı́ vztah
(
(n) pi,j , n = 1,
fi,j = P (n−1)
p f
k 6=j i,k k ,j , n > 1.
Návod. Pro n = 1 je vztah zřejmý, pro n > 1 platı́
(n)
fi,j = Pi (X1 6= j , . . . , Xn−1 6= j , Xn = j )
X
= Pi (X1 = k , X2 6= j , . . . , Xn−1 6= j , Xn = j )
k 6=j
X
= Pi (X2 6= j , . . . , Xn−1 6= j , Xn = j |X1 = k ) Pi (X1 = k ) .
k 6=j
Odtud s využitı́m markovské vlastnosti a Cvičenı́ 2.122 již plyne výsledek.

t
Cvičenı́ 2.129: Necht’ {Xn , n ∈ N0 } je homogennı́ Markovův řetězec s množinou stavů S =

(n)
{0, 1, . . . } a s maticı́ pravděpodobnostı́ přechodů P = {pi,j , i , j ∈ S}, necht’ {fj ,j } je rozdělenı́
doby prvnı́ho návratu do stavu j .
(n) (n)
Dokažte, že když dj je největšı́ společný dělitel (NSD) čı́sel fj ,j , n ≥ 1, pro které fj ,j > 0,
potom dj je perioda stavu j . (Nynı́ Lemma 2.70.)
t
Cvičenı́ 2.130: Uvažujme posloupnost bernoulliovských pokusů s výsledky zdar - nezdar, pravdě-
podobnost zdaru budiž p, 0 < p < 1, pravděpodobnost nezdaru q = 1 − p. Definujme náhodné
veličiny Xn , n ≥ 1 tı́mto předpisem:
Xn = 0, když n−tý pokus skončil nezdarem, Xn = k , když (n − k)−tý pokus skončil nezdarem
a pokusy (n − k + 1)−nı́ až n−tý zdarem (1 ≤ k ≤ n − 1) a Xn = n, jestliže pokusy prvnı́ až n−tý
skončily zdarem.
Dokažte, že {Xn , n ≥ 1} je Markovův řetězec se stavy 0, 1 . . . s pravděpodobnostı́ přechodu
 
q p 0 0 ...
 q 0 p 0 . . .
P =  q
 .
0 0 p . . .
... ... ... ... ...
Stejnou pravděpodobnostnı́ úvahou odvod’te matice P 2 , P 3 .

t
Cvičenı́ 2.131: Je dán Markovův řetězec s pravděpodobnostı́ přechodu

0 12 12
 
P =  21 0 12  .
 
1 1
2 2 0
S pomocı́ Perronova vzorce (Přı́loha B, Věta B.10) spočtěte matici P n pravděpodobnostı́
přechodů n−tého řádu.
Cvičenı́ 2.132: Uvažujte Markovův řetězec se stavy 0 a 1, s počátečnı́m rozdělenı́m p = ( 21 , 1 T

2)
a s maticı́ pravděpodobnostı́ přechodů

1−a a
P = ,
b 1−b
kde 0 < a < 1, 0 < b < 1, a + b < 1.
Dokažte (s použitı́m Perronova vzorce, Věta B.10), že

n 1 b a n a −a
P = + (1 − a − b) .
a+b b a −b b
Spočtěte absolutnı́ pravděpodobnosti p(n) a dále limity
(n)
lim pi (n), lim p , i , j = 0, 1.
n→∞ n→∞ i,j
Cvičenı́ 2.133: Mějme posloupnost nezávislých náhodných veličin {Yn , n ≥ 1} s alternativnı́m

rozdělenı́m. Sledujme posloupnost náhodných veličin {Xn , n ≥ 1} definovaných předpisem

1, když Yn = 1, Yn+1 = 1,

2, když Yn = 1, Yn+1 = 0,

Xn =

 3, když Yn = 0, Yn+1 = 1,
4, když Yn = 0, Yn+1 = 0.

Ověřte, že {Xn , n ≥ 1} je Markovovův řetězec a spočtěte pravděpodobnosti přechodů po n krocı́ch.
Cvičenı́ 2.134: Klasifikujte stavy Markovova řetězce s maticı́ pravděpodobnostı́ přechodů

1
0 0 12

2
0 0 1 1 
2 2
P =  .

 0 12 12 0 
1 1
0 2 2 0

 
0 0 0 1
 0 0 0 1
P = 1 1 0 0 .

2 2
0 0 1 0

0 13 0 32
 
 1 0 2 0
P = 3 3
0 1 0 5  .

6 6
1
6 0 56 0
Cvičenı́ 2.137: Uvažujme Markovův řetězec s pravděpodobnostı́ přechodu

1 0 0 0
 
0 1 1 1 
P =  1 13 31 3  .
 
 3 3 3 0
0 0 0 1
Najděte fundamentálnı́ matici tohoto řetězce a pravděpodobnost, že řetězec, který vycházı́ ze stavu
2, dřı́ve nebo později skončı́ ve stavu 4.
t

 1 1 1

2 4 8 ....
 1 0 0 . . . .
P =  0
 .
1 0 . . . .
... ... ... ....
Nalezněte stacionárnı́ rozdělenı́ tohoto řetězce, pokud existuje.
t

 
q0 p0 0 0 ....
 q1 0 p1 0 . . . .
P =  q2
 .
0 0 p2 . . . .
... ... ... ... ....
t

 
p0 p1 p2 . . . .
 1 0 0 . . . .
P =  1
 .
0 0 . . . .
... ... ... ....

 
p0 p1 p2 . . . .
 1 0 0 . . . .
P =  0
 .
1 0 . . . .
... ... ... ....
t
Cvičenı́ 2.142: Najděte stacionárnı́ rozdělenı́ v řetězci popsaném v Přı́kladě 2.38. Porovnejte
výsledek s limitnı́m rozdělenı́m.
t
Cvičenı́ 2.143: Matice P = {pi,j , i , j ∈ S} s nezápornými prvky se nazývá dvojně stochastická,

jestliže
X X
pi,j = 1 ∀i ∈ S, pi,j = 1 ∀j ∈ S.
j ∈S i∈S
Dokažte tuto větu: Necht’ je dán nerozložitelný Markovův řetězec s maticı́ pravděpodobnostı́
přechodů, která je dvojně stochastická. Je-li řetězec konečný, je stacionárnı́ rozdělenı́ rovnoměrné,
1
t.j. πj = M , 1 ≤ j ≤ M, kde M je počet stavů. Je-li řetězec nekonečný, stacionárnı́ rozdělenı́
neexistuje. (Dupač, Dupačová, I (1975).)
t
Cvičenı́ 2.144: Necht’ X = {Xn , n ∈ N0 } je nerozložitelný homogennı́ Markovův řetězec s diskrét-

nı́m časem, s množinou stavů S, s počátečnı́m rozdělenı́m p a s maticı́ pravděpodobnostı́
přechodů
P , jehož všechny stavy jsou trvalé. Necht’ i ∈ S je pevné; potom vektor γ i = γji , j ∈ S , kde
 
τi (1) ∞
X X
γji = Ei  I(Xn = j ) = Pi (Xn = j , τi (1) ≥ n) ,
n=1 n=1
je invariantnı́ mı́ra řetězce X, viz Definice 2.102, a platı́ 0 < γji < ∞ ∀j ∈ S a γii = 1. Tato
invariantnı́ mı́ra je jediná až na multiplikativnı́ konstantu. (Je zřejmé, že γji udává průměrný počet
vstupů do stavu j mezi dvěma vstupy do stavu i .)
Ukažte, že
X
γji = Ei [τi (1)] ,
j ∈S
γji < ∞.
P
tedy stacionárnı́ rozdělenı́ v uvažovaném řetězci existuje právě tehdy, když j ∈S
Návod:
Jelikož i je trvalý, je Pi (τi (1) < ∞) = 1. Protože X0 = i , Xτi (1) = i , je
∞
X ∞
X
γii = Pi (Xn = i , τi (1) ≥ n) = Pi (τi (1) = n) = Pi (τi (1) < ∞) = 1
n=1 n=1
a pro j 6= i
∞
X ∞ X
X
γji = Pi (Xn = j , τi (1) ≥ n) = Pi (X1 = j , τi (1) ≥ 1) + Pi (Xn = j , Xn−1 = k , τi (1) ≥ n)
n=1 n=2 k 6=i
∞ X
X
= Pi (X1 = j ) + Pi (Xn = j |Xn−1 = k , τi (1) ≥ n ) Pi (Xn−1 = k , τi (1) ≥ n) .
n=2 k 6=i
Dále platı́ pro k 6= i
[Xn−1 = k , τi (1) ≥ n] = [X1 6= i , . . . , Xn−2 6= i , Xn−1 = k ] ,
takže s využitı́m markovské vlastnosti

∞ X
X ∞ X
X
γji = pi,j + pk ,j Pi (Xn−1 = k , τi (1) ≥ n) = pi,j + pk ,j Pi (Xn = k , τi (1) ≥ n + 1)
n=2 k 6=i n=1 k 6=i
X∞ X X X∞
= pi,j + pk ,j Pi (Xn = k , τi (1) ≥ n) = pi,j + pk ,j Pi (Xn = k , τi (1) ≥ n)
n=1 k 6=i k 6=i n=1
X X
= pi,j γii + pk ,j γki = pk ,j γki .
k 6=i k ∈S
Zjistili jsme, že vektor γ i splňuje rovnici (2.77). Z definice je tento vektor nezáporný, je tudı́ž
invariantnı́ mı́rou řetězce X.
(M ) (N )
Protože řetězec je nerozložitelný, existujı́ M , N přirozená taková, že pi,j > 0 a pj ,i > 0.
> > > > > >
= γ i P M = γ i P (M ) , γ i = γ i P N = γ i P (N ) dostáváme

Jelikož γ i
(M ) (M ) (M )
X
γji = pk ,j γki ≥ pi,j γii = pi,j ,
k ∈S
(N ) (N )
X
1 = γii = pk ,i γki ≥ pj ,i γji .
k ∈S
(M ) 1
Odkud plyne, že pro j 6= i platı́ 0 < pi,j ≤ γji ≤ (N ) < ∞. Zbytek tvrzenı́ plyne z Věty A.4,
pj ,i
Přı́loha A a Věty 2.108.
t
Kapitola 3
Markovovy řetězce se spojitým

časem
3.1 Základnı́ vlastnosti

Nynı́ se budeme zabývat Markovovými řetězci se spojitým časem.
Definice 3.1: Náhodný proces X = {Xt , t ≥ 0} definovaný na pravděpodobnostnı́m prostoru

(Ω, A, P ) s diskrétnı́ nejvýše spočetnou množinou stavů S se nazývá
Markovův řetězec se spojitým časem (ang. continuous-time Markov chain), jestliže
P ( Xt = j | Xs = i , Xtn = in , . . . , Xt1 = i1 ) = P ( Xt = j | Xs = i ) (3.1)
pro všechna i , j , i1 , . . . , in ∈ S a pro všechna 0 ≤ t1 < t2 < · · · < tn < s < t, pro která
P (Xs = i , Xtn = in , . . . , Xt1 = i1 ) > 0.
t
Tato definice je analogická ekvivalentnı́ definici Markovova řetězce s diskrétnı́m časem v Větě
2.15. Vztah (3.1) se nazývá markovská vlastnost (ang. Markov property).
Spojitý čas na rozdı́l od času diskrétnı́ho připouštı́ velkou volnost v chovánı́ trajektoriı́ náhodných
procesů. Vlastnost (3.1) se proto ukazuje “slabou”, splňuje ji řada náhodných procesů, které nemajı́
hezké vlastnosti; různým způsobem explodujı́, jejich trajektorie nemusı́ být měřitelné funkce, atd.
Budeme proto ke splněnı́ markovské vlastnosti postupně přidávat dalšı́ požadavky, až vybereme
třı́du procesů, které jsou jistým způsobem regulárnı́, a na tu se soustředı́me.
Definice 3.2: Pro Markovův řetězec se spojitým časem zavádı́me označenı́:

• Pro j ∈ S značı́me pj := P (X0 = j ) a budeme je nazývat počátečnı́ pravděpodobnosti.
• Pro j ∈ S, t ≥ 0 značı́me pj (t) := P (Xt = j ) a budeme je nazývat
absolutnı́ pravděpodobnosti v čase t.
• Pro i , j ∈ S, 0 ≤ s ≤ t, P (Xs = i ) > 0 značı́me pi,j (s, t) := P ( Xt = j | Xs = i ), tyto
podmı́něné pravděpodobnosti nazýváme pravděpodobnosti přechodů ze stavu i v čase s do
stavu j v čase t.
Lemma 3.3: Platı́ vztahy:
97
• pj = pj (0) pro všechna j ∈ S.

P
• pj ≥ 0 pro všechna j ∈ S a i∈S pi = 1.
P
• Pro t ≥ 0 je pj (t) ≥ 0 pro všechna j ∈ S a i∈S pi (t) = 1.
• Pro s ≥ 0, i ∈ S, P (Xs = i ) > 0 je pi,j (s, s) = δi,j pro všechna j ∈ S.
P
• Pro 0 ≤ s ≤ t, i ∈ S, P (Xs = i ) > 0 je pi,j (s, t) ≥ 0 pro všechna j ∈ S a k ∈S pi,k (s, t) = 1.
Definice 3.4: Řekneme, že X = {Xt , t ≥ 0} Markovův řetězec se spojitým časem je homogennı́,
jestliže pro každé i , j ∈ S, s ≥ 0, u ≥ 0, t ≥ 0, P (Xs = i ) > 0, P (Xu = i ) > 0 platı́
pi,j (s, s + t) = pi,j (u, u + t).
V takovém přı́padě tyto pravděpodobnosti přechodů budeme označovat pi,j (t) a budeme je sdružovat
do matic pravděpodobnostı́ přechodů P (t) = {pi,j (t), i , j ∈ S}, t ≥ 0.
t
Dále se budeme zabývat jen homogennı́mi Markovovými řetězci se spojitým časem.
Lemma 3.5: Pro homogennı́ Markovův řetězec se spojitým časem platı́:

• pi,j (0) = δi,j pro všechna i , j ∈ S, tj. P (0) = I.
P
• Pro t ≥ 0 je pi,j (t) ≥ 0 pro všechna i , j ∈ S a k ∈S pi,k (t) = 1 pro všechna i ∈ S.
t
Pro každé i , j ∈ S tedy budeme uvažovat celý systém pravděpodobnostı́ přechodů {pi,j (t), t ≥ 0},
neboli celý systém matic pravděpodobnostı́ přechodů {P (t), t ≥ 0}. Pokud nedojde k nedoro-
zuměnı́, budeme v dalšı́m textu přı́vlastek homogennı́“ vynechávat.
”
Podobně jako ve Větě 2.23 lze ukázat, že všechna konečněrozměrná rozdělenı́ homogennı́ho
Markovova řetězce se spojitým časem X = {Xt , t ≥ 0} jsou určena počátečnı́mi pravděpodobnostmi
p (0) = {pi (0) , i ∈ S} a systémem matic pravděpodobnostı́ přechodů {P (t), t ≥ 0}. Uved’me si
obecnějšı́ verzi této vlastnosti.
Věta 3.6: Necht’ X = {Xt , t ≥ 0} je homogennı́ Markovův řetězec se spojitým časem, pak pro
libovolné časové okamžiky 0 ≤ t0 < t1 < t2 < · · · < tn a libovolná i0 , i1 , . . . , in ∈ S platı́
P (Xt0 = i0 , Xt1 = i1 , . . . , Xtn = in ) = pi0 (t0 ) pi0 ,i1 (t1 − t0 )pi1 ,i2 (t2 − t1 ) . . . pin−1 ,in (tn − tn−1 ). (3.2)
t
Odtud dostáváme dalšı́ vlastnosti.
Věta 3.7: Pro homogennı́ Markovův řetězec se spojitým časem platı́:

• Pro každé t ≥ 0, j ∈ S je
X
pj (t) = P (Xt = j ) = pi (0) pi,j (t), (3.3)
i∈S
maticově
> >
p (t) = p (0) P (t).
• Pro každé s ≥ 0, t ≥ 0, i , j ∈ S je
X
pi,j (s + t) = pi,k (s)pk ,j (t), (3.4)
k ∈S
maticově
P (s + t) = P (s)P (t),
což je obdobně jako pro diskrétnı́ čas nazýváno Chapmanova-Kolmogorovova rovnost.
P Naopak lze ukázat, že ke každému pravděpodobnostnı́mu vektoru p = {pi , i ∈ S}, pi ≥ 0,

i∈S pi = 1 a každému systému stochastických matic {P (t), t ≥ 0}, které splňujı́ Chapmanovu-
Kolmogorovovu rovnost, existuje homogennı́ Markovův řetězec se spojitým časem, jehož počátečnı́
pravděpodobnosti jsou dány vektorem p a systém matic pravděpodobnostı́ přechodů je právě
{P (t), t ≥ 0}.
Definice 3.8: Necht’ Q je nejvýše spočetná množina a pro každé t ≥ 0 je dána stochastická
matice A (t) = {Ai,j (t) , i , j ∈ Q}, tj. splňuje (2.22). Řekneme, že systém stochastických matic
{A (t) , t ≥ 0} je konzistentnı́ (ang. consistent), jestliže
i) A (0) = I.
ii) A (s + t) = A (s) A (t) pro každé s, t ≥ 0.
Evidentně systém stochastických matic {P (t), t ≥ 0} homogennı́ho Markovova řetězce se spo-

jitým časem je konzistentnı́.
Věta 3.9: Necht’ Q je diskrétnı́ nejvýše spočetná množina, a = {ai , i ∈ Q} je stochastický vektor,
tj. splňuje (2.21), a pro každé t ≥ 0 je dána stochastická matice A (t) = {Ai,j (t) , i , j ∈ Q}, tj.
splňuje (2.22). Když je systém stochastických matic {A (t) , t ≥ 0} konzistentnı́, pak existuje homo-
gennı́ Markovův řetězec se spojitým časem X = {Xt , t ≥ 0} s množinou stavů S ⊂ Q, počátečnı́m
rozdělenı́m p = {ai , i ∈ S} a se systémem matic pravděpodobnostı́ přechodů P = {P (t), t ≥ 0},
kde P (t) = {Ai,j (t) , i , j ∈ S}.
t
Důkaz. Bez újmy na obecnosti uvažujme Q = N0 (Jinak bychom stavy doplnili, aby jich bylo
spočetně, a očı́slovali. Vektor a bychom doplnili nulami a matice A (t) bychom vhodně doplnili
tak, aby byly stochastické a tvořili konzistentnı́ systém.)
Pro k ∈ N, 0 ≤ s1 ≤ s2 ≤ · · · ≤ sk můžeme tedy definovat distribučnı́ funkci Hs1 ,s2 ,...,sk
předpisem
+∞ bx
X X 1c bxk c
X
Hs1 ,s2 ,...,sk (x1 , x2 , . . . , xk ) = ··· ai0 Ai0 ,i1 (s1 ) Ai1 ,i2 (s2 − s1 ) . . . Aik −1 ,ik (sk − sk −1 )
i0 =0 i1 =0 ik =0
pro každé x1 , x2 , . . . , xk ∈ R.
Pro k ∈ N, t1 , t2 , . . . , tk ≥ 0 budeme postupovat následovně. Čı́sla nejdřı́ve uspořádáme podle

velikosti 0 ≤ tι(1) ≤ tι(2) ≤ · · · ≤ tι(k ) , kde ι je vhodná permutace čı́sel 1, 2, . . . , k . Pak definujeme
distribučnı́ funkci Gt1 ,t2 ,...,tk předpisem

Gt1 ,t2 ,...,tk (x1 , x2 , . . . , xk ) := Htι(1) ,tι(2) ,...,tι(k ) xι(1) , xι(2) , . . . , xι(k ) pro každé x1 , x2 , . . . , xk ∈ R.
Systém distribučnı́ch funkcı́ { Gt1 ,t2 ,...,tk , t1 , t2 , . . . , tk ≥ 0} je konzistentnı́, proto podle Věty 1.4
existuje reálný náhodný proces X = {Xt , t ≥ 0}, jehož rozdělenı́ je jednoznačně určeno a splňuje
P (X0 = i0 , Xs1 = i1 , . . . , Xsk = ik ) = ai0 Ai0 ,i1 (s1 ) Ai1 ,i2 (s2 − s1 ) . . . Aik −1 ,ik (sk − sk −1 ) (3.5)
pro všechna k ∈ N0 , i0 , i1 , . . . , ik ∈ N0 , 0 ≤ s1 ≤ s2 ≤ · · · ≤ sk .
a) Z (3.5) pro t ≥ 0 dostáváme
+∞ X
X +∞ +∞ X
X +∞
P (Xt ∈ N0 ) ≥ P (X0 = i , Xt = j ) = ai Ai,j (t) = 1 .
i=0 j =0 i=0 j =0
Tudı́ž pro každé t ≥ 0 je P (Xt ∈ N0 ) = 1. To ale znamená, že množina stavů procesu X je
S ⊂ N0 .
b) Zúženı́m (3.5) dostaneme (3.1), tj.
P (X0 = i0 , X1 = i1 , . . . , Xk = ik ) = ai0 Ai0 ,i1 . . . Aik−1 ,ik = pi0 pi0 ,i1 . . . pik−1 ,ik
pro i0 , i1 , . . . , ik ∈ S, k ∈ N0 .
c) Když i ∈ N0 , ai > 0, pak i ∈ S, podle Lemmatu 1.2. Proto, když i ∈ N0 \ S, pak ai = 0.
Tudı́ž p splňuje (2.20), nebot’
X X +∞
X
pi = ai = ai = 1 .
i∈S i∈S i=0
d) Necht’ i ∈ S, j ∈ N0 , t ≥ 0, Ai,j (t) > 0.

Pak existuje s ≥ 0 tak, že P (Xs = i ) > 0. Potom
+∞
X +∞
X
0 0
Odtud P (Xs+t = j ) > 0 a tudı́ž j ∈ S podle Lemmatu 1.2.
Zjistili jsme, že pro i ∈ S, j ∈ N0 \ S, t ≥ 0 je nutně Ai,j (t) = 0.
Proto P splňuje (2.19), nebot’ platı́
X X +∞
X
pi,j = Ai,j = Ai,j = 1 .
j ∈S j ∈S j =0
Zjistili jsme, že proces X je homogennı́ Markovův řetězec se spojitým časem, s počátečnı́m rozdělenı́m
p = {ai , i ∈ S} a se systémem matic pravděpodobnostı́ přechodů P = {P (t), t ≥ 0},
kde P (t) = {Ai,j (t) , i , j ∈ S}.
Pravděpodobnosti přechodů nemusı́ být, bez dalšı́ch předpokladů, spojité. Abychom tuto anomálii
vyloučili budeme přidávat následujı́cı́ požadavek.
Požadavek 3.10: Požadujeme splněnı́

lim pi,i (t) = 1 pro každý stav i ∈ S. (3.6)
t→0+
t
Předpoklad znamená, že pravděpodobnosti přechodů pi,i jsou spojité zprava v bodě 0. Ukážeme,
že i pravděpodobnosti přechodů pi,j jsou spojité zprava v bodě 0 pro různé stavy i , j ∈ S.
Dokážeme však vı́ce.
Věta 3.11: Uvažujme homogennı́ Markovův řetězec se spojitým časem splňujı́cı́ Požadavek
3.10 a i ∈ S. Pak jsou pravděpodobnosti přechodů pi,j , j ∈ S stejně stejnoměrně spojité na
R+,0 = [0, +∞).
t
Důkaz. Podle Chapmanovy-Kolmogorovovy rovnosti (3.4) pro každé h > 0 platı́

X
|pi,j (t + h) − pi,j (t)| = pi,k (h)pk ,j (t) − pi,j (t)
k ∈S
X
= pi,k (h)pk ,j (t) − pi,j (t)(1 − pi,i (h))
k ∈S
k 6=i
X
≤ pi,k (h)pk ,j (t) + pi,j (t)(1 − pi,i (h))
k ∈S
k 6=i
X
≤ pi,k (h) + (1 − pi,i (h)) = (1 − pi,i (h)) + (1 − pi,i (h)) = 2(1 − pi,i (h)). (3.7)
k ∈S
k 6=i
Z (3.6) a (3.7) plyne, že

sup {|pi,j (t) − pi,j (s)| : t ≥ 0, s ≥ 0, |t − s| < δ, j ∈ S}
≤ σi (δ) = 2 sup {1 − pi,i (h) : 0 < h < δ} .
Pro pevné i ∈ S jsme ukázali stejnou stejnoměrnou spojitost pravděpodobnostı́ přechodů pi,j ,
j ∈ S na R+,0 , protože σi (δ) konverguje k nule při δ → 0+, nebot’ pi,i (h) → 0 při h → 0+.
Poznámka. Za stejných předpokladů a jako důsledek Věty 3.11 plyne, že také absolutnı́ pravdě-
podobnosti pj (t), j ∈ S jsou stejnoměrně spojité funkce na R+,0 (viz Cvičenı́ 3.72).
t
Věta 3.12: Jestliže X = {Xt , t ≥ 0} je homogennı́ Markovův řetězec se spojitým časem, který
splňuje Požadavek 3.10, pak je stochasticky spojitý.
t
Důkaz. Bez újmy na obecnosti S ⊂ N.

Pak pro 0 < ε < 1, t, s ∈ R+,0 platı́
P (|Xt − Xs | > ) = P (Xt 6= Xs ) = 1 − P (Xt = Xs ) .
Chceme ukázat stochastickou spojitost procesu, potřebujeme proto ověřit, že
lim P (Xt+h = Xt ) = 1 pro každé t ≥ 0,
h→0+
lim P (Xt−h = Xt ) = 1 pro každé t > 0.

h→0+
1) Uvažujme t ≥ 0. Pak pro h > 0 platı́

X X
P (Xt+h = Xt ) = P (Xt = j , Xt+h = j ) = pj (t) pj ,j (h).
j ∈S j ∈S
a) Když S je konečná, limitnı́m přechodem dostáváme

X X
lim P (Xt+h = Xt ) = pj (t) lim pj ,j (h) = pj (t) = 1.
h→0+ h→0+
j ∈S j ∈S
b) Když
P S je nekonečná (tedy spočetná), pak 0 ≤ pj (t) pj ,j (h) ≤ pj (t) pro každé j ∈ S a
j ∈S j (t) = 1, proto podle Lebesgueovy věty i zde dostáváme
p
X X
lim P (Xt+h = Xt ) = pj (t) lim pj ,j (h) = pj (t) = 1.
h→0+ h→0+
j ∈S j ∈S
2) Uvažujme t > 0. Pak pro 0 < h < t platı́

X X
P (Xt−h = Xt ) = P (Xt−h = j , Xt = j ) = pj (t − h) pj ,j (h).
j ∈S j ∈S
1) Když S je konečná, limitnı́m přechodem dostáváme

X X
lim P (Xt−h = Xt ) = lim pj (t − h) lim pj ,j (h) = pj (t) = 1.
h→0+ h→0+ h→0+
j ∈S j ∈S
2) Když S = N, pak pro N ∈ N limitnı́m přechodem dostáváme

N
X N
X
lim inf P (Xt−h = Xt ) ≥ lim pj (t − h) lim pj ,j (h) = pj (t) .
h→0+ h→0+ h→0+
j =1 j =1
Nynı́ limitnı́m přechodem N → ∞ dostáváme

∞
X
1 ≥ lim sup P (Xt−h = Xt ) ≥ lim inf P (Xt−h = Xt ) ≥ pj (t) = 1.
h→0+ h→0+
j =1
Ověřili jsme limh→0+ P (Xt−h = Xt ) = 1.
Věta 3.13: Homogennı́ Markovův řetězec se spojitým časem, který splňuje Požadavek 3.10, má
stochastickou verzi, která je separabilnı́ a měřitelná.
Důkaz. Podle Věty 3.12 je takový řetězec stochasticky spojitý proces, proto podle Věty 1.18 exis-
tuje jeho verze, která je separabilnı́ a měřitelná.
Třı́du uvažovaných procesů zúžı́me dalšı́m požadavkem, aniž bychom opomněli nějaké rozdělenı́
náhodného procesu, které splňuje markovskou vlastnost (3.1) a (3.6).
Požadavek 3.14: Požadujeme, aby řetězec byl separabilnı́ a měřitelný.
t
Nynı́ se budeme zabývat diferencovatelnostı́ pravděpodobnostı́ přechodů.
Věta 3.15: Pro homogennı́ Markovův řetězec se spojitým časem, který splňuje Požadavek 3.10,
platı́:
i) Pro každé i ∈ S existuje limita
1 − pi,i (h)
qi := lim , 0 ≤ qi ≤ ∞. (3.8)
h→0+ h
ii) Pro každé i , j ∈ S, i 6= j existujı́ limity

pi,j (h)
qi,j := lim , 0 ≤ qi,j < ∞. (3.9)
h→0+ h
iii) Když S je konečná, pak pro každé i ∈ S platı́

X
qi,j = qi .
j ∈S
j 6=i
iv) Když S je spočetná, pak pro každé i ∈ S platı́

X
qi,j ≤ qi .
j ∈S
j 6=i
Důkaz. Důkaz existence limit (3.8), (3.9) lze nalézt v Chung (1967), věta II.2.4 a věta II.2.5, nebo
Karlin a Taylor (1981), kap. 14, věty 1.1, 1.2.
Zde ukážeme pouze (iii) a (iv).
Pro každé i ∈ S a h > 0 platı́
1 − pi,i (h) X pi,j (h)
= . (3.10)
h h
j ∈S
j 6=i
Když S je konečná, pak limitnı́m přechodem v (3.10) dostaneme

1 − pi,i (h) X pi,j (h) X
qi = lim = lim = qi,j .
h→0+ h h→0+ h
j ∈S j ∈S
j 6=i j 6=i
Když S je spočetná, pak na pravé straně rovnosti (3.10) je součet nezáporných sčı́tanců. Můžeme
proto použı́t Fatoovo lemma a dostáváme
1 − pi,i (h) X pi,j (h) X
qi = lim ≥ lim = qi,j .
h→0+ h h→0+ h
j ∈S j ∈S
j 6=i j 6=i
Věta 3.15 řı́ká, že pro homogennı́ Markovův řetězec se spojitým časem, který splňuje Požadavek
3.10, jsou jeho pravděpodobnosti přechodů diferencovatelné v nule zprava.
Definice 3.16: Pro homogennı́ Markovův řetězec se spojitým časem, který splňuje Požadavek
3.10, zavádı́me termı́ny:
• Pro i , j ∈ S se čı́slo qi,j nazývá intenzita přechodu ze stavu i do stavu j . (ang. transition
intensity)
• Pro i ∈ S se čı́slo qi se nazývá celková intenzita přechodu ze stavu i . (ang. total intensity)
• Matice Q = {qi,j , i , j ∈ S}, kde qi,i = −qi , se nazývá matice intenzit přechodu. (ang. tran-
sition intensity matrix)
Povšimněme si, že celková intenzita přechodu ze stavu i může být nekonečná, kdežto intenzity
přechodů ze stavu i Pdo stavu j jsou vždy konečné.
Nerovnost qi > j ∈S qi,j pro nějaké i ∈ S znamená, že proces exploduje. Toto nežádoucı́
j 6=i
chovánı́ odstranı́me dalšı́m požadavkem.
Požadavek 3.17: Požadujeme splněnı́ rovnosti

X
qi = qi,j pro všechna i ∈ S. (3.11)
j ∈S
j 6=i
Pro reálné náhodné procesy lze markovskou vlastnost ekvivalentně vyjádřit pomocı́ přı́růstků
procesu.
Věta 3.18: Necht’ X = {Xt , t ≥ 0} je reálný náhodný proces s diskrétnı́ nejvýše spočetnou
množinou stavů S ⊂ R. Pak je ekvivalentnı́:
i) X = {Xt , t ≥ 0} je Markovův řetězec se spojitým časem.
ii) Pro každé K ∈ N, libovolné časové okamžiky 0 ≤ t1 < t2 < · · · < tK a libovolné stavy
i1 , i2 , . . . , iK ∈ S s vlastnostı́

P Xt1 = i1 , Xt2 = i2 , . . . , XtK −1 = iK −1 > 0
platı́

P XtK − XtK −1 = iK − iK −1 XtK −1 = iK −1 , XtK −2 = iK −2 , . . . , Xt1 = i1 (3.12)

= P XtK − XtK −1 = iK − iK −1 XtK −1 = iK −1 .
Důkaz. Jedná se pouze o jednoduchý přepis markovské vlastnosti (3.1), nebot’

P XtK = iK | XtK −1 = iK −1 , XtK −2 = iK −2 , . . . , Xt1 = i1

= P XtK − XtK −1 = iK − iK −1 XtK −1 = iK −1 , XtK −2 = iK −2 , . . . , Xt1 = i1 ,

P XtK = iK | XtK −1 = iK −1 = P XtK − XtK −1 = iK − iK −1 XtK −1 = iK −1 .
Definice 3.19: Řı́káme, že reálný náhodný proces X = {Xt , t ≥ 0} má nezávislé přı́růstky, jestliže
pro každé k ∈ N a časové okamžiky 0 ≤ t0 < t1 < · · · < tk jsou přı́růstky
Xt0 , Xt1 − Xt0 , Xt2 − Xt1 , . . . , Xtk − Xtk −1 nezávislé náhodné veličiny.
t
Definice 3.20: Řı́káme, že reálný náhodný proces X = {Xt , t ≥ 0} má stacionárnı́ přı́růstky,
jestliže pro každé k ∈ N a libovolné časové okamžiky 0 = t0 < t1 < · · · < tk rozdělenı́ vektoru
přı́růstků
Xt1 +t − Xt0 +t , Xt2 +t − Xt1 +t , . . . , Xtk +t − Xtk −1 +t nezávisı́ na t ≥ 0.
t
Lemma 3.21: Když reálný náhodný proces X = {Xt , t ≥ 0} má nezávislé přı́růstky a pro každé
0 ≤ s < t rozdělenı́ přı́růstku Xt − Xs závisı́ jen na rozdı́lu t − s, potom proces X = {Xt , t ≥ 0} má
stacionárnı́ přı́růstky.
t
Důkaz. Tvrzenı́ plyne bezprostředně z nezávislosti přı́růstků a z toho, že rozdělenı́ přı́růstku závisı́
pouze na rozdı́lu argumentů.
Věta 3.22: Když X = {Xt , t ≥ 0} je reálný náhodný proces s diskrétnı́ nejvýše spočetnou
množinou stavů S ⊂ R a s nezávislými přı́růstky, pak je tento proces Markovův řetězec se spojitým
časem a pro každé 0 ≤ s < t, i , j ∈ S s vlastnostı́ P (Xs = i ) > 0 platı́
pi,j (s, t) = P (Xt − Xs = j − i ) . (3.13)
Důkaz. Vezměme k ∈ N, časové okamžiky 0 ≤ t0 < t1 < · · · < tk a stavy i0 , i1 , . . . , ik ∈ S.

Proces má nezávisle přı́růstky, proto přı́růstek Xtk − Xtk −1 je nezávislý s náhodnými veličinami
Xt0 , Xt1 , Xt2 , . . . , Xtk −1 .
Odtud dostáváme:

P Xtk − Xtk −1 = ik − ik −1 Xtk −1 = ik −1 , Xtk −2 = ik −2 , . . . , Xt0 = i0
nezávislost
= P Xtk − Xtk −1 = ik − ik −1 ,

pik −1 ,ik (tk −1 , tk ) = P Xtk − Xtk −1 = ik − ik −1 Xtk −1 = ik −1
nezávislost
= P Xtk − Xtk −1 = ik − ik −1 .
Ukázali jsme (3.12), což podle Věty 3.18 znamená, že daný proces je Markovův řetězec se spojitým
časem. Zároveň jsme také ukázali (3.13).
Věta 3.23: Když X = {Xt , t ≥ 0} je reálný náhodný proces s diskrétnı́ nejvýše spočetnou
množinou stavů S ⊂ R, s nezávislými přı́růstky a jestliže pro každé 0 ≤ s < t rozdělenı́ přı́růstku
Xt − Xs závisı́ jen na rozdı́lu t − s, pak je tento proces homogennı́ Markovův řetězec se spojitým
časem a pro t ≥ 0, h ≥ 0, i , j ∈ S platı́
pi,j (h) = P (Xt+h − Xt = j − i ) . (3.14)
Důkaz. Podle věty 3.22 je tento proces Markovův řetězec se spojitým časem. Jeho homogenita
plyne ze stacionarity přı́růstků.
Přı́klad 3.24: Poissonův proces.

S tı́mto procesem jsme se již setkali v Přı́kladě 1.24. Jedná se o sledovánı́ nějaké události a
jejı́ počet výskytů do času t, včetně. Zde si jej korektně zavedeme a uvědomı́me si jeho základnı́
vlastnosti.
Uvažujme události téhož typu, které nastávajı́ náhodně v čase, a předpokládejme:
i) Počty událostı́ v disjunktnı́ch časových intervalech jsou nezávislé náhodné veličiny.
ii) Rozdělenı́ počtu událostı́ v daném časovém intervalu závisı́ jen na délce tohoto intervalu.
iii) Je dáno reálné čı́slo λ > 0.
iv) Pravděpodobnost, že v intervalu (t, t + h] nastane právě jedna událost, necht’ je pro všechna
t ≥ 0 rovna λh + o(h). (Připomeňme, že symbol o(h) zde značı́, že o(h) /h → 0 při h → 0+ .)
v) Pravděpodobnost, že v intervalu (t, t + h] nastane vı́ce než jedna událost, necht’ je pro všechna
t ≥ 0 rovna o(h).
Označme X0 = 0 a pro t > 0 necht’ Xt značı́ počet událostı́, které nastanou v intervalu (0, t].
Jde o počty událostı́, proto můžeme uvažovat H = N0 jako stavový prostor procesu. Potom
X = {Xt , t ≥ 0} je reálný náhodný proces jehož přı́růstky jsou nezávislé podle předpokladu i) a
stacionárnı́ podle předpokladu ii). Podle věty 3.23 vı́me, že jde o homogennı́ Markovův řetězec se
spojitým časem.
Dále platı́ pro všechna t ≥ 0, h > 0
iv
pi,i+1 (h) = P (v intervalu (t, t + h] nastane právě jedna událost) = λh + o(h) ,
pi,j (h) = P (v intervalu (t, t + h] nastane právě j − i událostı́)
v
= o(h) pro j > i + 1,
pi,j (h) = P (v intervalu (t, t + h] ubude právě i − j událostı́)
= 0 pro j < i , !! Jde dokonce o nemožný jev !!
i−1
X ∞
X
pi,i (h) = 1− pi,j (h) − pi,j (h)
j =0 j =i+1
= 1 − pi,i+1 (h) − P (v intervalu (t, t + h] nastanou alespoň dvě události)
iv+v
= 1 − λh − o(h) − o(h) = 1 − λh + o(h) .
Vypočteme intenzity přechodu, které jsou qi,i+1 = λ, qi = −qi,i = λ, qi,j = 0 jinak. Matice
intenzit přechodu tedy je
 
−λ λ 0 0 0 ...
 0 −λ λ 0 0 . . .
Q= 0 .
 
 0 −λ λ 0 . . .
.. .. .. .. ..
. . . . .
Proces evidentně splňuje Požadavek 3.10, Požadavek 3.17 a jeho trajektorie jsou neklesajı́cı́.
Popsaný Markovův řetězec se nazývá Poissonův proces s intenzitou λ. Později v Kapitole
3.4 ukážeme jeho dalšı́ vlastnosti, např. že jeho absolutnı́ pravděpodobnosti se řı́dı́ Poissonovým
rozdělenı́m.
Přı́klad 3.25: Lineárnı́ proces růstu (Yuleův proces)

Uvažujme populaci, jejı́ž jedinci se mohou pouze množit a předpokládejme:
i) Osudy jedinců jsou nezávislé.
ii) Chovánı́ jedince v časovém intervalu (t, t + h] je nezávislé na jeho chovánı́ v časovém intervalu
(0, t], pro všechna t ≥ 0, h > 0.
iii) Pravděpodobnost, že jedinec dá v intervalu (t, t + h] vznik právě i novým jedincům, je pro
každého jedince stejná a je nezávislá na t ≥ 0, pro všechna i ∈ N0 , h > 0.
iv) Je dáno reálné čı́slo λ > 0.
v) Pravděpodobnost, že jedinec dá vznik novému jedinci v intervalu (t, t+h], necht’ je pro všechna
t ≥ 0, h > 0 rovna λh + o(h).
vi) Pravděpodobnost, že v intervalu (t, t + h] dá jedinec vzniknout vı́ce než jednomu novému
jedinci, necht’ je pro všechna t ≥ 0, h > 0, rovna o(h).
Označme Xt rozsah populace v čase t ≥ 0. Samozřejmě budeme uvažovat pouze přı́pad, kdy
na začátku populace obsahuje alespoň jednoho jedince, tj. X0 = i pro nějaké i ∈ N. Potom
X = {Xt , t ≥ 0} je reálný náhodný proces a jako jeho stavový prostor můžeme uvažovat H = N.
Přesvědčme se, že splňuje markovskou vlastnost.
Pro každý počet i ∈ N uvažujme pomocnou populaci, která má na počátku přesně i jedinců
a je nezávislá se sledovanou populacı́. Označme Qi,t počet jedinců v této populaci v čase t ≥ 0,
přičemž Qi,0 = i . Pro s ≥ 0 předpoklady i)+ii)+iii) zaručujı́, že náhodný proces {Qi,t , t ≥ 0} má
stejné rozdělenı́ jako náhodný proces {Xt+s , t ≥ 0} za podmı́nky Xs = i .
Vezměme K ∈ N, libovolné časové okamžiky 0 ≤ t0 < t1 < · · · < tK a libovolné stavy
i0 , i1 , . . . , iK ∈ S. Pak s využitı́m předpokladů i), ii), iii) dostáváme

P Xt0 = i0 , Xt1 = i1 , Xt2 = i2 , . . . , XtK −1 = iK −1 , XtK − XtK −1 = iK − iK −1
i+ii+iii
= P Xt0 = i0 , Xt1 = i1 , . . . , XtK −1 = iK −1 , QiK −1 ,tK −tK −1 − iK −1 = iK − iK −1

= P Xt0 = i0 , Xt1 = i1 , . . . , XtK −1 = iK −1 P QiK −1 ,tK −tK −1 − iK −1 = iK − iK −1

= P Xt0 = i0 , . . . , XtK −1 = iK −1 P XtK − XtK −1 = iK − iK −1 XtK −1 = iK −1 .
Ukázali jsme (3.12), což je podle Věty 3.18 ekvivalentnı́ s markovskou vlastnostı́. Proces je tedy
Markovův řetězec se spojitým časem. Dále jsme ukázali, že přechodové pravděpodobnosti jsou
pi,j (s, t) = P (Qi,t−s = j ) .
Přechodové pravděpodobnosti jsou závislé pouze na rozdı́lu t − s, tudı́ž je sledovaný proces homo-
gennı́ Markovův řetězec se spojitým časem.
Povšimněme si monotonie pravděpodobnostı́
• P (jedinec v časovém intervalu (t, t + h] dá vzniknout novému jedinci),

je neklesajı́cı́ funkce v h,
• P (jedinec v časovém intervalu (t, t + h] nedá vzniknout žádnému novému jedinci),

je nerostoucı́ funkce v h.
Tato pozorovánı́ využijeme v následujı́cı́ch odhadech.

Uvažujme čas t ≥ 0 a rozsah populace i ∈ N takové, že P (Xt = i ) > 0, počı́tejme:
P ( v časovém intervalu (t, t + h] nevznikne žádný nový jedinec| Xt = i )

v intervalu (t, t + h] žádný z jedinců v populaci
=P Xt = i
nedá vznik novému jedinci
i i
= P (jedinec v intervalu (t, t + h] nedá vzniknout žádnému novému jedinci)
i
v i
X i
= (1 − (λh + o(h))) = (−1)k (λh + o(h))k
k
k =0
i
X i
(−1)k (λh + o(h))k = 1 − i λh − i o(h) + O h 2

= 1 − i (λh + o(h)) +
k
k =2
= 1 − i λh + o(h) .
P ( v časovém intervalu (t, t + h] vznikne nový jedinec| Xt = i )

v časovém intervalu (t, t + h] vznikne
=P Xt = i
alespoň jeden nový jedinec
= 1 − P ( v časovém intervalu (t, t + h] nevznikne žádný nový jedinec| Xt = i )
= 1 − (1 − i λh + o(h)) = i λh + o(h) .
P ( v časovém intervalu (t, t + h] vzniknou dva nový jedinci| Xt = i )

= P ( v časovém intervalu (t, t + h] vzniknou alespoň dva nový jedinci| Xt = i )
≤ P ( jeden z jedinců v populaci dá v (t, t + h] vznik dvěma jedincům| Xt = i )
+P ( dva z jedinců v populaci dajı́ v (t, t + h] vznik novým jedincům| Xt = i )

v (t, t + h] jeden z jedinců v populaci dá vznik novému jedinci
+P Xt = i
a ten dá vznik dalšı́mu novému jedinci
i
≤ i P (jedinec dá v (t, t + h] vznik dvěma novým jedincům)

i 2
+ P (jedinec dá v (t, t + h] vznik novému jedinci)
2
2
+i P (jedinec dá v (t, t + h] vznik novému jedinci)

v+vi i
(λh − o(h))2 + i (λh − o(h))2 = o(h) + O h 2 = o(h) .

≤ i o(h) +
2
Nynı́ jsme již připraveni napočı́tat pravděpodobnosti přechodů, pro i , j ∈ N:
pi,j (h) = 0 pro j < i , !! Jde o nemožný jev !!

pi,i (h) = P ( v časovém intervalu (t, t + h] nevznikne žádný nový jedinec| Xt = i )
= 1 − i λh + o(h) ,
pi,i+1 (h) = P ( v intervalu (t, t + h] vznikne právě jeden nový jedinec| Xt = i )
= P ( v časovém intervalu (t, t + h] vznikne nový jedinec| Xt = i )
−P ( v časovém intervalu (t, t + h] vzniknou dva nový jedinci| Xt = i )
= i λh + o(h) − o(h) = i λh + o(h) ,
pi,j (h) = o(h) pro j > i + 1, nebot’
pi,j (h) ≤ P ( v časovém intervalu (t, t + h] vzniknou dva nový jedinci| Xt = i ) = o(h) .
Zdiferencovánı́m pravděpodobnostı́ přechodů vypočteme intenzity přechodu tohoto procesu

qi,j = 0 pro j i + 1.
Matice intenzit přechodu je tedy
 
−λ λ 0 0 0...
 0 −2λ 2λ 0 ... 
Q= 0 .
 
 0 −3λ 3λ ... 
.. .. .. .. ..
. . . . .
Proces má neklesajı́cı́ trajektorie a splňuje Požadavek 3.10, Požadavek 3.17.
t
Přı́klad 3.26: Lineárnı́ proces množenı́ a zániku

Uvažujme populaci, jejı́ž jedinci se mohou množit i zanikat. U jedince tedy sledujeme dvě
rozdı́lné události: dává vznik novému jedinci, zánik jedince. O chovánı́ jedinců předpokládáme:
i) Osudy jedinců jsou nezávislé.
ii) Chovánı́ jedince v časovém intervalu (t, t + h] je nezávislé na jeho chovánı́ v časovém intervalu
(0, t], pro všechna t ≥ 0, h > 0.
iii) Pravděpodobnost, že jedinec dá v intervalu (t, t + h] vznik právě i novým jedincům, je pro
každého jedince stejná a je nezávislá na t ≥ 0, pro všechna i ∈ N0 , h > 0.
iv) Pravděpodobnost, že jedinec v intervalu (t, t + h] zanikne, je pro každého jedince stejná a je
nezávislá na t ≥ 0, pro všechna h > 0.
v) Jsou dána reálná čı́sla λ > 0, µ > 0.
vi) Pravděpodobnost, že jedinec dá vznik novému jedinci v intervalu (t, t+h], necht’ je pro všechna
t ≥ 0, h > 0 rovna λh + o(h).
vii) Pravděpodobnost, že jedinec v intervalu (t, t + h] zanikne, necht’ je pro všechna t ≥ 0, h > 0
rovna µh + o(h).
viii) Pravděpodobnost, že v intervalu (t, t + h] dojde u jedince k vı́ce než jedné události, necht’ je
pro všechna t ≥ 0, h > 0, rovna o(h).
Označme Xt rozsah populace v čase t ≥ 0. Uvažujeme samozřejmě pouze přı́pad, kdy je populace na
počátku neprázdná, tj. X0 = i pro nějaké i ∈ N. Potom X = {Xt , t ≥ 0} je reálný náhodný proces
a jako jeho stavový prostor můžeme uvažovat H = N0 . Přesvědčme se, že splňuje markovskou
vlastnost.
Pro každý stav i ∈ S uvažujme pomocnou populaci, která má na počátku přesně i jedinců
a je nezávislá se sledovanou populacı́. Označme Qi,t počet jedinců v této populaci v čase t ≥ 0,
přičemž Qi,0 = i . Pro s ≥ 0 předpoklady i)+ii)+iii)+iv) zaručujı́, že náhodný proces {Qi,t , t ≥ 0}
má stejné rozdělenı́ jako náhodný proces {Xt+s , t ≥ 0} za podmı́nky Xs = i .
Vezměme K ∈ N, libovolné časové okamžiky 0 ≤ t0 < t1 < · · · < tK a libovolné stavy
i0 , i1 , . . . , iK ∈ S. Pak s využitı́m předpokladů i), ii), iii) a iv) dostáváme

P Xt0 = i0 , Xt1 = i1 , Xt2 = i2 , . . . , XtK −1 = iK −1 , XtK − XtK −1 = iK − iK −1
i+ii+iii+iv
= P Xt0 = i0 , Xt1 = i1 , . . . , XtK −1 = iK −1 , QiK −1 ,tK −tK −1 − iK −1 = iK − iK −1

= P Xt0 = i0 , Xt1 = i1 , . . . , XtK −1 = iK −1 P QiK −1 ,tK −tK −1 − iK −1 = iK − iK −1

= P Xt0 = i0 , . . . , XtK −1 = iK −1 P XtK − XtK −1 = iK − iK −1 XtK −1 = iK −1 .
Ukázali jsme (3.12), což je podle Věty 3.18 ekvivalentnı́ s markovskou vlastnostı́. Proces je tedy
Markovův řetězec se spojitým časem. Dále jsme ukázali, že přechodové pravděpodobnosti jsou
pi,j (s, t) = P (Qi,t−s = j ) .
Přechodové pravděpodobnosti jsou závislé pouze na rozdı́lu t − s, tudı́ž je sledovaný proces homo-
gennı́ Markovův řetězec se spojitým časem.
Povšimněme si monotonie pravděpodobnostı́
• P (jedinec v časovém intervalu (t, t + h] dá vzniknout novému jedinci),
P (jedinec v časovém intervalu (t, t + h] zanikne) jsou neklesajı́cı́ funkce v h,
• P (jedinec v časovém intervalu (t, t + h] nedá vzniknout žádnému novému jedinci),
P (jedinec v časovém intervalu (t, t + h] nezanikne) jsou nerostoucı́ funkce v h.
Tato pozorovánı́ využijeme v následujı́cı́ch odhadech.
Vezměme t ≥ 0 a rozsah populace i ∈ N tak, aby P (Xt = i ) > 0, počı́tejme:

jeden z jedinců v populaci dá v intervalu (t, t + h]
=P Xt = i
vzniknout novému jedinci
≤ i P (jedinec dá v intervalu (t, t + h] vzniknout novému jedinci)
vi
= i (λh + o(h)) = i λh + o(h) .
Využijeme odhad z Lemma D.2

=P Xt = i
Lemma D.2+i
≥ i P (jedinec dá v intervalu (t, t + h] vzniknout novému jedinci)

i 2
− P (jedinec dá v intervalu (t, t + h] vzniknout novému jedinci)
2

vi i
(λh + o(h))2 = i λh + o(h) − O h 2

= i (λh + o(h)) −
2
= i λh + o(h) .
P ( v časovém intervalu (t, t + h] jeden jedinec zanikne| Xt = i )

= P ( jeden z jedinců v populaci v intervalu (t, t + h] zanikne| Xt = i )
≤ i P (jedinec v intervalu (t, t + h] zanikne)
vii
= i (µh + o(h)) = i µh + o(h) .
P ( v časovém intervalu (t, t + h] jeden jedinec zanikne| Xt = i )

= P ( jeden z jedinců v populaci v intervalu (t, t + h] zanikne| Xt = i )
Lemma D.2+i
≥ i P (jedinec v intervalu (t, t + h] zanikne)

i 2
− P (jedinec v intervalu (t, t + h] zanikne)
2

vii i
(µh + o(h))2 = i µh + o(h) − O h 2

= i (µh + o(h)) −
2
= i µh + o(h) .
P ( v časovém intervalu (t, t + h] nastanou dvě události| Xt = i )

≤P Xt = i
vzniknout dvěma novým jedincům

v intervalu (t, t + h] jeden z jedinců v populaci dá
+P Xt = i
vzniknout novému jedinci a pak sám zanikne

v intervalu (t, t + h] jeden z jedinců v populaci dá vzniknout
+P Xt = i
novému jedinci a ten dá vzniknout dalšı́mu novému jedinci

+P Xt = i
vzniknout novému jedinci a ten zanikne

dva z jedinců v populaci dajı́ v intervalu (t, t + h]
+P Xt = i
+P ( dva z jedinců v populaci v intervalu (t, t + h] zaniknou| Xt = i )

+P Xt = i
vzniknout novému jedinci a jiný jedinec zanikne
i
≤ i P (jedinec v (t, t + h] dá vzniknout dvěma novým jedincům)
+i P (jedinec v (t, t + h] dá vzniknout novému jedinci a sám zanikne)
2
+i P (jedinec v (t, t + h] dá vzniknout novému jedinci)
+i P (jedinec v (t, t + h] dá vzniknout novému jedinci) ·
·P (jedinec v (t, t + h] zanikne)

i 2
+ P (jedinec v (t, t + h] dá vzniknout novému jedinci)
2

i 2
+ P (jedinec v (t, t + h] zanikne)
2

i
+ P (jedinec v (t, t + h] dá vzniknout novému jedinci) ·
2
·P (jedinec v (t, t + h] zanikne)
vi+vii+viii
≤ i o(h) + i o(h) + i (λh + o(h))2 + i (λh + o(h))(µh + o(h))

i 2 i 2 i
+ (λh + o(h)) + (µh + o(h)) + (λh + o(h))(µh + o(h))
2 2 2
= o(h) + o(h) + O h 2 + O h 2 + O h 2 + O h 2 + O h 2

= o(h) .
Nynı́ jsme již připraveni napočı́tat pravděpodobnosti přechodů, pro i , j ∈ N0 :
p0,0 (h) = 1, !! Jde o jistý jev !!

p0,j (h) = 0 pro všechna j ∈ N, !! Jde o nemožný jev !!
pro i ≥ 1
pi,i+1 (h) = P (Qi,h = i + 1) = P ( Xt+h = i + 1| Xt = i )

= P ( v časovém intervalu (t, t + h] vznikne nový jedinec| Xt = i )
i
X
− P ( v intervalu (t, t + h] vznikne nový jedinec, Xt+h = j | Xt = i )
j =0
X∞
− P ( v intervalu (t, t + h] vznikne nový jedinec, Xt+h = j | Xt = i )
j =i+2
= i λh + o(h) − o(h) − o(h) = i λh + o(h) ,
pi,i−1 (h) = P (Qi,h = i − 1) = P ( Xt+h = i − 1| Xt = i )
= P ( v časovém intervalu (t, t + h] jeden jedinec zanikne| Xt = i )
i−2
X
− P ( v intervalu (t, t + h] jeden jedinec zanikne, Xt+h = j | Xt = i )
j =0
X∞
− P ( v intervalu (t, t + h] jeden jedinec zanikne, Xt+h = j | Xt = i )
j =i
= i µh + o(h) − o(h) − o(h) = i µh + o(h) ,
pro j i + 1
pi,j (h) = P (Qi,h = j ) = P ( Xt+h = j | Xt = i )

≤ P ( v intervalu (t, t + h] nastanou alespoň dvě změny| Xt = i )
= o(h) ,
zbývá poslednı́ přı́pad j = i
pi,i (h) = P (Qi,h = i ) = P ( Xt+h = i | Xt = i )

= 1 − P ( Xt+h = i − 1| Xt = i ) − P ( Xt+h = i + 1| Xt = i )
i−2
X ∞
X
− P ( Xt+h = k | Xt = i ) − P ( Xt+h = k | Xt = i )
k =0 k =i+2
= 1 − i λh − o(h) − i µh − o(h) − o(h) − o(h)
= 1 − i (λ + µ)h + o(h) .
Zdiferencovánı́m pravděpodobnostı́ přechodů vypočteme intenzity přechodu tohoto procesu
q0,j = 0 pro j ∈ N0 ,
qi,i+1 = iλ pro i ∈ N,
qi,i = −qi = −i (λ + µ) pro i ∈ N,
qi,i−1 = i µ pro i ∈ N,
qi,j = 0 pro i ∈ N, j ∈ N0 , j 6∈ {i − 1, i , i + 1} .

 
0 0 0 0 0 ...
 µ −(λ + µ) λ 0 0 . . .
Q=0 .
 
 2µ −2(λ + µ) 2λ 0 . . .

.. .. .. .. ..
. . . . .
Proces splňuje Požadavek 3.10, Požadavek 3.17.

Nynı́ ukážeme význam intenzit přechodu.
Věta 3.27: Necht’ X = {Xt , t ≥ 0} je homogennı́ Markovův řetězec se spojitým časem splňujı́cı́
Požadavek 3.10, Požadavek 3.14, Požadavek 3.17 a i ∈ S. Pak pro všechna s ≥ 0, P (Xs = i ) > 0
a pro všechna h > 0 platı́
P ( Xt = i , s ≤ t ≤ s + h| Xs = i ) = e−qi h pokud 0 ≤ qi < ∞, (3.15)

= 0 pokud qi = ∞.
Důkaz. Protože {Xt } je stochasticky spojitý (Věta 3.12) a separabilnı́ (Požadavek 3.14), pak platı́

P (Xt = i , s ≤ t ≤ s + h) = lim P Xt0,n = i , Xt1,n = i , . . . , XtKn ,n = i , (3.16)
n→∞
kde pro každé n ∈ N je s = t0,n < t1,n < · · · < tKn ,n = s + h dělenı́ intervalu [s, s + h], jehož norma
konverguje k nule při n → ∞, viz [2], str. 245.
Volı́me diadické dělenı́ Dn = tk ,n : tk ,n = s + 2kn h, k = 0, 1, . . . , 2n , n ∈ N. Ze vztahů (3.2)
a (3.16) máme
P (Xt = i , s ≤ t ≤ s + h)
P ( Xt = i , s ≤ t ≤ s + h| Xs = i ) =
P (Xs = i )

(3.16) P Xt0,n = i , Xt1,n = i , . . . , Xt2n ,n = i
= lim
n→∞ P (Xs = i )
(3.2) pi (t0,n ) pi,i (t1,n − t0,n )pi,i (t2,n − t1,n ) . . . pi,i (t2n ,n − t2n −1,n )
= lim
n→∞ pi (s)
2n
h
= lim pi,i n .
n→∞ 2
K výpočtu limity využijeme Lemma D.1.
1. Je-li qi < ∞, můžeme vzhledem k (3.8) psát

2n 2n
h h h LemmaD.1
lim pi,i n = lim 1 − qi n + o = e−qi h .
n→∞ 2 n→∞ 2 2n
2. Je-li qi = ∞, potom plyne z (3.8), že pro libovolné A > 0 je pi,i (δ) ≤ 1 − Aδ ≤ e−Aδ , je-li δ
dostatečně malé. Odtud plyne, že
2n
h n h
lim pi,i n ≤ lim e−2 A 2n = e−Ah .
n→∞ 2 n→∞
Protože A může být libovolně velké, zjišt’ujeme, že

2n
h
lim pi,i n = 0.
n→∞ 2
Definice 3.28: Necht’ X = {Xt , t ≥ 0} je náhodný proces s diskrétnı́ nejvýše spočetnou množinou
stavů S a i ∈ S. Definujme dobu setrvánı́ (ang. holding time at state i ) náhodného procesu ve
stavu i , jako τi = inf {s > 0 : Xs 6= i }. Také mluvı́me o čase, kdy proces poprvé opustil stav i .
Věta 3.29: Necht’ homogennı́ Markovův řetězec se spojitým časem splňuje Požadavek 3.10,
Požadavek 3.14, Požadavek 3.17 a i ∈ S.
i) Je-li qi = 0, potom Pi (τi = ∞) = 1 a pi,i (t) = 1 pro všechna t ≥ 0.
ii) Je-li 0 < qi < ∞, má τi za podmı́nky, že řetězec byl na začátku ve stavu i , exponenciálnı́
rozdělenı́ se střednı́ hodnotou q1i (neboli s intenzitou qi ).
iii) Je-li qi = ∞, potom Pi (τi = 0) = 1.
Důkaz. Vezměme t ≥ 0 tak, že P (Xt = i ) > 0.
1. Pro 0 ≤ qi < ∞ podle Věty 3.27 pro každé h > 0 platı́
Pi (τi > h) = P ( Xs = i , t ≤ s ≤ t + h| Xt = i ) = e−qi h .
To pro qi = 0 znamená, že Pi (τi > h) = 1 pro každé h > 0, nebo-li Pi (τi = ∞) = 1.
Pro 0 < qi < ∞ pak, že τi má za podmı́nky, že řetězec byl na začátku ve stavu i , expo-
nenciálnı́ rozdělenı́ s intenzitou qi ; tj. s hustotou
(
qi e−qi x pro x ≥ 0,
f (x ) =
0 jinde.
2. Pro qi = 0 a pro každé h > 0 platı́
pi,i (h) = Pi (Xh = i ) ≥ Pi (τi > h) = 1,
Tedy pi,i (h) = 1 pro všechna h ≥ 0.
3. Pro qi = ∞ podle Věty 3.27 pro každé h > 0 platı́
Pi (τi > h) = P ( Xs = i , t ≤ s ≤ t + h| Xt = i ) = 0.
Tudı́ž Pi (τi = 0) = 1.
Střednı́ doba setrvánı́ ve stavu i je tedy q1i . Odtud řetězec, který vstoupı́ do stavu i v nějakém
čase t0 > 0, setrvá v i po dobu τi , která má exponenciálnı́ rozdělenı́ se střednı́ hodnotou q1i (tj.
rozdělenı́ doby setrvánı́ ve stavu i nezávisı́ na okamžiku, ve kterém řetězec vstoupı́ do i , ale jen
na intenzitě qi ).
Definice 3.30: Stav i ∈ S se nazývá stabilnı́, když 0 ≤ qi < ∞, a nestabilnı́, jestliže qi = ∞.

Speciálnı́m přı́padem stabilnı́ho stavu je stav absorpčnı́, pro který qi = 0.
t
Je-li i ∈ S absorpčnı́ stav, znamená to, že řetězec, který přejde do stavu i , už v tomto stavu
setrvá; střednı́ doba setrvánı́ v tomto stavu je nekonečně dlouhá. Naproti tomu, je-li i ∈ S ne-
stabilnı́ stav, střednı́ doba setrvánı́ v něm je nulová (dokonce τi = 0 skoro jistě). To znamená,
že v reálu bychom průchod nestabilnı́m stavem neměli šanci zaznamenat. Budeme je proto dále
vylučovat.
Věta 3.31: Když homogennı́ Markovův řetězec se spojitým časem splňuje Předpoklad 3.10,
Předpoklad 3.14, Předpoklad 3.17 a všechny jeho stavy jsou stabilnı́, pak jsou jeho trajektorie
skoro jistě po částech konstantnı́ funkce (často se mluvı́ o schodovitých funkcı́ch) a existuje sto-
chastická verze tohoto řetězce, jejı́ž trajektorie jsou zprava spojité;
t
Důkaz. Viz [2], kap. VI, $ 1.

Spojitost trajektoriı́ zprava je pro nás důležitá, odpovı́dá představě, že vývoj procesu je predi-
kovatelný. Zařad’me proto schodovitost trajektoriı́ a jejich spojitost zprava mezi naše požadavky
a shrňme všechny dosud učiněné požadavky do jednoho.
Požadavek 3.32: Požadujeme, aby řetězec splňoval Předpoklad 3.10 a Předpoklad 3.17, všechny
jeho stavy byly stabilnı́, jeho trajektorie byly po částech konstantnı́ a zprava spojité.
t
Poznamenejme, že reálný náhodný proces, který má trajektorie zprava spojité, je vždy měřitelný
a separabilnı́; viz Věta 1.19. Splňuje tedy Předpoklad 3.14.
Definice 3.33: Necht’ X = {Xt , t ≥ 0} je reálný náhodný proces definovaný na (Ω, A, P ). Necht’
FtX je
σ-algebra generovaná rodinou náhodných veličin {Xs , s ≤ t}, tj. FtX = σ {Xs , s ≤ t}.
Náhodná veličina τ : Ω → [0, ∞] se nazývá markovský čas (ang. Markov time, stopping time)

vzhledem k FtX , t ≥ 0 , jestliže platı́ [τ ≤ t] ∈ FtX pro každé t ≥ 0.
Zastavenı́m procesu v markovském času τ budeme nazývat náhodnou veličinu Xτ , kde
(
Xτ (ω) (ω) pokud τ (ω) < +∞,
Xτ (ω) = (3.17)
∞ když τ (ω) = +∞.
S pojmem markovského času jsme se setkali již u Markovových řetězců s diskrétnı́m časem; viz
Definice 2.40. Je to náhodná veličina, která nezávisı́ na budoucı́ch hodnotách náhodného procesu.
Přı́kladem markovského času je konstantnı́ čas τ = t0 > 0. Také čas prvnı́ho výstupu ze stavu
j definovaný jako τj = inf {t > 0 : Xt 6= j } je markovský čas, pro homogennı́ Markovův řetězec
se spojitým časem se zprava spojitými a po částech konstantnı́mi trajektoriemi. V tomto přı́padě
vzhledem k tomu, že trajektorie řetězce jsou zprava spojité a po částech konstantnı́, pro libovolnou
Q spočetnou hustou podmnožinu [0, ∞), máme
\
[τj > t] = [Xs = j , 0 ≤ s ≤ t] = [Xt = j ] ∩ [Xs = j] ∈ FtX ,
s∈Q∩(0,t)
tedy i [τj ≤ t] ∈ FtX .

Dále označme
 
[
X
F∞ = σ FtX  = σ {Xt , t ≥ 0} .
t≥0
Zřejmě FtX ⊂ F∞
X
⊂ A.
Věta 3.34: Necht’ X = {Xt , t ≥ 0} je reálný náhodný proces s diskrétnı́ nejvýše

spočetnou
množinou stavů S a zprava spojitými trajektoriemi, τ je markovský čas vzhledem k FtX , t ≥ 0 .
Potom Xτ je FτX −měřitelná náhodná veličina, kde
FτX = A ∈ F∞ X
: A ∩ [τ ≤ t] ∈ FtX , t ≥ 0

(3.18)
je σ-algebra jevů předcházejı́cı́ch (ang. σ-algebra of events preceding τ ) markovskému času τ .
Důkaz. Stačı́ ukázat, že pro každé i ∈ S a každé t ≥ 0 je
[Xτ = i ] ∩ [τ ≤ t] ∈ FtX .
Zřejmě platı́ [Xτ = i ] ∩ [τ ≤ t] = ([Xt = i ] ∩ [τ = t]) ∪ ([Xτ = i ] ∩ [τ < t]). Protože {Xt } nabývá jen
nezáporných celočı́selných hodnot a má zprava spojité trajektorie, je tedy
[Xτ = i ] ∩ [τ ≤ t] = [Xt = i ] ∩ [τ = t]
 m

[∞ \ ∞ b2[tc
∪ [Xk 2−m = i ] ∩ [(k − 1)2−m ≤ τ < k 2−m ] ∈ FtX ,
n=0 m=n k =1
kde bx c značı́ celou část čı́sla x .
Zatı́m jsme si ukázali, že intenzity výstupu qi majı́ význam převrácených střednı́ch dob setrvánı́
ve stavech i ∈ S. Ukažme si ještě význam intenzit přechodu qi,j .
Věta 3.35: Necht’ {Xt , t ∈ T} je homogennı́ Markovův řetězec se spojitým časem, který splňuje
Požadavek 3.32, i ∈ S s 0 < qi < ∞ a t ≥ 0 takový, že P (Xt = i ) > 0. Když τi je čas prvnı́ho
výstupu ze stavu i , potom
qi,j
P ( Xτi = j | Xt = i ) = pro všechna j ∈ S, j 6= i ,
qi
qi,j
tj. pravděpodobnost, že řetězec z počátečnı́ho stavu i ∈ S přejde nejdřı́ve do stavu j , je rovna qi .
Důkaz. BÚNO P (X0 = i ) > 0. Označme
A = [X0 = i , Xτi = j , 0 < τi < ∞]
a uvažujme množiny
∞
[
An = An,k pro n ∈ N, kde
k =1
ω : Xt (ω) = i , 0 ≤ t ≤ k 2−n , X(k +1)2−n (ω) = j

An,k = pro k ∈ N.
Nejdřı́ve ukážeme, že A = limn→∞ An .

1. Necht’ ω ∈ A.
Potom 0 < τi (ω) < ∞, Xτi (ω) (ω) = j a Xt (ω) = i pro všechna 0 ≤ t < τi (ω).
Protože všechny trajektorie procesu X = {Xt , t ≥ 0} jsou spojité zprava, existuje δ > 0 tak,
že Xs (ω) = j pro všechna τi (ω) ≤ s < τi (ω) + δ. Potom ke každému n ∈ N s vlastnostı́
2−n ≤ δ existuje jednoznačně určené kn ∈ N s vlastnostı́
kn 2−n < τi (ω) ≤ (kn + 1)2−n < τi (ω) + δ
a platı́
Xt (ω) = i , 0 ≤ t ≤ kn 2−n , X(kn +1)2−n (ω) = j .
Tudı́ž ω ∈ An,kn , a proto ω ∈ An pro všechna n ∈ N splňujı́cı́ 2−n ≤ δ. Odtud plyne, že
lim inf An ⊃ A.
n→∞
2. Necht’ ω ∈ lim supn→∞ An .

Potom existuje posloupnost přirozených čı́sel 1 < n1 < n2 < n3 < . . . . a κ1 , κ2 , κ3 , . . . . ∈ N
tak, že pro každé k ∈ N
Xt (ω) = i ∀ 0 ≤ t ≤ κk 2−nk , X(κk +1)2−nk (ω) = j .
Potom jsou splněny nerovnosti
κk 2−nk ≤ κk +1 2−nk +1 < τi (ω) ≤ (κk +1 + 1)2−nk +1 ≤ (κk + 1)2−nk .
Proto
τi (ω) = sup κk 2−nk = inf (κk + 1)2−nk .
k ∈N k ∈N
Odtud
τi (ω) > 0 , Xt (ω) = i ∀ 0 ≤ t < τi (ω)
a vzhledem ke spojitosti trajektoriı́ zprava je
Xτi (ω) (ω) = j ,
tedy ω ∈ A.
To znamená
lim sup An ⊂ A.
n→∞
Zjistili jsme, že limn→∞ An = A, tedy A je měřitelná množina.

Pro dané n ∈ N jsou množiny An,k , k ∈ N disjunktnı́. Proto ze spojitosti pravděpodobnostnı́
mı́ry a podle (3.15) platı́
∞
X
P ( A| X0 = i ) = lim P ( An | X0 = i ) = lim P ( An,k | X0 = i )
n→∞ n→∞
k =1
∞
X
exp −k qi 2−n pi,j 2−n

= lim
n→∞
k =1
−n
e−qi 2
= lim pi,j 2−n
n→∞ 1 − e−qi 2−n
−n
2−n

pi,j (2 ) −qi 2−n
q
i,j
= lim lim −n lim e = .
n→∞ 2−n n→∞ 1 − e−qi 2 n→∞ qi
Vzhledem k homogenitě řetězce je qi,j /qi též pravděpodobnost, že řetězec, který se nacházı́ ve
stavu i v nějakém čase t > 0, přejde v intervalu (t, ∞) nejdřı́ve do stavu j .
Předpokládejme, že na počátku je řetězec v nějakém stavu i ∈ S. Je-li qi > 0, setrvá v něm po
q
náhodnou dobu T1 a potom přejde do stavu j s pravděpodobnostı́ qi,ji . Je-li qj > 0, setrvá řetězec
ve stavu j po náhodnou dobu T2 . Je-li qj = 0, řetězec navždy setrvá v tomto stavu (T2 = ∞)
atd. Necht’ J0 = 0 a J1 , J2 , . . . jsou po sobě následujı́cı́ časové okamžiky, ve kterých docházı́
k přechodům mezi stavy řetězce, tj.
J1 = inf {t > 0 : Xt 6= X0 } ,
J2 = inf {t > J1 : Xt 6= XJ1 } pokud J1 < ∞,
= ∞ pokud J1 = ∞,
...
Jn+1 = inf {t > Jn : Xt 6= XJn } pokud Jn < ∞, n ∈ N0 ,
= ∞ pokud Jn = ∞.
Doby mezi jednotlivými přechody jsou
T1 = J1 ,
T2 = J2 − J1 pokud J1 < ∞,
= ∞ pokud J1 = ∞,
...
Tn+1 = Jn+1 − Jn pokud Jn < ∞, n ∈ N0 ,
= ∞ pokud Jn = ∞.
Zřejmě je
n
X
Jn = Tk pro každé n ∈ N.
k =1
Označme ještě
∞
X
ξ = sup Jn = Tk .
n∈N
k =1
Náhodná veličina ξ se nazývá čas exploze. Důvodem je fakt, že když ξ < ∞, pak na konečném
intervalu [0, ξ] dojde ke spočetně mnoha přechodům, což znamená, že proces exploduje. Exploze
je poslednı́ nevhodný jev, který chceme v našich úvahách eliminovat.
Věta 3.36: Když X = {Xt , t ≥ 0} je homogennı́ Markovův řetězec se spojitým časem, který
splňuje Požadavek 3.32 a pro každé i ∈ S platı́ Pi (ξ = ∞) = 1, pak jsou jeho trajektorie skoro
jistě càdlàg funkce, viz Definice 1.20.
Speciálně to znamená, že na každém konečném intervalu dojde skoro jistě jen ke konečně mnoha
přechodům mezi stavy řetězce.
t
P P
Důkaz. Uvědomme si, že P (ξ = ∞) = i∈S pi Pi (ξ = ∞) = i∈S pi = 1. Stačı́ tedy pro všechna
ω ∈ [ξ = ∞] ukázat, že přı́slušná trajektorie má uvedené vlastnosti.
Vezměme tedy ω ∈ Ω takové, že ξ(ω) = ∞.
• Pro t > 0 existuje n ∈ N0 tak, že Jn (ω) ≤ t < Jn+1 (ω). To znamená na intervalu [0, t] došlo
přesně k n přechodům.
• Potřebujeme ukázat, že daná trajektorie je càdlàg funkce.
– Pro t > 0 existuje n ∈ N0 tak, že Jn (ω) < t ≤ Jn+1 (ω), potom Xs (ω) = XJn (ω) (ω) pro
každé Jn (ω) < s < t.
To znamená, že trajektorie s ≥ 0 7→ Xs (ω) má zleva limitu v t.
– Pro t ≥ 0 již vı́me, že trajektorie s ≥ 0 7→ Xs (ω) je zprava spojitá v t, nebot’ je
to zakotveno v Požadavek 3.32. Trajektorie je dokonce konstantnı́ vpravo od t, nebot’
existuje n ∈ N0 tak, že Jn (ω) ≤ t < Jn+1 (ω), potom Xs (ω) = XJn (ω) (ω) pro každé
t ≤ s < Jn+1 (ω).
Ověřili jsme, že trajektorie řetězce jsou skoro jistě càdlàg funkce a že na konečném intervalu majı́
skoro jistě konečně mnoho přechodů mezi stavy řetězce.
Definice 3.37: Budeme řı́kat, že Markovův řetězec se spojitým časem je regulárnı́ (ang. regular),
jestliže je homogennı́, splňuje Předpoklad 3.10 a Předpoklad 3.17, všechny jeho stavy jsou stabilnı́,
jeho trajektorie jsou po částech konstantnı́ a càdlàg, pro každé i ∈ S platı́ Pi (ξ = ∞) = 1.
Definujme nynı́ matici Q∗ = qi,j

∗
, i , j ∈ S předpisem
(q
i,j
∗ qi když qi > 0,
qi,j = i 6= j , (3.19)
0 když qi = 0,
(
∗ 0 když qi > 0,
qi,i =
1 když qi = 0.
Vrat’me se k posloupnosti časových okamžiků J1 , J2 , . . . , v nichž docházı́ k přechodům mezi

stavy řetězce X = {Xt , t ≥ 0}, a definujme posloupnost
Y0 = X0 ,
Yn = XJn pokud Jn < ∞, n = 1, 2, . . . , (3.20)
= Yn−1 pokud Jn = ∞.
Vzhledem k tomu, že Jn jsou markovské časy, jsou Yn náhodné veličiny, jak plyne z Věty 3.34.
Dále lze ukázat následujı́cı́ tvrzenı́.
Věta 3.38: Necht’ X = {Xt , t ≥ 0} je regulárnı́ Markovův řetězec se spojitým časem, s množinou
stavů S, s maticı́ intenzit přechodu Q a Y = {Yn , n ∈ N0 } je posloupnost náhodných veličin
definovaná v (3.20). Potom Y je homogennı́ Markovův řetězec s diskrétnı́m časem, s množinou
stavů S, s maticı́ pravděpodobnostı́ přechodů Q∗ a pro každé n ∈ N jsou při daných Y0 , . . . , Yn−1
doby setrvánı́ T1 , . . . , Tn nezávislé náhodné veličiny s exponenciálnı́m rozdělenı́m s parametry po
řadě qY0 , . . . , qYn−1 .
Důkaz. Důkaz je uveden v [7] nebo [10], Theorem 2.8.4.
Řetězec {Yn , n ∈ N0 } se nazývá vnořený diskrétnı́ řetězec skoků procesu X = {Xt , t ≥ 0} (ang.
embedded Markov chain of jumps associated with the process X).
∗(n)
Jeho pravděpodobnosti přechodů n-tého řádu budeme označovat qi,j = Pi (Yn = j ) .
Mezi oběma řetězci platı́ např. vztahy

∞
X
P (Xt = i ) = P (Yn = i , Jn ≤ t < Jn+1 ) ,
n=0
P (Xt = i pro nějaké t ≥ 0) = P (Yn = i pro nějaké n ∈ N0 ) .
Přı́klad 3.39: Explozivnı́ proces růstu. Uvažujme homogennı́ Markovův řetězec se spojitým
časem, který splňuje Požadavek 3.32, s množinou stavů S = N a s intenzitami přechodu
qi = −qi,i = 2i , qi,i+1 = 2i pro každé i ∈ N,

qi,j = 0 jinak.
Předpokládejme, že na počátku je řetězec ve stavu 1. V tomto stavu setrvá náhodnou dobu T1 ,
která má exponenciálnı́ rozdělenı́ se střednı́ hodnotou q11 = 12 , potom s pravděpodobnostı́ 1 přejde
do stavu 2, ve kterém setrvá náhodnou dobu T2 , která má exponenciálnı́ rozdělenı́ se střednı́
hodnotou q12 = 14 atd.
P∞
Čas exploze je ξ = k =1 Tk a
∞ ∞
X X 1
E [ξ] = E [Tk ] = = 1,
2k
k =1 k =1
takže
P1 (ξ < ∞) = 1 ;
kdyby byla tato veličina s kladnou pravděpodobnostı́ nekonečná, byla by nekonečná i jejı́ střednı́
hodnota. Řetězec nenı́ regulárnı́; v konečném čase se může s pravděpodobnostı́ 1 uskutečnit ne-
konečně mnoho přechodů.
Vnořený Markovův řetězec s diskrétnı́m časem probı́há množinu stavů S = N a má matici
pravděpodobnostı́ přechodů
 
0 1 0 0 ...
0 0 1 0 . . .
Q∗ =  0
 
 0 0 1 . . . 
.. .. .. .. ..
. . . . .
Bez důkazu ještě uved’me nutnou a postačujı́cı́ podmı́nku, za které je řetězec regulárnı́.
Věta 3.40: Homogennı́ Markovův řetězec se spojitým časem, který splňuje Požadavek 3.32, s
vnořeným řetězcem {Yn , n ∈ N0 } je regulárnı́ tehdy a jen tehdy, když
∞
!
X 1
Pi =∞ =1 pro všechny stavy i ∈ S, (3.21)
qYk
k =0
1
kde klademe 0 = ∞ (pro absorpčnı́ stavy).
Důkaz. Věta je dokázána v [7], věta 3 v kap. III, odst. 2. nebo v [13], Proposition 5.3.1.
Poznámka. Podmı́nka regularity (3.21) je napřı́klad splněna, je-li qi ≤ C ∀ i ∈ S, nebot’ v tom

přı́padě je
∞ ∞
X 1 X 1
≥ =∞
qYk C
k =0 k =0
s pravděpodobnostı́ 1.
t
Poznámka. Je-li množina stavů S konečná, je řetězec regulárnı́.

t
Poznámka. Když homogennı́ Markovův řetězec se spojitým časem X = {Xt , t ≥ 0} splňuje

Požadavek 3.32 a když je jeho vnořený řetězec nerozložitelný se všemi stavy trvalými, pak je
X regulárnı́.
Platnost podmı́nky (3.21) se ukáže následovně. Uvažujme nějaký stav i ∈ S; protože je trvalý,
projde jı́m řetězec nekonečně mnohokrát v časech n1 , n2 . . . Tudı́ž
∞ ∞ ∞
X 1 X 1 X 1
≥ = = ∞.
qYk q
j =1 Yn
q
j =1 i
k =0 j
Povšimněme si ještě našich třı́ přı́kladů.
Přı́klad 3.41: Uvažujme X = {Xt , t ≥ 0} Poissonův proces s parametrem λ ∈ R+ definovaný v

přı́kladě 3.24.
• X0 = 0 a Xt je počet událostı́ v časovém intervalu (0, t]. Událost se tedy započı́tává ihned,
jak nastane. V čase vzniku události je proto trajektorie procesu nespojitá zleva. Doba čekánı́
na dalšı́ událost má podle Věty 3.27 exponenciálnı́ rozdělenı́ s intenzitou λ. Tudı́ž trajektorie
procesu jsou po částech konstantnı́ a spojité zprava.
• Vnořený řetězec je Yn = n s.j. pro každé n ∈ N0 . Proto proces navštı́vı́ každý stav n ∈ N0 s
pravděpodobnostı́ 1. Tudı́ž množina stavů procesu je S = N0 .
• Do žádného stavu se skoro jistě nelze vrátit. Tudı́ž všechny stavy jsou přechodné.
• Proces splňuje Požadavek 3.10 a Požadavek 3.17, viz Přı́klad 3.24.
• Celkové intenzity jsou qi = λ pro všechna i ∈ S. Proto
∞ ∞ ∞
X 1 X 1 X 1
= = =∞ s.j.
qYk qk j =1
λ
k =0 k =0
Proces je tedy regulárnı́ podle Věty 3.40.

• Jelikož je proces regulárnı́, jsou jeho trajektorie càdlàg funkce, viz Věta 3.36.
Shrňme naše pozorovánı́. Poissonův proces je regulárnı́ Markovův řetězec se spojitým časem, je
rozložitelný a všechny jeho stavy jsou přechodné.
t
Přı́klad 3.42: Uvažujme X = {Xt , t ≥ 0} lineárnı́ proces růstu s parametrem λ ∈ R+ definovaný

v Přı́kladě 3.25.
• X0 = i0 ∈ N a Xt je počet jedinců v populaci v čase t ≥ 0. Jedinec se tedy započı́tává ihned,

jak vznikne. V čase vzniku nového jedince je proto trajektorie procesu nespojitá zleva. Doba
čekánı́ na zrod nového jedince má podle Věty 3.27 exponenciálnı́ rozdělenı́ s intenzitou i λ,
kde i je počet jedinců v populaci. Tudı́ž trajektorie procesu jsou po částech konstantnı́ a
spojité zprava.
• Vnořený řetězec je Yn = n + i0 s.j. pro každé n ∈ N0 . Proto proces navštı́vı́ každý stav
i0 , i0 + 1, i0 + 2, . . . s pravděpodobnostı́ 1. Tudı́ž množina stavů procesu je S = N0 + i0 .
• Do žádného stavu se skoro jistě nelze vrátit. Tudı́ž všechny stavy jsou přechodné.
• Celkové intenzity jsou qi = i λ pro všechna i ∈ S. Proto

∞ ∞ ∞
X 1 X 1 X 1
= = = ∞ s.j.
qYk qk +i0 j =i
jλ
k =0 k =0 0
Shrňme naše pozorovánı́. Lineárnı́ proces růstu je regulárnı́ Markovův řetězec se spojitým časem,
je rozložitelný a všechny jeho stavy jsou přechodné.
Přı́klad 3.43: Uvažujme lineárnı́ proces množenı́ a zániku s parametry λ, µ ∈ R+ definovaný v

přı́kladě 3.26.
• X0 = i0 ∈ N a Xt je počet jedinců v populaci v čase t ≥ 0. Jedinec se tedy započı́tává ihned,

jak vznikne, přı́padně okamžitě odpočte, jakmile zanikne. V čase vzniku nebo zániku jedince
je proto trajektorie procesu nespojitá zleva. Doba čekánı́ na novou událost (zrod nebo zánik
jedince) má podle Věty 3.27 exponenciálnı́ rozdělenı́ s intenzitou i (λ + µ), kde i je počet
jedinců v populaci. Tudı́ž trajektorie procesu jsou po částech konstantnı́ a spojité zprava.
• Podle Věty 3.35 vı́me, že když dojde k nové události, tak se populace zvětšı́ o jednoho
λ µ
jedince s pravděpodobnostı́ λ+µ a zmenšı́ se o jednoho jedince s pravděpodobnostı́ λ+µ .
Proto proces navštı́vı́ každý stav i ∈ N0 s kladnou pravděpodobnostı́. Tudı́ž množina stavů
procesu je S = N0 .
• Stavy řetězce jsou vzájemně dosažitelné, až na nulu. Nula je dosažitelná z každého stavu,
ale z nuly se již nedá vrátit. Nula je tedy absorpčnı́ stav a ostatnı́ stavy jsou přechodné.
• Celkové intenzity jsou qi = i (λ + µ) pro všechna i ∈ S a pro vnořený řetězec platı́ odhad
Yn ≤ n + i0 s.j. pro každé n ∈ N0 . Proto
∞ ∞ ∞
X 1 X 1 X 1
≥ = = ∞ s.j.
qYk qk +i0 j =i
j (λ + µ)
k =0 k =0 0

Shrňme naše pozorovánı́. Lineárnı́ proces množenı́ a zániku je regulárnı́ Markovův řetězec se
spojitým časem, je rozložitelný, 0 je absorpčnı́ stav a ostatnı́ stavy jsou přechodné.
t
3.2 Kolmogorovovy diferenciálnı́ rovnice a jejich řešenı́

Uvažujme homogennı́ Markovův řetězec se spojitým časem a s množinou stavů S. V předchozı́ ka-
pitole jsme definovali intenzity přechodu jako derivace pravděpodobnostı́ přechodů v nule zprava.
Následujı́cı́ věta udává souvislost intenzit přechodu s derivacemi pravděpodobnostı́ přechodů
v obecném čase t > 0.
Věta 3.44 (Kolmogorovovy diferenciálnı́ rovnice): Když homogennı́ Markovův řetězec se

spojitým časem splňuje Požadavek 3.10, Požadavek 3.17 a všechny jeho stavy jsou stabilnı́, potom
platı́:
i) Pravděpodobnosti přechodů pi,j (t) jsou diferencovatelné v každém t > 0 pro všechna i , j ∈ S.
ii) V každém t > 0 jsou pro všechna i , j ∈ S splněny retrospektivnı́ Kolmogorovovy diferenciálnı́
rovnice (ang. backward Kolmogorov differential equations)
X X
p0i,j (t) = −qi pi,j (t) + qi,k pk ,j (t) = qi,k pk ,j (t). (3.22)
k ∈S k ∈S
k 6=i
Maticově soustavu zapı́šeme P 0 (t) = QP (t), kde P 0 (t) = p0i,j (t), i , j ∈ S .

p (h)
iii) Je-li S konečná nebo když pro každé j ∈ S existujı́ δj > 0 a ∆j > 0 tak, že k ,jh − qk ,j ≤
∆j pro všechna k ∈ S, k 6= j a 0 < h < δj , potom v každém t > 0 jsou pro všechna
i , j ∈ S splněny prospektivnı́ Kolmogorovovy diferenciálnı́ rovnice (ang. forward Kolmogorov
differential equations)
X X
p0i,j (t) = −pi,j (t)qj + pi,k (t)qk ,j = pi,k (t)qk ,j . (3.23)
k ∈S k ∈S
k 6=j
Maticově soustavu zapı́šeme P 0 (t) = P (t)Q.
Důkaz. Napı́šeme si derivačnı́ podı́l a pomocı́ Chapmanovy-Kolmogorovovy rovnosti jej upravı́me.

1. Nejdřı́ve odvodı́me diferencovatelnost pravděpodobnostı́ přechodů a retrospektivnı́ rovnici
(3.22).
Pro h > 0 a pro 0 < κ < t máme derivačnı́ podı́ly
P
pi,j (t + h) − pi,j (t) k ∈S pi,k (h)pk ,j (t) − pi,j (t)
=
h h
pi,i (h) − 1 X pi,k (h)
= pi,j (t) + pk ,j (t),
h h
k ∈S
k 6=i
P
pi,j (t − κ) − pi,j (t) pi,j (t − κ) − k ∈S pi,k (κ)pk ,j (t − κ)
=
−κ −κ
1 − pi,i (κ) X pi,k (κ)
= pi,j (t − κ) − pk ,j (t − κ).
−κ −κ
k ∈S
k 6=i
(a) Pro S konečnou můžeme v obou přı́padech využı́t Věty 3.15 a provést limitnı́ přechod
pi,j (t + h) − pi,j (t) pi,i (h) − 1 X pi,k (h)
p0i,j (t+) = lim = lim pi,j (t) + lim pk ,j (t)
h→0+ h h→0+ h h→0+ h
k ∈S
k 6=i
X
= −qi pi,j (t) + qi,k pk ,j (t),
k ∈S
k 6=i
pi,j (t − κ) − pi,j (t)
p0i,j (t−) = lim
κ→0+ −κ
1 − pi,i (κ) X pi,k (κ)
= lim lim pi,j (t − κ) − lim lim pk ,j (t − κ)
κ→0+ −κ κ→0+ κ→0+ −κ κ→0+
k ∈S
k 6=i
X
= −qi pi,j (t) + qi,k pk ,j (t).
k ∈S
k 6=i
Tı́m jsme pro S konečnou ukázali, že pravděpodobnosti přechodů jsou diferencovatelné
v každém t > 0 a splňujı́ retrospektivnı́ rovnici (3.22).
(b) Pro S spočetnou musı́me postupovat opatrněji. BÚNO budeme uvažovat S = N.
Pak pro N ∈ N, N ≥ i nekonečné sumy rozdělı́me:
N
pi,j (t + h) − pi,j (t) pi,i (h) − 1 X pi,k (h)
= pi,j (t) + pk ,j (t) + ϕN (h, t) ,
h h h
k =0
k 6=i
N
pi,j (t − κ) − pi,j (t) 1 − pi,i (κ) X pi,k (κ)
= pi,j (t − κ) − pk ,j (t − κ) + ψN (κ, t) ,
−κ −κ −κ
k =0
k 6=i
kde
∞
X pi,k (h)
ϕN (h, t) = pk ,j (t),
h
k =N +1
∞
X pi,k (κ)
ψN (κ, t) = pk ,j (t − κ).
κ
k =N +1
Zbytky umı́me odhadnout

∞ PN N
X pi,k (h) 1 − k =0 pi,k (h) 1 − pi,i (h) X pi,k (h)
0 ≤ ϕN (h, t) ≤ = = − ,
h h h h
k =N +1 k =0
k 6=i
∞ PN N
X pi,k (κ) 1 − k =0 pi,k (κ) 1 − pi,i (κ) X pi,k (κ)
0 ≤ ψN (κ, t) ≤ = = − .
κ κ κ κ
k =N +1 k =0
k 6=i
Po limitnı́m přechodu a použitı́ Věty 3.15 dostáváme odhady

N
X
0 ≤ lim inf ϕN (h, t) ≤ lim sup ϕN (h, t) ≤ qi − qi,k ,
h→0+ h→0+
k =0
k 6=i
N
X
0 ≤ lim inf ψN (κ, t) ≤ lim sup ψN (κ, t) ≤ qi − qi,k .
κ→0+ κ→0+
k =0
k 6=i
Nynı́ již můžeme ukázat diferencovatelnost pravděpodobnostı́ přechodů.

N
X
−qi pi,j (t) + qi,k pk ,j (t) ≤
k =0
k 6=i
pi,j (t + h) − pi,j (t) pi,j (t + h) − pi,j (t)
≤ lim inf ≤ lim sup
h→0+ h h→0+ h
N
X N
X
≤ −qi pi,j (t) + qi,k pk ,j (t) + qi − qi,k ,
k =0 k =0
k 6=i k 6=i
N
X
−qi pi,j (t) + qi,k pk ,j (t) ≤
k =0
k 6=i
pi,j (t − κ) − pi,j (t) pi,j (t − κ) − pi,j (t)
≤ lim inf ≤ lim sup
κ→0+ −κ κ→0+ −κ
N
X N
X
≤ −qi pi,j (t) + qi,k pk ,j (t) + qi − qi,k .
k =0 k =0
k 6=i k 6=i
Proces splňuje (3.11) a 0 ≤ qi < ∞, nebot’ všechny jeho stavy jsou stabilnı́. Pak
limitnı́m přechodem N → ∞ dostáváme diferencovatelnost pravděpodobnostı́ přechodů
a retrospektivnı́ rovnici (3.22).
2. Nynı́ již vı́me, že pravděpodobnosti přechodů jsou diferencovatelné. Proto k odvozenı́ pro-
spektivnı́ rovnice (3.23) se stačı́ zabývat pouze derivacı́ zprava.
Pro t > 0, h > 0 využijeme jiný rozpis derivačnı́ho podı́lu
P
pi,j (t + h) − pi,j (t) k ∈S pi,k (t)pk ,j (h) − pi,j (t)
=
h h
pj ,j (h) − 1 X pk ,j (h)
= pi,j (t) + pi,k (t) .
h h
k ∈S
k 6=j
(a) Pro S konečnou můžeme provést limitnı́ přechod

pi,j (t + h) − pi,j (t) pj ,j (h) − 1 X pk ,j (h)
p0i,j (t) = lim = pi,j (t) lim + pi,k (t) lim
h→0+ h h→0+ h h→0+ h
k ∈S
k 6=j
X
= −pi,j (t)qj + pi,k (t)qk ,j .
k ∈S
k 6=j
Tı́m je pro S konečnou prospektivnı́ rovnice (3.23) ukázána.

(b) Pro S spočetnou nejprve upravı́me rozpis derivačnı́ho podı́lu
X
pi,j (t + h) − pi,j (t) pj ,j (h) − 1 X pk ,j (h)
= pi,j (t) + pi,k (t) − qk ,j + pi,k (t)qk ,j .
h h h
k ∈S k ∈S
k 6=j k 6=j
p (h)
Předpokládáme, že existujı́ δj > 0 a 0 < ∆j < ∞ tak, že k ,jh − qk ,j ≤ ∆j pro
všechna k ∈ S, k 6= j a 0 < h < δj . Pak

pk ,j (h)
pi,k (t) − qk ,j ≤ pi,k (t)∆j pro všechna k ∈ S, k 6= j , 0 < h < δj ,
h
Našli jsme integrovatelnou majorantu, nebot’

P
k ∈S pi,k (t) = 1.
Podle Lebesgueovy věty tedy dostáváme
pi,j (t + h) − pi,j (t)

p0i,j (t) = lim
h→0+ h
X
pj ,j (h) − 1 X pk ,j (h)
= pi,j (t) lim + pi,k (t) lim − qk ,j + pi,k (t)qk ,j
h→0+ h h→0+ h
k ∈S k ∈S
k 6=j k 6=j
X
= −pi,j (t)qj + pi,k (t)qk ,j .
k ∈S
k 6=j
Tı́m jsme i pro S spočetnou prospektivnı́ rovnici (3.23) ukázali.
Poznámka. Důvodem pojmenovánı́ rovnic (3.22), (3.23) je to, že v retrospektivnı́ rovnici jsou
derivace p0i,j (t) vyjádřeny pomocı́ všech možných pravděpodobnostı́ přechodů do stavu j zatı́mco
v prospektivnı́ rovnici pomocı́ všech možných pravděpodobnostı́ přechodů ze stavu i .
Retrospektivnı́ Kolmogorovovy diferenciálnı́ rovnice jsou splněny vždy, což nám dává užitečné
informace o derivacı́ch pravděpodobnostı́ přechodů.
Lemma 3.45: Když homogennı́ Markovův řetězec se spojitým časem splňuje Požadavek 3.10,
Požadavek 3.17 a všechny jeho stavy jsou stabilnı́, potom pro každé i , j ∈ S je pravděpodobnost
přechodu pi,j spojitě diferencovatelná na (0, ∞), limt→0+ p0i,j (t) = p0i,j (0+) = qi,j a p0i,j (t) ≤ 2qi
pro všechna t > 0.
Důkaz. Podle Věty 3.44 vı́me, že homogennı́ Markovův řetězec se spojitým časem, který splňuje
Požadavek 3.10, Požadavek 3.17 a všechny jeho stavy jsou stabilnı́, musı́ splňovat retrospektivnı́
Kolmogorovovy diferenciálnı́ rovnice (3.22). Tvrzenı́ lemmatu plyne z vlastnostı́ pravé strany
(3.22).
Vezměme i , j ∈ S. P
Pravá strana (3.22) je součet k ∈S qi,k pk ,j (t), který má integrovatelnou majorantu
X
|qi,k pk ,j (t)| ≤ |qi,k | pro každé t ≥ 0, k ∈ S, |qi,k | = 2qi .
k ∈S
Potom p0i,j (t) ≤ k ∈S |qi,k | = 2qi pro všechna t > 0.

P
Z Požadavku 3.10 a Věty 3.11 vı́me, že pravděpodobnosti přechodů jsou spojité na [0, ∞). Z
Lebesgueovy věty proto dostáváme spojitost pravé strany (3.22) na [0, ∞). Potom levá strana
(3.22), tj. p0i,j , je spojitá na (0, ∞) a má limitu limt→0+ p0i,j (t) = qi,j . Pak tato pravděpodobnost
přechodu má derivaci zprava v bodě 0 a platı́ limt→0+ p0i,j (t) = p0i,j (0+).
Tı́m je lemma dokázáno.
Pravděpodobnosti přechodů homogennı́ho Markovova řetězce se spojitým časem vyhovujı́ re-

trospektivnı́m Kolmogorovovým rovnicı́m a za dodatečného předpokladu i prospektivnı́m Kolmo-
gorovovým rovnicı́m. Předpokládejme nynı́, že je dána soustava diferenciálnı́ch rovnic typu (3.22)
nebo (3.23), a zajı́má nás, zda taková soustava má řešenı́, které reprezentuje pravděpodobnosti
přechodů nějakého homogennı́ho Markovova řetězce se spojitým časem. Nejdřı́ve konečný přı́pad.
Lemma 3.46: Necht’ Θ je neprázdná konečná množina, Γ = {Γi,j , i , j ∈ Θ} je reálná matice a

I ⊂ R je otevřený interval. Uvažujme dvě soustavy diferenciálnı́ch rovnic
A0 (t) = ΓA (t) , t ∈ I, (3.24)

0
A (t) = A (t) Γ, t ∈ I. (3.25)
Pak všechna řešenı́ soustavy (3.24) majı́ tvar A (t) = etΓ Υ , t ∈ I, kde Υ je reálná matice, a všechna
řešenı́ soustavy (3.25) majı́ tvar A (t) = Υ etΓ , t ∈ I, kde Υ je reálná matice.
P∞ k
Připomeňme, že etΓ je maticová exponenciála definovaná předpisem etΓ = k =0 kt ! Γk .
Důkaz. Soustavy (3.24) a (3.25) jsou soustavy lineárnı́ch homogennı́ch diferenciálnı́ch rovnic prvnı́ho
řádu s konstantnı́mi koeficienty. Z teorie diferenciálnı́ch rovnic vı́me, že jejich jediným řešenı́m je
maticová exponenciála vynásobená počátečnı́ podmı́nkou, tak jak je uvedeno v tvrzenı́ věty.
Věta 3.47: Necht’ Θ je neprázdná konečná množina, a = {ai , i ∈ Θ} je reálný vektor a Γ =

{Γi,j , i , j ∈ Θ} je reálná matice, které splňujı́
X
ai ≥ 0 pro všechna i ∈ Θ, ai = 1,
i∈Θ
0 ≤ Γi,j < +∞ pro všechna i , j ∈ Θ, i 6= j ,
X
Γi,i = − Γi,j pro všechna i ∈ Θ .
j ∈Θ
j 6=i
Potom existuje homogennı́ Markovův řetězec se spojitým časem, který splňuje Požadavek 3.10,
s množinou stavů S ⊂ Θ, s počátečnı́m rozdělenı́m p = {ai , i ∈ S} a s maticı́ intenzit Q =
{Γi,j , i , j ∈ S} . Rozdělenı́ tohoto řetězce je jednoznačně určeno, jeho matice pravděpodobnostı́
přechodů jsou
P (t) = etQ pro všechna t≥0 (3.26)
a splňujı́ (3.22) i (3.23).

Dále platı́ aj = 0 pro j ∈ Θ \ S a Γi,j = 0 pro i ∈ S, j ∈ Θ \ S.
Důkaz. Soustavy diferenciálnı́ch rovnic A0 (t) = ΓA (t) , A0 (t) = A (t) Γ, t > 0, kde A je spojitá
zprava v bodě t = 0, s počátečnı́ podmı́nkou A (0) = I majı́, podle Lemmatu 3.46, jediné řešenı́
A (t) = etΓ , t ≥ 0.
Potřebujeme ukázat, že etΓ , t ≥ 0 je konzistentnı́ systém stochastických matic, viz Definice
3.8.
1) Požadavek i) je splněn, nebot’ A (0) = e0Γ = I.
2) Požadavek ii), což je splněnı́ Chapmanovy-Kolmogorovovy rovnosti (3.4), je také splněn, nebot’
jednou z vlastnostı́ maticové exponenciály je e(t+s)Γ = etΓ esΓ pro každé t, s ≥ 0.
3) Požadavek 3.10 je splněn, nebot’ limt→0+ etΓ = e0Γ = I = A (0) .
4) Zbývá ukázat, že A (t) = etΓ je stochastická matice pro každé t > 0; pro A (0) = I je to zřejmé.
a) Sečtenı́m (3.23) přes všechna j ∈ S dostaneme (jde o konečné součty)

X XX X X
p0i,j (t) = pi,k (t)qk ,j = pi,k (t) qk ,j = 0,
j ∈S j ∈S k ∈S k ∈S j ∈S
nebot’ j ∈S
P P
Pqk ,j = 0. Tedy j ∈S pi,j (t) je konstantnı́ pro každé
Pt > 0. Ze spojitosti v nule
a protože j ∈S pi,j (0) = 1, je tato konstanta rovna jedné, tj. j ∈S pi,j (t) = 1 pro každé
t ≥ 0.
b) Nezápornost pi,j (t) lze dokázat takto:
b1) Předpokládejme, že qi,j > 0 pro všechna i , j ∈ S, i 6= j .
i) Pro i ∈ S je pi,i (0) = 1 a vzhledem ke spojitosti pi,i v nule zprava je pi,i (t) > 0
v nějakém pravém okolı́ nuly.
ii) Pro i , j ∈ S, i 6= j máme p0i,j (0+) = qi,j > 0, tedy pi,j (t) > 0 na nějakém pravém
okolı́ nuly.
iii) Zjistili jsme, že P (t) > 0 pro 0 < t ≤ h a nějaké h > 0.
Vezměme s > 0. Pak existujı́ m ∈ N a 0 < t ≤ h tak, že s = mh + t.
Pak z Chapmanovy-Kolmogorovovy rovnosti máme
m
P (s) = P (t + mh) = P (t)P (h) > 0.
Tedy P (s) > 0 pro každé s > 0.
b2) Necht’ pro nějaká i , j ∈ S, i 6= j je qi,j = 0.
Pak pro n ∈ N pozměnı́me matici intenzit přechodu Qn = Q + n1 (E − N I), kde N je
počet prvků množiny S.
Takto vzniklá matice Qn má všechny řádkové součty nulové a všechny nediagonálnı́
prvky kladné.
Podle toho, co jsme již dokázali, všechny prvky matice etQn jsou kladné pro každé
t > 0.
Zřejmě Qn → Q pro n → ∞. Potom také etQn → P (t) = etQ pro n → ∞ a tedy
pi,j (t) ≥ 0 pro všechna i , j ∈ S, i 6= j a všechna t ≥ 0.
Věta 3.48: Necht’ Θ je diskrétnı́ spočetná množina, a = {ai , i ∈ Θ} je reálný vektor a Γ =

X
i∈Θ
X
Γi,i = − Γi,j > −∞ pro všechna i ∈ Θ .
j ∈Θ
j 6=i
Potom existuje homogennı́ Markovův řetězec se spojitým časem, který splňuje Požadavek 3.10
a (3.22). Rozdělenı́ tohoto řetězce je jednoznačně určeno, jeho množina stavů je S ⊂ Θ, jeho
počátečnı́ rozdělenı́ je p = {ai , i ∈ S} a jeho matice intenzit je Q = {Γi,j , i , j ∈ S} .
t
Důkaz. Věta je dokázána v [7], Kapitola 1, Věta 4, str.42.

Na závěr tohoto oddı́lu shrňme postup řešenı́ Kolmogorovových diferenciálnı́ch rovnic. Když je
S konečná, pak je maticová exponenciála jediným analytickým řešenı́m (3.22) i (3.23). Když je S
spočetná, pak hledat přı́mo řešenı́ retrospektivnı́ch rovnic (3.22) se ukazuje neschůdné. Schůdnou
cestou je řešit pomocı́ techniky vytvořujı́cı́ funkce prospektivnı́ rovnice (3.23), což vede na parciálnı́
diferenciálnı́ rovnici, kterou umı́me numericky řešit. V některých přı́padech dokážeme nalézt ana-
lytické řešenı́ (3.23). Ukážeme si to na přı́kladech: Poissonův proces v Kapitole 3.4, Yuleův proces
v Kapitole 3.5, lineárnı́ proces množenı́ a zániku v Kapitole 3.7, obslužný systém (M/M/∞) v Ka-
pitole 3.9.1. Na závěr je ještě třeba prověřit, že nalezené řešenı́ (3.23) je opravdu řešenı́m (3.22).
Věta 3.49: Necht’ Θ je diskrétnı́ spočetná množina, a = {ai , i ∈ Θ} je reálný vektor a Γ =

X
i∈Θ
X
Γi,i = − Γi,j > −∞ pro všechna i ∈ Θ .
j ∈Θ
j 6=i
Necht’ {A (t) , t ≥ 0} je konzistentnı́ systém diferencovatelných stochastických matic, viz Definice

3.8, který splňuje soustavu diferenciálnı́ch rovnic A0 (t) = A (t) Γ, t > 0, limh→0+ A (h) = I =
A (0) a limh→0+ A0 (h) = Γ.
Potom existuje homogennı́ Markovův řetězec se spojitým časem, který splňuje Požadavek 3.10,
(3.22) a (3.23). Rozdělenı́ tohoto řetězce je jednoznačně určeno, jeho množina stavů je S ⊂ Θ,
jeho počátečnı́ rozdělenı́ je p = {ai , i ∈ S} a jeho matice intenzit je Q = {Γi,j , i , j ∈ S} .
Důkaz. {A (t) , t ≥ 0} je konzistentnı́ systém stochastických matic, proto podle Věty 3.9 exis-
tuje homogennı́ Markovův řetězec se spojitým časem X = {Xt , t ≥ 0} s množinou stavů S ⊂ Q,
počátečnı́m rozdělenı́m p = {ai , i ∈ S} a se systémem matic pravděpodobnostı́ přechodů P =
{P (t), t ≥ 0} , kde P (t) = {Ai,j (t) , i , j ∈ S} .
• Tento řetězec splňuje Požadavek 3.10, nebot’ limh→0+ A (h) = I = A (0) .
• Matice intenzit tohoto řetězce je Q = {Γi,j , i , j ∈ S} , nebot’ A0 (0+) = limh→0+ A0 (h) = Γ.
• Podle Věty 3.44 tento řetězec splňuje (3.22).
• Tento řetězec splňuje (3.23), protože předpokládáme A0 (t) = A (t) Γ, t > 0.
Tı́m je tvrzenı́ věty dokázáno.
Přı́klad 3.50: Model práce stroje. Doba bezporuchového provozu jistého stroje je náhodná veliči-
na s exponenciálnı́m rozdělenı́m se střednı́ hodnotou α1 pro α > 0. Když dojde k poruše, stroj začne
být okamžitě opravován; doba opravy je náhodná veličina s exponenciálnı́m rozdělenı́m se střednı́
hodnotou β1 , β > 0, nezávislá na době bezporuchového provozu. Jakmile je oprava dokončena, je
stroj znovu uveden do provozu.
Definujme náhodnou veličinu Xt , která nabývá hodnoty 0, jestliže v čase t ≥ 0 stroj pracuje
a hodnoty 1, je-li v čase t ≥ 0 stroj opravován. Potom X = {Xt , t ≥ 0} je homogennı́ Markovův
řetězec se spojitým časem a množinou stavů S = {0, 1}. Matice intenzit přechodu je

−α α
Q= .
β −β
Ukažme si nynı́ několik způsobů, jak určit z daných intenzit pravděpodobnostı́ přechodů.
Pro pravděpodobnostı́ přechodů pi,j (t) můžeme psát retrospektivnı́ rovnice
p00,0 (t) = −αp0,0 (t) + αp1,0 (t), (3.27)

p01,0 (t) = βp0,0 (t) − βp1,0 (t).
Vynásobı́me-li prvnı́ rovnici čı́slem β a druhou rovnici čı́slem α a obě rovnice sečteme, dosta-
neme
βp00,0 (t) + αp01,0 (t) = 0,
odkud integracı́
βp0,0 (t) + αp1,0 (t) = c
pro nějakou konstantu c. Z podmı́nky pi,j (0) = δi,j zjistı́me, že c = β a tudı́ž
βp0,0 (t) + αp1,0 (t) = β. (3.28)
Vypočteme-li z (3.28) p1,0 (t) a dosadı́me do prvnı́ rovnice v (3.27), máme
p00,0 (t) = β − (α + β)p0,0 (t),
což je diferenciálnı́ rovnice pro p0,0 (t), která má obecné řešenı́
β
p0,0 (t) = ce−(α+β)t + .
α+β
Pro t = 0 dostaneme
β
p0,0 (0) = 1 = c + ,
α+β
takže
α −(α+β)t β
p0,0 (t) = e + .
α+β α+β
Zbylé pravděpodobnosti vypočteme z (3.28) a pomocı́ doplňků.
Pravděpodobnosti přechodů pi,j (t) můžeme určit také přı́mo podle vzorce (3.26). Snadno
zjistı́me, že matice Q má vlastnı́ čı́sla λ1 = 0, λ2 = −(α + β) a platı́
Q = BAB −1 ,
kde

0 0 1 α
A= , B= .
0 −(α + β) 1 −β
Nynı́ podle (3.26)

∞ ∞ k ∞ k
X Qk tk X t X t
P (t) = etQ = = (BAB −1 )k = BAk B −1 (3.29)
k! k! k!
k =0 k =0 k =0
∞ k
X t 0 0
= B B −1
k! 0 (−(α + β))k
k =0

1 0
=B B −1
0 e−(α+β)t
β + αe−(α+β)t α − αe−(α+β)t

1
= .
α + β β − βe−(α+β)t α + βe−(α+β)t
K výsledku (3.29) dospějeme také použitı́m Perronova vzorce pro výpočet matice etQ (viz
Přı́loha B, Věta B.10). Snadno zjistı́me, že det(λI − Q) = λ(λ + α + β) a adjungovaná matice
adj(λI − Q) je tvaru

λ+β α
adj(λI − Q) = .
β λ+α
Dále máme
det(λI−Q)
ψ1 (λ) = λ−λ1 =λ+α+ β,
det(λI−Q)
ψ2 (λ) = λ−λ2 = λ.
Dosazenı́m do Perronova vzorce máme

eλ1 t eλ2 t
P (t) = etQ = adj(λ1 I − Q) + adj(λ2 I − Q),
ψ1 (λ1 ) ψ2 (λ2 )
což je opět (3.29).
Zastavme se ještě u hledánı́ řešenı́ prospektivnı́ch Kolmogorovových diferenciálnı́ch rovnic v

přı́padě spočetné množiny stavů. Systém rovnic (3.23) se rozpadá na bloky odpovı́dajı́cı́ řádkům
matice pravděpodobnostı́ přechodů. Tyto bloky nemajı́ mezi sebou žádné vazby. Řešı́me vlastně
jednu a tutéž soustavu rovnic, jen se měnı́ počátečnı́ podmı́nky, podle toho, jaký řádek matice
pravděpodobnostı́ přechodů uvažujeme.
Úloha 3.51: Jsme v situaci, kdy je dána matice intenzit přechodů Q a našı́m úkolem je nalézt
spojité funkce fj : [0, ∞) → [0, 1], j ∈ S, které jsou spojitě diferencovatelné na intervalu (0, ∞), a
splňujı́ soustavu diferenciálnı́ch rovnic
X X
fj0 (t) = − fj (t) qj + fk (t) qk ,j = fk (t) qk ,j , t > 0 pro každé j ∈ S. (3.30)
k ∈S k ∈S
k 6=j
Když hledáme řešenı́ prospektivnı́ch Kolmogorovových diferenciálnı́ch rovnic (3.23), pak řešı́me
separátně pro každé i ∈ S soustavu rovnic (3.30) při počátečnı́ podmı́nce
pi,i (0) = 1, pi,j (0) = 0 pro každé j ∈ S, j 6= i .
Zı́skáme tak i -tý řádek matice pravděpodobnostı́ přechodů, tj. {pi,j , j ∈ S}.
D - Metoda vytvořujı́cı́ funkce: Pro řešenı́ soustavy rovnic (3.30) při spočetné množině stavů
se použı́vá ”metoda vytvořujı́cı́ funkce”. Metoda požaduje očı́slovánı́ stavů. Pro výklad použijeme
S = N0 . Očı́slovánı́ může být i jiné např. S = N, atd., metoda funguje obdobně.
Zavedeme pomocnou proměnnou s ∈ R a přepı́šeme soustavu rovnic (3.30) tak, že pro i ∈ N0
vynásobı́me i -tou rovnici s i a takto upravené rovnice sečteme. Zı́skáme tak rovnici
+∞ +∞ X
!
X X
fj0 (t) s j = fk (t) qk ,j s j , t > 0, s ∈ R. (3.31)
j =0 j =0 k ∈S
P+∞
Označme si levou stranu rovnice (3.31) jako funkci LS (s, t) := j =0 fj0 (t) s j a pravou stranu jako
P+∞ P j
PS (s, t) := j =0 k ∈S fk (t) qk ,j s . Pokud PS má pro každé t > 0 kladný poloměr konvergence
jako mocninná řada v s, pak jsou (3.31) a (3.30) ekvivalentnı́. Je tomu tak proto, že můžeme (3.31)
diferencovat podle s v nule a zı́skat zpět (3.30), tj.
∂ j LS 0 ∂ j PS
P
∂sj (0, t) = j ! fj (t) = ∂sj (0, t) = j ! fk (t) qk ,j .
P+∞ k ∈Sj
Zavedeme funkci Π (s, t) = j =0 fj (t) s a pokusı́me se pomocı́ nı́ a jejı́ch parciálnı́ch derivacı́
přepsat rovnici (3.31).
Lemma 3.52: Necht’ pro každé j ∈ S je dána spojitá funkce fj : [0, ∞) → [0, 1]. Pak hodnota
P+∞
funkce Π (s, t) = j =0 fj (t) s j je korektně definována a je reálná pro každé |s| < 1, t > 0. Také
jejı́ parciálnı́ derivace podle s jsou korektně definovány a jsou reálné
∂k Π
P+∞
∂sk
(s, t) = j =0 j (j − 1) . . . (j − k + 1) fj (t) s j −k pro každé k ∈ N, |s| < 1, t > 0.
Necht’ pro každé j ∈ S je funkce fj spojitě diferencovatelná na intervalu (0, ∞) a ∆j > 0 je
takové, že fj0 (t) ≤ ∆j pro každé t > 0. Označme Θ := lim supj →+∞ 1j log (∆j ) . Když Θ < +∞,
P+∞ 0
pak pro každé |s| < e−Θ , t > 0 platı́ ∂Π ∂t (s, t) =
j
j =0 fj (t) s .
Ihned vidı́me, že za předpokladů lemmatu platı́ LS (s, t) = ∂Π ∂t (s, t) . Vyjádřenı́ pravé strany
rovnice (3.31) záležı́ na konkrétnı́m zadánı́ matice intenzit přechodů Q.
Cı́lem je přepsat rovnici (3.31) jako parciálnı́ diferenciálnı́ rovnici (PDE) pro Π. Pro PDE
jsou známy numerické postupy jejich přibližného řešenı́. V některých speciálnı́ch přı́padech umı́me
nalézt analytické řešenı́. Ukážeme si to na přı́kladech: Poissonův proces v Kapitole 3.4, Yuleův
proces v Kapitole 3.5, lineárnı́ proces množenı́ a zániku v Kapitole 3.7, obslužný systém (M/M/∞)
v Kapitole 3.9.1.
Určeme nynı́ ještě absolutnı́ pravděpodobnosti v čase t. Předpokládejme, že počátečnı́ rozdělenı́
je
p0 = P (X0 = 0) = 1, p1 = P (X0 = 1) = 0. Potom podle (3.3)
p0 (t) = p0 p0,0 (t) + p1 p1,0 (t) = p0,0 (t),
p1 (t) = p0 p0,1 (t) + p1 p1,1 (t) = p0,1 (t).
V přı́padě řetězců se spočetně mnoha stavy je řešenı́ Kolmogorovových diferenciálnı́ch rovnic

obecně mnohem složitějšı́, pro procesy, které nejsou regulárnı́, nemusı́ jednoznačné řešenı́ vůbec
existovat. Většinou se omezujeme na výpočet absolutnı́ch pravděpodobnostı́ pj (t) , j ∈ S při pevně
daném počátečnı́m stavu i , tj. pro dané počátečnı́ rozdělenı́ pi (0) = 1, pj (0) = 0, j 6= i.
Věta 3.53: Když homogennı́ Markovův řetězec se spojitým časem splňuje Požadavek 3.10,
Požadavek 3.17, všechny jeho stavy jsou stabilnı́ a S konečná nebo pro každé j ∈ S existujı́
p (h)
δj > 0, ∆j > 0 tak, že k ,jh − qk ,j ≤ ∆j pro všechna k ∈ S, k 6= j a 0 < h < δj , potom v
každém t > 0 jsou pro všechna i , j ∈ S splněny
Za stejných podmı́nek, za jakých jsme odvodili soustavu prospektivnı́ch Kolmogorovových
diferenciálnı́ch rovnic, můžeme odvodit soustavu diferenciálnı́ch rovnic pro absolutnı́ pravděpo-
dobnosti: z (3.3) a (3.23) dostaneme
X
p0j (t) = −pj (t) qj + pk (t) qk ,j , j ∈ S
k ∈S
k 6=j
s počátečnı́ podmı́nkou
pi (0) = 1, pj (0) = 0, j 6= i .
t
Při této počátečnı́ podmı́nce odpovı́dajı́ absolutnı́ pravděpodobnosti i -tému řádku matice P (t).
Některými speciálnı́mi přı́pady takových rovnic a metodami řešenı́ se budeme zabývat později.
3.3 Stacionárnı́ a limitnı́ rozdělenı́

Podobně jako pro řetězce s diskrétnı́m časem definujeme invariantnı́ mı́ru a stacionárnı́ rozdělenı́
i pro řetězce se spojitým časem.
Definice 3.54: Necht’ X = {Xt , t ≥ 0} je homogennı́ Markovův řetězec se spojitým časem,
množinou stavů S a maticemi pravděpodobnostı́ přechodů P (t), t ≥ 0.
Reálný vektor η = {ηi , i ∈ S}, η ≥ 0 takový, že
η > = η > P (t) pro každé t > 0, (3.32)
se nazývá invariantnı́ mı́ra řetězce X. Pravděpodobnostnı́ rozdělenı́ π = {πi , i ∈ S}, které splňuje
(3.32), se nazývá stacionárnı́ rozdělenı́ tohoto řetězce.
t
Věta 3.55: Je-li počátečnı́ rozdělenı́ homogennı́ho Markovova řetězce se spojitým časem X =
{Xt , t ≥ 0} stacionárnı́, je X striktně stacionárnı́ proces, tj. pro libovolné k ∈ N, 0 ≤ t1 · · · < tk ,
pro každé s > 0 a libovolná i1 , . . . , ik ∈ S platı́
P (Xt1 = i1 , . . . , Xtk = ik ) = P (Xt1 +s = i1 , . . . , Xtk +s = ik ) .
Speciálně pro absolutnı́ pravděpodobnosti platı́ pj (t) = P (Xt = j ) = πj , j ∈ S, t ≥ 0, kde π je

stacionárnı́ rozdělenı́ řetězce X.
t
Důkaz. Věta se dokáže zcela analogicky jako Věta 2.106 s použitı́m vlastnostı́ (3.2), (3.3) a definice
stacionárnı́ho rozdělenı́.
Definice 3.56: Pravděpodobnostnı́ rozdělenı́ a = {ai , i ∈ S} se nazývá limitnı́ rozdělenı́, jestliže

pro všechna i , j ∈ S
lim pi,j (t) = aj .

t→∞
Věta 3.57: Limitnı́ rozdělenı́ homogennı́ho Markovova řetězce se spojitým časem je také jeho
stacionárnı́m rozdělenı́m.
Důkaz. Necht’ a = {ai , i ∈ S} je limitnı́ rozdělenı́ daného řetězce.

Z Chapmanovy-Kolmogorovovy rovnosti máme pro t ≥ 0, h ≥ 0
X
pi,j (t + h) = pi,k (t)pk ,j (h). (3.33)
k ∈S
1. Když S je konečná, pak limitnı́m přechodem pro t → ∞ v (3.33) dostáváme

X
aj = ak pk ,j (h) pro každé h ≥ 0, j ∈ S.
k ∈S
Tedy a splňuje (3.32) a je proto stacionárnı́m rozdělenı́m.

2. Když S je nekonečná, tedy spočetná, použitı́m Fatoova lemmatu Lemma C.4 pro t → ∞
v (3.33) zı́skáme nerovnosti
X
aj ≥ ak pk ,j (h) pro každé h ≥ 0, j ∈ S.
k ∈S
P
Součet levých stran nerovnostı́ je j ∈S aj = 1 a součet pravých stran je
 
Fubini
XX X X X
ak pk ,j (h) = ak  pk ,j (h) = ak = 1 pro každé h ≥ 0.
j ∈S k ∈S k ∈S j ∈S k ∈S
Podle Lemmatu D.3 tedy musı́ platit

X
aj = ak pk ,j (h) pro každé h ≥ 0, j ∈ S.
k ∈S
Tedy a je stacionárnı́ rozdělenı́.
Řešenı́ rovnice (3.32) pro každé t ≥ 0 může být obtı́žné. Ukážeme si proto, jak lze stacionárnı́
rozdělenı́ určit pomocı́ matice intenzit přechodu Q. Nejdřı́ve však popı́šeme strukturu množiny
stavů řetězce se spojitým časem.
Definice 3.58: Řekneme, že stav j homogennı́ho Markovova řetězce se spojitým časem X =
{Xt , t ≥ 0} je
dosažitelný ze stavu i ∈ S, jestliže
Pi (Xt = j ) = pi,j (t) > 0 pro nějaké t ≥ 0, i , j ∈ S.
Řekneme, že homogennı́ Markovův řetězec se spojitým časem je nerozložitelný, jestliže každý jeho
stav je dosažitelný z každého jeho stavu.
t
Obdobně jako u homogennı́ch Markovových řetězců s diskrétnı́m časem je každý stav dosažitelný
sám ze sebe, nebot’ pi,i (0) = 1. Pomocı́ pojmu dosažitelnost můžeme definovat rozklad množiny
stavů zcela analogicky jako pro řetězce s diskrétnı́m časem.
Věta 3.59: Necht’ X = {Xt , t ≥ 0} je regulárnı́ homogennı́ Markovův řetězec se spojitým časem
a Y = {Yn , n ∈ N0 } je jeho vnořený Markovův řetězec. Pak pro i , j ∈ S, i 6= j je ekvivalentnı́:
(1) j je dosažitelný z i v X.
(2) j je dosažitelný z i v Y.
(3) Existuje k ∈ N a stavy i0 = i , i1 , . . . , ik −1 , ik = j tak, že qi0 ,i1 qi1 ,i2 . . . qik −1 ,ik > 0.
(4) pi,j (t) > 0 ∀ t > 0.
(5) pi,j (t) > 0 pro nějaké t > 0.
Důkaz. Zřejmě (4) ⇒ (5) ⇒ (1).

a) Když j je dosažitelný z i v X, pak pi,j (t) > 0 pro nějaké t > 0, jelikož i 6= j nemůže být t = 0.
∗(k ) ∗(k )
Pak qi,j > 0 pro nějaké k ∈ N, kde qi,j je pravděpodobnost přechodu po k krocı́ch ve vnořeném
řetězci Y. Tedy (1) ⇒ (2).
∗(k )
b) Když j je dosažitelný z i v Y, pak qi,j > 0 pro nějaké k ∈ N. Potom existuje cesta z i do j v
∗
Y tak, že qi,i q ∗ . . . qi∗k −1 ,j > 0. Pak také qi,i1 qi1 ,i2 . . . qik −1 ,j > 0. Tudı́ž (2) ⇒ (3).
1 i1 ,i2
c) Když pro stavy α, β ∈ S je qα,β = p0α,β (0+ ) > 0, pak je pα,β (s) > 0 pro všechna 0 < s ≤ δ pro
nějaké δ > 0. Potom pro všechna t > δ
pα,β (t) ≥ pα,β (δ)pβ,β (t − δ) > 0,
nebot’ podle Věty 3.27 pro všechna t ≥ 0 platı́
pβ,β (t) = Pβ (Xt = β) ≥ Pβ (Xs = β pro všechna 0 ≤ s ≤ t) = e−qβ t > 0,
protože řetězec je regulárnı́, tj. 0 ≤ qβ < +∞.

Takže jsme zjistili, že pro qα,β > 0 je pα,β (t) > 0 pro všechna t > 0.
Platı́-li (3), můžeme tedy psát
t t t
pi,j (t) ≥ pi,i1 pi1 ,i2 . . . pik −1 ,j >0 pro všechna t > 0.
k k k
Tudı́ž (3) ⇒ (4).
Z Věty 3.59 plyne, že řetězec X = {Xt , t ≥ 0} je nerozložitelný právě když přı́slušný vnořený řetězec
Y = {Yn , n ∈ N0 } je nerozložitelný.
Definice 3.60: Uvažujme homogennı́ Markovův řetězec se spojitým časem X = {Xt , t ≥ 0} a stav
j ∈ S. Pak definujeme:
(i) Čas prvnı́ho návratu (vstupu) do stavu j
Tj (1) = inf {t ≥ J1 : Xt = j } .
(ii) Stav j se nazývá trvalý, jestliže bud’ qj = 0 (j je absorpčnı́) nebo qj > 0 a současně
Pj (Tj (1) < ∞) = 1.
(iii) Stav j se nazývá přechodný, jestliže qj > 0 a Pj (Tj (1) = ∞) > 0.
(iv) Trvalý stav j se nazývá nenulový, jestliže bud’ qj = 0, nebo Ej [Tj (1)] < ∞.
(v) Trvalý stav j se nazývá nulový, jestliže Ej [Tj (1)] = ∞.
Uvědomme si vztah s vnořeným Markovovým řetězcem.
Lemma 3.61: Mějme homogennı́ Markovův řetězec se spojitým časem X = {Xt , t ≥ 0} s vnořeným
Markovovým řetězcem Y = {Yn , n ∈ N0 }, i ∈ S, Ti (1) je čas prvnı́ho návratu řetězce X do i , τi (1)
je čas prvnı́ho návratu řetězce Y do i . Pak Ti (1) nabývá pouze hodnot {Jn , n ∈ N} ∪ {∞} a pro
každé ω ∈ Ω, n ∈ N platı́
Ti (1) (ω) = Jn (ω) ⇐⇒ τi (1) (ω) = n.
Ti (1) (ω) = ∞ ⇐⇒ τi (1) (ω) = ∞.
Důkaz. Tvrzenı́ lemmatu plyne přı́mo z Definic 3.60 a 2.52.
Lemma 3.62: Mějme homogennı́ Markovův řetězec se spojitým časem X = {Xt , t ≥ 0} a stav
j ∈ S. Pak stav j je trvalý ve vnořeném řetězci {Yn } tehdy a jen tehdy, když je trvalý v {Xt }.
t
Avšak trvalý stav, který je nenulový ve vnořeném řetězci {Yn }, nemusı́ mı́t stejnou vlastnost
v {Xt }.
Věta 3.63: Necht’ X = {Xt , t ≥ 0} je homogennı́ Markovův řetězec se spojitým časem, s maticı́ in-
tenzit přechodu Q a vnořeným řetězcem {Yn , n ∈ N0 }, který je nerozložitelný a jehož všechny stavy
jsou trvalé. Potom existuje invariantnı́ mı́ra η procesu {Xt , t ≥ 0}, která je určena jednoznačně až
na multiplikativnı́ konstantu jako řešenı́ soustavy
η > Q = 0> (3.34)
ηj > 0 pro všechna j ∈ S.

s vlastnostı́ P
Jestliže j ∈S ηj < ∞, potom π = {πj , j ∈ S} , kde πj = P ηj , je stacionárnı́ rozdělenı́
k ∈S ηk
procesu X = {Xt , t ≥ 0}.
t
Důkaz. Ukážeme jen hlavnı́ kroky důkazu. Necht’ η = {ηj ≥ 0, j ∈ S} je řešenı́ rovnice η > Q = 0> .
Zapı́šeme-li tuto vektorovou rovnici po složkách, dostaneme
X X
ηi qi,j = ηi qi,j + ηj qj ,j = 0, j ∈ S,
i∈S i6=j
neboli
X
ηi qi,j = ηj qj , j ∈ S.
i6=j
Využijeme-li vztahu (3.19) mezi intenzitami a pravděpodobnostmi přechodů vnořeného Markovova

řetězce, můžeme poslednı́ rovnici zapsat ve tvaru
X
∗
ηi qi qi,j = ηj qj , j ∈ S,
i∈S
tedy {ηj qj , j ∈ S} je invariantnı́ mı́ra vnořeného Markovova řetězce s diskrétnı́m časem a ma-
ticı́ pravděpodobnostı́ přechodů Q∗ = qi,j
∗
, i , j ∈ S . Tento řetězec je podle předpokladu ne-
rozložitelný s trvalými stavy; podle Cvičenı́ 2.144 musı́ být (až na multiplikativnı́ konstantu)
 
τi (1)−1
X
0 < ηj qj = Ei  I(Yn = j ) < ∞
n=0
pro pevné i ∈ S, kde τi (1) je čas prvnı́ho návratu do i ∈ S v řetězci {Yn , n ∈ N0 }.

Dále ukážeme, že ηj = µij , kde
"Z #
Ti (1)
µij = Ei I(Xt = j ) dt
0
je střednı́ doba setrvánı́ ve stavu j mezi dvěma návraty řetězce X = {Xt , t ≥ 0} do stavu i ∈ S. Je
totiž
Z ∞ Z ∞
∞X
µij = Pi (Xt = j , Ti (1) > t) dt = Pi (Yn = j, Jn ≤ t < Jn+1 , Ti (1) > t) dt.
0 0 n=0
Využijeme-li podmiňovánı́, markovské vlastnosti a toho, že Ti (1) , τi (1) jsou markovské časy, pro
které
[Ti (1) > Jn ] ⇐⇒ [τi (1) > n],
dostaneme
∞ Z
X ∞
µij = Pi (Jn ≤ t < Jn+1 |Yn = j ) Pi (Yn = j , τi (1) > n) dt
n=0 0
X∞
= Ei [Sn+1 |Yn = j ] Pi (Yn = j , τi (1) > n)
n=0
 
τi (1)−1
1  X
= Ei I(Xn = j ) = ηj .
qj n=0
Nynı́ je třeba ukázat, že η je invariantnı́ mı́ra procesu X = {Xt , t ≥ 0}. Protože
"Z #
Z s s+Ti (1)
Ei I(Xt = j ) dt = Ei (Xt = j ) dt ,
0 Ti (1)
je
hR i hR i
R s Ti (1) Ti (1)+s
ηj = µij 2

= Ei 0
I(X t = j ) dt + E i s
I(Xt = j ) dt = E i s
I(Xt = j ) dt
R∞
= 0 Pi (Xt+s = j, Ti (1) > t) dt
R ∞ P∞
= 0 k =0 Pi (Xt+s = j |Xt = k, Ti (1) > t ) Pi (Xt = k , Ti (1) > t) dt,
odkud opět s použitı́m markovské vlastnosti

P∞ R ∞
ηj = k =0 0 Pi (Xt+s = j |Xt = k ) Pi (Xt = k, Ti (1) > t) dt
hR i
P∞ T (1)
= k =0 pk ,j (s)Ei 0 i I(Xt = k) dt
P∞ P∞
= k =0 pk ,j (s)µik = k =0 pk ,j (s)ηk ,
P
tedy η je invariantnı́ mı́ra. Jestliže jP ∈S ηj < ∞, potom existuje stacionárnı́ rozdělenı́ v řetězci
X = {Xt , t ≥ 0} (stačı́ položit πj = ηj / k ∈S ηk pro j ∈ S).
P
Poznámka. Je-li S konečná a vnořený řetězec nerozložitelný, je suma k ∈S ηk vždy konečná,
a lze ho určit jako řešenı́ rovnice π > Q =
stacionárnı́ rozdělenı́ π v řetězci X = {Xt , t ≥ 0} existuje P
>
0 , které splňuje podmı́nky πj > 0 pro všechna j ∈ S a j ∈S πj = 1.
t
Věta 3.64: Necht’ X = {Xt , t ≥ 0} je homogennı́ Markovův řetězec se spojitým časem, s maticı́
intenzit přechodu Q a vnořeným řetězcem {Yn , n ∈ N0 } , který je nerozložitelný a jehož všechny
stavy jsou trvalé. Necht’ π = {πj , j ∈ S} , kde πj > 0 pro všechna j ∈ S a j ∈S πj = 1, je řešenı́
P
rovnice
π > Q = 0> .
Potom pro pravděpodobnostı́ přechodů a absolutnı́ pravděpodobnosti v řetězci X = {Xt , t ≥ 0}

platı́
lim pi,j (t) = πj pro všechna i , j ∈ S, (3.35)

t→∞
lim pj (t) = πj pro všechna j ∈ S. (3.36)
t→∞
Důkaz. Podle Věty 3.63 je π stacionárnı́ rozdělenı́ řetězce X = {Xt , t ≥ 0}, tedy platı́
π > = π > P (t) pro všechna t ≥ 0. Protože vnořený řetězec je nerozložitelný, je podle Věty 3.59
pi,j (t) > 0 pro všechna t > 0 a všechna i , j ∈ S.
Uvažujme nynı́ diskrétnı́ časové okamžiky 0, h, 2h, 3h, . . . pro nějaké h > 0 a posloupnost
náhodných veličin Z = {Zn , n ∈ N0 } definovaných předpisem Zn = Xnh . Zřejmě je

P ( Zn = j | Zn−1 = i , . . . , Z0 = i0 ) = P Xnh = j | X(n−1)h = i , . . . , X0 = i0 = pi,j (h).
Tedy Z je homogennı́ Markovův řetězec s diskrétnı́m časem s maticı́ pravděpodobnostı́ přechodů

P (h) a π je jeho stacionárnı́ rozdělenı́. Podle Věty 2.108 pro prvky matice P n (h) platı́
(n)
lim p (h) = lim pi,j (nh) = πj pro všechna i , j ∈ S,
n→∞ i,j n→∞
tedy
∀ ε > 0 ∃N ∈ N ∀ n > N |pi,j (nh) − πj | < ε.
Dále máme
|pi,j (t) − πj | ≤ |pi,j (t) − pi,j (nh)| + |pi,j (nh) − πj |

a vzhledem ke stejnoměrné spojitosti pi,j (t), viz Věta 3.11, bude také |pi,j (t) − pi,j (nh)| < ε pro
všechna nh ≤ t ≤ (n + 1)h a dostatečně malé h. Odtud již plyne tvrzenı́ (3.35).
Tvrzenı́ (3.36) plyne ihned, použijeme-li limitnı́ přechod pro t → ∞ ve vztahu
X
pj (t) = pi (0) pi,j (t), j ∈ S;
i∈S
pořadı́ limity a sumace můžeme podle Lebesgueovy věty zaměnit, nebot’ máme integrovatelnou
majorantu 0 ≤ pi (0) pi,j (t) ≤ pi (0) pro všechna i ∈ S.
Přı́klad 3.65: Pokračovánı́ Přı́kladu 3.50. Uvažujme opět model, ve kterém práce stroje je
popsána homogennı́m Markovovým řetězcem se spojitým časem a stavy 0, 1. K matici intenzit
přechodu

−α α
Q=
β −β
jsme určili systém matic pravděpodobnostı́ přechodů
β + αe−(α+β)t α − αe−(α+β)t

1
P (t) = .
α+β β − βe−(α+β)t α + βe−(α+β)t
Odtud vidı́me, že
β α
!
α+β α+β
lim P (t) = β α .
t→∞ α+β α+β
Složky vektoru
>
β α
a= ,
α+β α+β
tvořı́ stacionárnı́ rozdělenı́ daného homogennı́ho Markovova řetězce se spojitým časem. Ke stejnému
výsledku dospějeme řešenı́m soustavy (3.34), která v našem přı́padě znı́
−π0 α + π1 β = 0,
π0 α − π1 β = 0.
Řešenı́ soustavy, které vyhovuje podmı́nce π0 + π1 = 1, je opět

β α
π0 = , π1 = .
α+β α+β
Přı́klad 3.66: Provoz telefonnı́ ústředny.

Uvažujme telefonnı́ ústřednu s N linkami. Předpokládejme, že v časovém intervalu (t, t + h] přijde
na ústřednu hovor s pravděpodobnostı́ λh + o(h) , λ > 0, která je stejná pro všechna t ≥ 0.
Hovory přicházejı́ nezávisle; pravděpodobnost, že do ústředny přijdou dva nebo vı́ce hovorů v
(t, t + h] je o(h), pravděpodobnost, že nepřijde žádný hovor, je 1 − λh + o(h) . Pokud je všech N
linek obsazeno, dalšı́ hovor se ztrácı́. Doby jednotlivých hovorů jsou nezávislé náhodné veličiny,
nezávislé na přı́chodu hovorů.
Dále předpokládejme, že doba trvánı́ každého hovoru je náhodná veličina T s exponenciálnı́m
rozdělenı́m s parametrem µ > 0 (tj. střednı́ hodnotou µ1 ). Potom podmı́něná pravděpodobnost,
že hovor, který trvá v čase t ≥ 0, skončı́ během intervalu (t, t + h] je
P (t < T ≤ t + h) e−µt − e−µ(t+h)

P ( t < T ≤ t + h| T > t) = = = 1 − e−µh = µh + o(h) .
P (T > t) e−µt
Podmı́něná pravděpodobnost, že hovor, který trvá v čase t ≥ 0, neskončı́ v intervalu (t, t + h], je
1 − µh + o(h).
Necht’ Xt je počet obsazených linek v čase t ≥ 0; potom X = {Xt , t ≥ 0} je homogennı́ Markovův
řetězec se spojitým časem a množinou stavů S = {0, 1, . . . , N }. Pro pravděpodobnosti přechodů
pi,j (t, t + h) = pi,j (h) dostaneme
pj ,j +1 (h) = [λh + o(h)][1 − µh + o(h)]j + o(h) = λh + o(h) pro j ∈ {0, 1, . . . , N − 1},
podobně odvodı́me

j
pj ,j −1 (h) = [µh + o(h)][1 − µ(h) + o(h)]j −1 [1 − λh + o(h)] + o(h) = j µh + o(h)
1
pro j ∈ {1, 2, . . . , N }
a také
pj ,j +k (h) = o(h) , k ∈ {2, 3, . . . , N − j },

pj ,j −k (h) = o(h) , k ∈ {2, 3, . . . , j },
pj ,j (h) = 1 − (λ + j µ)h + o(h) , j ∈ {1, 2, . . . , N − 1},
p0,0 (h) = 1 − λh + o(h) ,
pN ,N (h) = 1 − N µh + o(h) .
Odtud určı́me intenzity
qj ,j +1 = λ, j ∈ {0, 1, . . . , N − 1},
qj ,j −1 = j µ, j ∈ {1, 2, . . . , N },
qj = λ + j µ, j ∈ {1, 2, . . . , N − 1},
q0 = λ,
qN = N µ,
qi,j = 0 jinak.

 
−λ λ 0 0 ... 0 0 0
 µ −(λ + µ) λ 0 ... 0 0 0 
 
 0 2µ −(λ + 2µ) λ ... 0 0 0 
Q= . . .
.
 ... ... ... ... ... ... ... 

 0 0 0 0 ... (N − 1)µ −(λ + (N − 1)µ) λ 
0 0 0 0 ... 0 Nµ −N µ
Soustava rovnic a> Q = 0> pro výpočet limitnı́ho rozdělenı́ je
−λπ0 + µπ1 = 0,
λπj −1 − (λ + j µ)πj + (j + 1)µπj +1 = 0, j ∈ {1, 2, . . . , N − 1}, (3.37)
λπN −1 − N µπN = 0.
Rovnice můžeme řešit jednu po druhé; postupným řešenı́m odvodı́me rekurentnı́ vztah
j
λ 1
πj = π0 , j ∈ {1, 2, . . . , N }. (3.38)
µ j!
PN
Odtud a z podmı́nky j =0 aj = 1 dostaneme
N
!−1
ρj X ρk
aj = , j ∈ {0, 1, . . . , N },
j! k!
k =0
kde ρ = µλ .
Vztah (3.38) dostaneme i rychleji, když zavedeme
Kj = j µπj − λπj −1 , j ∈ {1, 2, . . . , N }.
Soustava (3.37) potom je
K1 = 0,
Kj +1 − Kj = 0, j ∈ {1, 2, . . . , N − 1},
KN = 0.
Tedy Kj = 0 pro všechna j ∈ {1, 2, . . . , N }, odkud plyne opět (3.38).
Přı́klad 3.67: Stroje a opraváři. V továrnı́ hale, ve které je nepřetržitý provoz, pracuje N
automatických strojů. U každého stroje může dojı́t k poruše, přičemž výskyt poruchy nezávisı́
na předchozı́m stavu stroje ani na stavu ostatnı́ch strojů. O stroje se stará r opravářů. Stroj,
který se porouchá, se začne okamžitě opravovat, pokud je nějaký opravář volný; pokud je všech
r opravářů zaměstnáno, stroj nepracuje a čeká na opravu. Předpokládá se, že na opravě jednoho
stroje pracuje jen jeden opravář a opraváři pracujı́ nezávisle.
Předpokládejme, že každý stroj, který v čase t ≥ 0 pracuje, se během intervalu (t, t + h]
porouchá s pravděpodobnostı́ λh + o(h) , λ > 0. Stroj, který je v čase t ≥ 0 opravován, je
v intervalu (t, t + h] znovu uveden do provozu s pravděpodobnostı́ µh + o(h) , µ > 0.
Necht’ Xt je počet strojů, které v čase t ≥ 0 nepracujı́; za předpokladů, které jsme učinili, je X =
{Xt , t ≥ 0} homogennı́ Markovův řetězec se spojitým časem a množinou stavů S = {0, 1, . . . , N }.
Podobnými úvahami jako v předešlém přı́kladě zjistı́me, že
pj ,j +1 (h) = (N − j )λh + o(h) , 0 ≤ j < N,

pj ,j −1 (h) = j µh + o(h) , 1 ≤ j ≤ r,
pj ,j −1 (h) = rµh + o(h) , r < j ≤ N,
pj ,j +k (h) = o(h) , k ∈ {2, 3, . . . , N − j },
pj ,j −k (h) = o(h) , k ∈ {2, 3, . . . , j }
a snadno též určı́me pravděpodobnosti pj ,j (h). Intenzity přechodu jsou potom
qj ,j +1 = (N − j )λ, 0 ≤ j < N,
qj ,j −1 = j µ, 1 ≤ j ≤ r,
qj ,j −1 = rµ, r < j ≤ N,
qj ,k = 0, j 6= k jinak
a celkové intenzity
q0 = N λ,
qj = (N − j )λ + j µ, 1 ≤ j ≤ r,
qj = (N − j )λ + rµ, r < j < N,
qN = rµ.
Určeme limitnı́ pravděpodobnosti podle Věty 3.64. Soustava rovnic a> Q = 0> je
−N λπ0 + µπ1 = 0,
(N − j + 1)λπj −1 − ((N − j )λ + j µ)aj + (j + 1)µπj +1 = 0, 1 ≤ j < r,
(N − j + 1)λπj −1 − ((N − j )λ + rµ)aj + rµπj +1 = 0, r ≤ j < N,
λπN −1 − rµπN = 0.
Je zřejmé, že tato soustava se rozpadá na dvě části. Označı́me-li
Kj = j µaj − (N − j + 1)λπj −1 , Kj∗ = rµaj − (N − j + 1)λπj −1 ,
můžeme ji přepsat do tvaru
K1 = 0,
Kj +1 − Kj = 0, 1 ≤ j < r,
Kj∗+1 − Kj∗ = 0, r ≤ j < N,
KN∗ = 0.
Odtud spolu s rovnostı́ Kr = Kr∗ máme Kj = 0, 1 ≤ j ≤ r, Kj∗ = 0, r ≤ j ≤ N . Dostáváme tak

rekurentnı́ vztahy
(N − j + 1)λ
aj = πj −1 , 1 ≤ j < r,
jµ
(N − j + 1)λ
πj = πj −1 , r ≤ j ≤ N,
rµ
ze kterých odvodı́me, že
j
N λ
aj = π0 , 1 ≤ j < r,
j µ
j
N (N − 1) . . . (N − j + 1) λ
aj = π0 , r ≤ j ≤ N.
r!rj−r µ
PN
Hodnotu π0 určı́me z podmı́nky j =0 aj = 1.
t
3.4 Poissonův proces

V Přı́kladě 3.24 jsme zavedli proces {Xt , t ≥ 0} s hodnotami v N0 , který má nezávislé a stacionárnı́
přı́růstky Xt+h − Xt (počet událostı́ v intervalu (t, t + h]), a z předpokladů, které jsme tam učinili,
plyne
P (Xt+h − Xt = 1) = λh + o(h) ,
P (Xt+h − Xt = 0) = 1 − λh + o(h) ,
P (Xt+h − Xt ≥ 2) = o(h)
stejnoměrně pro všechna t. Celkové intenzity jsou pro všechny stavy stejné, potom Ve shodě
s pozorovanou realitou budeme předpokládat, že proces splňuje také Požadavek 3.14. proto je
regulárnı́.
Vı́me již, že jde o homogennı́ Markovův řetězec se spojitým časem a množinou stavů S =
{0, 1, . . . }, s počátečnı́m rozdělenı́m p0 = p0 (0) = P (X0 = 0) = 1, pj (0) = 0, j 6= 0 a intenzitami
přechodů qi,i+1 = λ, qi = −qii = λ, qij = 0 jinak. Pravděpodobnosti přechodů pij (t) bychom
mohli určit např. ze soustavy Kolmogorovových prospektivnı́ch rovnic (3.23). Již jsme se zmı́nili,
že pokud se omezı́me pouze na určenı́ absolutnı́ch pravděpodobnostı́ pj (t) , j ∈ S s počátečnı́m
rozdělenı́m pi = pi (0) = 1, pj = pj (0) = 0, j 6= i, stačı́ řešit soustavu diferenciálnı́ch rovnic, které
odpovı́dajı́ i−tému řádku matice P (t), tj. máme řešit soustavu diferenciálnı́ch rovnic
X
p0j (t) = −pj (t) qj + pk (t) qkj , j ∈ S
k6=j
pi (0) = 1, pj (0) = 0, j 6= i .
V našem přı́padě jde o soustavu
p00 (t) = −λp0 (t) , (3.39)

p0j (t) = −λpj (t) + λpj −1 (t) , j ∈N
pi (0) = 1, pj (0) = 0, j 6= i . (3.40)
Soustava (3.39) je soustava obyčejných lineárnı́ch diferenciálnı́ch rovnic a mohli bychom je řešit
jednu po druhé; zde si uvedeme metodu vytvořujı́cı́ funkce.
Uvažujme vytvořujı́cı́ funkci rozdělenı́ {pj (t) , j ∈ N0 }, tj.
∞
X
Π (s, t) = pj (t) s j pros ∈ (−1, 1), t ≥ 0,
j =0
jako funkci dvou proměnných s, t. Vynásobı́me-li j−tou rovnici soustavy (3.39) výrazem s j a
potom formálně sečteme všechny takto vynásobené rovnice, dostaneme vztah
∞
X ∞
X ∞
X ∞
X ∞
X
p0j (t) s j = −λ s j pj (t) + λ pj −1 (t) s j = −λ s j pj (t) + λs pj (t) s j .
j =0 j =0 j =1 j =0 j =0
Tento výraz můžeme vyjádřit pomocı́ vytvořujı́cı́ funkce Π jako

∂Π
(s, t) = −λΠ (s, t) + λsΠ (s, t) = −λ(1 − s)Π (s, t) (3.41)
∂t
a počátečnı́ podmı́nku (3.40) přepsat jako
Π (s, 0) = s i . (3.42)
Pro pevné s lze (3.41) řešit jako obyčejnou lineárnı́ diferenciálnı́ rovnici v proměnné t. Obecné
řešenı́ této rovnice je
Π (s, t) = C(s)e−λt(1−s) ,
kde C(s) je konstanta závislá pouze na s. Z počátečnı́ podmı́nky (3.42) plyne C(s) = s i , tedy
∞
i −λt+λst −λt
X (λt)j
Π (s, t) = s e =e s j +i .
j =0
j!
Odtud
j
e−λt (λt)
pj +i (t) = , j ∈ N0 , t≥0
j!
jsou hledané absolutnı́ pravděpodobnosti; jde o Poissonovo rozdělenı́ s parametrem λt. Odtud také
plyne např., že střednı́ počet událostı́, které nastanou v intervalu (0, t], je λt.
Protože podle předpokladu počet událostı́ v libovolném intervalu (s, s + t] závisı́ jen na délce
tohoto intervalu. Plyne odtud, že také přı́růstky Xs+t −Xs majı́ Poissonovo rozdělenı́ s parametrem
λt pro všechna s, t > 0.
Poznámka. Proces {Xt , t ≥ 0} celočı́selných náhodných veličin, který reprezentuje počet nějakých
událostı́, které se vyskytnou v intervalu [0, t] se nazývá čı́tacı́ proces (ang. Counting Process).
Poissonův proces s intenzitou λ je tedy čı́tacı́ proces s nezávislými a stacionárnı́mi přı́růstky
takový, že X0 = 0 a pro t > 0 má Xt Poissonovo rozdělenı́ s parametrem λt.
t
Necht’ Sj , j ∈ N značı́ dobu mezi přı́chodem události j − 1 a j , tedy dobu, po kterou řetězec
setrvá ve stavu j − 1. Podle Věty 3.29 jsou Sj náhodné veličiny, které majı́ exponenciálnı́ rozdělenı́
se stejným parametrem λ, tj. se střednı́ hodnotou λ1 . Ukažme, že Sj jsou vzájemně nezávislé:
Pro S1 a S2 máme
Z ∞
P (S1 > x, S2 > y) = P ( S2 > y| S1 = u) λe−λu du,
x
dále podle Věty 3.27
P ( S2 > y| S1 = u) = P ( Xt = 1, u ≤ t ≤ y + u| Xu = 1) = e−λy ,
tedy
Z ∞
−λy
P (S1 > x, S2 > y) = e λe−λu du = e−λx e−λy = P (S1 > x) P (S2 > y) .
x
odtud již plyne, že S1 , S2 jsou nezávislé.

Podobně lze ukázat nezávislost náhodných veličin S1 , S2 , . . . , Sn , n ≥ 2. Tento výsledek je v
souladu s tvrzenı́m Věty 3.38.
Vnořený diskrétnı́ řetězec {Yn , n ∈ N0 } Poissonova procesu má matici pravděpodobnostı́ přechodů
Q∗ s prvky qi,i ∗ ∗
= 0, qi,i+1 ∗
= 1, qi,j = 0 jinak. Poissonův proces je regulárnı́, nebot’ qi = λ pro
každé i ∈ N0 , tedy podle Věty 3.40 je s pravděpodobnostı́ jedna
∞ ∞
X 1 X 1
= = ∞.
q
i=0 Yi i=0
λ
Všimněme si ještě rozdělenı́ náhodné veličiny Wn = S1 + · · · + Sn , kterou lze interpretovat jako

dobu čekánı́ na výskyt n-té události Poissonova procesu. Vzhledem k tomu, že S1 , . . . , Sn jsou
nezávislé se stejným exponenciálnı́m rozdělenı́m, je rozdělenı́ Wn dáno hustotou
( −λx
λe (λx)n−1
(n−1)! , x ≥ 0,
wn (x ) =
0 jinde
(Erlangovo rozdělenı́ řádu n).

Přı́klad 3.68: Přı́jezdy autobusů.

Na autobusovou zastávku přijı́ždějı́ autobusy linky č. 1 a linky č. 2. Předpokládáme, že přı́jezdy
autobusů obou linek jsou události Poissonových procesů s intenzitami λ1 a λ2 , přičemž tyto pro-
cesy jsou vzájemně nezávislé. Střednı́ počet autobusů linky č. 1, které přijedou na stanici během
časového intervalu délky t, je λ1 t, střednı́ počet všech autobusů, které přijedou v tomto intervalu,
je (λ1 + λ2 )t. Doba čekánı́ S na přı́jezd autobusu linky č. 1 má exponenciálnı́ rozdělenı́ se střednı́
hodnotou λ11 , podobně doba čekánı́ T na přı́jezd autobusu linky č. 2 má exponenciálnı́ rozdělenı́ se
střednı́ hodnotou λ12 . Doba, za kterou na stanici přijede dalšı́ (druhý) spoj linky č. 1, má Erlangovo
rozdělenı́ řádu 2 s parametrem λ1 , tedy se střednı́ hodnotou λ21 .
Pravděpodobnost, že na zastávku přijede jako prvnı́ autobus linky č. 2, je
Z ∞ Z s Z ∞
−λ2 t −λ1 s λ2
P (T < S) = λ2 e dt λ1 e ds = λ1 e−λ1 s (1 − e−λ2 s ) ds = .
0 0 0 λ 1 + λ2
Protože i zbytek doby čekánı́ na přı́jezd autobusu linky č. 1 má exponenciálnı́ rozdělenı́ s para-
metrem λ1 a doby mezi přı́jezdy jsou nezávislé, je pravděpodobnost, že prvnı́ dva autobusy, které
přijedou do stanice, budou autobusy linky č. 2, rovna ( λ1λ+λ
2
2
)2 .
t
3.5 Lineárnı́ proces růstu (Yuleův proces)

Vrat’me se k procesu, popsaném v Přı́kladě 3.25. Uvažovaná populace se skládá z jedinců, kteřı́ se
mohou rozmnožovat, nemohou však zanikat. Předpokládejme, že z každého jedince může v inter-
valu (t, t + h] vzniknout nový jedinec s pravděpodobnostı́ λh + o(h) nezávisle na osudu ostatnı́ch
jedinců (žádný jedinec s pravděpodobnostı́ 1 − λh + o(h) , λ > 0.) Necht’ Xt značı́ počet jedinců,
kteřı́ se v populaci nacházejı́ v čase t. je to homogennı́ Markovův řetězec se spojitým časem a
množinou stavů S ⊂ N0 ; pro jednoduchost předpokládejme, že S = {1, 2, . . . }. Pravděpodobnosti
přechodů jsou

j
pj,j+1 (h) = (λh + o(h))(1 − λh + o(h))j −1 = j λh + o(h) ,
1
pj,j+k (h) = o(h) , k ≥ 2,
j
pjj (h) = (1 − λh + o(h)) = 1 − j λh + o(h) ,
ostatnı́ pravděpodobnosti přechodů jsou nulové. Intenzity přechodů jsou
qj ,j +1 = j λ, qj = j λ pro j ∈ N, qj ,k = 0 jinak.
Tedy matice intenzit Q je

 
−λ λ 0 0 ...
 0
 −2λ 2λ 0 . . .
Q= 0
 0 −3λ 3λ . . ..
 0
 0 0 −4λ . . .
.. .. .. .. ..
. . . . .
Předpokládejme, že na počátku je v populaci pouze jeden jedinec, tj. uvažujme počátečnı́
rozdělenı́ p1 (0) = 1, pj (0) = 0, j > 1. Omezı́me-li se opět na výpočet absolutnı́ch pravděpodobnostı́,
zjistı́me, že musı́ splňovat prospektivnı́ soustavu diferenciálnı́ch rovnic
p01 (t) = −λp1 (t) , (3.43)

p0j (t) = −λj pj (t) + λ(j − 1)pj −1 (t) , j >1
s počátečnı́ podmı́nkou p1 (0) = 1. Soustavu (3.43) budeme řešit opět metodou vytvořujı́cı́ funkce:
vynásobı́me-li j−tou rovnici výrazem s j a sečteme všechny rovnice, dostaneme
∞
X ∞
X ∞
X
p0j (t) s j = −λ j pj (t) s j + λ (j − 1)pj −1 (t) s j
j =1 j =1 j =2
X∞ ∞
X
= −λs j pj (t) s j −1 + λs 2 j pj (t) s j −1 ,
j =1 j =1
což, vyjádřeno pomocı́ vytvořujı́cı́ funkce Π posloupnosti {pj (t)}, je

∂Π ∂Π ∂Π
(s, t) = −λs (s, t) + λs 2 (s, t) .
∂t ∂s ∂s
Neboli parciálnı́ diferenciálnı́ rovnice
∂Π ∂Π
λs(1 − s) (s, t) + (s, t) = 0 (3.44)
∂s ∂t
Π (s, 0) = s. (3.45)
Řešenı́ rovnice (3.44) je dáno Větou B.14 v Přı́loze B. Podle této věty nejprve řešı́me pomocnou
obyčejnou diferenciálnı́ rovnici
1
ds = dt.
λs(1 − s)
Řešenı́m dostáváme pro 0 < s < 1 (použijeme rozklad na parciálnı́ zlomky)
ln s − ln(1 − s) = λt + C,
neboli
s
= C1 eλt .
1−s
s
Prvnı́ integrál pomocné diferenciálnı́ rovnice je 1−s e−λt = C1 a podle Věty B.14 je obecné řešenı́
rovnice (3.44) tvaru

s
Π (s, t) = F e−λt ,
1−s
kde F je nějaká diferencovatelná funkce. Z počátečnı́ podmı́nky (3.45) plyne, že

s
F = s.
1−s
s
Položı́me-li 1−s = x , dostaneme
x
F (x ) = .
1+x
Tudı́ž vytvořujı́cı́ funkce má tvar
s se−λt
Π (s, t) = = .
s − seλt + eλt 1 − s(1 − e−λt )
Poslednı́ výraz rozvineme v mocninnou řadu a dostaneme
∞ ∞
X k X k −1 k
Π (s, t) = se−λt [s(1 − e−λt )] = e−λt (1 − e−λt ) s .
k =0 k =1
Odkud můžeme uzavřı́t, že

k −1
P (Xt = k ) = pk (t) = e−λt (1 − e−λt ) , k = 1, 2, . . . .
P∞
Snadno zjistı́me, že k =1 pk (t) = 1 pro všechna t ≥ 0. Pravděpodobnosti pj (t) představujı́
geometrické rozdělenı́ (interpretované jako celkový počet bernoulliovských pokusů, které jsou nutné
do dosaženı́ prvnı́ho zdařilého pokusu.) Střednı́ rozsah populace v čase t je EXt = eλt .
Podobně lze ukázat, že při počátečnı́ podmı́nce pi0 (0) = 1 pro nějaké i0 > 1 je vytvořujı́cı́
funkce absolutnı́ch pravděpodobnostı́ rovna
i0
se−λt

Π (s, t) = ,
1 − s(1 − e−λt )
což je vytvořujı́cı́ funkce negativně binomického rozdělenı́.
Proces je regulárnı́, nebot’ při počátečnı́ podmı́nce X0 = i0 ≥ 1 pro stavy vnořeného řetězce
{Yn } platı́ Pi0 (Yi = i + i0 ) = 1, i = 1, 2, . . . a tedy s pravděpodobnostı́ 1
∞ ∞
X 1 X 1
= = ∞.
q
n=1 Yn i=1
λ(i + i0 )
3.6 Obecný proces růstu

Uvažuje se opět populace jedinců, kteřı́ se mohou pouze rozmnožovat. Rozsah populace v čase
t ≥ 0 je popsán Markovovým řetězcem {Xt , t ≥ 0} se spočetnou množinou stavů, který je definován
počátečnı́m rozdělenı́m pi0 (0) = 1, pj (0) = 0, j > i0 (i0 ≥ 0) a maticı́ intenzit
 
−λi0 λi0 0 0 ...
 0 −λi0 +1 λi0 +1 0 . . .
Q= 0 ,
 
 0 −λi0 +2 λi0 +2 . . . 
.. .. .. .. ..
. . . . .
přičemž intenzity růstu λj > 0 vyjadřujı́ obecnou (tedy nejen lineárnı́) závislost na okamžitém
stavu j dané populace.
Absolutnı́ pravděpodobnosti P (Xt = j ) = pj (t) vyhovujı́ soustavě diferenciálnı́ch rovnic
p0i0 (t) = −λi0 pi0 (t),
p0j (t) = λj −1 pj −1 (t) − λj pj (t) , j > i0
s počátečnı́ podmı́nkou pi0 (0) = 1.
Postupným řešenı́m jednotlivých rovnic k přihlédnutı́m k počátečnı́ podmı́nce dostaneme
pi0 (t) = e−λi0 t ,
Z t
pj (t) = λj −1 e−λj t eλj s pj −1 (s) ds, j > i0 .
0
Proces je regulárnı́ tehdy a jen tehdy, když

∞
X 1
= ∞,
j =i
λj
0
nebot’ pro přı́slušný vnořený řetězec {Yn } platı́, že pro každé i0 ≥ 0 je Pi0 (Yn = n + i0 ) = 1 a dále
lze postupovat podle Věty 3.40.
3.7 Lineárnı́ proces množenı́ a zániku

Vrat’me se k procesu, popsaném v Přı́kladě 3.26. Uvažovali jsme populaci, jejı́ž jedinci se mohou
množit a zanikat. Pravděpodobnost, že z jedince vznikne během intervalu (t, t + h] nový jedinec,
je λh + o(h) , vı́ce jedinců vznikne s pravděpodobnostı́ o(h) . Každý jedinec s pravděpodobnostı́
µh +o(h) během intervalu (t, t+h] zanikne, přičemž osudy jedinců jsou nezávislé. Rozsah populace
Xt v čase t vytvářı́ homogennı́ Markovův řetězec se spojitým časem s množinou stavů S = N0 a
s intenzitami
q0,k = 0, k ∈ N,
qj ,j +1 = j λ, j ∈ N,
qj ,j −1 = j µ, j ∈ N,
qj ,k = 0, j ∈ N, k ∈ N, k 6∈ {j − 1, j , j + 1},
q0 = 0,
qj = j (λ + µ), j ∈ N
(k odvozenı́ použijeme stejných pravděpodobnostnı́ch úvah, které jsme použili již vı́cekrát.)
Absolutnı́ pravděpodobnosti pj (t) = P (Xt = j ) vyhovujı́ soustavě diferenciálnı́ch rovnic
p00 (t) = µp1 (t) ,

p0j (t) = (j − 1)λpj −1 (t) − j (µ + λ)pj (t) + (j + 1)µpj +1 (t) , j ∈ N
Předpokládejme, že p1 (0) = 1. Použijeme-li metodu vytvořujı́cı́ funkce, dostaneme již známým
postupem rovnici
∞
X ∞
X ∞
X ∞
X
p0j (t) s j
= j
(j + 1)µpj +1 (t) s + j
(j − 1)λpj −1 (t) s − j (λ + µ)pj (t) s j ,
j =0 j =0 j =1 j =1
neboli
∂Π ∂Π ∂Π ∂Π
(s, t) = µ (s, t) + λs 2 (s, t) − s(λ + µ) (s, t) (3.46)
∂t ∂s ∂s ∂s
∂Π ∂Π
= [µ + λs 2 − s(λ + µ)] (s, t) = (µ − λs)(1 − s) (s, t)
∂s ∂s
Π (s, 0) = s. (3.47)
1) Nejdřı́ve uvažujme přı́pad λ = µ. Pak má (3.46) tvar

∂Π ∂Π
λ(1 − s)2 (s, t) − (s, t) = 0. (3.48)
∂s ∂t
Pomocná obyčejná diferenciálnı́ rovnice má v tomto přı́padě tvar
ds
= − dt
λ(1 − s)2
a jejı́ prvnı́ integrál je

1
+ λt = C,
1−s
tedy obecné řešenı́ rovnice (3.48) je

1
Π (s, t) = F λt +
1−s
pro nějakou diferencovatelnou funkci F. Tu určı́me z počátečnı́ podmı́nky (3.47). Dostaneme

1
Π (s, 0) = s = F
1−s
1
a zavedeme-li proměnnou x = 1−s , máme
x−1
F (x ) = .
x
Hledané řešenı́ tedy je
1
λt + −1

1−s λt + s(1 − λt) λt 1 − λt 1
Π (s, t) = 1 = = + s λt
λt + 1−s 1 + λt − λts 1 + λt 1 + λt 1 − 1+λt s
X ∞ j
λt 1 − λt λt
= +s sj
1 + λt 1 + λt j =0 1 + λt
∞ j +1 ∞ j
X λt j 1 − λt X λt
= s + s j +1
j =0
1 + λt 1 + λt j =0
1 + λt
∞
" j +1 j −1 #
λt X λt 1 − λt λt
= + + sj
1 + λt j =1 1 + λt 1 + λt 1 + λt
∞
" 2 # j −1
λt X λt 1 − λt λt
= + + sj
1 + λt j =1 1 + λt 1 + λt 1 + λt
∞
" # j −1
2 2
λt X (λt) 1 − (λt) λt
= + + sj
1 + λt j =1 (1 + λt)2 (1 + λt)
2 1 + λt
∞ j −1
λt X 1 λt
= + sj .
1 + λt j =1 (1 + λt)2 1 + λt
Odtud dostáváme
λt
p0 (t) = ,
1 + λt
j −1
(λt)
pj (t) = j +1 , j ∈ N.
(1 + λt)
2) Nynı́ uvažujme přı́pad λ 6= µ. Pomocná obyčejná diferenciálnı́ rovnice má tvar

1 1 1 λ
ds = − ds = − dt.
(µ − λs)(1 − s) µ−λ 1−s µ − λs
Tedy
1 λ
ds − ds = −(µ − λ) dt.
1−s µ − λs
Jejı́m řešenı́m dostaneme
− ln(1 − s) + ln(µ − λs) = −(µ − λ)t + C.
Prvnı́ integrál je
µ − λs (µ−λ)t
e = C1
1−s
a obecné řešenı́ parciálnı́ diferenciálnı́ rovnice (3.46) je

µ − λs (µ−λ)t µ − λs −(λ−µ)t
Π (s, t) = F e =F e .
1−s 1−s
Z počátečnı́ podmı́nky (3.47) plyne

µ − λs
Π (s, 0) = F =s
1−s
µ−λs
a položı́me-li 1−s = x, dostaneme
µ−x
F (x ) = .
λ−x
Vytvořujı́cı́ funkce po dosazenı́ a rozšı́řenı́ výrazem −e(λ−µ)t je
µ(1 − s) − (µ − λs)e−(λ−µ)t µ(1 − e(λ−µ)t ) − s(λ − µe(λ−µ)t )

Π (s, t) = = .
λ(1 − s) − (µ − λs)e−(λ−µ)t (µ − λe(λ−µ)t ) − λs(1 − e(λ−µ)t )
Zavedeme-li pro zjednodušenı́ zápisu dalšı́ označenı́
1 − e(λ−µ)t
A(t) = ,
µ − λe(λ−µ)t
dostaneme po dalšı́m výpočtu
λ − µe(λ−µ)t

1
Π (s, t) = µA(t) − s
1 − λs A(t) µ − λe(λ−µ)t
µA(t) − (λA(t) + µA(t) − 1)s
= ,
1 − λs A(t)
neboli
∞
j −1 j
X
Π (s, t) = µA(t) + (1 − λA(t))(1 − µA(t)) (λA(t)) s ,
j =1
odkud můžeme uzavřı́t, že
p0 (t) = µA(t),
j −1
pj (t) = (1 − λA(t))(1 − µA(t))(λA(t)) , j ∈ N.
3) Matice pravděpodobnostı́ přechodů mezi stavy vnořeného řetězce {Yn } je
1 0 0 0 ...
 
µ λ
 λ+µ 0 λ+µ 0 . . .
∗
Q = 0 µ .
 λ

 λ+µ 0 λ+µ . . .
.. .. .. .. ..
. . . . .
Vidı́me tedy, že stav 0 je absorpčnı́; populace, která zanikne, se již nemůže obnovit. Ostatnı́
stavy jsou přechodné. Stav 0 je z každého z nich dosažitelný, ale návrat nenı́ možný.
4) Pravděpodobnost, že populace v čase t zanikne je

(
λt
, λ = µ,
P (Xt = 0) = p0 (t) = 1+λt
1−e(λ−µ)t
.
µ−λe(λ−µ)t
µ, λ 6= µ
Limitnı́m přechodem pro t → ∞ zjistı́me pravděpodobnost vymřenı́ populace

(
1, λ ≤ µ,
lim p0 (t) = µ
λ, λ > µ.
t→∞
3.8 Obecný proces množenı́ a zániku

Uvažujme opět populaci jedinců, kteřı́ se mnohou rozmnožovat i zanikat; rozsah populace v čase
t je Markovův řetězec, který je definován intenzitami
qj ,j +1 = λj , j ∈ N0 ,
qj ,j −1 = µj , j ∈ N,
qj ,k = 0 jinak,
q0 = λ0 ,
qj = λj + µj , j ∈ N.
Matice intenzit tedy je

 
−λ0 λ0 0 0 0 ...
 µ1 −(λ1 + µ1 ) λ1 0 0 . . .
Q= 0
 
 µ2 −(λ2 + µ2 ) λ2 0 . . .

.. .. .. .. ..
. . . . .
a soustava diferenciálnı́ch rovnic pro absolutnı́ pravděpodobnosti pj (t) má tvar
p00 (t) = −λ0 p0 (t) + µ1 p1 (t) ,

p0j (t) = λj −1 pj −1 (t) − (λj + µj )pj (t) + µj +1 pj +1 (t) , j ∈N
s počátečnı́ podmı́nkou pi (0) = 1, pj (0) = 0, j 6= i .

Omezme se na klasifikaci stavů a výpočet limitnı́ch pravděpodobnostı́. Budeme předpokládat,
že všechny intenzity λj , j ∈ N0 a µj , j ∈ N0 jsou kladné.
1. Potom Matice pravděpodobnostı́ přechodů vnořeného řetězce je
0 1 0 0 ...
 
 λ µ+µ
1
0 λ1
λ1 +µ1 0 . . .
 1 1
Q∗ =  0 µ2 .
λ2

 λ2 +µ2 0 λ2 +µ2 . . .

.. .. .. ..
. . . .
Vidı́me tedy, že vnořený řetězec je nerozložitelný. O tom, zda všechny jeho stavy jsou trvalé
nebo přechodné, můžeme rozhodnout např. podle Věty 2.101. Budeme-li postupovat podle
Věty 2.101, budeme řešit soustavu
λ1
x1 = x2 , (3.49)
λ1 + µ1
µj λj
xj = xj −1 + xj+1 , j ≥ 2.
λj + µj λj + µj
Z prvnı́ rovnice dostaneme

µ1
x2 = 1 + x1
λ1
a dále indukcı́ pro j ≥ 3
µ1 µ1 µ2 µ1 . . . µj −1
xj = 1 + + + ··· + x1 .
λ1 λ1 λ2 λ1 . . . λj −1
Položı́me-li
µ1 . . . µj
σ0 = 1, σj = , j ∈N (3.50)
λ1 . . . λj
a x1 = ξ, lze řešenı́ soustavy (3.49) zapsat ve tvaru
x1 = σ0 ξ,
xj = (σ0 + σ1 + · · · + σj −1 )ξ, j ≥ 2.
P∞
Pokud k =0 σk < P ∞, existuje v intervalu [0, 1] netriviálnı́ řešenı́ soustavy (3.49)
∞
(stačı́ zvolit
P∞ ξ = 1/ k =0 σk ) a všechny stavy vnořeného řetězce jsou přechodné.
Pokud k =0 σk = ∞, potom jediné řešenı́ soustavy (3.49) v intervalu [0, 1] je triviálnı́ a
všechny stavy vnořeného řetězce jsou trvalé.
2. Pro trvalé stavy ještě potřebujeme určit, kdy jsou nulové a kdy nenulové. Využijeme k tomu
existenci nebo neexistenci stacionárnı́ho rozdělenı́. Jsou-li všechny stavy řetězce trvalé, pak
podle Věty 3.64, můžeme limitnı́ pravděpodobnosti aj =Plimt→∞ pj (t) hledat jako řešenı́
∞
soustavy a> Q = 0> , které vyhovuje podmı́nkám aj > 0, j =0 aj = 1.
Uvažovaná soustava znı́
−λ0 a0 + µ1 a1 = 0,
λj −1 aj −1 − (λj + µj )aj + µj +1 aj +1 = 0, j ∈ N.
Položı́me-li
µj aj − λj −1 aj −1 = Kj , j ∈ N,
můžeme našı́ soustavu přepsat do tvaru
K1 = 0,
Kj+1 − Kj = 0, j ∈ N.
Zřejmě tedy Kj = 0 pro j ∈ N, takže
λj −1 λj −1 λj −2 λj −1 λj −2 . . . λ0
aj = aj −1 = aj −2 = · · · = a0 = ρj a0 ,
µj µj µj −1 µj µj −1 . . . µ1
kde jsme označili

λj −1 λj −2 . . . λ0
ρj = , j ∈ N. (3.51)
µj µj −1 . . . µ1
Definujeme-li ještě ρ0 = 1, můžeme psát
aj = ρj a0 , j ∈ N0 .
P∞
Řešenı́ {aj , j ∈ N0 } bude pravděpodobnostnı́ rozdělenı́ právě tehdy, když k =0 ρk < ∞;
potom bude platit
∞
!−1
X
aj = ρj ρk a aj > 0, j ∈ N0 . (3.52)
k =0
∗
3. Pokud bude λ0 = 0, bude stav 0 absorpčnı́ a vnořený řetězec bude rozložitelný (bude q0,0 =
1); pravděpodobnost, že populace, která má na počátku právě i jedinců, někdy vymře, je
stejná jako pravděpodobnost, že vnořený řetězec, který byl na počátku ve stavu i , někdy
skončı́ v absorpčnı́m stavu 0. Hledaná pravděpodobnost vymřenı́ je limt→∞ pi,0 (t), označı́me-
∗
li ji ui , můžeme ji určit podle Věty 2.95 pomocı́ pravděpodobnostı́ qi,j jako řešenı́ soustavy
∞
X
∗ ∗
ui = qi,0 + qi,k uk , i ∈ N,
k =1
neboli jako řešenı́ soustavy
µ1 λ1
u1 = + u2 ,
λ1 + µ1 λ1 + µ1
µi λi
ui = ui−1 + ui+1 , i ≥ 2.
λi + µi λi + µi
4. Bez důkazu ještě uved’me, že postačujı́cı́ podmı́nka pro regularitu řetězce je
∞
X 1
= ∞.
λ
j =1 j
Tato podmı́nka zaručuje regularitu v procesu růstu, kdy se rozsah populace jen zvětšuje;
nynı́ to však nenı́ podmı́nka nutná. Pro lineárnı́ proces množenı́ a zániku je zřejmě tato
podmı́nka splněna.
3.9 Systémy hromadné obsluhy

Procesy množenı́ a zániku majı́ četné aplikace např. v epidemiologii či demografii; lze jimi také
modelovat celou škálu tzv. systémů hromadné obsluhy.
Systémem hromadné obsluhy obecně rozumı́me dynamický systém, ve kterém pracuje určitý
počet stanic obsluhy (např. bankovnı́ přepážky, nádražnı́ pokladny, opravárenské a servisnı́ linky
apod.) Do systému přicházejı́ zákaznı́ci, aby byli obslouženi; pokud kapacita obsluhy nenı́ postačujı́cı́,
vytvářejı́ frontu, ve které panuje určitý režim, po ukončenı́ obsluhy ze systému odcházejı́. Obecně
předpokládáme, že doby mezi přı́chody po sobě následujı́cı́ch zákaznı́ků jsou nezávislé náhodné
veličiny se stejným rozdělenı́m A, doby obsluhy jednotlivých zákaznı́ků jsou nezávislé stejně
rozdělené náhodné veličiny s rozdělenı́m B. Systém obsluhy je popsán trojicı́ (A/B/c), kde c
je počet stanic obsluhy. Za pı́smena A, B dosazujeme zpravidla M (exponenciálnı́ rozdělenı́), D
(deterministické rozdělenı́) nebo G (obecné rozdělenı́).
3.9.1 Systém (M/M/∞)

Přı́chody zákaznı́ků do tohoto systému tvořı́ Poissonův proces s intenzitou λ (tedy doby mezi
přı́chody jsou nezávislé náhodné veličiny s exponenciálnı́m rozdělenı́m se střednı́ hodnotou λ1 );
doby obsluhy jsou nezávislé náhodné veličiny se stejným exponenciálnı́m rozdělenı́m se střednı́
hodnotou µ1 . Počet stanic obsluhy je tak velký, že každý zákaznı́k, který přijde do systému, je ihned
obsluhován a nemusı́ čekat ve frontě. Je-li Xt počet zákaznı́ků v systému v čase t, je {Xt , t ≥ 0}
proces množenı́ a zániku s intenzitami množenı́ a zániku
λj = λ, j ∈ N0 ,
µj = j µ, j ∈ N,
tj. homogennı́ Markovův řetězec se spojitým časem a maticı́ intenzit

 
−λ λ 0 0 ...
 µ −(λ + µ) λ 0 . . .
Q= 0 .
 
 2µ −(λ + 2µ) λ . . . 
.. .. .. .. ..
. . . . .
Pravděpodobnosti přechodů
Diferenciálnı́ rovnice pro absolutnı́ pravděpodobnosti pj (t) tudı́ž jsou
p00 (t) = −λp0 (t) + µp1 (t) ,

p0j (t) = λpj −1 (t) − (λ + j µ)pj (t) + (j + 1)µpj +1 (t) , j ∈N
s počátečnı́ podmı́nkou pi (0) = 1, pj (0) = 0, j 6= i . Známou metodou vytvořujı́cı́ funkce

převedeme tuto soustavu na parciálnı́ diferenciálnı́ rovnici pro vytvořujı́cı́ funkci Π (s, t) a do-
staneme rovnici
∂Π ∂Π
(s, t) = λ(s − 1)Π (s, t) − µ(s − 1) (s, t) ,
∂t ∂s
čili
∂Π ∂Π
µ(1 − s) (s, t) − (s, t) = λ(1 − s)Π (s, t) (3.53)
∂s ∂t
s počátečnı́ podmı́nkou Π (s, 0) = s i .
Řešenı́ této rovnice plyne z Věty B.16 v Přı́loze B. Podle této věty nejdřı́ve řešı́me soustavu
obyčejných diferenciálnı́ch rovnic
1 1
ds = − dt = dΠ,
µ(1 − s) λ(1 − s)Π
řešenı́m rovnic
1 µ
ds = −µ dt, ds = dΠ
1−s λΠ
dostaneme dva nezávislé prvnı́ integrály
λ
(1 − s)e−µt = C1 , e− µ s Π = C2 .
Nalezli jsme řešenı́ rovnice (3.53) zapsané v implicitnı́m tvaru

λ

F (1 − s)e−µt , e− µ s Π = 0
pro nějakou diferencovatelnou funkci F dvou proměnných. Předpokládáme, že Π lze vyjádřit
explicitně jako funkci prvnı́ proměnné ve tvaru
λ
Π (s, t) = e µ s G (1 − s)e−µt

pro nějakou diferencovatelnou funkci G.

Počátečnı́ podmı́nku uvažujeme ve tvaru Π (s, 0) = s i . Platı́ tedy
λ
s i = e µ s G(1 − s) .
Pro funkci G tedy platı́

λ
G(1 − s) = s i e− µ s .
Položı́me-li s := 1 − x , dostaneme
λ
G(x ) = (1 − x )i e− µ (1−x ) .
Funkce Π je tedy tvaru

λ
µs
λ −µt i −µt
Π (s, t) = e (1 − (1 − s)e ) exp − (1 − (1 − s)e )
µ

λ i λ
exp − (1 − e−µt ) 1 − e−µt + se−µt exp s(1 − e−µt ) .

=
µ µ
Rozvineme-li druhý a třetı́ činitel v mocninnou řadu, dostaneme
i
! ∞ !
i
X 1 λ k
λ
(1−e−µt ) −µt i−j −j µt j
X
−µ −µt k k

Π (s, t) = e 1−e e s (1 − e ) s
j k! µ
j =0 k =0
∞
i X k
λ −µt X i 1 λ i−j +k −j µt j +k
= e− µ (1−e )
1 − e−µt e s
j k! µ
j =0 k =0
∞ Xi∧n n−j
λ −µt X i 1 λ n−2j +i −j µt n
= e− µ (1−e )
1 − e−µt e s .
j (n − j )! µ
n=0 j =0
Absolutnı́ pravděpodobnosti tedy jsou

i∧n k −j
λ −µt X i 1 λ k −2j +i −j µt
pk (t) = e− µ (1−e )
1 − e−µt e .
j (k − j )! µ
j =0
Limitnı́m přechodem t → ∞ spočteme limitnı́ pravděpodobnosti

k
1 λ λ
ak = lim pk (t) = e− µ , k ∈ N0 ,
t→∞ k! µ
což jsou pravděpodobnosti Poissonova rozdělenı́ s parametrem µλ .

Speciálně, začı́náme-li se systémem v němž žádný zákaznı́k nenı́, tj. i = 0 nebo-li p0 (0) = 1,
dostaneme
k
1 λ λ −µt
pk (t) = (1 − e−µt )k e− µ (1−e ) , k ∈ N0 .
k! µ
Limitnı́ pravděpodobnosti
Omezı́me-li se pouze na výpočet limitnı́ch pravděpodobnostı́, můžeme je spočı́tat přı́mo. Vnořený
řetězce je nerozložitelný. Podle (3.50) klademe σ0 = 1 a pro k ∈ N
µ1 . . . µk k !µk
σk = = k .
λ1 . . . λk λ
P∞
Zjišt’ujeme k =0 σk = ∞, tudı́ž všechny stavy vnořeného řetězce jsou trvalé. Dále postupujeme
podle vzorců (3.51) a (3.52). Definujeme ρ0 = 1 a pro k ∈ N
λ0 . . . λk −1 λk 1
ρk = = k
= ,
µ1 . . . µk k !µ σk
máme
∞ ∞ k
X X 1 λ λ
ρk = = e µ < ∞,
k! µ
k =0 k =0
odkud
k
1 λ λ
ak = e− µ ,
k! µ
což je předchozı́ výsledek.
3.9.2 Systém (M/M/c)

Předpoklady o přı́chodu zákaznı́ků do systému a předpoklady o rozdělenı́ dob obsluhy jsou stejné
jako v předchozı́m přı́padě; přı́chody zákaznı́ků tedy tvořı́ Poissonův proces s intenzitou přı́chodu
λ, doby obsluhy jsou nezávislé stejně rozdělené náhodné veličiny s exponenciálnı́m rozdělenı́m se
střednı́ hodnotou µ1 , počet stanic obsluhy je c < ∞. Konečný počet stanic obsluhy znamená, že
je-li v čase t v systému nejvýše c zákaznı́ků, jsou všichni obsluhováni, je-li jich však vı́ce než c, je
současně obsluhováno jen c z nich a zbývajı́cı́ čekajı́ ve frontě.
Neomezená dálka fronty

Předpokládáme-li, že délka fronty může být libovolně dlouhá, je počet zákaznı́ků v systému (v ob-
sluze i ve frontě celkem) Markovův řetězec se spočetnou množinou stavů a spojitým časem, s in-
tenzitami přechodů
qj ,j +1 = λj = λ, 0 ≤ j < ∞,
(
j µ, 1 ≤ j ≤ c,
qj ,j −1 = µj =
cµ, c<j <∞
(ostatnı́ intenzity qj ,k , j 6= k jsou nulové). Jde opět o proces množenı́ a zániku s intenzitami
λj a µj právě definovanými. Omezı́me-li se jen na výpočet pravděpodobnostı́ limitnı́ho rozdělenı́,
dostaneme ze vzorce (3.51)

j
1 λ ,

1 ≤ j ≤ c,
j! µ
ρj = c
j
c λ ,
 c < j < ∞;
c! µc
λ
limitnı́ rozdělenı́ existuje, pokud µ < c. Potom

j
1 λ 1
1 ≤ j ≤ c,
R,

j! µ
aj = c
j
c λ
 1
, c<j <∞
c! µc R
P∞
(kde jsme položili ρ0 = 1 a R = k =0 ρk ). Střednı́ počet zákaznı́ků v systému v ustáleném
provozu je
∞
X
m1 = j aj ,
j=1
střednı́ počet zákaznı́ků ve frontě je

∞
X
m2 = j πj+c ,
j =1
střednı́ počet obsluhovaných zákaznı́ků je

c
X ∞
X
m3 = j πj + cπk+c ,
j =1 k =1
pravděpodobnost, že zákaznı́k nemusı́ na obsluhu čekat, je

c−1
X
P1 = aj ,
j =0
pravděpodobnost čekánı́ na obsluhu je P2 = 1 − P1 .
Omezená dálka fronty

Uvažujme ještě systém (M/M/c) s omezenou délkou fronty: pokud je ve frontě již r zákaznı́ků, dalšı́
zákaznı́ci nemajı́ do systému přı́stup. Počet zákaznı́ků v systému je potom popsán Markovovým
procesem s konečnou množinou stavů a intenzitami
qj ,j +1 = λj = λ, 0 ≤ j ≤ r + c − 1,
(
j µ, 1 ≤ j ≤ c,
qj ,j −1 = µj =
cµ, c < j ≤ r + c,
qj ,k = 0, j 6= k jinak.
Limitnı́ rozdělenı́ je aj = ρj /R, 0 ≤ j ≤ r + c, kde
ρ0 = 1,

j
1 λ ,

1 ≤ j ≤ c,
j! µ
ρj = c
j
c λ ,
 c < j ≤ r + c,
c! µc
zatı́mco
r+c c j r+c j
X X 1 λ cc X λ
R = ρj = +
j =0 j =0
j! µ c! j =c+1 µc
c j c r j
X 1 λ 1 λ X λ
= + .
j =0
j! µ c! µ j =1 µc
Systém (M/M/1)
Systém (M/M/1) s neomezenou délkou fronty je speciálnı́ přı́pad systému (M/M/c) s neomezenou
délkou fronty. Limitnı́ rozdělenı́ existuje, pokud λ < µ; potom
j ∞ −1
λ X λ
ρj = , 0 ≤ j < ∞, R = ρj = 1 − ,
µ j =0
µ
tedy
j
ρj λ λ
aj = = 1− , j ≥ 0,
R µ µ
λ
což je geometrické rozdělenı́ s parametrem µ. Střednı́ počet zákaznı́ků v systému je
λ
µ λ
m1 = λ
= ,
1− µ
µ−λ
střednı́ počet zákaznı́ků ve frontě

∞
( µλ )2
k+1
λ2

X λ λ
m2 = k 1− = = ,
k =1
µ µ 1 − µλ µ(µ − λ)
λ
střednı́ počet obsluhovaných zákaznı́ků je m3 = µ, pravděpodobnost, že zákaznı́k nebude na
obsluhu čekat je P1 = a0 = 1 − µλ atd.
Určeme ještě střednı́ dobu, kterou zákaznı́k strávı́ čekánı́m ve frontě, a střednı́ dobu strávenou
v systému. Předpokládejme nejdřı́ve, že zákaznı́k se zařadı́ do fronty jako k−tý, k ∈ N, v systému
tedy v okamžiku jeho přı́chodu je k zákaznı́ků (k − 1 ve frontě a jeden, který je právě obsluhován.)
Potom doba, kterou náš zákaznı́k bude čekat ve frontě, je dána součtem dob obsluhy zákaznı́ků ve
frontě před nı́m a zbytku doby zákaznı́ka, který je právě obsluhován. Všechny tyto náhodné veličiny
jsou nezávislé se stejným exponenciálnı́m rozdělenı́m s parametrem µ (vı́me, že exponenciálnı́
rozdělenı́ je rozdělenı́ bez paměti, tudı́ž i zbytková doba obsluhy má exponenciálnı́ rozdělenı́.)
Doba čekánı́ na obsluhu zákaznı́ka, který čeká ve frontě jako k−tý, tak má Erlangovo rozdělenı́
řádu k, jehož distribučnı́ funkce je
j
( Pk −1
1 − e−µx j =0 (µx) j ! , x ≥ 0,
Fk (x ) =
0 jinde.
Rozdělenı́ doby čekánı́ vypočteme podle věty o celkové pravděpodobnosti:
∞ ∞ −1
k
!
X X
−µt
X (µt)j
F (t) = Fk (t)ak = 1−e ak
j =0
j!
k =1 k =1
∞ ∞ X
k
! k
X
−µt
X (µt)j X (µt)j
= 1−e πk+1 = 1 − a0 − e−µt πk+1 ,
j =0
j! j =0
j!
k =0 k =0
což je dále rovno

∞ k k
λ X X (µt)j λ

λ λ
= − e−µt 1−
µ µ µ j! µ
k =0 j =0
∞ ∞ j
(µt)k X λ
X
λ −µt λ λ
= −e 1−
µ µ µ k! µ
k =0 j =k
∞ k −1 !
(µt)k λ
X
λ −µt λ λ
= 1−e 1− 1−
µ µ k! µ µ
k =0
λ
= 1 − e−(µ−λ)t
µ
pro t ≥ 0. Odtud již snadno zjistı́me, že střednı́ doba čekánı́ na obsluhu je
λ 1
w1 = .
µµ−λ
Celková střednı́ doba, kterou zákaznı́k strávı́ v systému, je dána střednı́ dobou strávenou ve frontě,
ke které je nutno přičı́st střednı́ dobu vlastnı́ obsluhy,
1 1
w2 = w1 + = .
µ µ−λ
Analogicky lze odvodit rozdělenı́ doby strávené zákaznı́kem v systému; je to exponenciálnı́ rozdělenı́
s parametrem µ − λ.
3.9.3 Systém (M/G/1)

Je-li rozdělenı́ dob mezi přı́chody zákaznı́ků nebo dob obsluhy jiné než exponenciálnı́, nemůžeme
počet zákaznı́ků v systému obsluhy popsat Markovovým řetězcem se spojitým časem, nebot’ ta-
kový proces nemusı́ mı́t markovskou vlastnost; v některých přı́padech však můžeme přesto teorie
Markovových řetězců využı́t.
Systém (M/G/1) je systém hromadné obsluhy s jednou stanicı́ obsluhy, ve kterém přı́chody
zákaznı́ků tvořı́ Poissonův proces s intenzitou 0 < λ < +∞ (doby mezi přı́chody majı́ exponenciálnı́
rozdělenı́ se střednı́ hodnotou λ1 ). Doby obsluhy jsou nezávislé stejně rozdělené kladné náhodné
veličiny s obecným rozdělenı́m, které má distribučnı́ funkci G a konečnou střednı́ hodnotu m > 0.
Uvažujme tento systém jen v časech, kdy odcházejı́ právě obslouženı́ zákaznı́ci. Označme X0
počet zákaznı́ků v systému na začátku pozorovánı́. Pro n ∈ N označme Xn počet zákaznı́ků
v systému v okamžiku odchodu n-tého obslouženého zákaznı́ka a Yn počet zákaznı́ků, kteřı́ do
systému přijdou během obsluhy n-tého zákaznı́ka. Zřejmě je
(
Xn − 1 + Yn+1 pokud Xn > 0,
Xn+1 =
Yn+1 když Xn = 0.
Protože přı́chody zákaznı́ků tvořı́ Poissonův proces a sledujeme je v disjunktnı́ch časových

intervalech, jsou Yn , n ∈ N nezávislé náhodné veličiny se stejným diskrétnı́m rozdělenı́m. Pro
n ∈ N označme Tn dobu obsluhy n-tého zákaznı́ka. Vı́me, že Tn , n ∈ N jsou i.i.d. reálné náhodné
veličiny s distribučnı́ funkci G a konečnou střednı́ hodnotu m > 0. Vezměme τ > 0, pak za
podmı́nky Tn = τ má Yn Poissonovo rozdělenı́ s parametrem λτ . Pro k ∈ N0 je potom celková
pravděpodobnost
Z ∞ Z ∞
1
ak := P (Yn = k ) = P ( Yn = k | Tn = τ ) d G(τ ) = e−λτ (λτ )k d G(τ ) .
0 0 k!
Jelikož m > 0, proto P (Tn > 0) P > 0 a tudı́ž ak > 0 pro každé k ∈ N0 .
∞
Snadno se přesvědčı́me, že k =0 ak = 1, tedy a = {ak , k ∈ N0 } je pravděpodobnostnı́
rozdělenı́. Střednı́ hodnota tohoto rozdělenı́ je
∞ Z ∞ ∞ Z ∞
X X 1
ρ = E [Yn ] = k ak = e−λτ (λτ )k d G(τ ) = λ τ d G(τ ) = λm > 0.
0 (k − 1)! 0
k =0 k =1
Veličiny Yn , n ∈ N jsou i.i.d., z toho plyne, že posloupnost X = {Xn , n ∈ N0 } je homogennı́ Mar-
kovův řetězec s diskrétnı́m časem s množinou stavů S = N0 a pro n ∈ N0 , i , j ∈ N0 , P (Xn = i ) > 0
jsou jeho pravděpodobnosti přechodů
P ( Xn+1 = j| Xn = i ) = aj −i+1 pokud i ≥ 1, j ≥ i − 1,

= aj když i = 0,
= 0 jinak.
Matice pravděpodobnostı́ přechodů tudı́ž je

 
a0 a1 a2 a3 ...
 a0 a1 a2 a3 . . .
 
P =  0 a0 a1 a2 . . ..

0 0 a0 a1 . . .
 
.. .. .. .. ..
. . . . .
Řetězec je tedy nerozložitelný.

Zabývejme se nynı́ podmı́nkami existence stacionárnı́ho rozdělenı́ v řetězci X. Diskutujme proto

řešitelnost soustavy rovnic (2.77), která v tomto přı́padě znı́
j +1
X
γj = γ0 aj + γi aj −i+1 , j ∈ N0 . (3.54)
i=1
Řešme tuto soustavu metodou vytvořujı́cı́ funkce. Označme jako A, Γ vytvořujı́cı́ funkce posloup-
nostı́ {aj }, {γj }. Vynásobı́me-li obě strany j -té rovnice ve vztahu (3.54) výrazem s j a všechny
takto upravené rovnice sečteme, pak pro s > 0 dostaneme rovnici
∞
X ∞
X j +1
∞ X
X
γj s j = γ0 aj s j + γi aj −i+1 s j .
j =0 j =0 j =0 i=1
Sumy umı́me sečı́st

∞
X ∞
X
Γ(s) = γ0 A(s) + s −1 γi s i aj −i+1 s j −i+1
i=1 j =i−1
−1
= γ0 A(s) + s ( Γ(s) − γ0 ) A(s) .
Tedy
s −1 A(s) − 1 Γ(s) s −1 − 1 γ0 A(s) .

=
Vynásobenı́m s zı́skáme hezčı́ tvar
( A(s) − s) Γ(s) = (1 − s) γ0 A(s) . (3.55)
Mocninná řada A má poloměr konvergence alespoň 1, protože A(1) = 1. Pravá strana (3.55) má
proto smysl pro všechna 0 < s < 1. Pak i levá strana (3.55) má smysl pro všechna 0 < s < 1.
Budeme tedy rovnici (3.55) uvažovat pouze v oboru 0 < s < 1.
Vyšetřeme funkci ϕ : [0, 1] → R : s ∈ [0, 1] 7→ A(s) − s.
• Funkce ϕ je spojitá na [0, 1].
• ϕ(0) = A(0) = a0 > 0, ϕ(1) = A(1) − 1 = 0.

P∞
• Pro 0 < s < 1 je ϕ0 (s) = A0 (s) − 1 = k =1 k ak s k −1 − 1.
P∞
Odtud ϕ0 (1−) = k =1 k ak − 1 = ρ − 1.
P∞
• Pro 0 < s < 1 je ϕ00 (s) = A00 (s) = k =2 k (k − 1)ak s k −2 > 0.
Tudı́ž ϕ je ryze konvexnı́ na [0, 1].
Podle velikosti střednı́ hodnoty ρ rozlišı́me tři přı́pady.
i) ρ > 1.
Pak ϕ0 (1−) = ρ − 1 > 0 a existuje jediné 0 < b s < 1 tak, že ϕ(b s ) = 0. Pro s := bs je levá
strana rovnice (3.55) nulová, proto musı́ být nulová i pravá strana (3.55), což lze pouze tak, že
γ0 = 0. Potom je pravá strana (3.55) nulová pro každé 0 < s < 1 a tudı́ž Γ(s) = 0 pro každé
0 < s < 1. To znamená, že soustava rovnic (2.77) má pouze triviálnı́ řešenı́. Tudı́ž všechny
stavy řetězce jsou přechodné; kdyby totiž všechny stavy řetězce byly trvalé, pak podle Cvičenı́
2.144 vı́me, že soustava rovnic (2.77) má kladné řešenı́.
ii) ρ = 1.
Pak ϕ0 (1−) = ρ − 1 = 0 a ϕ(s) > 0 pro všechna 0 < s < 1, nebot’ ϕ je ryze konvexnı́ na [0, 1].
Můžeme tedy v rovnici (3.55) dělit a dostaneme vyjádřenı́

(1 − s)γ0 A(s)
Γ(s) = .
A(s) − s
Použitı́m l’Hospitalova pravidla dostaneme
∞
X − A(s) + (1 − s) A0 (s)
Γ(1−) = γj = lim Γ(s) = γ0 lim = +∞.
j =0
s→1− s→1− A0 (s) − 1
To znamená, že pro řetězec neexistuje stacionárnı́ rozdělenı́ a proto jeho stavy nemohou být
trvalé nenulové, viz Věta 2.108. K určenı́, zda jsou všechny stavy řetězce trvalé nulové nebo
přechodné je třeba použı́t kritérium z Věty 2.101.
iii) 0 < ρ < 1.
Pak ϕ0 (1−) = ρ − 1 < 0 a ϕ(s) > (1 − ρ)(1 − s) > 0 pro všechna 0 < s < 1, nebot’ funkce ϕ
je ryze konvexnı́ na [0, 1].
Můžeme tedy v rovnici (3.55) dělit a dostaneme vyjádřenı́
(1 − s)γ0 A(s)
Γ(s) = . (3.56)
A(s) − s
Limitnı́m přechodem pro s → 1 zleva dostaneme použitı́m l’Hospitalova pravidla
∞
X − A(s) + (1 − s) A0 (s) −1 γ0
Γ(1−) = γj = lim Γ(s) = γ0 lim 0
= γ0 = .
j =0
s→1− s→1− A (s) − 1 −ρ + 1 1−ρ
P∞
Vidı́me tedy, že j =0 γj = 1, právě když γ0 = 1 − ρ. Dosadı́me-li zpět do (3.56), máme
(1 − s) A(s)
Γ(s) = (1 − ρ) . (3.57)
A(s) − s
Stacionárnı́ rozdělenı́ tedy existuje a proto podle Věty 2.108 jsou všechny stavy trvalé nenu-
lové.
Zjistili jsme, že pro 0 < ρ < 1 stacionárnı́ rozdělenı́ existuje, všechny stavy řetězce X jsou trvalé
nenulové a vytvořujı́cı́ funkce pravděpodobnostı́ {γj } je dána vzorcem (3.57). Pravděpodobnosti
{γj } určı́me rozvojem funkce Γ a střednı́ délku fronty spočteme jejı́m derivovánı́m jako Γ0 (1−).
Cvičenı́ 3.69: Necht’ Q je matice intenzit Markovova řetězce s N stavy a spojitým časem, t.j.
N
X
qi,j ≥ 0, j 6= i , qi,i = −qi ≤ 0, qi,j = 0.
j =1
Dokažte: Je-li qi = 0 pro nějaké i ∈ S, je Q rozložitelná matice (viz Přı́loha B.)

t
Cvičenı́ 3.70: Necht’ Q je konečná matice intenzit taková, že qi > 0 pro všechna i ∈ S. Necht’
Q∗ = DQ + I,

kde D = diag q11 , q12 , . . . , q1N a N je řád matice. Potom Q∗ je stochastická matice a je ne-
rozložitelná. Dokažte.
Cvičenı́ 3.71: Necht’ Q je konečná matice intenzit taková, že qi > 0 pro všechna i ∈ S. Potom
čı́slo nula je vlastnı́ čı́slo matice Q. Dokažte.
Cvičenı́ 3.72: Dokažte, že za podmı́nky (3.6) jsou absolutnı́ pravděpodobnosti Markovova řetězce
se spojitým časem stejnoměrně spojité v t, t ≥ 0.
Cvičenı́ 3.73: Necht’ X1 , . . . , Xn jsou nezávislé stejně rozdělené náhodné veličiny s exponenciálnı́m
rozdělenı́m s parametrem λ, t.j. s hustotou
(
λe−λx , x ≥ 0,
f (x) =
0, x < 0.
Dokažte, že náhodná veličina Wn = X1 + · · · + Xn má hustotu

( −λx
λe (λx)n−1
(n−1)! , x ≥ 0,
fn (x) =
0, x<0
a distribučnı́ funkci
(λx)j
( Pn−1
1 − e−λx j =0 j! , x ≥ 0,
Fn (x) =
0, x<0
(Erlangovo rozdělenı́ řádu n).
Cvičenı́ 3.74: Necht’ X je náhodná veličina s exponenciálnı́m rozdělenı́m. Potom pro všechna
s, t ≥ 0 platı́
P (X > s + t|X > s) = P (X > t).
Cvičenı́ 3.75: Necht’ X, Y jsou nezávislé náhodné veličiny s exponenciálnı́m rozdělenı́m, X s

parametrem λ a Y s parametrem µ. Potom náhodná veličina min(X, Y ) má exponenciálnı́ rozdělenı́
s parametrem λ + µ a dále platı́
µ
P (X > Y ) = .
λ+µ
t
Cvičenı́ 3.76: Necht’ {Xn , n ∈ N0 } je posloupnost nezávislých náhodných veličin, Xn má expo-
nenciálnı́ rozdělenı́ s parametrem λn > 0, n ∈ N0 . Potom platı́
∞ ∞
X X 1
Xn < ∞ s. j. ⇐⇒ <∞
n=0
λ
n=0 n
(Resnick, 1992, proposition 5.1.1).

t
Cvičenı́ 3.77: Uvažujme matici

 
−1 1 0 0 ...
 pq −p p2 0 . . .
 
 2 
p q
Q= 0 −p2 p3 . . .
,
 3
p q 0 0 −p3 . . .

... ... ... ... ...

kde 0 < p < 1, p + q = 1. Předpokládejme, že Q je matice intenzit Markovova řetězce se spojitým
časem a spočetnou množinou stavů. Najděte matici pravděpodobnostı́ přechodu ve vnořeném
diskrétnı́m řetězci a ukažte, že v tomto řetězci
P∞ existuje stacionárnı́ rozdělenı́. Dále ukažte, že
jediné řešenı́ soustavy π T Q = 0T , pro které j =0 πj < ∞, je triviálnı́ řešenı́ πj = 0 ∀ j ≥ 0, tedy
stacionárnı́ rozdělenı́ v řetězci s maticı́ intenzit Q neexistuje.
t
Cvičenı́ 3.78: Uvažujte model telefonnı́ ústředny se třemi linkami. Určete matici Q∗ , najděte
P (t) = eQt pomocı́ Perronova vzorce a určete rozdělenı́ absolutnı́ch pravděpodobnostı́ v čase t.
t
Cvičenı́ 3.79: Na stavbě pracuje N svářečů, kteřı́ náhodně a nezávisle odebı́rajı́ proud. Svářeč,
který v čase t neodebı́rá proud, začne v intervalu (t, t + h] proud odebı́rat s pravděpodobnostı́ λh +
o(h); svářeč, který v čase t proud odebı́ral, ukončı́ odběr v intervalu (t, t + h] s pravděpodobnostı́
µh + o(h). Necht’ Xt značı́ počet svářečů, kteřı́ v čase t odebı́rajı́ proud. Najděte matici intenzit
λ
Markovova řetězce {Xt , t ≥ 0} a dokažte, že limitnı́ rozdělenı́ je binomické s parametry N a λ+µ .
t
Cvičenı́ 3.80: Přı́jezdy autobusu do stanice tvořı́ Poissonův proces s intenzitou λ. Cesta auto-
busem ze stanice do mı́sta bydliště trvá R časových jednotek; stejná cesta vykonaná pěšky trvá
S časových jednotek. Osoba, která přijde na stanici, vyčkává přı́jezdu autobusu, ale jen po dobu
s; pokud do této doby autobus nepřijede, vydá se na cestu pěšky. Určete střednı́ dobu, za kterou
osoba, poté co přišla na stanici, dorazı́ do mı́sta bydliště.
t
Cvičenı́ 3.81: Necht’ {Xt , t ≥ 0} je Poissonův proces s intenzitou λ. Necht’ S1 je doba do přı́chodu
prvnı́ události tohoto procesu. Dokažte, že
s
P (S1 ≤ s|Xt = 1) = , 0<s<t
t
(rovnoměrné rozdělenı́ na intervalu (0, t)).
Cvičenı́ 3.82: Uvažujme stanici obsluhy, která může obsluhovat současně nejvýše dva zákaznı́ky
(např. dvojitá telefonnı́ budka). Pravděpodobnost přı́chodu zákaznı́ka v intervalu (t, t + h] je λh +
o(h), pravděpodobnost, že zákaznı́k, který je v čase t ještě obsluhován, bude v intervalu (t, t + h]
obsloužen, je µh + o(h). Zákaznı́ci, kteřı́ nemohou být ihned obslouženi, se řadı́ do jediné fronty.
a) Sestavte diferenciálnı́ rovnice pro pravděpodobnosti Pj (t), že v čase t bude ve stanici (v ob-
sluze i ve frontě) právě j zákaznı́ků.
b) Zjistěte, zda existujı́ limitnı́ pravděpodobnosti; pokud ano, spočtěte je.
c) Spočtěte střednı́ počet zákaznı́ků v systému v ustáleném provozu.
t
Cvičenı́ 3.83: Kapacita podzemnı́ho parkoviště obchodnı́ho domu je 100 vozů. Na parkoviště
přijı́ždı́ vůz v průměru každých 5 minut; je-li obsazeno, vůz nečeká a odjı́ždı́. Průměrná doba, kte-
rou vůz parkuje, je jedna hodina. Najděte limitnı́ rozdělenı́ počtu vozů na parkovišti, předpokládáme-
li, že doby mezi přı́jezdy na parkoviště i doby parkovánı́ jsou nezávislé náhodné veličiny s expo-
nenciálnı́m rozdělenı́m.
Cvičenı́ 3.84: V holičstvı́ pracujı́ 3 holiči. Každý z nich obsluhuje jednoho zákaznı́ka průměrně
10 minut. Do holičstvı́ přicházı́ v průměru 12 zákaznı́ků za hodinu. V přı́padě, že žádný z holičů
nenı́ volný, zákaznı́ci čekajı́ v jediné frontě, přičemž zákaznı́k, který by se musel do fronty zařadit
jako čtvrtý, odcházı́ neobsloužen.
Určete limitnı́ rozdělenı́ počtu zákaznı́ků v holičstvı́ (ve frontě i v obsluze), střednı́ počet
zákaznı́ků ve frontě a pravděpodobnost, že zákaznı́k odejde neobsloužen.
t
Literatura
[1] Billingsley, P. (1968): Convergence of Probability Measures. Wiley, New York.

[2] Doob, J. (1953): Stochastic Processes. Wiley, New York.
[3] Dupač, V.; Dupačová, J. (1975): Markovovy procesy I. Universita Karlova, Praha.
[4] Dupač, V.; Dupačová, J. (1980): Markovovy procesy II. Universita Karlova, Praha.
[5] Feller, W. (1964): An Introduction to Probability Theory and its Application (ruský překlad).
Mir, Moskva.
[6] Gantmacher, F. R. (1966): Teorija matric. Nauka, Moskva.
[7] Gichman, I.; I., Skorochod, A. V. (1973): Teorija slučajnych processov II. Nauka, Moskva.
[8] Chung, K. L. (1967): Markov Chains with Stationary Transition Probabilities. Springer Ver-
lag, New York.
[9] Karlin, S. ; Taylor, H. M. (1981): A Second Course in Stochastic Processes. Academic Press,
New York.
[10] Norris, J. R. (1997): Markov Chains. Cambridge University Press, Cambridge.
[11] Rektorys, K. & kol. (1995): Přehled užité matematiky II. Prometheus, Praha.
[12] Prášková, Z.; Lachout, P. (2012): Základy náhodných procesů I. Matfyzpress, Praha.
[13] Resnick, S. (1992): Adventures od Stochastic Processes. Birkhäuser, Boston.

[14] Štěpán, J. (1987): Teorie pravděpodobnosti. Academia, Praha.
165
Přı́loha A
A.1 Vytvořujı́cı́ funkce celočı́selných náhodných veličin

Připomeňme si definici a vlastnosti mocninné řady.
Definice A.1: Necht’ {an } =P {an , n ∈ N0 } je posloupnost komplexnı́ch čı́sel. Pak pro ni definu-
∞
jeme mocninnou řadu A(s) = n=0 an s n pro s ∈ C. P∞
Když {an } = {an , n ∈ N0 } je posloupnost reálných čı́sel a mocninná řada A(s) = n=0 an s n
konverguje pro všechna |s| < s0 , s ∈ C pro nějaké s0 > 0, potom A(s), s ∈ (−s0 , s0 ) nazveme
vytvořujı́cı́ funkcı́ posloupnosti {an }.
t
U hodnoty mocninné řady v daném bodě s ∈ C rozeznáváme:

Pk
• A(s) je konvergentnı́, tj. A(s) = limk →+∞ n=0 an s n ∈ C existuje.
P+∞ n
• A(s) je absolutně konvergentnı́, tj. n=0 |an | |s| ∈ R.
Pk
• A(s) je divergentnı́, tj. posloupnost n=0 an s n , k ∈ N nemá v C žádnou limitu.
Připomeňme základnı́ vlastnosti mocninných řad:
(i) Ke každé mocninné řadě existuje takové čı́slo 0 ≤ R ≤ ∞, že pro s ∈ C, |s| < R konverguje
absolutně a pro s ∈ C, |s| > R diverguje.
Čı́slo R se nazývá poloměr konvergence mocninné řady a platı́
−1
1 log (|an |)
R= lim sup |an | n
= exp − lim sup .
n→∞ n→∞ n
P∞ P∞
(ii) Má-li řada A(s) = n=0 an s n poloměr konvergence R, má i řada n=1 nan s n−1 poloměr
konvergence R a pro s ∈ C, |s| < R platı́
∞
d X
A(s) = A0 (s) = nan s n−1 .
ds n=1
Dalšı́m derivovánı́m dostaneme pro k ∈ N, s ∈ C, |s| < R

∞
X
A(k) (s) = n(n − 1) . . . (n − k + 1)an s n−k .
n=k
Pro koeficienty an platı́
an = A(n) (0)/n!, n = 0, 1, . . .
167
(iii) Abelova věta. Necht’ řada A(s) má poloměr konvergence R = 1. Potom platı́ :
P∞
(a) Když n=0 an = a ∈ C, potom lims→1− A(s) = a.
(b) Když an ≥ 0 pro všechna n ∈ N0 , potom
∞
X
lim A(s) = an = a ≤ +∞.
s→1−
n=0
(iv) Tauberova věta. Necht’ řada A(s) má poloměr konvergence R = 1. Když an ≥ 0 pro
všechna n ∈ N0 , potom
n
1X
lim ak = a < ∞ ⇔ lim (1 − s)A(s) = a.
n→∞ n s→1−
k =1
Limity A(s), A0 (s), A(k) (s) pro s → 1 zleva budeme nadále pro zjednodušenı́ označovat jako
A(1), A0 (1), A(k) (1).
Necht’ X je nezáporná celočı́selná zobecněná náhodná veličina s rozdělenı́m {pn , n ∈ N0 ∪{∞}}.

Vytvořujı́cı́ funkci posloupnosti {pn , n ∈ N0 } nazýváme vytvořujı́cı́ funkcı́ zobecněné náhodné
veličiny X a značı́me Pji∞P (s), nebo přesněji PX (s), s ∈ [−1, 1].
Platı́ PX (1) = n=0 pn ≤ 1, přičemž PX (1) = 1 tehdy a jen tehdy, když P [X < ∞] = 1
(řı́káme, že X je vlastnı́ náhodná veličina). Poloměr konvergence PX (s) je tedy nejméně 1.
Věta A.2: Pro momenty (vlastnı́) náhodné veličiny X platı́

0
E [X] = PX (1),
(k)
E [X(X − 1) . . . (X − k + 1)] = PX (1),
00 0 0 0
var (X) = PX (1) + PX (1) − (PX (1))2 (je-li PX (1) < ∞).
Důkaz. Pro 0 < s < 1 máme

∞ ∞ ∞
0
X 1X 1X
PX (s) = npn s n−1 = npn s n = npn s n
n=1
s n=1 s n=0
a podle Abelovy věty aplikované na posloupnost {npn }

∞
X
0 0
lim PX (s) = PX (1) = npn = E [X] .
s→1−
n=0
Obdobně dostaneme
∞
(k) (k)
X
lim PX (s) = PX (1) = n(n − 1) . . . (n − k + 1)pn = µ[k] ,
s→1−
n=k
kde µ[k] = E [X(X − 1) . . . (X − k + 1)] je k-tý faktoriálnı́ moment X.

Přı́klad A.3: Vytvořujı́cı́ funkce Poissonova rozdělenı́ s parametrem λ je funkce

∞ ∞
X e−λ λn n X (λs)n
PX (s) = s = e−λ = eλ(s−1) .
n=0
n! n=0
n!
0 00 (k)
Odtud PX (s) = λeλ(s−1) , PX (s) = λ2 eλ(s−1) , . . . , PX = λk eλ(s−1) .
Tudı́ž E [X] = λ, µ = λ , var (X) = λ2 + λ − λ2 = λ.
[k] k
Věta A.4: Necht’ PX (1) = 1. Pro n = 0, 1, . . . položme

∞
X
qn = P (X > n) = pj .
j =n+1
P∞ n
Necht’ Q(s) = n=0 qn s je vytvořujı́cı́ funkce posloupnosti {qn }. Potom
1 − PX (s)
Q(s) = , |s| < 1. (A.1)
1−s
Pro momenty náhodné veličiny X platı́
E [X] = Q(1), var (X) = 2Q0 (1) + Q(1) − Q2 (1).
Důkaz. Koeficient u členu s n v rozvoji (1 − s)Q(s) je qn − qn−1 = −pn , n ≥ 1, q0 = 1 − p0 . Tedy

∞
X
(1 − s)Q(s) = 1 − p0 − pn s n = 1 − PX (s). (A.2)
n=1
Odtud plyne (A.1).

Nynı́ dokažme tvrzenı́ E [X] = Q(1). Vztah (A.2) platı́ pro každé |s| < R, kde R je poloměr
0
konvergence řady PX (s); derivovánı́m dostáváme PX (s) = Q(s) − (1 − s)Q0 (s). Je-li R > 1,
dosadı́me s = 1. Je-li R = 1 a E [X] < ∞, máme
∞
X ∞
X
nqn = n pk ≤ k pk → 0 pro n → ∞
k =n+1 k =n+1
Pn
a tedy i n1 k =1 k qk → 0. Podle Tauberovy věty (1−s)Q0 (s) → 0 pro s → 1−, tedy PX 0
(1) = Q(1).
0
Je-li R = 1 a E [X] = +∞, potom tvrzenı́ plyne ze vztahu PX (s) ≤ Q(s) pro 0 < s < 1 a z limitnı́ho
přechodu v této nerovnosti pro s → 1 − . Vztah pro rozptyl se dokáže analogicky.
A.2 Konvoluce
Definice A.5: Necht’ {an , n ∈ N0 }, {bn , n ∈ N0 } jsou posloupnosti reálných čı́sel. Definujme
posloupnost {cn , n ∈ N0 } předpisem
cn = a0 bn + a1 bn−1 + · · · + an b0 , n ≥ 0.
Posloupnost {cn } se nazývá konvoluce posloupnostı́ {an }, {bn }, značı́me {cn } = {an } ∗ {bn }.
t
Věta A.6: Necht’ {an }, {bn } jsou reálné posloupnosti s vytvořujı́cı́mi funkcemi A, B. Potom
vytvořujı́cı́ funkce C jejich konvoluce {cn } je dána výrazem
C(s) = A(s)B(s).
Důkaz. Plyne z násobenı́ mocninných řad A(s) a B(s) a porovnánı́m koeficientů u stejných mocnin
s.
Snadno lze ukázat, že operace konvoluce je asociativnı́ a komutativnı́.

Posloupnost {an }∗{an } se nazývá druhá konvolučnı́ mocnina posloupnosti {an }. Budeme ji značit
{an }2∗ .
Podobně definujeme k-tou konvolučnı́ mocninu předpisem {an }k ∗ = {an }(k−1)∗ ∗ {an }.
Definujme {an }0∗ = {1, 0, 0, . . . }, potom {an }1∗ = {an }.
Je-li A(s) vytvořujı́cı́ funkce posloupnosti {an }, je Ak (s) vytvořujı́cı́ funkcı́ posloupnosti {an }k ∗ .
(1) (2)
Necht’ X1 , X2 jsou nezávislé celočı́selné náhodné veličiny s rozdělenı́m {pn }, {pn }. Necht’ S =
X1 + X2 . Potom rozdělenı́ náhodné veličiny S je {pk }, kde
k
X
pk = P (S = k) = P (X1 = j) P (X2 = k − j) .
j =0
(1) (2)
Tedy {pn } = {pn } ∗ {pn } a pro vytvořujı́cı́ funkce platı́
PS (s) = PX1 (s)PX2 (s).
Speciálně, jsou-li náhodné veličiny X1 , X2 stejně rozdělené s rozdělenı́m {an }, je rozdělenı́ jejich
součtu druhou konvolučnı́ mocninou posloupnosti {an }. Toto tvrzenı́ lze indukcı́ rozšı́řit na součet
libovolného konečného součtu nezávislých stejně rozdělených náhodných veličin.
Definice A.7: Necht’ F je distribučnı́ funkce nezáporné náhodné veličiny, tj. F (x ) = 0, x < 0, a
necht’ G je funkce definovaná na R+ = [0, ∞), která je lokálně omezená, tj. omezená na každém
konečném intervalu. Konvoluce funkcı́ F , G se definuje jako
Z t
(F ∗ G)(t) = G(t − x)dF (x ), t ≥ 0.
0
Věta A.8: Platı́ F ∗ G ≥ 0, je-li G nezáporná, a F ∗ G je lokálně omezená.
Důkaz. Nezápornost je zřejmá, dále je pro každé 0 ≤ s ≤ t

Z t Z s
|(F ∗ G)(s)| ≤ |G(s − x)dF (x )| ≤ sup |g(s)| dF (s) ≤ sup |g(s)|F (t) < ∞.
0 0≤s≤t 0 0≤s≤t
Funkce F ∗ F se nazývá druhá konvolučnı́ mocnina funkce F, značı́me F 2∗ . Definujme obecnou

konvolučnı́ mocninu předpisem
F 0∗ (x) = I([0, ∞))(x),

1∗
F (x) = F (x ),
F (n+1)∗ (x) = (F n∗ ∗ F )(x), n ≥ 1.
Věta A.9: Necht’ X1 , X2 jsou nezávislé náhodné veličiny, které nabývajı́ jen nezáporných hodnot.
Jestliže X1 má distribučnı́ funkci F1 a X2 distribučnı́ funkci F2 , potom X1 + X2 má distribučnı́
funkci F1 ∗ F2 .
Důkaz. Pro t ≥ 0 je
Z Z
P (X1 + X2 ≤ t) = dF1 (x)dF2 (y)
0≤x+y≤t
Z t Z t−x Z t
= dF2 (y) dF1 (x) = F2 (t − x)dF1 (x).
0 0 0
Z důkazu věty A.9 je vidět, že F1 ∗ F2 = F2 ∗ F1 . Jsou-li X1 , X2 stejně rozdělené s distribučnı́

funkcı́ F , potom X1 + X2 má distribučnı́ funkci F 2∗ . Indukcı́ lze rozšı́řit na libovolný konečný
součet nezávislých stejně rozdělených náhodných veličin.
A.3 Laplaceova transformace
Necht’ X je nezáporná náhodná veličina s distribučnı́ funkcı́ F . Potom Laplaceova transformace

distribučnı́ funkce F je
Z ∞
Fb(λ) = e−λx dF (x ) = Ee−λX , λ ≥ 0.
0
Zřejmě Fb(λ) < ∞ pro všechna λ ≥ 0.
Věta A.10: Necht’ X1 , X2 jsou nezávislé náhodné veličiny s distribučnı́mi funkcemi F1 , F2 . Potom
(F\
1 ∗ F2 )(λ) = F1 (λ)F̂2 (λ).
b
Jsou-li X1 , X2 stejně rozdělené, potom

2
\
(F ∗ F )(λ) = F
d ∗2 (λ) = F̂ (λ) .
Důkaz. Tvrzenı́ plyne z nezávislosti náhodných veličin a z vlastnostı́ střednı́ hodnoty.

Indukcı́ lze rozšı́řit tuto vlastnost na n nezávislých stejně rozdělených náhodných veličin.
A.4 Náhodný součet náhodných veličin
Necht’ N, X1 , X2 , . . . jsou nezávislé celočı́selné náhodné veličiny, necht’ N má rozdělenı́ {πn , n ∈ N0 }
a necht’ všechny náhodné veličiny Xi majı́ stejné rozdělenı́ {pn , n ∈ N0 }. Položme S0 = 0, SN =
X1 + · · · + XN , N ≥ 1. Rozdělenı́ SN označme {hn , n ∈ N0 }.
Věta A.11: Necht’ N má vytvořujı́cı́ funkci Π, necht’ Xi majı́ vytvořujı́cı́ funkci P. Potom SN
má vytvořujı́cı́ funkci H(s) = Π(P (s)) a platı́
E [SN ] = E [N] E [X1 ] .

var (SN ) = (E [N ])(var (X1 )) + (var (N ))(E [X1 ])2 .
Důkaz. Podle věty o celkové pravděpodobnosti a vzhledem k předpokladu nezávislosti

∞
X
hk = P (SN = k) = P ( SN = k| N = n) P (N = n)
n=0
∞
X
= P ( Sn = k| N = n) P (N = n)
n=0
X∞ ∞
X
= P (Sn = k) P (N = n) = pn∗
k πn ,
n=0 n=0
kde pn∗ n∗
k je k-tý prvek posloupnosti {pk } . Tedy
∞
X ∞ X
X ∞ ∞
X
H(s) = hk s k = pn∗ k
k πn s = πn P n (s) = Π(P (s)).
k =0 k =0 n=0 n=0
Pro střednı́ hodnotu SN dostáváme
E [SN ] = H 0 (1) = Π 0 (P (1))P 0 (1) = Π 0 (1)P 0 (1) = E [N] E [X1 ] ,
vzorec pro rozptyl dostaneme analogicky z věty A.2.

Přı́loha B
B.1 Některé věty o maticı́ch

P∞
Definice B.1: Necht’ n=0 an tn je mocninná řada v C a necht’ A je čtvercová matice řádu k.
Potom řada
∞
X
an An = a0 I + a1 A + a2 A2 + . . .
n=0
se nazývá mocninná řada matice A. Jestliže posloupnost jejı́ch částečných součtů

N
X
SN = an An
n=0
konverguje k nějaké
Pmatici S (v tom smyslu, že konvergujı́ odpovı́dajı́cı́ prvky přı́slušných matic),
∞
řekneme, že řada n=0 an An konverguje a má součet S.
P∞
Věta B.2: Má-li mocninná řada n=0 an tn poloměr konvergence R > 0 a všechna
P∞ vlastnı́ čı́sla
matice A jsou v absolutnı́ hodnotě menšı́ než R, konverguje i mocninná řada n=0 an An .
Důkaz. Gantmacher (1966), kap. V, § 4, str. 117.
Věta B.3: Necht’ A je čtvercová matice taková, že An → 0 při n → ∞, kde 0 je nulová matice.
Potom matice I − A je regulárnı́ a platı́
∞
X
(I − A)−1 = Ak . (B.1)
k =0
175
Důkaz. Pro každé n ≥ 1 platı́
I − An = (I − A)(I + A + · · · + An−1 ).
Dále z předpokladu věty plyne, že I−An → I při n → ∞, a protože determinant je spojitou funkcı́
prvkůmatice, platı́ také det (I − An ) → det (I) Existuje tedy n0 přirozené tak, že det (I − An0 ) 6= 0.
Potom ale
det (I − An0 ) = det (I − A) det I + A + · · · + An0 −1 6= 0,

odkud plyne, že matice I − A je regulárnı́ a existuje k nı́ matice inverznı́. Platı́ tedy pro každé
n≥1
(I − A)−1 (I − An ) = I + A + · · · + An−1 ,
odkud limitnı́m přechodem dostaneme

n−1
X ∞
X
(I − A)−1 = lim Ak = Ak .
n→∞
k =0 k =0
Definice B.4: Řı́káme, že čtvercová matice A je rozložitelná, jestliže ji lze (po eventuálnı́ per-
mutaci řádků a sloupců) psát ve tvaru

A1 0
A= ,
A2 A3
kde 0 je nulová matice a A1 a A3 jsou čtvercové matice. V opačném přı́padě je A nerozložitelná.
Věta B.5 (Perron–Frobenius): Každá nerozložitelná čtvercová matice s nezápornými prvky

má kladné vlastnı́ čı́slo r, které je jednoduché, a vlastnı́ vektor odpovı́dajı́cı́ tomuto vlastnı́mu
čı́slu má všechny složky kladné. Všechna dalšı́ vlastnı́ čı́sla jsou v absolutnı́ hodnotě nejvýše rovna
r.
Jestliže A je nerozložitelná čtvercová stochastická matice, jsou všechna vlastnı́ čı́sla A v abso-
lutnı́ hodnotě menšı́ než 1. Čı́slo 1 je jednoduché vlastnı́ čı́slo A a všechny složky vlastnı́ho vektoru
odpovı́dajı́cı́ tomuto vlastnı́mu čı́slu jsou rovny stejné kladné konstantě.
Důkaz. Gantmacher (1966), kap. XIII, § 2, str. 354-355 a 382.
Věta B.6: Necht’ A je čtvercová matice s prvky aij taková, že aii ≤ 0, aij ≥ 0, i 6= j a všechny
řádkové součty jsou rovny 0. Pak 0 je vlastnı́ čı́slo matice A s vlastnı́m vektorem (1, . . . , 1)T a pro
všechna ostatnı́ vlastnı́ čı́sla λ matice A platı́, že Re λ < 0.
t
Důkaz. Dupač, Dupačová II (1980), str.43.
Definice B.7: Pro čtvercovou matici A = {aij , 1 ≤ i, j ≤ k} definujeme

adjungovanou matici Adj (A) = {bij , 1 ≤ i, j ≤ k} předpisem
bij = (−1)i+j det{ars , 1 ≤ r, s ≤ k, r 6= j, s 6= i}. (B.2)
Věta B.8: Pro čtvercovou matici A platı́
A Adj (A) = Adj (A) A = (det A) I,
kde I je jednotková matice.
Důkaz. Plyne z vlastnostı́ inverznı́ matice.
Definice B.9: Necht’ 0 < R ≤ ∞. Pro holomorfnı́ funkci f : U(0, R) → C na okolı́ U(0, R), tj.
majı́cı́ na U(0, R) derivace všech řádů, definujeme rozšı́řenı́ na všechny čtvercové matice A, jejichž
vlastnı́ čı́sla jsou v absolutnı́ hodnotě menšı́ než R, předpisem
∞
X f (k) (0)
f (A) = Ak .
k!
k =0
Věta B.10 (Perronův vzorec): Necht’ f : U(0, R) → C je holomorfnı́ funkce na okolı́ U(0, R) pro
nějaké 0 < R ≤ ∞. Necht’ A je čtvercová matice, jejı́ž vlastnı́ čı́sla jsou λ1 , . . . , λk s násobnostmi
m1 , . . . , mk . Když |λj | < R pro všechna j = 1, 2, . . . , k, pak platı́
k
dmj −1 (λ − λj )mj

X 1
f (A) = f (λ) Adj (λI − A) . (B.3)
j =1
(mj − 1)! dλmj −1 det(λI − A) λ=λj
Důkaz. Gantmacher (1966), kap. V, § 3, str. 113.

Speciálnı́ přı́pady Perronova vzorce:
k
dmj −1
n
n
X 1 λ
A = Adj (λI − A) .
j =1
(mj − 1)! dλmj −1 ψj (λ) λ=λj
k
dmj −1
λ
X 1 e
eA = Adj (λI − A) ,
j =1
(mj − 1)! dλmj −1 ψj (λ) λ=λj
kde jsme označili
det(λI − A)
ψj (λ) = .
(λ − λj )mj
Jsou-li všechna vlastnı́ čı́sla matice A jednoduchá, lze vzorec (B.3) psát v jednoduššı́m tvaru
K
X f (λj )
f (A) = Adj (λj I − A) , (B.4)
ψ
j =1 j
(λj )
kde K je řád matice.
B.2 Parciálnı́ diferenciálnı́ rovnice
Definice B.11: Obyčejnou diferenciálnı́ rovnicı́ n−tého řádu rozumı́me rovnici
F (x, y, y 0 , . . . , y (n) ) = 0, (B.5)
nebo, je-li řešena vzhledem k nejvyššı́ derivaci, rovnici
y (n) = f (x, y, y 0 , . . . , y (n−1) ). (B.6)
Řešenı́m této rovnice (nebo integrálem) nazveme každou funkci y = g(x), která má (v uvažovaném
oboru) derivace do n−tého řádu včetně a vyhovuje identicky rovnici (B.5). Řešenı́ se často udává
implicitně ve tvaru φ(x, y) = c, kde c je konstanta.
t
Definice B.12: Parciálnı́ diferenciálnı́ rovnice je vztah mezi neznámou funkcı́ z(x1 , . . . , xn )
proměnných x1 , . . . , xn , n ≥ 2 a jejı́mi derivacemi
∂z ∂ 2 z ∂kz

∂z
F x1 , . . . , xn , z, ,..., , , . . . , k , . . . = 0. (B.7)
∂x1 ∂xn ∂x21 ∂x1
Derivace ve vzorci (B.7) mohou být obecně i smı́šené. Řádem této rovnice rozumı́me řád nejvyššı́
derivace, která se v rovnici vyskytuje.
Řešenı́m (integrálem) rovnice nazveme každou funkci z(x1 , . . . , xn ), která má přı́slušný počet
derivacı́ a vyhovuje rovnici (B.7) v každém bodě x1 , . . . , xn .
t
Definice B.13: Homogennı́ lineárnı́ parciálnı́ diferenciálnı́ rovnicı́ prvnı́ho řádu ve dvou proměnných
x, y rozumı́me rovnici
∂z ∂z
a(x, y) + b(x, y) = 0, (B.8)
∂x ∂y
kde a, b jsou spojité funkce ve vyšetřovaném oboru a nejsou v něm nikde zároveň rovny nule.
t
Věta B.14: Necht’ ψ(x, y) = c je prvnı́ integrál rovnice

dx dy
= .
a(x, y) b(x, y)
Potom řešenı́ rovnice (B.8) je
z = F (ψ(x, y)),
kde F je libovolná diferencovatelná funkce.
t
(Rektorys, 1995, II. dı́l, odst. 18.2, věta 1 (bez důkazu).)
Definice B.15: Nehomogennı́ lineárnı́ parciálnı́ diferenciálnı́ rovnicı́ prvnı́ho řádu ve dvou proměnných
x, y rozumı́me rovnici
∂z ∂z
P (x, y, z) + Q(x, y, z) = R(x, y, z). (B.9)
∂x ∂y
O funkcı́ch P, Q, R se předpokládá, že jsou spojité ve vyšetřovaném oboru, P, Q nejsou v tomto
oboru zároveň nikde rovny nule a R 6≡ 0.
t
Věta B.16: Necht’ φ(x, y, z) = c1 a ψ(x, y, z) = c2 jsou dva nezávislé prvnı́ integrály soustavy
rovnic
dx dy dz
= = .
P (x, y, z) Q(x, y, z) R(x, y, z)
Potom řešenı́ rovnice (B.9) je dáno v implicitnı́m tvaru vztahem
F (φ(x, y, z), ψ(x, y, z)) = 0,
kde F je libovolná diferencovatelná funkce dvou proměnných.
t
(Rektorys, 1995, II. dı́l, odst. 18.2, věta 2 (bez důkazu).)
B.3 Doplňková literatura
1. Gantmacher, F. R. (1966): Teorija matric, Nauka, Moskva

2. Rektorys, K. a kol. (1995): Přehled užité matematiky II, Prometheus, Praha
Přı́loha C
C.1 Sčı́tánı́ řad

V tomto textu použı́váme součty přes obecnou, nejvýše spočetnou indexovou množinu. Pro úplnost
je proto zaved’me a uved’me základnı́ vlastnosti. Nejdřı́ve definujme součet nezáporných čı́sel.
Definice C.1: Necht’ Λ je nejvýše spočetná množina a jsou dána aλ ∈ R, aλ ≥ 0 pro každé λ ∈ Λ,
pak součet těchto čı́sel definujeme následovně:
P
a) Pro Λ prázdnou klademe λ∈Λ aλ = 0.
P
b) Pro Λ neprázdnou konečnou je λ∈Λ aλ aritmetický součet těchto čı́sel.
c) Pro Λ spočetnou je
( )
X X
aλ = max aλ : I ⊂ Λ konečná .
λ∈Λ λ∈I
Nynı́ obecný součet reálných čı́sel.
Definice C.2: Necht’ Λ je nejvýše spočetná množina a jsou dána aλ ∈ R pro každé λ ∈ Λ, pak
součet těchto čı́sel definujeme
X X X
aλ = max {aλ , 0} − max {−aλ , 0} ,
λ∈Λ λ∈Λ λ∈Λ
pokud alespoň jeden ze součtů na pravé straně rovnosti je konečný. Jinak součet definován nenı́.
Součet je možno také definovat pomocı́ očı́slovánı́ indexů.

Lemma C.3: Necht’ Λ je spočetná množina a jsou dána aλ ∈ R pro každé λ ∈ Λ. Když prvky
množiny Λ očı́slujeme, tj. Λ = {λi , i ∈ N}, pak platı́
X X
aλi = aλ ,
i∈N λ∈Λ
pokud součet na pravé straně je definován.
181
V textu využı́váme limitnı́ch přechodů pro součty. Připomeňme proto Fatooovo lemma a Le-
besgueovu větu.
Lemma C.4 (Fatoo): Necht’ Λ je nejvýše spočetná množina a jsou dána aλ,n ∈ R pro každé
λ ∈ Λ, n ∈ N. Pokud nastává jeden z přı́padů
a) Množina Λ je konečná.
b) Množina Λ je spočetná a existuje minoranta Aλ ∈ R, λ ∈ Λ tak, že

P
i) λ∈Λ Aλ > −∞ ,
ii) aλ,n ≥ Aλ pro každé λ ∈ Λ, n ∈ N.
pak platı́
X X
lim inf aλ,n ≥ lim inf aλ,n .
n→∞ n→∞
λ∈Λ λ∈Λ
Lemma C.5 (Fatoo): Necht’ Λ je nejvýše spočetná množina, −∞ ≤ a −∞,
ii) aλ (t) ≥ Aλ pro každé λ ∈ Λ, a < t < b.
pak platı́
X X
lim inf aλ (t) ≥ lim inf aλ (t) .
t→τ t→τ
a<t<b λ∈Λ λ∈Λ a<t<b
Lemma C.6 (Lebesgue): Necht’ Λ je nejvýše spočetná množina, jsou dána aλ,n ∈ R pro každé
λ ∈ Λ, n ∈ N a pro každé λ ∈ Λ existuje limn→∞ aλ,n . Pokud nastává jeden z přı́padů
b) Množina Λ je spočetná a existuje integrovatelná majoranta Aλ ∈ R, λ ∈ Λ tak, že

P
i) λ∈Λ Aλ ∈ R,
ii) |aλ,n | ≤ Aλ pro každé λ ∈ Λ, n ∈ N.
pak platı́
X X
lim aλ,n = lim aλ,n .
n→∞ n→∞
λ∈Λ λ∈Λ
t
Lemma C.7 (Lebesgue): Necht’ Λ je nejvýše spočetná množina, −∞ ≤ a < b ≤ +∞, a ≤ τ ≤ b,

jsou dána aλ (t) ∈ R pro každé λ ∈ Λ, a < t < b a pro každé λ ∈ Λ existuje lim aλ (t). Pokud
t→τ
a<t<b
nastává jeden z přı́padů
b) Množina Λ je spočetná a existuje integrovatelná majoranta Aλ ∈ R, λ ∈ Λ tak, že
P
i) λ∈Λ Aλ ∈ R,
ii) |aλ (t)| ≤ Aλ pro každé λ ∈ Λ, a < t < b.
pak platı́
X X
lim aλ (t) = lim aλ (t) .
t→τ t→τ
a<t<b λ∈Λ λ∈Λ a<t<b
t
Přı́loha D
D.1 Dalšı́ pomocná tvrzenı́
Lemma D.1: Necht’ an ∈ R, n ∈ N, a ∈ R, limn→∞ an = a a kn ∈ N, n ∈ N, limn→∞ kn = ∞,

pak platı́
k
an n
lim 1 + = ea pokud a ∈ R,
n→∞ kn
= +∞ pokud a = +∞,
= 0 pokud a = −∞.
Lemma D.2: Necht’ N ∈ N a A1 , A2 , . . . , AN jsou náhodnı́ jevy, pak platı́

N
X
P (A1 ∪ A2 ∪ · · · ∪ AN ) ≤ P (An ) ,
n=1
N
X N
X −1 N
X
P (A1 ∪ A2 ∪ · · · ∪ AN ) ≥ P (An ) − P (An ∩ Am ) .
n=1 m=1 n=m+1
Lemma D.3: Necht’ I je neprázdnáP nejvýše spočetná

P indexová množina a pro každé i ∈ I jsou
bi ∈ R tak,
dána čı́sla ai ,P P že součty i∈I a i , i∈I b i jsou dobře definovány. Když ai ≥ bi pro
každé i ∈ I a i∈I ai = i∈I bi ∈ R, pak ai = bi pro každé i ∈ I.
Důkaz. Uvažme součet diferencı́ daných čı́sel

X X X
(ai − bi ) = ai − bi = 0.
i∈I i∈I i∈I
Součet je nulový a jeho sčı́tanci jsou nezápornı́, proto musı́ všechny sčı́tance být nulové. To zna-
mená ai − bi = 0 pro každé i ∈ I, což je ai = bi pro každé i ∈ I.
185
Rejstřı́k
náhodný proces přı́klad stavy stejného typu, 61

Galtonův-Watsonův proces větvenı́, 36 uzávěr množiny stavů, 58
generovánı́ Markovova řetězce, 37 uzavřená množina stavů, 58
model havarijnı́ho pojištěnı́, 38 homogennı́ Markovův řetězec se spojitým časem
model zásob, 37 σ-algebra jevů předcházejı́cı́ch markovskému
náhodná procházka, 35 času, 39
o ruinovánı́ hráče, 36 homogennı́ Markovův řetězec se spojitým časem,
posloupnost nezávislých náhodných veličin, 98
35 σ-algebra jevů předcházejı́cı́ch markovskému
symetrická procházka, 48 času, 116
čas exploze, 118
funkce čas prvnı́ho návratu, 135
càdlàg, 14, 118 celková intenzita přechodu, 104
Chapmanova-Kolmogorovova rovnost, 99
homogennı́ Markovův řetězec s diskrétnı́m časem, doba
28 setrvánı́, 114
čas prvého výstupu, 70 intenzita přechodu, 104
čas prvého výstupu z přechodných stavů, Kolmogorovovy diferenciálnı́ rovnice
65, 72 prospektivnı́, 123
čas prvého vstupu, 70 retrospektivnı́, 123
časy možných návratů, 53 limitnı́ rozdělenı́, 133
absorpčnı́, 65 markovský čas, 115
Chapmanova-Kolmogorovova rovnost, 33 matice intenzit přechodu, 104
dosažitelnost stavů, 58 matice pravděpodobnostı́ přechodu, 98
ergodický, 59, 84 nerozložitelný, 134
fundamentálnı́ matice, 67 regulárnı́, 119
invariantnı́ mı́ra, 73, 94 stacionárnı́ rozdělenı́, 133
limitnı́ rozdělenı́, 74 stav
matice pravděpodobnostı́ přechodu, 28, 29 absorpčnı́, 114
nerozložitelná množina stavů, 58 dosažitelný, 134
nerozložitelný, 59 invariantnı́ mı́ra, 133
perioda, 53 nestabilnı́, 114
počátečnı́ rozdělenı́, 29 přechodný, 135
podřetězec, 59 stabilnı́, 114
rozložitelný, 59 trvalý, 135
stacionárnı́ rozdělenı́, 73 trvalý nenulový, 136
stav trvalý nulový, 136
absorpčnı́, 59 vnořený řetězec, 119
ergodický, 54 zastavenı́, 115
neperiodický, 53
přechodný, 44 konzistentnı́ systém
periodický, 53 distribučnı́ch funkcı́, 7, 8, 100
trvalý, 44 stochastických matic, 99
trvalý-nenulový, 44
trvalý-nulový, 44 Markovův řetězec s diskrétnı́m časem, 15, 19
186
absolutnı́ pravděpodobnosti, 20 trajektorie, 6

markovská vlastnost, 19 zastavenı́, 39
počátečnı́ rozdělenı́, 20 náhodný proces přı́klad
pravděpodobnosti přechodu, 19 Galtonův-Watsonův proces větvenı́, 14
pravděpodobnosti přechodu m-tého řádu, 20 bı́lý šum, 14
pravděpodobnosti přechodu prvého řádu, 19 striktnı́, 14
Markovův řetězec se spojitým časem, 15 explozivnı́ proces růstu, 120
Markovův řetězec se spojitým časem, 97 lineárnı́ proces množenı́ a zániku, 109, 122
absolutnı́ pravděpodobnosti, 97 lineárnı́ proces růstu, 107, 122
markovská vlastnost, 97 model práce stroje, 129, 139
počátečnı́ pravděpodobnosti, 97 náhodná procházka na přı́mce, 14
pravděpodobnost přechodu, 97 přı́jezdy autobusů, 145
Markovův proces, 15 Poissonův proces, 14, 106, 106, 121
matice intenzita, 15
adjungovaná, 177 provoz telefonnı́ ústředny, 139
mocninná řada, 175 stroje a opraváři, 141
nerozložitelná, 176 Wienerův proces, 15
rozložitelná, 176
mocninná řada, 167 rozdělenı́ pravděpodobnosti, 29
náhodná veličina stochastická matice, 29

vlastnı́, 168 stochastický vektor, 29
zobecněná, 168 systémy hromadné obsluhy, 153
náhodný proces, 5
vytvořujı́cı́ funkce
čı́tacı́, 144
k-tá konvolučnı́ mocnina, 170
čas prvnı́ho návratu, 44
druhá konvolučnı́ mocnina, 170, 171
čas prvnı́ho vstupu, 44
konvoluce, 170
diskrétnı́ čas, 5
náhodné veličiny, 168
diskrétnı́ stavy, 6, 19
posloupnosti, 167
měřitelný, 13
markovský čas, 39
množina stavů, 6
nezávislé přı́růstky, 105
přirozená filtrace, 38
reálný, 6
autokovariančnı́ funkce, 8
rozptyl, 8
spojité stavy, 6
střednı́ hodnota, 8
stacionárnı́-slabě, 8
stacionárnı́-striktně, 8
stochasticky spojitý, 11
zobecněný, 6
rozdělenı́, 5
separabilnı́, 13
separant, 13
silná markovská vlastnost, 42
spojitý, 10
spojitý čas, 5
stacionárnı́ přı́růstky, 105
stavový prostor, 6
stochastická verze, 9
stochasticky ekvivalentnı́, 9
stochasticky spojitý, 11

Naho Dne Proce Sy

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Naho Dne Proce Sy

Uploaded by

Copyright:

Available Formats

Markovovy řetězce:

diskrétnı́ i spojitý čas

Tento text byl vytištěn typografickým systémem LATEX 2ε

2 Markovovy řetězce s diskrétnı́m časem 19

3 Markovovy řetězce se spojitým časem 97

1.1 Definice a základnı́ charakteristiky náhodného procesu

Rozdělenı́ (pravděpodobnosti) náhodného procesu (ang. distribution of a random N process) budeme

1.1.1 Obecné pojmy a vlastnosti

S = {s ∈ H : existuje t ∈ T tak, že P (Xt = s) > 0} . (1.1)

Množina S je diskrétnı́ nejvýše spočetná, S ⊂ Q a P (Xt ∈ S) = 1 pro všechna t ∈ T.

Důkaz. 1. Když s ∈ H \ Q, pak pro každé t ∈ T je P (Xt = s) = 0. Tudı́ž S ⊂ Q a proto S je

2. Když s ∈ Q \ S, pak pro každé t ∈ T je P (Xt = s) = 0. Proto pro každé t ∈ T platı́

Pokud H ⊂ R a h (κ1 , κ2 ) = |κ1 − κ2 | pro každé κ1 , κ2 ∈ H, potom řı́káme, že jde o

Rozdělenı́ reálného náhodného procesu {Xt , t ∈ T} je jednoznačně určeno rozdělenı́mi reálných

je jednoznačně určeno jeho distribučnı́ funkcı́. Tudı́ž

FXt1 ,...,Xtn (x1 , x2 , . . . , xn ) = P (Xt1 ≤ x1 , x2 , . . . , Xtn ≤ xn ) pro každé x1 , x2 , . . . , xn ∈ R.

Gti1 ,...,tin (xi1 , . . . , xin ) = Gt1 ,t2 ,...,tn (x1 , x2 , . . . , xn ) .

b) Pro každé n ∈ N, t1 , t2 , . . . , tn , tn+1 ∈ T, x1 , x2 , . . . , xn ∈ R platı́

Věta 1.4 (Daniell-Kolmogorov): Necht’ T 6= ∅ a pro každé t1 , t2 , . . . , tn ∈ T, n ∈ N je

FXt1 ,...,Xtn (x1 , x2 , . . . , xn ) = Gt1 ,t2 ,...,tn (x1 , x2 , . . . , xn ) .

Rozdělenı́ procesu X je určeno jednoznačně.

Důkaz. Štěpán (1987), věta I.10.3, str.84.

lim Hm+1 (x1 , x2 , . . . , xm , xm+1 ) = Hm (x1 , x2 , . . . , xm ) .

FX0 ,X1 ,...,Xk −1 (x1 , x2 , . . . , xk ) = Hk (x1 , x2 , . . . , xk ) .

Rozdělenı́ procesu X je určeno jednoznačně.

Důkaz. Pro každé k ∈ N najdeme reálné náhodné veličiny Xk ,0 , Xk ,1 , . . . , Xk ,k −1 tak, aby

Definice 1.6: Necht’ X = {Xt , t ∈ T} je reálný náhodný proces.

• Když pro každé t ∈ T je Xt ∈ L1 , pak funkce

• Když pro každé t ∈ T je Xt ∈ L2 , pak funkce

RX : T2 → R : (s, t) ∈ T2 7→ cov (Xs , Xt )

se nazývá autokovariančnı́ funkce reálného náhodného procesu X

σX2 : T → R : t ∈ T 7→ var (Xt )

Důležitou vlastnostı́ reálného náhodného procesu je jeho stacionarita.

FXt1 ,Xt2 ,...,Xtn (x1 , x2 , . . . , xn ) = FXt1 +h ,Xt2 +h ,...,Xtn +h (x1 , x2 , . . . , xn ) .

ii) Pro každé s, t ∈ T platı́ µX (s) = µX (t).

iii) Pro každé s, t ∈ T, h ∈ R taková, že s + h, t + h ∈ T, platı́ RX (s, s + h) = RX (t, t + h).

1.1.2 Pojmy pro spojitý čas

P (Xt = Yt ) = P ({ω ∈ Ω : Xt (ω) = Yt (ω)}) = 1,

P (Xt1 ≤ x1 , x2 , . . . , Xtn ≤ xn ) = P (Xt1 ≤ x1 , x2 , . . . , Xtn ≤ xn , Xt1 = Yt1 , . . . , Xtn = Ytn )

[0, 1] a T = [0, 1]. Uvažujme náhodné procesy X = {Xt , t ∈ T} a Y = {Yt , t ∈ T} definované na

Xt (ω) = 0 pro všechna ω ∈ Ω, t ∈ T,

Potom pro každé t ∈ T

P ({ω ∈ Ω : Xt (ω) = Yt (ω)}) = P ({ω ∈ Ω : ω 6= t}) = 1,

T+ = {t ∈ T : ∃δ > 0 tak, že [t, t + δ) ⊂ T}

množinu bodů T dosažitelných zprava a

T− = {t ∈ T : ∃δ > 0 tak, že (t − δ, t] ⊂ T}

množinu bodů T dosažitelných zleva.

Definice 1.12: Necht’ T ⊂ R, T 6= ∅ a X = {Xt , t ∈ T} je náhodný proces se stavovým prostorem

Pro potřeby přednášky definujeme stochastickou spojitost náhodného procesu následujı́cı́m

Definice 1.13: Necht’ T ⊂ R, T 6= ∅ a X = {Xt , t ∈ T} je náhodný proces se stavovým prostorem

1. Pro t ∈ R, h > 0 a 1 > ε > 0 platı́:

P (|Xt+h − Xt | > ε) = P (Xt+h − Xt > ε) = P (t < ξ ≤ t + h)

Vzhledem ke spojitosti distribučnı́ funkce F, výraz konverguje k nule při h → 0+ . Tudı́ž

2. Pro t ∈ R, h < 0 a 1 > ε > 0 platı́:

P (|Xt+h − Xt | > ε) = P (Xt − Xt+h > ε) = P (t + h < ξ ≤ t)

Vzhledem ke spojitosti distribučnı́ funkce F, výraz konverguje k nule při h → 0− . Tudı́ž

Přı́klad 1.15: Uvažujme nezávislé stejně rozdělené reálné náhodné veličiny T1 , T2 , . . . , Tn se

Vzhledem ke spojitosti distribučnı́ funkce F, výraz konverguje k nule při h → 0+ .

Vzhledem ke spojitosti distribučnı́ funkce F, výraz konverguje k nule při h → 0− .

pro libovolnou uzavřenou množinu C ⊂ R a libovolný otevřený interval J ⊂ R. Spočetná množina

Vzhledem k tomu, že

plyne z definice separability, že

Xt (ω) = lim Xtn (ω) .

V Kapitole 3 využijeme následujı́cı́ tvrzenı́.