TKT - radni materijal Predavanje 5 Sadraj

SADRAJ ..................................................................................................................................................... 1 6 MARKOVLJEVI LANCI......................................................................................................................... 2 6.1 MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM ............................................................................. 2 6.1.1 Homogeni Markovljev lanac ........................................................................................................ 2 6.1.2 Raunanje stacionarnih vjerovatnosti.......................................................................................... 4 6.2 MARKOVLJEVI LANCI S KONTINUALNIM PARAMETROM ........................................................................ 6 6.2.1 Dijagram stanja CTMC ............................................................................................................... 9

TKT - radni materijal Predavanje 5

6 Markovljevi lanci
Markovljevi procesi su oni stohastiki procesi ije budue stanje ovisi samo o trenutnom stanju. Ova osobina naziva se svojstvo odsustva pamenja. Isto svojstvo ima i Poissonov proces, pa je Poissonov proces posebna vrsta Markovljevog procesa. Markovljevi procesi mogu imati diskretan ili kontinualan skup stanja, pa razlikujemo DTMC (Discreet Time Markov Chain) Diskretne Markovljeve lance, te CTMC (Continious Time Markov Chain) kontinualne Markovljece lance.

6.1 Markovljevi lanci s diskretnim parametrom

6.1.1 Homogeni Markovljev lanac
Neka Markovljev lanac {Xn, n 0} ima skup diskretnih stanja E = {0, 1, 2, . . .}. Skup stanja moe biti beskonaan ili konaan. Oznaka Xn = i neka znai da se Markovljev lanac u n-tom koraku nalazi u stanju i. Za opi Markovljev lanac vrijedi sljedee:
P{X n +1 = j X 0 = i 0 , X 1 = i1 ,..., X n = i n } = P{X n +1 = j X n = i n }

Vjerovatnost P(Xn+1 = j | Xn = i) zovemo prelaznom vjerovatnou iz stanja in u stanje jn+1. U opem sluaju ta se vjerovatnost mijenja ovisno o vrijednosti parametra n. Definisat emo matricu prelaznih vjerovatnosti. Definicija 6.1 (Matrica prelaznih vjerovatnosti (Transition Probability Matrix)) Prelaz iz stanja i u koraku n - 1 u stanje j u koraku n opisan je prelaznom vjerovatnou:

(n ) je lan matrice prelaznih vjerovatnosti na mjestu (i, j). Prelazna vjerovatnosti pij

Matrica prelaznih vjerovatnosti u n-tom koraku je

TKT - radni materijal Predavanje 5

p ( n ) 00 (n) p 10 P ( n) = M (n) p i0 M p ( n ) 01 K p ( n ) 0 j p p
(n) 11 (n)

L O L M

p p

ij

M
(n) i1

M
(n) ij

K K M M O

ili u skraenom obliku

Zbir elemenata svakog horizontalnog retka ove matrice jednak je jedan:

U opem sluaju matrica prelaznih vjerovatnosti moe ovisiti o koraku n. Meutim, za nae potrebe pretpostavit emo da je matrica jednaka za svaki korak. Takve Markovljeve lance zovemo homogenim. Kod homogenog DTMC, matrica prelaznih vjerovatnosti ima oblik: p 00 p 01 K p 0 j K p 10 p 11 L p ij K P (n) = P = M M O M M M p i 0 p i1 L p ij M M M O M

Slika 1 Na slici 1 ilustrovane su prelazne vjerovatnosti za homogeni DTMC sa stanjima 1,...6. Na lijevoj strani slike ilustrovan je prelaz iz stanja Xn=2 u trenucima n i n+2 u bilo koje drugo stanje, sa prikazanim vjerovatnoama prelaza. Na desnoj strani su ilustrovane vjerovatnoe prelaza iz stanja Xn=3. Suma svih prelaznih vjerovatnosti iz jednog stanja jednaka je jedinici (sistem mora da dospije u jedno od moguih stanja).

TKT - radni materijal Predavanje 5 Posmatrajmo matricu P. Njeni elementi opisuju vjerovatnoe prelazaka izmeu bilo koja dva stanja DTMC. Ako je kod DTMC opisanog matricom P mogue prei iz bilo kojeg stanja u bilo koje drugo stanje u konanom broju koraka, kaemo da je ovaj Markovljev lanac ireducibilan. Kod ireducibilnih Markovljevih lanaca vrijedi: Postoji matrica jednaka: 0 0 n = l im P = M n 0 M

1 K j K 1 L j K 1
M M O M L j M M

r r M= M M O

Reci matrice su svi jednaki, tj. postoji j koji ne ovisi od i takav da je

( n) j = lim pij , n

i
r

j se zovu stacionarne vjerovatnosti i one ine vektor stacionarnih vjerovatnosti .

Markovljev lanac za kojeg postoji prvi limes zove se ergodiki Markovljev lanac.

6.1.2 Raunanje stacionarnih vjerovatnosti

Znamo da vrijedi:

r v T p(n) = [P ] p(n 1) U stacionarnom stanju (pustimo u prethodnom izrazu lim ) ova jednaina prelazi u:
n

= PT
Gdje je

0 1 r = M

TKT - radni materijal Predavanje 5

U cilju nalaenja stacionarnih vjerovatnosti, sada trebamo rijeiti sistem linearnih jednaina:

= PT

=1

Dakle za potpuno odreivanje DTMC, dovoljno je poznavati matricu P. Stacionarno stanje ne ovisi o poetnom stanju. DTMC se grafiki opisuju pomou dijagrama stanja. Na dijagramu stanja, krugovima su prikazana stanja vrijednosti koje uzima Markovljev lanac Xn, a strelicama izmeu krugova sa dodijeljenim vrijednostima oznaava se postojanje vjerovatnoe prelaza izmeu dva stanja. Sa dijagrama stanja se odmah moe oitati matrica P i rijeiti stacionarne vjerovatnosti sistema. Primjer dijagrama stanja za DTMC sa dva stanja je dat na slici 2:

Slika 2 Matrica P za ovaj dijagram stanja je:

1 P = 3 3 8 2 3 5 8

Prilikom primjene DTMC na prouavanja u prometu, stanje obino oznaava broj zauzetih linija ili broj paketa koje treba posluiti.

TKT - radni materijal Predavanje 5

6.2 Markovljevi lanci s kontinualnim parametrom

Ako dopustimo da proces promijeni svoje stanje u bilo kojem trenutku u vremenu i ako budue stanje procesa ovisi samo o sadanjem, takav proces zovemo Markovljev lanac kontinualan u vremenu (CTMC).
Definicija 6.5 (Markovljev lanac s kontinualnim parametrom (kontinualan u vremenu)) Sluajni proces s diskretnim stanjima X(t) je Markovljev lanac kontinualan u vremenu ako za sve brojeve n N, i svaku sekvencu t1, t2, . . . , tn, tn+1 takvu da je t1 < t2 < . . . < tn < tn+1 vrijedi:

Slika 6.7: Trajektorija Markovljevog lanca kontinualnog u vremenu

Tipina trajektorija Markovljevog lanca kontinualnog u vremenu prikazana je na slici 6.7.

Definicija 6.6 (Matrica prelaznih vjerovatnosti) Neka su s i t vremena iz parametarskog skupa Markovljevog lanca kontinualnog u vremenu. Uslovna vjerovatnost:
p i[,sj,t ] = P( X (t ) = j X (s ) = i )

zove se prelazna vjerovatnost Markovljevog lanca iz stanja i u stanje j . Matrica

TKT - radni materijal Predavanje 5

[s ,t ] p 00 [s ,t ] p10 = M [s ,t ] pi 0 M [s ,t ] K p 01 [s ,t ] K p11 [ s ,t ] L p0 j [ s ,t ] L p1 j M M [ s ,t ] M p ij M O

P [ s ,t ]

pi1

[s ,t ]

O M M

sastavljena od elemenata pij[s,t] se zove matrica prelaznih vjerovatnosti Markovljevog lanca kontinualnog u vremenu.
Proces se u nekom vremenskom trenutku t moe nalaziti samo u jednom stanju. Zbir vjerovatnosti prelaza iz jednog stanja u sva sljedea mogua stanja jednak je 1, tj.:

Naimo sada vjerovatnost da je proces nakon nekog intervala duine t u stanju j: Ako se proces u trenutku (t+ t ) nalazi u stanju j, onda se: u trenutku t nalazio u stanju 1, pa je nakon vremena t skoio u stanje j, ili se u trenutku t nalazio u stanju 2 pa je nakon vremena t skoio u stanje j ili se u u trenutku t nalazio u stanju 3 pa je u nakon vremena t skoio u stanje j ili itd. Moemo napisati:

p j (t + t ) = p o (t ) p 0 j (t ) + p1 (t ) p ij (t ) + ... = p i (t ) p ij (t ) (1)
i

Uvedimo sada oznake:

qij = l im

pij (t ) t
pii (t ) t

t 0

qii = l im

t 0

Ove dvije veliine nazvaemo gustoe prelaza ili intenziteti prelaza. Njih moemo smjestiti u matricu prelaznih intenziteta (infinitezimalnu matricu):
q 00 Q= q10 M q 01 L q11 L M O

TKT - radni materijal Predavanje 5

Znamo odranije da je suma svih vjerovatnosti prelazaka u drugo stanje + vjerovatnost ostanka u trenutnom stanju u vremenskom intervalu t jednaka jedinici:

pii (t ) = 1

j , j i

ij

(t )

Diferenciramo li posljednju jednainu dobijamo:

qii = qij
j , j i

Odnosno, suma svih horizontalnih redova matrice Q mora biti jednaka 0. Zanima nas kako odrediti stacionarne vjerovatnosti za CTMC. Napiimo ponovo izraz (1)

p j (t + t ) = pi (t ) pij (t )
i

podijelimo i lijevu i desnu stranu sa t i pustimo da t 0 :

p j (t + t ) t pij (t ) t

t 0

lim

= pi (t ) lim
i

t 0

odnosno:

p j = pi (t ) qij
i

Kod ireducibilnog Markovljevog procesa postoji limes u stacionarnom stanju: lim pij (t ) = lim p j (t ) = j
t t

Tako da je u stacionarnom stanju: p j = i qij

i

U matrinom obliku ovo piemo: P = Q U stacionarnom stanju je izvod p j jednak nuli, pa vrijedi:

r 0 = Q

TKT - radni materijal Predavanje 5

Kako je matrica

0 0 = M 0 M
Moemo pisati i

1 K j K 1 L j K 1
M M O M L j M M

r r M= M M O

r r 0 = Q v gdje je = [ 0 , 1 ,....]
Posljednji izraz slui za rjeavanje stacionarnih vjerovatnosti za CTMC.

6.2.1 Dijagram stanja CTMC

CTMC se grafiki opisuju pomou dijagrama stanja. Na dijagramu stanja, krugovima su prikazana stanja vrijednosti koje uzima Markovljev proces, a strelicama izmeu krugova sa dodijeljenim vrijednostima oznaava se gustoa prelaza. Sa dijagrama stanja se odmah moe oitati matrica Q i rijeiti stacionarne vjerovatnosti sistema. Primjer dijagrama stanja za CTMC je dat na slici 3:

Slika 3 Matrica prelaza za gornji dijagram stanja je:

Uoimo sada jednu slinost izmeu izraza za intenzitet prelaza i svojstva regularnosti Poissonovog procesa:

TKT - radni materijal Predavanje 5

qij = l im

pij (t ) t

t 0

pij (t ) = qij t + o(t ) - definicija intenziteta prelaza (2)

P{X (t , t + t ) = 1} = t + o(t ) - definicija regularnosti Poissonovog procesa (3)

Vidimo da je Poissonov dolazni proces ujedno i CTMC sa intenzitetom prelaza jednakim . Odavde moemo prikazati dijagram stanja i matricu prelaza za Poissonov dolazni proces:

Slika 4: Dijagram stanja za Poissonov proces

10