 Rantai Markov dikatakan irreducible, jika relasi ekivalen membentuk hanya satu kelas.

KLASIFIKASI STATUS
Dengan perkataan lain, suatu proses irreducible jika semua status saling berkomunikasi.
Tidak semua rantai markov regular. Berikut diperlihatkan sejumlah contoh rantai markov
Contoh1; Misalkan suatu rantai markov memiliki 5 status dengan matriks peluang transisi
yang tidak reguler :
berikut : 0 1 2 3 4
1 0 
P  (1) 0 1 / 2 1/ 2 0 0 0 
0 1
1 1 / 4 3/4 0 0 0 
n
Perhitungan P untuk berbagai n menghasilkan Pn = P, sehingga selalu ada elemen matriks
P*  2  0 0 0 1 0 
tersebut yang bernilai nol, akhibatnya rantai markov tersebut tidak reguler. Pada matriks  
ini limit distribusinya ada, namun tergantung kepada status awal.
3 0 0 1/ 2 0 1/ 2
4  0 0 0 1 0 
0 1 
P  (2)  Dari matriks di atas berdasarkan relasi ekivalensi, ternyata dapat dibagi ke dalam dua
1 0  kelas seperti pada matriks berikut
Perpangkatan matriks ini memiliki perilaku yang berbeda untuk n ganjil dan n genap.
0 1 2 3 4
Bilamana n genap, maka menghasilkan Pn = I, sedangkan untuk n ganjil akan diperoleh Pn = P.
Jadi matriksnya tidak reguler dan tidak mempunyai limit distribusi. Rantai markov ini 0 1 / 2 1/ 2 0 0 0 
periodik dan tidak memiliki limit distribusi; 1 1 / 4 3 / 4 0 0 0 
 P1 0
1 / 2 1 / 2 P*  2  0 0 0 1 0  = 
P (3)   0 P2 
 0 1  3 0 0 1/ 2 0 1/ 2 

 
 1 n 1 1 n
oleh karena P n   2
  0 1
2  , maka tidak reguler, tetapi lim P  
n
,
4  0 0 0 1 0 
n 
 0 1  0 1  P1  dibentuk dari dua baris dan dua kolom pertama dari P, dimana antara status 0 dan
1 memenuhi sifat ekivalen.
yang berarti bahwa limit distribusinya ada.
 P2  dibentuk dari tiga baris dan tiga kolom terakhir dari matriks P.
Dalam contoh ini, status 0 disebut transien, setelah proses mulai dari status 0 terdapat  P* terbagi ke dalam dua kelas ekivalen, kelas-kelas ekivalen terdiri dari {0,1} dan
peluang positif yang mana proses tidak akan kembali ke status 0. {2,3,4}.
 Jika status X0 terdapat dalam kelas {0,1}, maka status dari proses selamanya terdapat
Rantai Markov Irreducible
dalam kelas ini, dengan matriks peluang transisinya adalah P1. Demikian juga bila status
Untuk mengungkap berbagai kombinasi yang mungkin, diperlukan beberapa definisi dan X0 terdapat dalam kelas ekivalen kedua.
klasifikasi status.
Contoh2; tentukan kelas ekivalen (komunikasi) dari P**
 Status j dikatakan accesible ( dapat dicapai) dari status i, jika Pij(n) > 0 untuk bilangan
bulat n ≥ 0. 0 1 2 3 4 5
 Dua status i dan j dikatakan communicate (berkomunikasi), jika masing-masing status
0 1 / 2 0 0 0 1/ 2 0 
0 1 0 0 0 0
1  0 0 1 0 0 0 
dapat diakses dari status yang lain, ditulis i<—>j.
1  q 0 p 0 0 
Jika dua status i dan j tidak berkomunikasi, maka berlaku 2 0 0 0 1 0 0 
P **  2  0 q 0 p 0  ; P ***   
Pij(n) = 0, untuk semua n ≥ 0, atau Pji(n) = 0, untuk semua n ≥ 0   3 0 0 0 0 1 0 
30 0 q 0 p
 Konsep komunikasi merupakan relasi yang ekivalen : 4 0 0 0 0 0 1 
4  0 0 0 0 1   
1 jika i  j 5 0 0 1/ 3 1 / 3 0 1/ 3

(0)
I. i<—>i (reflesif); Pij
0 jika i  j Contoh3;. Tentukan kelas-kelas komunikasi masing-masing status rantai markov dengan
II. Jika i<—>j maka j<—>i (simetri), dari definisi komunikasi matriks peluang transisi P***.

III. Jika i<—>j dan j<—>k, maka i<—>k (transitif)

Periodisitas Rantai Markov  P{ X n  i,..., X v  i, v  1,2,3,..., n  1 | X 0  i }
( n)
f ii (4)
Periodisitas suatu status i, ditulis d(i), adalah pembagian persekutuan terbesar dari semua
Jadi fii(n) menyatakan peluang proses mencapai i pertama kali dalam n langkah bila status
bilangan bulat n≥1 dengan Pii(n) > 0. (Jika Pii(n) = 0 untuk semua n≥1 maka d(t)=0).
awalnya i. Jelas fii(1) = pii, fii(n) dapat dihitung secara rekursif melalui
Contoh: Random walk dengan status 0,±1, ±2,... dan peluang pi i+1 = p serta pi i-1 = q, seperti n
  f ii . Pii
( n) (k ) ( nk )
diperlihatkan pada matriks peluang transisi berikut, memiliki periodisitas 2. Pii , untuk n≥0, fii(0) = 0 untuk setiap i (5)
k 0
 1 0 0 0 ... 0 0
 q 0 p 0 ... 0 0  Apabila proses status awalnya di i, peluang bahwa ia akan kembali ke-i dalam sejumlah

 0 q 0 p ... 0 0 langkah adalah adalah :
P   N
f ii   f ii  lim  f ii
( n) (n)
... ... ... ... ... ... ...
N 
(6)
 0 0 0 0 ... 0 p n 0 n 0
 
 0 0 0 0 ... 0 1  Status i dikatakan rekuren bilamana fii = 1. Hal ini menyatakan bahwa status i rekuren jika
dan hanya jika, setelah proses bergerak dari status i, maka peluangnya ia akan kembali lagi
Misalnya untuk i=1 (untuk i lainnya diperlihatkan dengan cara yang sama), untuk
ke status i setelah sejumlah langkah adalah 1. Status non rekuren dikatakan transien.
mencapai status 1 kembali dapat dilakukan dengan cara :
Jadi untuk status i yang transien, peluang proses darii kembali ke i kembali paling sedikit
 Dalam 2 langkah, n=2, transisinya 1 2  1 atau 1 0  1, dengan peluang P11(2)= pq
satu kali adalah fii < 1. Memakai sifat Markov, peluang proses dari i kembali ke-i paling
+ pq = 2pq
sedikit dua kali adalah (fii)2, dan k kali adalah (fii)k, k = 1,2, ...
 Dalam 4 langkah, n = 4, transisinya 1 2  3  2 1 atau 1 0  -1  0  1,
Sehingga jika M menyatakan berapa kali proses kembali ke-i, maka
dengan peluang P11(4)= ppqq + ppqqq = 2p2q2
 Dalam 6 langkah, n = 6, transisinya 1 2  3  4  3  2 1 atau 1 0  -1  - P{M  k | X 0  i }  ( fii ) k ; k  1, 2,... (7)
2  -1 0  1, dengan peluang P11(6)= 2p3q3
(f )
 untuk n lainnya dilakukan dengan cara yang sama. Dengan demikian {n≥1 | P(k) >0} = E{M | X 0  i }  ii (8)
{2,4,6,...}, sehingga pembagi persekutuan terbesar d(1) = 2 1  fii
Sifat-sifat periodisitas sebuah status : Dalil berikut menetapkan sebuah kriteria kembalinya ke status i yang dinyatakan dengan
transisi Pij(n)
1. Jika i<—>j, maka d(i) = d(j) 
Besar Periode akan sama dalam setiap kelas status yang berkomunikasi Sebuah status i rekuren jika dan hanya jika 
n 1
Pii
(n)
 (9)
2. Jika status i mempunyai periode sebesar d(i) , maka terdapat sebuah bilangan bulat

N yang tergantung pada i, sehingga untuk setiapbilangan bulat n ≥ N;
atau, status i transien jika dan hanya jika  Pii
( n)
 (10)
3. Pii(n(d(i))
> 0. (kembali ke status i dapat terjadi pada saat yang merupakan kelipatan n 1

bilangan besar periodenya) Akibat; Jika i<—>j dan jika i rekuren, maka j rekuren
4. Jika Pji(m) > 0, maka Pji(m+n(d(i)) > 0 untuk semua n (bilangan bulat positif) yang cukup
Sebagaimana periodisitas, rekurensi juga merupakan sifat dari suatu kelas. Jadi semua
besar
status dalam suatu kelas ekivalen adalah rekuren atau non rekuren.
Langkah-langkah praktis menghitung periodisitas d(i) :
Dalil Limit Dasar dari Rantai Markov
1. Cari Pii(n) yang lebih besar dari 0, dengan n=1,2,3,4, ...
 Status rekuren i. Distribusi peluang waktu kembali pertama kali, Ri, Ri = min {n ≥ 1; Xn=i}
2. Cari pembagi terbesar terhadap n misalkan u, sehingga periodisitas d(i)=u
adalah :
Sebuah rantai Markov dengan tiap status berperiode 1 dikatakan sebagai aperiodic. fii ( n )  P{ X n  i, X v  i, v  1, 2,3,..., n  1| X 0  i } (11)
Status Rekuren dan Transien
fii (n)
 P{Ri  n | X 0  i } (12)
Perhatikan suatu status i, untuk bilangan bulat n≥1 didefinisikan :
 
Rantai Markov Reducible
(Karena status i rekuren, maka f ii    1 dan Ri merupakan variabel acak dengan
(n)
f ii
n 0 Rantai Markov ireducible terjadi apabila semua pasangan status berkomunikasi. Dalam
nilai terhingga. Rata-rata waktu antara kembali ke status i adalah bagian ini akan diperlihatkan melalui contoh, bagaimana menganalisis rantai markov umum.
 Misal terdapat rantai markov dengan matriks peluang transisi
m  E{Ri | X 0  i }   n. f ii
( n)
(13)
n 1 12 1
2 0 0
1 3 0 0 
P
4 4
Teorema limit dasar dari rantai markov : , (16)
a. Perhatian suatu rantai markov yang memiliki sifat aperiodik, ireducible, dan rekuren.
0 0 1
3
2 
3
 
Misalkan Pii(n) menyatakan peluang kembali ke status i pada transisi ke n, n=0,1,2,... 0 0 2
3
1
3

dengan syarat x0=i (status awal i). Misalkan fii(n) menyatakan peluang kembali ke i
Dapat dituliskan dalam bentuk sbb.
pertama kali pada transisi ke-n, n=0,1,2,... dengan fii(0) =0. Maka
 P 0  12 1
  13 2

lim Pii ( n )  1 / { n. f ii ( n ) }  1 / m
2 3
P 1  ; P1    ; P2   2  . (17)
(14)
0 P2   14 4  3 
3 1
n  4
n0

lim Pji
( n)
 lim Pii , untuk semua status j Rantai markov di atas mempunyai dua kelas ekivalen, dua kelas pertama membentuk kelas
b. Dalam kondisi seperti a, n n ekivalen pertama dan dua sisanya membentuk kelas ekivalen kedua.

 12 1
2 0 0   12 1
2 0 0   38 5
8 0 0
Teorema : 1 0   1 4 0   516 0   P12
3 0 3 0 11 0 0
P2  
4 4 4 16
Dalam suatu kelas aperiodik rekuren dengan status j=0,1,2,... x = =  , (18)
 0 0 1
3
2 
3 0 0 1
3
2 
3 0 0 5
9
4 
9 0 P22 
lim Pjj
(n)
  j    i Pij      
(15) 0 0 2
3
1
3 0 0 2
3
1
3 0 0 4
9
5
9
n
i 0
dan secara umum
 P n 0
Pn   1 n≥1 (19)
Dengan π >0, dan Σπ =1, serta  j    i Pij , untuk j = 0,1,.... 0

P2n 
i 0
Persamaan (19) merupakan pernyataan matematis, mengenai sifat yang menyatakan bahwa
Suatu set ( ) i0 yang memenuhi persamaan terakhir dikatakan sebagai distribusi peluang tidak mungkin berkomunikasi diantara dua kelas berlainan, sekali berada dalam kelas
pertama proses selamanya berada disana, demikian juga sekalinya dia berada dalam kelas ke
statsioner dari rantai markov. Istilah statsioner berasal dari kenyataan bahwa rantai
dua, maka selamanya akan berada dalam kelas ini. Artinya, pernyataan dua proses yang
Markov awal perilakunya dicerminkan oleh distribusi stationer, maka sepanjang waktu pola
tidak berkaitan digabung menjadi satu. Mariks peluang transisi P diredusir menjadi
perilaku dari rantai Markov dicerminkan oleh distribusi stasioner tersebut.
matriks-matriks P1 dan P2 yang tidak dapat diredusir. Dari Pers(19) berarti
Secara formal, jika P{X0=i} = πi, maka P{Xn=i} = πi untuk semua n=1,2,... .
 0(1)  1(1) 0 0 
Limit distribusi, apabila ada, selalu merupakan distribusi stasioner. Tetapi sebaliknya tidak  (1) 
berlaku, dapat saja distribusi stasionernya ada tetapi limit distribusinya tidak ada.  0  1(1) 0 0    (1)  1(1)    (2)  1(2) 
lim P 
n
; lim P n   0(1) ; lim P n   0(2)
(1)  n  2  (20)
n   0 0 0 (2)
1 (2)  n 1
 0 1   0  1(2) 
Contoh: limit distribusi dari rantai markov periodik dengan matriks peluang transisi  (2) 
 0 0 0 (2)
 1 
0 1 
P  tidak ada, tetapi distribusi stasionernya ada, yaitu π=(1/2,1/2), karena Nilai dari  (1)  ( 0(1) ,  1(1) ) dan  ( 2 )  ( 0( 2 ) ,  1( 2 ) ) masing-masing diperoleh seperti hal nya
1 0
limit distribusi dengan persamaan :
0 1  1
( 12 ) ( 2 )
1 1 N
2
1 0 
2
 j    k Pkj (21)
k 0
Untuk π(1) misalnya :

 0 (1)  1 / 2. 0(1)  1 / 4. 1(1) );  1(1)  1 / 2. 0(1)  3 / 4. 1(1) ); . 0(1)  . 1(1) )  1 (22)

sehingga;  (1)
0  1
3 ,  (1)
1  2
3 ,

dan untuk  (2)

, karena P2 matriks stokastik ganda maka;  0(2)  1
2 ;  1(2)  1
2.

Untuk melengkapi pembahasan mengenai perilaku limit akan dibahas keadaan i transien Pij(n),
dan j rekuren. Berdasarkan matriks peluang transisi berikut ini;
0 1 2 3
0 1 / 2 1 / 2 0 0 
1 1 / 4 3 / 4 0 0 
P
2 1 / 4 1 / 4 1 / 4 1 / 4
 
3 0 0 0 1 

3 kelas : {0,1}, {2}, dan {3}, dengan kelas {0,1} dan {3} rekuren: sedangkan {2} transien.
Dimulai dari status 2, proses akhirnya terserap di salah satu dari kedua kelas lainnya.
Pertanyaannya adalah : berapa peluang terserap di masing-masing status rekuren jika
dimulai dari status 2 ?
Analisis langkah pertama akan menyelesaikan permasalahan di atas. Misalkan u menyatakan
peluang penyerapan ke dalam kelas {0,1} jika dimulai dari status 2. Maka 1-u adalah peluang
penyerapan ke dalam kelas {3}. Dengan melakukan analisis langkah pertama diperoleh :
U= (¼ + ¼) 1 + ¼ U + ¼ 0 = 2/3
Dengan peluang 2/3 proses dari status 2 akan memasuki status {0,1} dan tinggal disana
selamanya. Dan peluang 1/3 proses dari 2 akan memasuki status {3}. Distribusi stasioner
untuk kelas rekuren {0,1} dihitung seperti pada persamaan (**) di atas, dan diperoleh
 0  13 ,  1  2 3 .
Oleh karenanya
2 1 2 2 2 4
lim P20 n  .  dan lim P21n  . 
n  3 3 9 n  3 3 9
Apa yang dikerjakan adalah mengalikan peluang memasuki status {0 1} dari status 2 dengan
peluang yang sesuai dari distribusi stasioner untuk berbagai status dalam kelasnya.
1 1
Sedangkan lim P23  .1 
n
n  3 3
Dalam bentuk matriks, perilaku limit dari P(n) adalah sebagai berikut :

1 / 3 2 / 3 0 0 
1 / 3 2 / 3 0 0 
lim P n   
n  2 / 9 4 / 9 0 1 / 3
 
 0 0 0 1 