Processos Estocásticos

MAD 364

Augusto Gadelha

Departamento de Métodos Estatı́sticos - Instituto de Matemática - UFRJ

gadelha@im.ufrj.br
Ref: Processos Estocásticos - Nei Rocha, 2006; Introduction to Stochastic Processes, Hoel, Port, Stone.

17/5/2021

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 1 / 22

Tópicos

Aula 15

Cadeias de Markov a tempo contı́nuo (cont.)

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 2 / 22

RECORDANDO CADEIAS MARKOV

– πn (i) = P(Xn = i) ⇒ πn = [πn (0), πn (1), πn (2), ...] (vetor linha)

– P = [pij , i, j ∈ S] (matriz prob. transição) =⇒ πn+1 = πn P =⇒ πn = π0 Pn
(n) P (n)
– Tj = min {n > 0 : Xn = j} fij = Pi (Tj = n) E (Tj |X0 = i) = n fij

– ρij , Pi (Tj < ∞) ρC (i) = Pi (TC < ∞)

P P −1
– ρC (i) é solução de f (i) = j∈C pij + j∈ST pij f (j) ou A = (I − Q) R
−1 P∞ P∞
– W = (I − Q) Ni = n=1 1{Xn =i} E (Ni ) = n=1 P(Xn = i)
P∞ (n)
– µjj = n=1 nfjj , se j é recorrente; µjj = ∞, se j é transiente
(n)
– limn→∞ pii = πi = µ1ii π = πP
P
– µij = 1 + k6=j pik µkj , i 6= j

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 3 / 22

RECORDANDO: CADEIA DE NASC. E MORTE

Para a < i < b

Pb−1
γk q1 .q2 ...qi
Pi {Ta < Tb } = Pib−1 ; γi =
a γk p1 .p2 ...pi
 i
q1 .q2 ...qi q
Se pi = p, qi = q, ri = r , =⇒γi = p1 .p2 ...pi = p
 q i q b
( p ) −( p )
 q a − q b , se p 6= q


(p) (p)
Pi {Ta < Tb } =

 b−i , se p = q

b−a

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 4 / 22

RECORDANDO: PROC RAMIFICAÇÃO E PROC REVERSÍVEL

Xn−1
X
2
i.i.d. Zi ∼ {pk , k = 0, 1, 2, . . . }, E (Zi ) = µ; VarZi = σ : Xn = Zi
i=1

1 − µn

σ 2 µn−1 , se µ 6= 1;

n
E (Xn ) = µ Var [Xn ] = 1−µ
 nσ 2 , se µ = 1.

ρ = ρ10 = P1 (T0 < ∞) =⇒ ρn0 = ρn

∞
def
X
ρ é o menor valor positivo satisfazendo ρ = Φ(ρ) com Φ(ρ) = ρk pk
k=0

PROC. REVERSÍVEL: πi pij = πj pji

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 5 / 22

RECORDANDO: Processos de Contagem & Poisson - defn e conceitos básicos

Processo de contagem: {Nt ∈ Z+ 0 ; t ≥ 0} - número de eventos em (0, t] e

intervalos {Tk } entre eventos.
Processo de Poisson (P.P.): incrementos independentes e estacionários,
- Def. 1: (i) P(Nh = 1) = λh + o(h); (ii) P(Nh ≥ 2) = o(h),
k
(λt) e −λt
- Def. 2: P(Nt = k) = , k = 0, 1, 2, . . .
k!
Dados n intervalos disjuntos {Ai ; i = 1, . . . , n}, com respectivos
comprimentos a1 , a2 , . . . , an , e k1 , k2 , . . . , kn ∈ N, com
k1 + k2 + . . . + kn = k; a1 + a2 , . . . + an = b:
  
k a1 k1  an kn
P(NA1 = k1 , . . . , NAn = kn |N = k) = ...
k1 , k2 , . . . , kn b b

(1) (2)
Tipos I e II em {Nt } =⇒ {Nt } e {Nt } são P.P. independentes com taxas
respectivas λp e λ (1 − p).

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 6 / 22

RECORDANDO: Processos de Contagem & Poisson - defn e conceitos básicos

Tn = Sn − Sn−1 ; Tn ∼ exp(λ) =⇒ P(Tn > t) = e −λt ; Sn ∼ Γ(n, λ)

T1 |{Nt = 1} ∼ U[0, t]; para s < t : Ns |Nt = n ∼ bin(n, p), p = s/t
n!
fS1 ,S2 ,...,Sn (s1 , s2 , ..., sn |n) = tn , 0 < s1 < s2 < ... < sn < t.
Processo de Poisson Composto:
Nt
X
Xt = Yi , t≥0
i=1

Se E (Yi ) = µ e Var(Yi ) = σ 2 =⇒ E (Xt ) = µλt, Var(Xt ) = (σ 2 + µ2 )λt

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 7 / 22

RECORDANDO:Cadeia de Markov a Tempo Conı́nuo (CMTC)

P(Xt+s = j|Xt = i, Xu = iu , u < t) = P(Xt+s = j|Xt = i) = pi,j (s, s + t).

CMTC homogênea/estacionária: pi,j (s, s + t) = pi,j (t) = P(Xt = j|X0 = i)

P(t) = [pi,j (t)]i,j∈S =⇒ P(t + s) = P(t)P(s)

dP(t) dP(t)
= P(t)Λ = ΛP(t); P(0) = I ; Λ = [λij ]
dt dt
def
X
P(t) = e Λt Λ U = 0 ou λij = λi ; λi = −λii
j∈S, j6=i
 
1
onde U =  ... 
 

1 1×|S|

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 8 / 22

Exemplo 1 - CMTC

Para termos uma compreensão das taxas λij , consideremos uma CMTC
estacionária com dois estados {0, 1}, tal que as probabilidades de transitar do
estado 0 para o 1 e do 1 para o 0 em um intervalo de medida h << 1 sejam,
respectivamente, p01 (h) = λh + o(h) e p10 (h) = µh + o(h) , para algum λ > 0
e µ > 0. Vamos supor ainda que a probabilidade de haver 2 ou mais transições é
desprezı́vel, da ordem de o(h). Então,
   
p00 (h) p01 (h) 1 − λh + o(h) λh + o(h)
P(h) = =
p10 (h) p11 (h) µh + o(h) 1 − µh + o(h)

Logo,    
P(h) − I −λ λ λ00 λ01
lim = P0 (0) = = = Λ.
h↓0 h µ −µ λ10 λ11

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 9 / 22

Exemplo 1 - CMTC (cont.)
Portanto, P0 (t) = P(t)Λ, cuja solução é P(t) = e Λt . Para obter essa solução
podemos resolver as eqs diferenciais para cada elemento da matriz P (ver [Nei])
ou diagonalizar Λ. Para isto, determinemos os auto-valores de Λ pelas raizes de

0 = det(zI − Λ) = z 2 + (λ + µ)z
=⇒ z1 = 0, z2 = −(λ + µ)

Os auto-vetores correspondentes são v1 = [1, 1]T , v2 = [1, −µ/λ]T . Logo,

     
−1 1 1 0 0 1 µ λ
Λ = VDV = · ·
1 −µ/λ 0 −(λ + µ) λ + µ λ −λ

     
Λt 1 1 1 0 1 µ λ
P(t) = e = · ·
1 −µ/λ 0 e −(λ+µ)t λ + µ λ −λ
µ + λe −(λ+µ)t λ − λe −(λ+µ)t
 
1
=
λ + µ µ − µe −(λ+µ)t λ + µe −(λ+µ)t

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 10 / 22

Exemplo 1 - CMTC (cont.)

 
1 µ λ
Veja que se t → ∞, P(t) → λ+µ . Portanto, independente do estado em
µ λ
µ
t = 0, quando t → ∞ a cadeia estará no estado 0 c.p. λ+µ e no estado 1 c.p.
λ
λ+µ . Assim, a distribuição limite é

µ λ
π=[ , ].
λ+µ λ+µ

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 11 / 22

Cadeia de Markov a tempo contı́nuo - CMTC (cont.)

A distribuição de probabilidade dos estados em uma CMTC no instante t é dada

def
por πi (t) = P(Xt = i), i ∈ S, ou pelo vetor linha de dim 1×|S|

π(t) = [π1 (t), π2 (t), . . . ].

Então,
π(t) = π(0)P(t) ou π(t + s) = π(s)P(t)

Dizemos que uma d.p. π(t) é estacionária se π(t) = π, constante, satisfazendo

π = π P(t)

Então, π(t)U = U e πU = U.

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 12 / 22

Cadeia de Markov a tempo contı́nuo - CMTC (cont.)
Teorema
π é uma distrib. estac. satisfazendo π = πP(t), ∀t, s.s.s. πU = 1 e

πΛ = 0.

Prova:
π = πP(t)
= πe Λt
Λ2
= π(I + Λ + + ···)
2!
⇐⇒ πΛ = 0
No exemplo 1 dado, com dois estados,
  
µ λ −λ λ
πΛ = , = [0, 0]
λ+µ λ+µ µ −µ

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 13 / 22

Cadeia de Markov a tempo contı́nuo - CMTC (cont.)

Todas as classificações de equivalências (transiente, recorrente, nulo, ergódico e

irredutı́vel) definidas no caso discreto valem para o caso contı́nuo, com exceção
de periodicidade, que não faz sentido em tempo contı́nuo.
Temos que pij (t) = 0, ∀t > 0 ou pij (t) > 0, ∀t > 0.

Definição
Uma CMTC é irredutı́vel, se, ∀i, j ∈ S, pij (t) > 0 para algum t.

Uma CMTC com gerador Λ é irredutı́vel s.s.s, ∀i, j ∈ S, existir uma seqüência
k1 , k2 , ..., kn de estados tal que

λi,k1 · λk1 ,k2 · λk2 ,k3 · · · λkn ,j 6= 0,

o que garante existir c.p.> 0 uma trajetória i → k1 → k2 → · · · → kn → j.

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 14 / 22

Cadeia de Markov a tempo contı́nuo - CMTC (cont.)

Sejam Sk , k = 1, 2, . . . , os instantes em que ocorrem as transições entre estados e

Tk = Sk − Sk−1 os intervalos entre essas transições. Considerando a propriedade
de sem-memória de um processo markoviano, veremos que o tempo entre
transições são v.a.’s com distribuições exponenciais. No entanto, os Tk não são
identicamente distribuı́dos, apesar de independentes entre si, pois o parâmetro de
cada distribuição depende do estado em que a cadeia se encontra.
Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 15 / 22
Cadeia de Markov a tempo contı́nuo - CMTC (cont.)

Os instantes em que ocorrem transições em uma CMTC {Xt } podem ser

definidos recursivamente por

S0 = 0
Sn+1 = inf{t > 0 : Xt+Sn 6= XSn }, n ∈ N0

Os tempos entre transições são

(
Sn+1 − Sn , Sn+1 < ∞
Tn+1 =
∞, Sn+1 = ∞

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 16 / 22

Cadeia de Markov a tempo contı́nuo - CMTC (cont.)

Podemos definir uma CM a tempo discreto considerando apenas os instantes de

transição da CMTC, por
def
Yn = XSn , n ∈ N0 .
Esta cadeia {Yn } é homogênea e tem matriz probabilidade de transições dada por
Q = [qij ]i,j∈S , onde se λi = −λii > 0,
(
λij
, se j 6= i
qij = λi
0 j =i

e se λi = 0, qij = δij , i.e., (

6 i
0, se j =
qij =
1 se j = i

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 17 / 22

Cadeia de Markov a tempo contı́nuo - CMTC (cont.)
Defina
Tii = inf {τ ≥ 0 : Xt+τ 6= i e Xt = i}
Tii é o tempo de permanência (holding time) no estado i supondo estar no estado
i no instante t. Nesta definição,
\
{Tii > s} = {Xt+sn = i}
0=s0 <s1 <···<sn =s

∀n ∈ N0 e sequência {sk ∈ [0, s]}. Para uma CMTC homogênea (no tempo), a
probabilidade deste evento independe do instante t. Assim,
!
\
P ({Tii > s}) = P {Xsn = i}
0=s0 <s1 <···<sn =s

Segue-se que ∀n ∈ N0 , 0 < t1 < . . . < tn = t

P(Tii > t + s|Tii > t) = P(Tii > t + s|X0 = i, Xt1 = i, . . . , Xt = i)
= P(Tii > t + s|Xt = i)
= P(Tii > s)
Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 18 / 22
Cadeia de Markov a tempo contı́nuo - CMTC (cont.)
Segue-se que P(Tii > t + s) = P(Tii > t)P(Tii > s). Definindo
G (t) = P(Tii > t), temos

G (t + s) = G (t)G (s).

Daı́ segue-se que

0
G 0 (t) = G (t)G 0 (0) =⇒ G (t) = e G (0)t
.

Mas, G (0) = 1 e para h << 1, G (h) = P(Tii > h) = pii (h) + o(h). Logo,

G (h) − G (0)
G 0 (0) = lim
h↓0 h
pii (h) − 1 + o(h)
= lim
h↓0 h
def
= pii0 (0) = λii = −λi < 0.

Segue-se que G (t) = e −λi t , i.e., Tii ∼ exp(λi ).

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 19 / 22

Cadeia de Markov a tempo contı́nuo - CMTC (cont.)

De forma semelhante, o tempo de permanência em um estado i condicionado a

Xt = i e que a transição ocorre para o estado j é

Tij ∼ exp(λij )

Podemos então caracterizar uma CMTC como sendo um processo estocástico a

tempo contı́nuo e S enumerável satisfazendo:
(i) os tempos de transição saindo do estado i ∈ S são v.a.’s com f.d.p
exponenciais com média λi , independentes entre si:

Tii ∼ exp(λi );

(ii) ao ocorrer uma transição saindo de i, o processo entra no estado j, j 6= i

λ
com probabilidades qij = λiji , i 6= j e qii = 0.

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 20 / 22

Cadeia de Markov a tempo contı́nuo (cont.)

Exemplos de CMTC:
- Processo de nascimento e morte a tempo contı́nuo (PNM-TC) com taxas λi
de nascimento e µi de morte.
- Processos de Fila M/M/1 é um PNM-TC com λi = λ e µi = µ.
- Processos de Poisson, com µi = 0, λi = λ.

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 21 / 22

 Fim da Aula 15

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 17/5/2021 22 / 22