12.

Korelacijska teorija stohasti ckih pro-

cesa
...
12.1. Spektralna gusto ca i korelacijska funkcija
U mnogim se slu cajevima efikasna analiza signala (deterministi cke funkcije) X(t)
mo ze na ciniti prou cavanjem njezina spektra:

X(u) :=
_

X(t)e
iut
dt.
Funkcija

X naziva se Fourierov transformat. Ako veli cina X predstavlja, recimo,
ovisnost napona o vremenu (funkcija u gornjoj ili vremenskoj domeni), onda

X opi-
suje razdiobu napona po frekvencijama (funkcija u donjoj ili frekvencijskoj domeni).
Poznavaju ci spektar, signal je jednozna cno odre
-
den po formuli inverzije
X(t) =
1
2
_

X(u)e
iut
du.
Da bi

X bila definirana, signal X mora zadovoljavati stroge uvjete, od kojih je naj-
va zniji svojstvo apsolutne integrabilnosti. Taj nas uvjet sprje cava da tehniku Fourierove
analize primijenimo direktno u prou cavanju stohasti ckih procesa, zato sto trajektorija,
preslikavanje t X(, t) redovito ne zadovoljava taj uvjet.
Me
-
dutim, postoje druge veli cine koje su prirodno povezane uz svaki signal, po-
put njegove energije ili, jo s bolje snage, a koje ce zadovoljavati uvjet za egzistenciju
Fourierova transformata.

Neka je X(t) proces. Za fiksno T > 0 ozna cimo odrezani proces
X
T
(t) =
_
X(t), T < t < T,
0, ina ce.
2 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
Trajektorije ovakvog procesa su apsolutno integrabilne:
_

[X
T
(t)[dt =
_
T
T
[X(t)[dt < .
Zato postoji njegov Fourierov transformat

X
T
(u) =
_

X
T
(t)e
iut
dt =
_
T
T
X(t)e
iut
dt.
Energija ovog procesa jednaka je
E(T) =
_

X
T
(t)
2
dt =
_
T
T
X(t)
2
dt <
Po Parsevalovoj jednakosti, energija se mo ze dobiti i integriranjem u donjem podru cju:
E(T) =
1
2
_

[

X
T
(u)[
2
du.
Prosje cna energija daje snagu
P(T) =
1
2T
_
T
T
X(t)
2
dt =
1
2
_

[

X
T
(u)[
2
2T
du.
P(T) je slu cajna varijabla, jer njezin iznos ovisi o izboru trajektorije, odnosno o reali-
zaciji elementarnog doga
-
daja. U ovoj cemo relaciji na ciniti sljede ca dva postupka:
1. Usrednjiti snagu po svim mogu cim realizacijama, tj. odrediti o cekivanu vrijed-
nost,
2. Odrediti grani cnu vrijednost izraza kad vrijeme T raste u beskona cnost.
S o cekivanjem mo zemo pro ci znak integriranja. tako dobivamo:
P
XX
:= lim
T
1
2T
_
T
T
E[X
2
(t)]dt =
1
2
_

lim
T
E[[

X
T
(u)[
2
]
2T
du
P
XX
se naziva prosje cna snaga procesa. Podintegralna funkcija s desne strane je
vremensko usrednjenje, koje cemo ozna citi slovom A (po po cetnom slovu engleske
rije ci average). Vremensko usrednjenje za bilo koju funkciju f je broj definiran na
na cin:
A[f (t)] = lim
T
1
2T
_
T
T
f (t)dt.
Dakle, mo zemo napisati sljede cu vezu prosje cne snage i vremenskog usrednjenja:
P
XX
= A(E[X
2
(t)]) (12.1)
Ozna cimo jo s:
S
XX
(u) := lim
T
E[[

X
T
(u)[
2
]
2T
Ova funkcija predstavlja spektralnu gusto cu snage procesa. Onda je
P
XX
=
1
2
_

S
XX
(u)du. (12.2)
12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA 3
Primjer 1. Neka je X(t) = Acos(u
0
t + ) , gdje su A i u
0
konstante, a s
jednolikom razdiobom na intervalu [0,

2
] . Odredimo prosje cnu snagu ovog procesa.
Ra cunat cemo na dva na cina. Po (12.1) je
E[X(t)
2
] = E[A
2
cos
2
(u
0
t + )]
= E
_
A
2
2
+
A
2
2
cos(2u
0
t + 2)
_
=
A
2
2
+
A
2
2
_
/2
0
cos(2u
0
t + 2h)
2

dh
=
A
2
2

A
2

sin(2u
0
t).
Zaklju cujemo da proces nije stacionaran. Prosje cnu snagu dobit cemo preko vremen-
skog usrednjenja:
P
XX
= A(E[X(t)
2
]) = lim
T
1
2T
_
T
T
_
A
2
2

A
2

sin(2u
0
t)
_
dt
=
A
2
2

A
2

lim
T
1
2T
_
cos(2u
0
T) + cos(2u
0
T)
_
=
A
2
2
.
Odredimo sad spektralnu gusto cu snage. Vrijedi

X
T
(u) =
_
T
T
Acos(u
0
t +)e
iut
dt
=
A
2
e
i
_
T
T
e
i(u
0
u)t
dt +
A
2
e
i
_
T
T
e
i(u
0
+u)t
dt
= ATe
i
sin[(u
0
u)T]
(u
0
u)T
+ ATe
i
sin[(u
0
+ u)T]
(u
0
+ u)T
.
Sad treba odrediti
E[

X
T
(u)[
2
] =
_
/2
0

X
T
(u)

X
T
(u)
2

dh.
Nakon sre
-
divanja i integriranja, proizlazi
E[[

X
T
(u)[
2
]
2T
=
A
2

2
_
T

sin
2
[(u
0
u)T]
[(u u
0
)T]
2
+
T

sin
2
[(u
0
+ u)T]
[(u + u
0
)T]
2
_
.
U daljnjem ra cunu nam treba sljede ca formula, koju ovdje ne cemo izvoditi:
lim
T
T

_
sin(T)
T
_
2
= (),
gdje je Diracova d -funkcija,
() =
_
, = 0,
0, ,= 0
,
_

()d = 1.
Tako dobivamo:
S
XX
(u) = lim
T
E[[

X
T
(u)[
2
]
2T
=
A
2

2
[(u u
0
) + (u + u
0
)].
4 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
Ovu je formulu lako shvatiti. Na s proces ima periodi cke trajektorije, sa slu cajnim
pomakom, ali s istom frekvencijom. Zato samo jedna frekvencija sudjeluje u spektru
snage procesa.
Ra cunajmo sada srednju snagu pomo cu formule (2):
P
XX
=
1
2
_

S
XX
(u)du =
1
2
_

A
2

2
[(u u
0
) + (u + u
0
)]du
=
A
2
4
2 =
A
2
2
.

Svojstva spektralne gusto ce
Spektralna gusto ca snage procesa ima sljede ca svojstva:
1. S
XX
0,
2. S
XX
(u) = S
XX
(u) , (ako je X(t) realan).
3. S
XX
(u) je realna funkcija.
4.
1
2
_

S
XX
(u)du = A(E[X(t)
2
]).
5. S
XX
(u) i A[R
XX
(t, t +)] su par Fourierovih transformata, vrijedi
A[R
XX
(t, t +)] =
1
2
_

S
XX
(u)e
iu
du,
S
XX
(u) =
_

A[R
XX
(t, t + )]e
iu
d.
Poka zimo ovo svojstvo.
S
XX
(u) = lim
T
1
2T
E[

X
T
(u)[
2
= lim
T
1
2T
E[

X
T
(u)

X
T
(u)]
= lim
T
1
2T
_
T
T
_
T
T
E[X(t
1
)X(t
2
)e
iut
1
e
iut
2
dt
1
dt
2
.
Za T < t
1
, t
2
< T vrijedi R
XX
(t
1
, t
2
) = E[X(t
1
)X(t
2
)] . Zato je
S
XX
(u) = lim
T
1
2T
_
T
T
_
T
T
R
XX
(t
1
, t
2
)e
iu(t
1
t
2
)
dt
1
dt
2
=
_
_
t = t
2
= t
1
t
2
dt
1
dt
2
= dt d
_
_
= lim
T
1
2T
_
T
T
__
Tt
Tt
R
XX
(t + , t)e
iu
d
_
dt
=
_

_
lim
T
1
2T
_
T
T
R
XX
(t, t +)dt
_
e
iu
d
=
_

A[R
XX
(t, t +)]e
iu
d.
12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA 5

Ako je proces stacionaran u sirem smislu, onda je R
XX
(t, t +) = R
XX
() , t , pa
je i vremensko usrednjenje A[R
XX
(t, t +)] = R
XX
() . Tada vrijedi
S
XX
(u) =
_

R
XX
()e
iu
d,
R
XX
() =
1
2
_

S
XX
(u)e
iu
du.

Primjetimo nadalje da je R
XX
parna funkcija. Zato je S
XX
realna i mo ze se napisati
u obliku kosinus transformacije:
S
XX
(u) =
_

R
XX
()e
iu
d
=
_

R
XX
()[cos u i sin u]d
=
_

R
XX
() cos ud i
_

R
XX
() sin ud
= 2
_

0
R
XX
() cos ud
Primjer 2. Odredimo spektralnu gusto cu procesa
X(t) = Acos(u
0
t +)
gdje su A i u
0
konstante, a ima jednoliku razdiobu na intervalu [0, 2] .
Ovaj je proces (za razliku od sli cnog iz pro slog primjera) stacionaran, vrijedi
R
XX
() =
A
2
2
cos u
0
.
Prika zimo tu funkciju ovako:
R
XX
() =
A
2
4
_
e
iu
0

+ e
iu
0

_
.
Kako vrijedi
1
2
_

(u u
0
)e
iu
du =
1
2
e
iu
0

,
zaklju cujemo da je
e
iu
0

2(u u
0
)
i sli cno
e
iu
0

2(u + u
0
).
Zato je
R
XX
()


A
2
4
[2(u u
0
) + 2(u + u
0
)]
=
A
2

2
[(u u
0
) +(u + u
0
)] = S
XX
(u).
6 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
Primjer 3. Telegrafski signal. Neka je N(t) Poissonov proces s intenzitetom .
Stavimo
X(t) := (1)
N(t)
.
Ovaj se proces naziva telegrafski signal. On je jednak 1 ako se do trenutka t realizira
paran broj doga
-
daja koji generiraju Poissonov proces, a 1 ako ih do trenutka t bude
neparan broj.
Trajektorija procesa izgleda ovako:
-1
1
t
Sl. 12.1.
Odredimo jednodimenzionalne razdiobe procesa:
PX(t) = 1 = PN(t) = 0 +PN(t) = 2 +PN(t) = 4 + . . .
= e
t
_
1 +
(t)
2
2!
+
(t)
4
4!
+ . . .
_
= e
t
ch t,
PX(t) = 1 = PN(t) = 1 +PN(t) = 3 +PN(t) = 5 + . . .
= e
t
_
t +
(t)
3
3!
+
(t)
5
5!
+ . . .
_
= e
t
sh t.
Zato je o cekivanje ovog procesa
E[X(t)] = e
t
ch t e
t
sh t = e
2t
.
Da bismo odredili korelacijsku funkciju, moramo odrediti dvodimenzionalne raz-
diobe. Neka je t
1
< t
2
i = t
2
t
1
. Za zadanu vrijednost X(t
1
) = 1 bit ce X(t
2
) = 1
onda i samo onda ako se u intervalu [t
1
, t
2
] duljine ostvari paran broj doga
-
daja A.
Vjerojatnost toga je, zbog homogenosti procesa, jednaka e

ch . Zato je
PX(t
2
) = 1 [ X(t
1
) = 1 = e

ch ,
PX(t
1
) = 1, X(t
2
) = 1 = PX(t
1
) = 1PX(t
2
) = 1 [ X(t
1
) = 1
= e

ch e
t
1
ch t
1
.
12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA 7
Sli cno:
PX(t
1
) = 1, X(t
2
) = 1 = PX(t
1
) = 1PX(t
2
) = 1 [ X(t
1
) = 1
= e

ch e
t
1
sh t
1
,
PX(t
1
) = 1, X(t
2
) = 1 = PX(t
1
) = 1PX(t
2
) = 1 [ X(t
1
) = 1
= e

sh e
t
1
ch t
1
,
PX(t
1
) = 1, X(t
2
) = 1 = PX(t
1
) = 1PX(t
2
) = 1 [ X(t
1
) = 1
= e

sh e
t
1
sh t
1
.
Zato je
R
XX
(t
1
, t
2
) = E[X(t
1
)X(t
2
)]
= e

ch e
t
1
ch t
1
+ e

ch e
t
1
sh t
1
e

sh e
t
1
ch t
1
e

sh e
t
1
sh t
1
= e
2(t
2
t
1
)
.
Op cenito je
R
XX
(t
1
, t
2
) = e
2|t
2
t
1
|
.
Korelacijska funkcija procesa X ovisi samo o razlici vremena, me
-
dutimproces nije
stacionaran, jer mu o cekivanje nije konstantno. Razlog tome je sto vrijednost procesa u
samom po cetku nije bila slu cajna, ve c je on poprimio vrijednost 1 za svaku realizaciju.
Da bismo otklonili taj nedostatak, promotrimo proces
Y(t) = A X(t)
gdje je A slu cajna varijabla s zakonom razdiobe
A
_
1 1
1
2
1
2
_
nezavisna o procesu X . Tada je
E[Y(t)] = E[A X(t)] = E[A] E[X(t)] = 0,
R
YY
(t
1
, t
2
) = E[AX(t
1
)AX(t
2
)] = E[A
2
]R
XX
(t
1
, t
2
) = R
XX
(t
1
, t
2
).
Prema tome, Y je stacionaran proces s istom korelacijskom funkcijom kao i proces X .
Odredimo njezinu spektralnu gusto cu.
S
YY
(u) =
_

R
YY
()e
iu
d = 2
_

0
R
YY
() cos(u)d
= 2
_

0
e
2
cos(u)d
=
_

0
_
e
(2iu)
+ e
(2+iu)
_
d
=
4
4
2
+ u
2
.
8 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
Primjer 4. Izlazni signal Y iz nekoga sklopa koji ima vlastitu frekvenciju u
0
cesto
se pona sa po zakonu
Y(t) = X(t) Ccos(u
0
t),
pri cemu je X ulazni signal za koji cemo pretpostaviti da je stacionarni proces. Odre-
dimo spektralne karakteristike procesa Y .
Vrijedi
R
YY
(t, t +) = E[Y(t)Y(t + )]
= C
2
E[X(t)X(t + )] cos u
0
t cos u
0
(t +)
=
C
2
2
R
XX
()[cos(u
0
) + cos(2u
0
t + u
0
)].
Vidimo da izlazni signal nije stacionaran proces. Me
-
dutim, ra cunaju ci vremensko
usrednjenje, izgubit ce se dio koji ovisi o t :
A[R
YY
(t, t +)] =
C
2
2
R
XX
() cos(u
0
).
Odredimo Fourierove transformate lijeve i desne strane. Kako je
cos u
0
=
e
iu
0

+ e
iu
0

2
,
dobivamo:
S
YY
(u) =
C
2
4
[S
XX
(u u
0
) + S
XX
(u + u
0
)]
Ilustrirajmo ovu vezu slikom. Pretpostavimo da ulazni signal ima spektar cije su frek-
vencije manje od vlastite frekvencije u
0
sklopa. Onda se njegov spektar transformira
na na cin prikazan slikom.
-u u
S
xx
yy
0
0
S
u
Sl. 12.2. Graf spektra ulaznog signala (lijevo) i graf spektra izlaznog signala (desno).
Primjetimo da iz ovog grafa mozemo odrediti i vlastitu frekvenciju i spektar ulaznog signala.

Cesto se u primjenama signal javlja u obliku zbroja dvaju signala, od kojih je jedan
smetnja ili sum. Neka je
Z(t) = X(t) + Y(t).
12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA 9
Odredimo korelacijsku funkciju ovog procesa.
R
ZZ
(t, t +) = E[Z(t)Z(t +)]
= E[(X(t) + Y(t))(X(t +) + Y(t +)]
= E[X(t)X(t +) + X(t)Y(t +) + X(t +)Y(t) + Y(t)Y(t + )]
= R
XX
(t, t + ) + R
XY
(t, t +) + R
YX
(t, t +) + R
YY
(t, t +)
(12.3)
Ovdje su R
XX
i R
YY
autokorelacijske funkcije procesa X odnosno Y , a R
XY
i R
YX
kros-korelacijske funkcije procesa X i Y . Primijetimo da je op cenito R
XY
,= R
YX
.
Izra cunajmo sada spektralnu gusto cu snage procesa Z . Izvod ce biti sli can onom
za proces X . Ozna cimo:
X
T
(t) =
_
X(t), T < t < T,
0, ina ce,
Y
T
(t) =
_
Y(t), T < t < T,
0, ina ce.
Tad je uzajamna snaga ovih dvaju procesa
P(T) =
1
2T
_
T
T
X
T
(t)Y
T
(t)dt =
1
2T
_
T
T
X(t)Y(t)dt.
( P(T) je slu cajna varijabla.) Po Parsevalovoj jednakosti, vrijedi
1
2T
_
T
T
X
T
(t)Y
T
(t) =
1
2T
_

X
T
(t)Y
T
(t)dt =
1
2
_

X
T
(u)

Y
T
(u)
2T
du.
Ra cunaju ci o cekivanje lijeve i desne strane, dobivamo
P
XY
(T) =
1
2T
_
T
T
R
XY
(t, t)dt =
1
2
_

E[

X
T
(u)

Y
T
(u)]
2T
du.
Pustiv si da T , imamo kona cno
P
XY
= lim
T
1
2T
_
T
T
R
XY
(t, t)dt =
1
2
_

lim
T
E[

X
T
(u)

Y
T
(u)]
2T
du
Ozna cimo
S
XY
(u) := lim
T
E[

X
T
(u)

Y
T
(u)]
2T
.
Tad vrijedi
P
XY
=
1
2
_

S
XY
(u)du.
Na isti na cin
P
YX
=
1
2
_

S
YX
(u)du,
no ove se dvije funkcije za realne procese podudaraju, P
XY
= P
YX
(za sto?).
Iz (12.3), uzimaju ci vremensko usrednjenje, dobivamo
A[R
ZZ
(t, t+)] = A[R
XX
(t, t+)]+A[R
XY
(t, t+)]+A[R
YX
(t, t+)]+A[R
YY
(t, t+)]
Primijeniv si Fourierovu transformaciju pF na ovu jednakost, slijedi
S
ZZ
(u) = S
XX
(u) + S
YY
(u) +pF[AR
XY
(t, t + )] +pF[AR
YX
(t, t + )]
= S
XX
(u) + S
YY
(u) + S
XY
(u) + S
YX
(u).
10 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
12.2. Bijeli sum
Korelacijska funkcija R() stacionarnog procesa i spektralna gusto ca S(u) par
su Fourierovih transformata. To ima za posljedicu jo s jednu vezu izme
-
du tih funkcija,
povezanu sa svojstvima procesa X .
Ako za proces X vrijedi da je autokorelacijska funkcija R
XX
() malena za >
0
,
to zna ci da se ovisnost izme
-
du varijabli X(t) i X(t +) brzo gubi, te su varijable prak-
ti cki nekorelirane za >
0
. Me
-
dutim, ako R
XX
brzo opada s porastom vrijednosti
argumenta , sasvim je suprotna situacija s njezinom Fourierovom transformacijom
S
XX
(u) : u spektru takvog signala sudjelovat ce visoke frekvencije.
Ta se veza dobro vidi na primjeru para funkcija, korelacijske funkcije i spektralne
gusto ce telegrafskog signala:
R
XX
() = Ae
||
, S
XX
=
2A

2
+ u
2
.
R
S
u

xx
xx
Sl. 12.3.
Pove cavanjem iznosa za parametar , R
XX
postaje sve strmija, dok se krivulja
spektralne funkcije siri.

Svakako je ekstremni slu caj nekoreliranosti proces za koji bi bilo
R
XX
() = 0, > 0.
Za takav bi proces slu cajne varijable X(t) i X(t + ) bile nekorelirane, cim je > 0.
To svakako zna ci da se trajektorija tog procesa vrlo brzo i nepravilno mijenja. Neka je
dakle
R
XX
() =
N
0
2
(), (12.4)
onda je pripadna spektralna gusto ca
S
XX
(u) =
N
0
2
, (12.5)
konstantna, du z citavog spektra.
Denicija 1. Gaussov proces koji je stacionaran i ima korelacijsku funkciju (12.4)
naziva se bijeli sum.
12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA 11
Ime je ovaj proces dobio po analogiji sa bijelom svjetlo s cu, ciji se spektar sastoji
od svih frekvencija vidljive svjetlosti. Tako se i spektar bijelog suma sastoji od svih
frekvencija.
Moramo odmah kazati da ovakav proces fizikalno ne postoji. Naime, njegova bi
snaga bila beskona cna:
P
XX
=
1
2
_

S
XX
(u)du = .
Me
-
dutim, ovako definiran proces predstavlja matemati cku idealizaciju procesa koji se
javljaju u prirodi. Ako neki proces ima u citavom interesantnom frekvencijskom po-
dru cju konstantan spektar, tada se njegovo pona sanje vrlo dobro mo ze opisati bijelim
sumom.
Primjer 5. Termalni sum. Tipi can primjer takvog procesa je termalni sum koji
se javlja u vodi cima uslijed zagrijavanja. Naime, prijenosom signala vodi cem dolazi do
sudaranja elektrona nosilaca naboja s atomima vodi ca sto uzrokuje da se kineti cka
energija elektrona prenosi na atome koji uslijed toga pove cavaju svoje titranje. To se
titranje manifestira kao toplinsko zagrijavanje, a ovo uzrokuje promjenu samoga signala
u koji se ubacuje sum.
Spektar tog suma prakti cki je konstantan do na vrlo visoke frekvencije:
S
0
(u) = 4kTR.
Ovdje je R otpor vodi ca, k = 1.38 10
23
JK (Boltzmannova konstanta) a T tempe-
ratura u Kelvinovim stupnjevima.
To cnija je formula
S(u) = 4kTR
hu
kT
_
e
hu
kT
1
_
1
( h = 6.62 10
34
Js je Planckova konstanta). Uz normalnu sobnu temperaturu je
hu
kT
<<1 cak i za milimetarske valove i mo ze se koristiti pribli zna formula. Naime,
pri T = 290 K je S(u) > 0.9
N
0
2
za frekvencije do 10
12
Hz. Primjetimo da se
smanjivanjem temperature smanjuje i sum.
Snaga je termalnog suma
P = 4kTR
_

0
hu
kT
_
exp
_
hu
kT
_
1
_
1
du
= 4kTR
kT
h
_

0
x dx
e
x
1
=
2
2
3h
(kT)
2
R.
Primjer 6. Obojeni sum. Tim imenom nazivamo proces cija spektralna gusto ca
sadr zi samo dio spektra. Neka je
S
XX
(u) =
_
_
_
P
w
, [u[ < w,
0, [u[ > w.
12 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
S
-w w u
R
xx
xx

Sl. 12.4. Spektralna gusto ca i pripadna korelacijska funkcija obojenog suma. Na slici desno je
nacrtana i korelacijska funkcija za obojeni sum koji ima dvostruko ve cu granicu w.
Odredimo pripadnu korelacijsku funkciju:
R
XX
() =
1
2
_

S
XX
(u)e
iu
du
=
1
2
_
w
w
P
w
e
iu
du
=
P
2w

e
iw
e
w
i
= P
sin(w)
w
.
Primijetimo jo s da u grani cnom prijelazu w R
XX
prelazi u -funkciju.
Primjer 7. Neka je sada spektralna gusto ca konstantna u pruzi oko frekvencije u
0
,
sirine w, a nula ina ce:
S
XX
(u) =
P
w
, u
0

w
2
< [u[ < u
0
+
w
2
.
12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA 13
S
-u u u
R xx
xx

w w
0 0
Sl. 12.5.
Sada je
R
XX
() =
1
2
_

S
XX
(u)e
iu
du
=
2
2
_

0
S
XX
(u) cos(u)du
=
2
2
_
u
0
+
w
2
u
0

w
2
P
w
cos(u)du
=
P
w
_
sin(u
0
+
w
2
) sin(u
0
0
w
2
)
_
=
2P
w
sin
w
2
cos(u
0
)
= Pcos u
0

_
sin
w
2
w
2
_
.
Ergodski procesi
Kako se u praksi mogu odrediti karakteristike procesa? Da bismo mu izra cunali
o cekivanje m(t) , morali bismo imati po volji mnogo trajektorija i tra ziti srednju vri-
jednost realizacija procesa: ako su
1
, . . . ,
n
elementarni doga
-
daji, onda se pribli zna
vrijednost za o cekivanje m(t) nalazi formulom
m(t)
X(t,
1
) + . . . + X(t,
n
)
n
.
Sli cno bi se ra cunala disperzija, korelacijska funkcija i sli cno.
Me
-
dutim, ovakva je shema cesto u stvarnosti nemogu ca. Razlog je tome sto je
vrlo cesto nama dostupna jedna jedina realizacija procesa. Mo zemo li na osnovi te
realizacije utvrditi numeri cke karakteristike procesa? Odgovor je, na zalost, ne!
14 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
Jedini je izlaz iz ove situacije pretpostaviti da proces posjeduje dodatno svojstvo,
ergodi cnost.
Iz jedne trajektorije procesa mi mo zemo ra cunati njezino vremensko usrednjenje.
Dobi cemo kao rezultat
x() = A[x(t, )] = lim
T
1
2T
_
T
T
x(t)dt.
x je slu cajna varijabla, svakoj realizaciji odgovara jedna trajektorija i njezino
vremensko usrednjenje, koje se mo ze razlikovati za razli cite trajektorije. Na isti se
na cin mo ze odrediti i vremenska autokorelacija:
R(, ) = A[x(t, )x(t +, )] = lim
T
1
2T
_
T
T
x(t, )x(t +, )dt.
Kako operator vremenskog usrednjenja i operator o cekivanja komutiraju, za stacionarni
proces vrijedi
E[x] = E[x], E[R()] = R(),
sto pokazuje kako vremensko usrednjenje mo ze poslu ziti kao procjena za ove numeri cke
karakteristike.
Denicija 2. Za proces ka zemo da je ergodski ako se vremenska usrednjenja o ce-
kivanja i korelacijskih funkcija podudaraju za svaku trajektoriju
1
procesa.
Tad je ispunjeno
x() = E[x], R(, ) = R(), .
Mo zemo li u praksi provjeriti je li neki proces ergodi can ili ne? Ako nam je
dostupna samo jedna njegova trajektorija, nema na cina da onda provjerimo njegovu
ergodi cnost. Ipak za mnoge se stacionarne procese s pravom mo ze pretpostaviti da
posjeduju ovo svojstvo.
Primjer 8. Sonarni sustav. Sonar je ure
-
daj kojim se mo ze odrediti udaljenost
od izvora zvuka do nekog objekta. Koristi se obi cno u pomorstvu, u podmornicama
za odre
-
divanje udaljenosti do cvrstog objekta, u brodovima ribaricama za odre
-
divanje
udaljenosti do jata riba (koje su locirane radarom). Rad se sonara zasniva na principu
pretpostavljene ergodi cnosti emitiranog bijelog suma. Bijeli se sum emitira iz izvora i
usmjerava prema objektu. Vrijeme T potrebno da se odbijen i signal vrati do prijemni-
ka povezano je s udaljeno s cu formulom: 2d = vT , gdje je v brzina zvuka u vodi, a d
udaljenost do objekta. Istovremeno s emitiranjem, signal se pu sta kroz vremenski po cek
duljine trajanja . Vra ceni signal mno zi se s originalnim i propu sta kroz integrator
(slika 12.6).
1
Ispravnije bi bilo kazati: za skoro svaku, sto je sinonim za: s vjerojatno s cu 1, ili, skoro sigurno
12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA 15
generator
suma
pomak
mnozitelj
integrator
mikrofon
zvucnik
objekt
Sl. 12.6.
Tako na izlazu iz sklopa dobivamo vrijednost
1
2T
_
T
T
u(t + )u(t + T)dt = R(T ) = R(T ) =
2
(T ).
Zbog pretpostavke ergodi cnosti, vremensko se usrednjenje podudara s korelacijskom
funkcijom. Ova je korelacijska funkcija jednaka nuli ako je ,= T . Mijenjanjem
po ceka , odredit ce se onaj trenutak kad je R(T ) ,= 0, sto se realizira kao signal
snage
2
. Tada je vrijednost od upravo jednaka vremenu T .
12.3. Linearni sustavi
Transformacija ulaznog deterministi ckog signala x mo ze se shvatiti kao djelovanje
nekog operatora L:
y(t) = L(x(t))
x(t) y(t)
h(t, )
Sl. 12.7. Shematski prikaz linearnog sustava
Mi cemo promatrati takve sustave za koje je L linearni operator, preslikavanje
koje ima svojstvo linearnosti:
L(
1
x
1
+ . . . +
n
x
n
) =
1
L(x
1
) + . . . +
n
L(x
n
).
Najjednostavnije je formalno operirati s linearnim operatorom koji se dade pred-
staviti integralom. Kori stenjem ra cuna s poop cenim -funkcijama, to mo zemo u cini
16 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
na sljede ci na cin. Svaka se funkcija mo ze napisati u obliku integrala konvolucijskog
tipa:
x(t) =
_

x()(t )d.
Kako je L linearan operator, on komutira s integralom:
L(x(t)) =
_

x()L((t ))d.
Ozna cimo s h(t, ) djelovanje operatora L na Diracovu funkciju (t ) . Funkciju
h nazivamo impulsnim odzivom sustava, jer je to reakcija sustava na signal koji je
impuls (delta funkcija). Tada se odziv sustava na signal x mo ze prikazati u obliku
linearne integralne transformacije:
y(t) =
_

x()h(t, )d.
Pretpostavit cemo da h(t, ) ne ovisi o apsolutnom iznosu argumenata t i , ve c
samo o njihovoj razlici, sto je karakteristika vremenski invarijantnih sustava:
L((t )) = h(t ).
Onda je rezultat y integralna transformacija konvolucijskog tipa:
y(t) =
_

x()h(t ) = x(t) h(t).

Fourierova transformacija ove funkcije bit ce umno zak Fourierovih transformata:
y

(u) :=
_

y(t)e
iut
dt =
_

__

x()h(t )d
_
e
iut
dt
=
_

x()e
iu
d
__

h(t )e
iu(t)
d(t )
_
= x

(u) h

(u).

Neka je sada X(t) slu cajan signal i
Y(t) =
_

X()h(t )d =
_

h()X(t )d
12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA 17
Pretpostavimo da je proces X stacionaran. Odredimo prva dva momenta slu cajnog
procesa Y .
E[Y(t)] = E
_

h()X(t )d
=
_

h()E[X(t )]d = X
_

h()d = Y.
E[Y(t)
2
] = E
__

h(
1
)X(t
1
)d
1
_

h(
2
)X(t
2
)d
2
_
=
_

h(
1
)h(
2
)E[X(t
1
)X(t
2
)]d
1
d
2
=
_

h(
1
)h(
2
)R
XX
(
1

2
)d
1
d
2
.
Primjer 9. Neka je X bijeli sum, za koji je
R
XX
(
1

2
) =
N
0
2
(
1

2
).
Disperzija procesa Y je
E[Y]
2
=
_

N
0
2
(
1

2
)h(
1
)h(
2
)d
1
d
2
=
N
0
2
_

h
2
(
1
)d
1
.

Op cenitije, korelacijska funkcija procesa Y iznosi:
R
YY
(t, t + ) = E[Y(t)Y(t +)]
= E
__

h(
1
)X(t
1
)d
1
_

h(
2
)X(t
2
)d
2
_
=
_

h(
1
)h(
2
)R
XX
( +
1

2
)d
1
d
2
Vidimo da je Y stacionaran. Ova se funkcija mo ze prikazati tako
-
der u obliku konvolu-
cije:
R
YY
() = R
XX
() h() h().
Sli cno se ra cuna i kros-korelacijska funkcija ulaznog i izlaznog signala:
R
XY
(t, t + ) = E
_
X(t)
_

h()X(t + )d
_
=
_

E
_
X(t)X(t + )

h()d
=
_

R
XX
( )h()d
sto se ponovno mo ze zapisati preko konvolucije:
R
XY
= R
XX
() h().
18 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
Fourierov transformat korelacijske funcija jest spektralna gusto ca snage procesa.
Iz gornjih formula neposredno slijedi
S
YY
(u) = S
XX
(u) h

(u) h

(u) = [h

(u)[
2
S
XX
(u).

Funkcija H(u) mo ze se odrediti tako da se promotri odziv sustava na ulazni signal
oblika x(t) = e
iut
. Naime, tada je
y(t) =
_

h()x(t )d =
_

h()e
iut
e
iu
d = e
iut
H(u).
Prema tome, vrijedi
H(u) =
y(t)
x(t)
.
Ova je formula, naravno, istinita samo za ulazni signal gornjeg specijalnog oblika.
Primjer 10. Jednostavan primjer linearnog sustava opisan je jednad zbom
y(t) = x

(t).
Sada je u donjem podru cju
y

(u) = (iu)x

(u) = H(u)x

(u)
pa je funkcija sustava H(u) = iu. Zato imamo
S
xy
(u) = S
xx
(u)(iu), S
x

x
(u) = [H(u)[
2
S
xx
(u) = u
2
S
xx
(u).
Odavde
R
xx
() =
dR
xx
()
d
, R
x

x
() =
d
2
R
xx
()
d
2
.
Primjer 11. Za zadani proces x(t) , proces definiran formulom
y(t) :=
1
2
_
t+
t
x()d
rezultat je djelovanja linearnog operatora. Ovu operaciju nazivamo izgla
-
divanjem
Neka je h(t) funkcija definirana formulom
h(t) =
_
1/2, [t[ < ,
0, [t[ > .
Konvolucija ove funkcije sa signalom x je
_

h(t )x()d =
_
t+
t
1
2
x()d = y(t).
Fourierov transformat funkcije h(t) je funkcija sustava
H(u) =
1
2
_

e
iut
dt =
sin u
u
.
12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA 19
Zato je
S
yy
(u) = S
xx
(u)
sin
2
u

2
u
2
.
Primjetimo da je original funkcije (sin
2
u)/
2
u
2
funkcija
_
_
_
1
2
_
1
[[
2
_
, [[ < 2,
0 [[ > 2.
Spektar S
yy
(u) umno zak je dviju funkcija u frekvencijskom podru cju. Njegov je origi-
nal konvolucija pojedinih originala. Zato je
R
yy
() =
1
2
_
2
2
_
1
[[
2
_
R
xx
( )d.
Ovaj rezultat mo zemo iskoristiti u ra cunanju momenata vremenskog usrednjenja
stohasti ckog procesa
x =
1
2T
_
T
T
x(t)dt.
Stavimo = T . Slijedi: x = y(0) i zato
E[[x[
2
] = E[[y(0)[
2
] = R
yy
(0) =
1
2T
_
2T
2T
_
1
[[
2T
_
R
xx
()d.
Primjer 12. Odredimo H(u) za LR krug prikazan slikom.
x(t)
R
y(t)
Sl. 12.8.
Vrijedi
x(t) = L
di
dt
+ y(t).
Kako je y(t) = iR, ova se jednad zba svodi na
dy(t)
dt
+
R
L
y(t) =
R
L
x(t).
U donjem podru cju, njezina je jednad zba
(iu)y

(u) +
R
L
y

(u) =
R
L
x

(u),
odakle slijedi
y

(u) =
1
1 +
iuL
R
x

(u) = H(u) x

(u).
20 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
Zato je, npr.
S
yy
(u) =
R
2
R
2
+ u
2
L
2
S
xx
(u).
Primjer 13. Transformacija bijelog suma u RC krugu. Promotrimo strujni krug
na slici 12.9 na koji je narinut napon u obliku bijelog suma X(t) = n
0
(t) .
x(t)
R
C y(t)
Sl. 12.9. Djelovanje bijelog suma na RC krug
Izlazni signal neka je napon na kondenzatoru Y(t) . Tada je
X(t) = RI(t) +
1
C
_
t
0
I()d = RI(t) + Y(t).
Odavde je I(t) = C
dY
dt
odakle slijedi
X(t) = RC
dY
dt
+ Y(t)
odnosno
dY
dt
+Y(t) = n
0
(t)
gdje smo ozna cili = 1/RC.
Rje senje ove diferencijalne jednad zbe, pri po cetnom uvjetu Y(0) =
0
je
Y(t) =
0
e
t
+e
t
_
t
0
e

n
0
()d.
Pretpostavljamo da je po cetno stanje
0
deterministi cko. Neznatno druk cija analiza bi
se primjenjivala ako je to slu cajna varijabla.
Odredimo stohasti cke karakteristike procesa Y . Iz njegova oblika zaklju cujemo
da je to gaussovski proces. Naime, kona cna kombinacija gaussovskog procesa je opet
gaussovski proces. Limes gaussovskih procesa je gaussovski proces. Zato je i integral
gaussovskog procesa, kao limes kona cne sume gaussovskih procesa opet gaussovski
proces. Izra cunajmo mu o cekivanje:
m
Y
(t) =
0
e
t
+e
t
_
t
0
e

E[n
0
()]d =
0
e
t
.
Vidimo da se o cekivanje napona na kondenzatoru pona sa ba s kao da suma i nema.
Razlog tome je sto je o cekivanje suma jednako nuli.
12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA 21
Odredimo sada korelacijsku funkciju centriranog procesa:
R
YY
(t
1
, t
2
) = E[(Y(t
1
) m
Y
(t
1
))(Y(t
2
) m
Y
(t
2
)]
=

2
N
0
2
e
(t
1
+t
2
)
_
t
1
0
_
t
2
0
e
(
1
+
2
)
(
2

1
)d
1
d
2
.
Podintegralna funkcija u dvostrukom integralu razli cita je od nule samo na dijagonali
t
1
= t
2
. Podru cje integracije je pravokutnik sa stranicama t
1
i t
2
i integracija ce
zavr siti u to cki u kojoj dijagonala zasje ce kra cu stranicu pravokutnika. Neka je zato
t = min(t
1
, t
2
) . Pretpostavimo na tren da je t
2
> t
1
i stavimo = t
2
t
1
. Onda je
integral jednak:
_
t
1
0
_
t
2
0
e
(
1
+
2
)
(
2

1
)d
1
d
2
=
_
t
0
e

1
d
1
_
t
0
e

2
(
2

1
)d
2
=
_
t
0
e
2a
1
d
1
=
1
2
(e
2t
1).
Tako u ovom slu caju dobivamo
R
YY
(t, t
2
) =
N
0
4
e
(t+t
2
)
(e
2t
1)
sto se mo ze napisati i ovako:
R
YY
(t, t +) =
N
0
4
e

(1 e
2t
)
Sli cnim ra cunom, za < 0 dobit cemo analognu formulu, tako da op cenito vrijedi
R
YY
(t, t + ) =
N
0
4
e
||
(1 e
2t
).
Odavde, za = 0, mo zemo izra cunati disperziju procesa Y(t) :
D[Y(t)] =
N
0
4
(1 e
2t
).
Kad t , korelacijska funkcija te zi ka
R
YY
() = lim
t
N
0
4
e
||
(1 e
2t
) = De
||
,
pri cemu je D =
N
0
4
= lim
t
D[Y(t)] .
Ovi limesi zapravo predstavljaju vremensko usrednjenje korelacijske funkcije i
disperzije. Pripadna spektralna gusto ca je
S
YY
(u) =
_

R
YY
()e
iu
d =
2D

2
+ u
2
.
Promotrimo diferencijalnu jednad zbu
a
n
y
(n)
(t) + . . . + a
0
y(t) = x(t).
Preslikajmo ovu jednad zbu u donje podru cje. Koriste ci svojstva Fourierove transfor-
macije, dobivamo
a
n
(iu)
n
y

(u) + . . . + a
0
y

(u) = x

(u).
22 12. KORELACIJSKA TEORIJA STOHASTI

CKIH PROCESA
Odavde je
y

(u) =
1
a
n
(iu)
n
+ . . . + a
1
(iu) + a
0
x

(u) = H(u)x

(u).
Prema tome, rje senje ove jednad zbe mo zemo shvatiti kao izlaz iz sustava sa funkcijom
sustava
H(u) =
1
a
n
(iu)
n
+ . . . + a
1
(iu) + a
0
.
Primjer 14. Promotrimo jednad zbu
d
2
y(t)
dt
2
+
dy(t)
dt
+ u
2
0
y(t) = x(t)
gdje je > 0 konstanta, a x(t) bijeli sum sa spektrom . Tad je spektar rje senja ovog
sustava
S
yy
(u) =
S
xx
(u)
[(iu)
2
+iu + u
2
0
[
2
=

(u
2
u
2
0
)
2
+
2
u
2
.
Kakva je korelacijska funkcija R() ? Njezin oblik ovisi o karakteristikama sklopa:
1. Ako je
2
< 4u
2
0
, tada stavimo u
1
=
_
u
2
0

2
/4 pa vrijedi
R
yy
() =

2u
2
0
e
||/2
_
cos u
1
+

2u
1
sin u
1
[[
_
.
2. Ako je
2
= 4u
2
0
, tada
R
yy
() =

2u
2
0
e
||/2
_
1 +

2[[
_
.
3. Ako je
2
> 4u
2
0
, tada stavimo u
2
=
_

2
/4 u
2
0
pa vrijedi
R
yy
() =

2u
2
0
e
||/2
_
ch u
2
+

2u
2
sh u
2
[[
_
.
13.
Procjene, prognoze i ltri
U ovom cemo poglavlju rje savati problem procjenjivanja vrijednosti nekog stohas-
ti ckog procesa na osnovu poznatih vrijednosti nekog drugog procesa, koji je s njim na
izvjestan na cin povezan. Ozna cimo te procese s s(t) (signal) i x(t) . Pretpostavljat
cemo da su nam poznati podaci o vrijednosti procesa x u nekim to ckama x() , I .
I je skup vremenskih parametara, koji se mo ze sastojati od npr. samo jedne ili dvije
to cke, od kona cno mnogo to caka, ali mo zda i od svih to caka unutar nekog intervala.
Proces x ce se obi cno podudarati sa signalom s ili ce biti prikazivan u obliku
x(t) = s(t) + n(t)
gdje je n dodatni proces, naj ce s ce sum, koji je obi cno nekoreliran s procesom s .
Znaju ci vrijednosti procesa x u to ckama skupa I , poku sat cemo odrediti vrijed-
nosti neke slu cajne varijable povezane s procesom s . Ozna cimo s g tu varijablu. To
mo ze biti npr.
1. Vrijednost procesa u to cki t : g = s(t) . Ovdje je obi cno x(t) = s(t) . Poznate
su nam vrijednosti procesa s u nekim to ckama. Recimo, ako je I = a, b, onda
se problem odre
-
divanja procjene slu cajne varijable g = s(t) , a < t < b iz poznatih
slu cajnih varijabli s(a) i s(b) naziva interpolacija
2. Neka je ponovno tra zena vrijednost g = s(t) , ali iz poznate vrijednosti procesa
x(t) = s(t) +n(t) . Ovaj se problem naziva filtracija. Skup I mo ze biti razli cite naravi,
pa cak i citava vremenska os.
3. Vrijednost procesa u nekoj budu coj to cki t + : g = t +) . Ovde I mo ze biti
I = t, pa se na osnovu poznate sada snje vrijednosti s(t) poku sava procjeniti budu ca
vrijednost s(t + ) . Ovaj se problem naziva prognoza. Dakako, I mo ze biti i citav
interval I = , t] .
4. Vrijednost derivacije ili integrala procesa g = s

(t) , g = s

(t + ) ili
g =
_
b
a
s(t)gdt , opet uz razli cite izbore skupa I .
Kriterij najbolje procjene
To cnu vrijednost procjene g naj ce s ce nije mogu ce odrediti. Umjesto toga, mi
se zadovoljavamo izvjesnom aproksimacijom g. I ta aproksimacija mo ze se zadavati
24 13. PROCJENE, PROGNOZE I FILTRI
iz zadanih podataka na razli cite na cine. Mi cemo se ograni citi na linearnu ovisnost
procjene g o skupu poznatih podataka. Tako cemo pisati
g = L[x()]
gdje je L neki linearni operator definiran na skupu x(), I.
Na primjer, u problemu interpolacije zelimo odrediti g = s(t) iz poznatih vrijed-
nosti s(a) i s(b) . Rje senje cemo tra ziti u obliku
g = s(a) +s(b).
Problemse svodi na to da se odrede konstante i tako da dobivena slu cajna varijabla
g bude, u nekom smislu, najbli za slu cajnoj varijabli g = s(t) .
Dakako da se naj ce s ce na sa procjena ne ce podudarati sa stvarnom vrijedno s cu
slu cajne varijable g, razlika g g bit ce razli cita od nule. Da bismo mogli nastaviti
analizu, moramo precizirati na koji na cin cemo mjeriti pogre sku procjene. Nekoliko je
logi cnih na cina na koji se ta pogre ska mo ze odre
-
divati. Bilo bi razumno uzeti kao cilj
procjene tra ziti da vjerojatnost
P([ g g[ > )
bude minimalna. Me
-
dutim, takvu je vrijednost u praksi nemogu ce ra cunati,
Pokazuje se da je za problemlinearne aproksimacije najbolje uzeti sljede cu veli cinu
kao mjeru za pogre sku:
e = E[[ g g[
2
].
U tom slu caju, ka zemo da tra zimo najbolju procjenu u smislu sredine reda 2.
Teorem 1. Najbolja procjena g = L[x()] dobiva se ako je razlika g g okomita
na sve x() , I :
E(g L[x()])x(
i
) = 0,
i
I. (13.1)
tad je minimalno srednjekvadratno odstupanje e
m
dano s
e
m
= E(g L[x()])g.
Dokaz. Neka je L
1
operator koji minimizira e . Tad je
g L
1
[x()] = g L[x()] + L[x()] L
1
[x()] = g L[x()] + L
2
[x()].
Tu smo ozna cili L
2
= L L
1
. Razlika dvaju linearnih operatora je opet linearni
operator. Napi simo sada minimalnu pogre sku ovako:
e
m
= E(g L
1
[x()])
2
= E(g L[x()] + L
2
[x()])
2

Kako je razlika gL[x()] po pretpostavci okomita na podatke, ona mora biti okomita
i na bilo koju linearnu kombinaciju od x() , zato
E(g L[x()])L
2
[x()]) = 0.
Kvadriranjem prethodnog izraza i uva zavaju ci ovu relaciju slijedi
e
m
= E(g L[x()])
2
+E(L
2
[x()])
2

Posljednji je clan nenegativan. Zato mora biti jednak nuli, jer je e

m
minimalna pogre s-
ka:
EL
2
[x()]
2
= 0.
Odavde zaklju cujemo da je s vjerojatno s cu 1 ispunjeno L
2
[x()] = 0, odnosno L = L
1
.
13. PROCJENE, PROGNOZE I FILTRI 25
Kako je gL[x()] ortogonalna na linearnu kombinaciju L[x()] podataka, vrijedi
E(g L[x()])
2
= E(g L[x()])g.

Problem najbolje procjene mo ze se povezati s apstraktnim problemom najbolje
aproksimacije u unitarnom prostoru V . izdvojimo prostor svih kvadratno-integrabilnih
slu cajnih varijabli:
V = x : R : E[[x[
2
] < .
U ovom se prostoru mo ze definirati skalarni produkt, formulom
(x [ y) := E[x y]
lako se provjerava da je ova funkcija uistinu skalarni produkt.
Ortogonalnost u ovom skalarnom produktu podudara se s pojmom ortogonalnih
slu cajnih varijabli:
(x [ y) = 0 E[xy] = 0.
(Ako x i y imaju o cekivanje 0, tad je ortogonalnost isto sto i nekoreliranost.) Iz
skalarnog se produkta izvode pojmovi norme i udaljenosti:
|x| =
_
(x [ x) =
_
E[x x] =
_
E[[x[
2
].
d(x, y) = |x y| =
_
E[[x y[
2
].
Napomenimo jo s da se u slu caju slu cajnih varijabli s vrijednostima u skupu kom-
pleksnih brojeva skalarni produkt definira s
(x [ y) = E[x y]
( y ozna cava kompleksno konjugiranje). U nastavku cemo formule zapisivati za realne
slu cajne varijable. Me
-
dutim, istovjetni rezultati vrijede i u kompleksnom slu caju.
Neka su s
1
, . . . , s
n
elementi prostora V , s o cekivanjem E[x
i
] = 0, i = 1, . . . , n.
Ozna cimo s W potprostor razapet tim elementima to je skup svih linearnih kombi-
nacija
W =
1
x
1
+ . . . +
n
x
n
.
Tra zimo najbolju aproksimaciju vektora g prostora V , E[g] = 0 unutar potprostora
W . To ce biti vektor g cija je udaljenost do g najmanja, a koji se mo ze prikazati u
obliku linearne kombinacije vektora x
1
, . . . , x
n
. Ta najbolja aproksimacija jest upravo
ortogonalna projekcija vektora g na potprostor W .
26 13. PROCJENE, PROGNOZE I FILTRI
Sl. 13.1. Najbolja aproksimacija g
vektora g unutar potprostora W jest
njegova ortogonalna projekcija na taj
potprostor
x
x
g
x
g
1
2
n
Vektor g g ortogonalan je na W , dakle on mora biti ortogonalan na svaki element
x
i
. Time dobivamo uvjete
(g g [ x
i
) = 0, i = 1, . . . , n (13.2)
koji su samo drugi zapis uvjeta (13.1) koje mora zadovoljavati najbolja procjena.
Stavimo g =
n

j=1

j
x
j
u (13.2). Dobit cemo
(g
n

j=1

j
x
j
[ x
i
) = (g [ x
i
)
n

j=1
(x
j
[ x
i
) = 0.
Ovi se skalarni produkti mogu izraziti s pomo cu elemenata korelacijske matrice:
(x
j
[ x
i
) = E[x
j
x
i
) = R
ji
.
Prema tome, nepoznate koeficijente
j
odre
-
divat cemo iz linearnog sustava:

1
R
11
+
2
R
21
+ . . . +
n
R
n1
= R
01
,

2
R
12
+
2
R
22
+ . . . +
n
R
n2
= R
02
,
.
.
.

1
R
1n
+
2
R
2n
+ . . . +
n
R
nn
= R
0n
,

Pove cavanjem broja podataka, pogre ska aproksimacije ce se u principu smanjivati.
Ta je pogre ska dana izrazom
e = E[(g g)g]. (13.3)
Me
-
dutim, zbog uvjeta ortogonalnosti vrijedi
0 = E[(g g) g]. = E[g g] E[[ g[
2
].
Zato je E[g g] = E[[ g[
2
] i najmanja se pogre ska mo ze napisati ovako:
e = E[[g[
2
] E[[ g[
2
] = |g|
2
| g|
2
.
( sto je jasno sa slike 13.1, po Pitagorinu pou cku!). Iz (13.3) za najmanju pogre sku
dobivamo vrijednost
e = R
00

1
R
01
. . .
n
R
0n
.
13. PROCJENE, PROGNOZE I FILTRI 27
Ova je pogre ska uvijek pozitivna, iako to iz ovog zapisa nije vidljivo. Jednako tako nije
vidljivo da se pove cavanjem broja podataka pogre ska na celno smanjuje, jer se pove cava
norma | g|. Jedina se iznimka doga
-
da kad je razlika g g (koja predstavlja pogre sku
aproksimacije) okomita na nove podatke, pa se njihovim dodavanjem ta pogre ska ne ce
smanjiti. To se doga
-
da onda kad su novi podaci linearno zavisni s ve c postoje cim.

Pogledajmo nekoliko tipi cnih primjera.
Primjer 1. Prognoza) Poznata je vrijednost procesa s(t) u trenutku t .

Zelimo
procjeniti vrijednost procesa u nekom budu cem trenutku s(t + ) .
Ovdje je x(t) = s(t) , g = s(t +) a tra zena procjena g ima oblik
= s(t).
Po uvjetima (13.1) nepoznata konstanta mora se odrediti tako da pogre ska bude
okomita na podatke:
E[(g g)s(t)] = E[(s(t + ) s(t))s(t)] = 0.
Odavde slijedi
R() R(0) = 0
te je optimalna vrijednost parametra =
R(0)
R()
. Primjetimo da je [[ 1.
Primjer 2. (Filtracija) Poznata je vrijednost procesa x(t) , zelimo procjeniti vri-
jednost drugog procesa s(t) . Sada je g = x(t) i uvjet ortogonalnosti daje
E[(s(t) x(t))x(t)] = 0
odnosno
R
sx
(0) R
xx
(0) = 0 = =
R
sx
(0)
R
xx
(0)
.
Odredimo pogre sku. Minimalna je pogre ska
e = E[s(t) x(t)]s(t) = R
ss
(0) R
sx
(0) = R
ss
(0)
R
sx
(0)
2
R
xx
(0)
.
Proces x naj ce s ce je u ovakvim situacijama zbroj signala i suma:
x(t) = s(t) + n(t).
Prirodno je pretpostaviti da su signal i sum nekorelirani. Tada je
R
sx
() = R
ss
(), R
xx
() = R
ss
() + R
nn
().
Dakle,
=
R
ss
(0)
R
ss
(0) + R
nn
(0)
, =
R
ss
(0)R
nn
(0)
R
ss
(0) + R
nn
(0)
.
28 13. PROCJENE, PROGNOZE I FILTRI
Primjer 3. (Interpolacija) Procijenimo s(t) iz poznatih vrijednosti s(0) i s(T) .
g = s(t) g = s(0) +s(T).
Iz uvjeta ortogonalnosti pogre ske na podatke pi semo
E[s(t) s(0) s(T)]s(0) = 0,
E[s(t) s(0) s(T)]s(T) = 0.
Odavde
R(t) = R(0) + R(T),
R(T t) = R(T) +R(0).
Ovaj se sustav uvijek mo ze razrije siti po i . Determinanta sustava je R(0)
2
R(T)
2
,
pozitivna osim u vrlo posebnim slu cajevima kad je korelacijska funkcija periodi cka a
T je upravo njezin period. (Korelacijska funkcija mo ze imati u to cki T ,= 0 vrijednost
jednaku R(0) samo ako je periodi cka.)
Posebice, za t = T/2 rje senje je sustava
a = b =
R(T/2)
R(0) + R(T)
.
Primjer 4. Procijenimo s(t +) iz poznatih vrijednosti s(t) i s

(t) .
Sad je g = s(t) +s

(t) . Iz uvjeta (13.1)

E[s(t + ) s(t) s

(t)]s(t) = 0,
E[s(t + ) s(t) s

(t)]s

(t) = 0.
Odavde:
R
ss
() R
ss
(0) R
s

s
(0) = 0,
R
ss
() R
ss
(0) R
s

s
(0) = 0.
Iskoristimo sad svojstva korelacijske funkcije derivacije s

procesa s . Najprije,
da bi proces s

bio definiran, korelacijska funkcija R

ss
mora biti derivabilna u nuli.
Me
-
dutim, ta je funkcija parna. Zato, njezina derivacija u nuli mora biti jednaka nuli:
R

ss(0) = 0. Nadalje, vrijedi

R
s

s
() = R

ss
(), R
ss
() = R

ss
(), R
s

s
() = R

ss
().
Zato je R
s

s
(0) = R
ss
(0) = 0 i iz gornjih relacija dobivamo
=
R()
R(0)
, =
R

()
R

(0)
.
Najbolja je procjena
g =
R()
R(0)
s(t) +
R

()
R

(0)
s

(t).
Ova je formula pobolj sanje deterministi cke procjene:
s(t +) s(t) +s

(t).
Za malene vrijednosti parametra vrijede ocjene
R() = R(0) +
1
2
R

(0)
2
+ . . . R(0),
R

() = R

(0) +
1
2
R

(0)
2
. . . R

(0)
pa iz stohasti cke procjene dobivamo deterministi cku.
13. PROCJENE, PROGNOZE I FILTRI 29
Primjer 5. Iz poznatih vrijednosti s(0) i s(T) procesa na krajevima intervala [0, T]
treba procijeniti vrijednost integrala g =
_
T
0
s(t)dt .
Stavljaju ci g = s(0) + s(T) , iz relacija ortogonalnosti s podacima dobivamo
sljede ce uvjete
_
T
0
R(t)dt = R(0) + R(T),
_
T
0
R(T t)dt = R(T) +R(0).
Oba se integrala podudaraju, pa dobivamo
= =
_
T
0
R(t)dt
R(0) + R(T)
.
Primjer 6. Va zni je primjer aproksimacija ra cunanje vrijednosti derivacije zadane
funkcije. Pribli zna vrijednost derivacije ra cuna se formulom
f

(t)
f (t) f (t )

u kojoj se nastoji u ciniti sto je mogu ce manjim.

Pretpostavimo da nam je zadatak odrediti vrijednost derivacije s

procesa s , ali iz
podataka ne o tom ve c o procesu
x(t) = s(t) + n(t)
koji uz signal s sadr zi i sum n.

Cak i kad je suma malen po apsolutnom iznosu brzina
promjene je dominantna u vrijednostima derivacije. Stoga se mo ze dogoditi da je pro-
mjena procesa x uzrokovana u prvom redu utjecajem suma, a ne samoga signala ( sum
i jeste okarakteriziran time da zbog malene autokorelacije ima vrlo velike promjene u
kratkom vremenskom intervalu, sto za signal ne mora biti slu caj.) Stoga u ra cunanju
procjene derivacije nije najbolja strategija uzeti sto je mogu ce manji , ve c je bo-
lja strategija iskoristiti informacije o promjeni procesa koje su dane kroz korelacijsku
funkciju i na taj na cin odrediti optimalni parametar .
Neka je g = s

(t) g = x(t) + x(t ) . Uvjeti ortogonalnosti su:

E[s

(t) x(t) x(t )]x(t) = 0,

E[s

(t) x(t) x(t )]x(t ) = 0

odakle slijedi
R
s

x
(0) = R
xx
(0) + R
xx
(),
R
s

x
() = R
xx
() + R
xx
(0).
Rje savanjem ovog sustava odredit cemo i . Time problem najbolje procjene nije
zgotovljen. Interesantno je odrediti uz koji ce pogre ska procjene biti najmanja.
Pretpostavimo da su signal i sum me
-
dusobno ortogonalni ( sto je obi cno ispunjeno).
Onda je
R
s

x
(0) = R
s

s
(0) = R

ss
(0) = 0,
R
xx
() = R
ss
() + R
nn
().
30 13. PROCJENE, PROGNOZE I FILTRI
Pogre ska procjene iznosi
e = E[s

(t) x(t) x(t )]s

(t) = R

ss
(0) R

ss
()
(jer je R
s

s
() = R

ss
() , R
s

s
() = R

ss
() ). Ova pogre ska ovisi o . Izabrat cemo
onaj za koji je pogre ska minimalna.
Primjer 7. (Rekonstrukcija procesa) Mo ze li se proces rekonstruirati ako mu
poznajemo vrijednost u to ckama cije su koordinate ekvidistantne?
Sli cno pitanje za deterministi cku funkciju f ima pozitivan odgovor, uz pretpos-
tavku da je funkcija ograni cenog spektra. Ako je

f (u) = 0 za [u[ > u
0
, tad vrijedi
sljede ca formula
f () =

n=
f (nT)
sin(u
0
n)
u
0
n
. (13.4)
Ovdje je T = /u
0
. Ponekad je prakti cnije koristiti sljede cu njezinu verziju:
f ( a) =

n=
f (nT a)
sin(u
0
n)
u
0
n
. (13.5)
Pretpostavimo sada je su nam poznate vrijednosti procesa s u to ckama
s(nT), n = . . . , 1, 0, 1, . . .
a zelimo procjeniti njegovu vrijednost u nekoj to cki t . nastojat cemo dobiti procje-
nu koja vrijedi za bilo koji t , stoga cemo procjenu i koeficijente pisati kao funkcije
varijable t :
s(t) g(t) =

n=

n
(t)s(nT)
Uvjeti ortogonalnosti su
E
__
s(t)

n=

n
(t)s(nT)
_
s(kT)
_
= 0, k = . . . , 1, 0, 1, . . .
Odavde dobivamo relacije
R(t kT) =

n=

n
(t)R(nT kT), k (13.6)
koje moraju zadovoljavati koeficijenti
n
(t) . Ovaj je sustav beskona cno mnogo jed-
nakosti prakti cki nemogu ce razrije siti, me
-
dutim, njegovo je rje senje vrlo jednostavno u
slu caju ako je spektralna gusto ca procesa koncentrirana na kona cnom intervalu:
S(u) = 0 za [u[ > u
0
, u
0
=

T
.
Stavimo li tad
a
n
(t) =
sin u
0
(t nT)
u
0
(t nT)
13. PROCJENE, PROGNOZE I FILTRI 31
onda (13.6) prelazi u istinitu jednakost
R( kT) =

n=
R(nT kT)
sin(u
0
n)
u
0
n
.
Pogre ska procjene iznosi
e = E
__
s(t)

n=

n
(t)s(nT)
_
s(t)
_
= R(0)

n=

n
(t)R(t nT)
Me
-
dutim, desna je strana jednaka nuli, u sto se mo zemo uvjeriti ako u (13.5) stavimo
= a = t . Dakle, vrijedi e = 0 i
s(t) =

n=
s(nT)
sinu
0
(t nT)
u
0
(t nT)
.
(Jednakost vrijedi u smislu sredine reda 2, sto zna ci da red s desne strane konvergira
prema s(t) u smislu sredine reda 2.)
Wienerov ltar
U svim prethodnim primjerima bila je poznata vrijednost procesa u kona cno ili
najvi se prebrojivo mnogo to caka. Sad cemo promatrati problem u kojem se pojavljuju,
kao i prije, dva procesa: signal s (koji nam je nepoznat) te s njim povezan proces x
cije su nam vrijednosti poznate na nekom intervalu a, b) . Procjenu g tra zit cemo
i dalje u obliku linearne kombinacije podataka x() , a b. No, ta je linearna
kombinacaja sada predstavljena integralom:
g(t) =
_
b
a
h(t, )x()d
(Pi semo g(t) ra
-
de nego g, jer ce ta slu cajna varijabla uistinu ovisiti o trenutku t .
Naj ce s ce ce biti g(t) = s(t) ili g(t) = x(t + ) .) Ovaj se integral mo ze shvatiti kao
limes integralne sume:
g(t) = lim
0
n

i=1
h(t, )x()
koja ima oblik linearne kombinacije kakve smo ve c razmatrali, s koeficijentima
h( , ) . Tako funkciju h mo zemo nazvati te zinskom funkcijom. Svojstvo or-
togonalnosti optimalne procjene mora se sa cuvati, jer vrijedi za svaku kona cnu aprok-
simaciju integrala integralnom sumom. Zato rje senje zadovoljava uvjet
E[g(t)
_
b
a
x()h(t, )d]x() = 0, a b.
Vrijedi
E[g(t)x()] = R
gx
(t ), E[x()x()] = R
xx
( ).
32 13. PROCJENE, PROGNOZE I FILTRI
Tako dobivamo
R
gx
(t ) =
_
b
a
R
xx
( )h(t, )d, a b.
Tako se problem svodi na odre
-
divanje nepoznate te zinske funkcije h koja zadovoljava
ove jednakosti.
Napi simo jo s kolika je pogre ska procjene:
e = E[g(t)
_
b
a
x()h(t, )d]g(t)
= R
qq
(0)
_
b
a
R
gx
(t )h(t, )d.
Problem ltracije
Promotrimo problem odre
-
divanja vrijednosti signala s , ako su nam poznate reali-
zacije procesa
x(t) = s(t) + n(t).
za svaki realni t . Proces n zvat cemo sumom. Dakle, sada je g(t) = s(t) . nadalje,
pretpostavljat cemo da su s i x stacionarni procesi, zbog cega ce funkcija h(t, ) ovisiti
samo o razlici t :
s(t) g(t) =
_

h(t )x()d =
_

x(t )h()d.
Primje cujemo da procjenu g(t) mo zemo shvatiti kao izlaz iz linearnog vremenski
invarijantnog sustava s impulsnim odzivom h(t) . Da odredimo tu funkciju, koristit
cemo uvjete ortogonalnosti
E[s(t)
_

x(t )h()d]x() = 0, .
Odavde
R
sx
(t ) =
_

R
xx
(t )h()d, .
Zamijenimo varijablu: = t :
R
sx
() =
_

R
xx
( )h()d, .
Rije simo ovu integralnu jednad zbu. Kako je to jednad zba konvolucijkog tipa,
njezino je rje senje vrlo jednostavno. U donjem podru cju, jednad zba glasi:
S
sx
(u) = S
xx
(u)H(u)
odakle slijedi
H(u) =
S
sx
(u)
S
xx
(u)
.
Original ove funkcije je tra zeni impulsni odziv. napomenimo da on ne mora zadovolja-
vati svojstvo uzro cnosti, mogu ce je da bude h(t) ,= 0 za t < 0. To zna ci da se idealni
filtar mo zda ne mo ze fizi cki realizirati.
13. PROCJENE, PROGNOZE I FILTRI 33

Iska zimo pogre sku procjene. Vrijedi
e = E
__
s(t)
_

x(t )h()d
_
s(t)
_
= R
ss
(0)
_

R
sx
()h()d.
Ozna cimo
() = R
ss
() R
sx
() h().
Tad vrijedi e = (0) . Transformat od () glasi
S
ss
(u) S
sx
(u)H(u) = S
ss
(u)
S
sx
(u)S
sx
(u)
S
xx
(u)
.
Ra cunaju ci inverznu transformaciju, dobivamo
e = (0) =
1
2
_

_
S
ss
(u)
S
sx
(u)S
sx
(u)
S
xx
(u)
_
du.
Prognoza i ltracija
Sli cnim na cinom mo ze se odrediti procjena za budu cu vrijednost filtriranog pro-
cesa:
g(t) = s(t + ) g(t) =
_

x(t )h()d.
Pokazuje se da funkcija h zadovoljava integralnu jednad zbu
R
sx
( +) =
_

R
xx
( )h()d,
odakle slijedi
H(u) =
S
sx
(u)e
iu
S
xx
(u)
.

Pretpostavimo sada da su signal s(t) i sum n(t) nekorelirani (pa onda i ortogonalni
jer im je o cekivanje nula):
S
sn
= 0.
Tada je
S
xx
(u) = S
ss
(u) + S
nn
(u), S
sx
(u) = S
ss
(u).
Zato je
H(u) =
S
ss
(u)
S
ss
(u) + S
nn
(u)
. (13.7)
Pogre ska je dana s
e =
1
2
_

S
ss
(u)S
nn
(u)
S
ss
(u) + S
nn
(u)
du.
34 13. PROCJENE, PROGNOZE I FILTRI
Primje cujemo da je ta pogre ska jednaka nuli ako je
S
ss
(u)S
nn
(u) = 0,
tj. ako se spektar signala i suma ne presjecaju. U tom je slu caju idealna funkcija
prijenosa
H(u) =
_
_
_
1, za one u za koje je S
ss
(u) ,= 0,
0, za one u za koje je S
nn
(u) ,= 0,
bilo sto, za ostale u.
Primjer 8. Neka je autokorelacijska funkcija signala
R
ss
() = Ae
||
cos u
0

a spektar suma
S
nn
(u) = N
(bijeli sum).

Zelimo odrediti impulsni odziv za optimalnu filtraciju. Pretpostavimo da
je << u
0
. tada je
S
ss
(u) =
A

2
+ (u u
0
)
2
, za u > 0.
Zato je, po (13.7)
H(u) =
A
A + N
2
+ N(u u
0
)
2
, u > 0.
Pogre ska procjene je
e =
1

AN du
A + N
2
+ N(u u
0
)
2
=
A
_
1 + A/N
Bez ikakvih podataka, procjena procersa s bi bila s(t) = 0 (njegovo o cekivanje), a
u cinjena pogre ska
E[s
2
(t)] = R
ss
(0) = A.
Prema tome, ako je N >> A, tada postupak filtriranuja ne pobolj sava procjenu. Ako
je pak A = 3N , onda je e = R
ss
(0)/2.
Primjer 9. Poka zimo sad kako se mo ze odrediti procjena za derivaciju s

procesa
iz poznatih podataka x(t) = s(t) + n(t) za svaki realni t .
g(t) = s

(t) g(t) =
_

x(t )h()d.
Iz uvjeta ortogonlnosti
E
__
s

(t)
_

x(t )h()d
_
x()
_
= 0,
slijedi
R
s

x
(t ) =
_

R
xx
(t )h()d,
13. PROCJENE, PROGNOZE I FILTRI 35
odnosno
R
s

x
() =
_

R
xx
( )h()d, .
Znamo da je transformat funkcije R
s

x
() jednak iuS
sx
(u) . Zato prijenosna funkcija
mora imati oblik
H(u) =
iuS
sx
(u)
S
xx
(u)
.
Prognoza
Promotrimo sada problem predskazivanja vrijednosti procesa s(t + ) u nekom
budu cem trenutku t + , ako nam je poznata pro slost tog procesa, dakle njegove vri-
jednosti na intervalu , t] . Dakle, sad je g(t) = x(t + ) , x(t) = s(t) . Kako su
u procjeni sadr zani samo podaci iz pro slosti i sada snjojsti, rezultiraju ci linearni sustav
bit ce uzro cno-posljedi cni, tj. funkcija impulsnog odziva h zadovoljavat ce uvjet
h(t) = 0, za t < 0.
Prema tome, trebamo odrediti funkciju h takvu da bude
s(t +)
_

0
s(t )h()d =
_
t

s()h(t )d.
Uvjeti optimalnosti su
E
__
s(t +)
_

0
s(t )h()d
_
s()
_
= 0, za t.
Odavde slijedi
R(t + ) =
_

0
R(t )h()d, < t,
gdje je R autokorelacijska funkcija signala za koju pretpostavljamo da je ograni cena.
Stavimo t = . Dobivamo
R( + ) =
_

0
R( )h()d, 0.
Ove jednad zbe nazivaju se Wiener-Hopfove integralne jednad zbe.
Pogre ska procjene je
e = E
__
s(t +)
_

0
s(t )h()d
_
s(t +)
_
= R(0)
_

0
R( )h()d.