REDUKCIJA DIMENZIJA OBLIKA U STATISTIČKOM PREPOZNAVANJU OBLIKA

Diskretna Karhunen-Loeve (KL) ekspanzija

Problem ekstrakcije obeležja krenuo je iz problema prenosa signala u telekomunikacijama

(kompresija signala i slični problemi). Neka je X n-dimenzioni sluč ajni vektor. Tada se on može
bez greške aproksimacije predstaviti zbirom n linearno nezavisnih vektora:
n
X = ∑ yi Φi = ΦY
i =1

gde je
Φ = [ Φ1 Φ 2 " Φ n ] ; Y = [ y1 y2 " yn ]
T

Očigledno se u ovakvoj reprezentaciji podrazumeva da su vektori Φi bazisi n-dimenzionalnog

prostora a koordinate yi nisu ništa drugo nego skalarni proizvodi između slučajnog vektora X i
bazisa Φi . Matrica Φ je deterministička i sastoji se od n linearno nezavisnih vektor kolona. Tada je
det ( Φ ) ≠ 0 .
Kolone matrice Φ opisuju n-dimenzioni prostor i nazivaju se baznim vektorima. Još
pretpostavimo da su bazni vektori ortonormalni, tako da je:
⎧1 ; i = j
ΦTi Φ j = ⎨
⎩0 ; i ≠ j
Tada se može pisati
yi = ΦTi X ; i = 1,..., n
Dakle, Y je ortonormalna transformacija vektora X, i takođe predstavlja slučajni vektor. Vektor Φi
se naziva obeležje a yi je i-ta komponenta u preslikanom (mapiranom) prostoru. Pretpostavimo da
smo izabrali samo m ( m < n ) baznih vektora (obeležja) i sa njima želimo da aproksimiramo vektor
X kvalitetno, recimo na sledeći način:
m n
Xˆ ( m ) = ∑ yi Φ i + ∑ bΦ i i
i =1 i = m +1

Tada greška aproksimacije postaje:

n
∆X ( m ) = X − Xˆ ( m ) = ∑ ( y − b )Φ
i = m +1
i i i

Primetimo takođe da su X i ∆X slučajni vektori. Potražimo srednju kvadratnu grešku

aproksimacije:

{
ε 2 ( m ) = E ∆X ( m )
2
}
⎧ n n ⎫
= E ⎨ ∑ ∑ ( yi − bi ) ( y j − b j ) ΦTi Φ j ⎬ = ∑ E {( y − b ) }
n
2
i i
⎩i = m +1 j = m +1 ⎭ i = m +1
Potreban nam je izbor parametara bi koji minimizira srednje-kvadratnu grešku aproksimacije:
∂ ε 2 (m)
∂ bi
{ }
= −2 E ( yi − bi ) = 0 ⇒ bi = E { yi } = ΦiT E { X }
Sada se srednja kvadratna greška može napisati u obliku:

{
E ( yi − E { yi }) } {
ΦiT E ( X − E { X })( X − E { X }) Φi = }
n n n
(m) = ∑ ∑ ∑Φ
2 T
ε opt
2
= T
i Σ X Φi
i = m+1 i = m+1 i = m+1

gde je Σ X kovarijaciona matrica slučajnog vektora X. Dakle, potrebno je minimizirati funkciju:

µij ( ΦTi Φ j − δ ij )
n n n
J= ∑
i = m +1
ΦTi Σ X Φ i − ∑ ∑
i = m +1 j = m +1

gde su µij Lagranžeovi multiplikatori dok drugi član potiče od ograničenja da bazni vektori budu
ortonormalni. Kriterijum J se može napisati i na sledeći način:

{
J = tr φ Tn −mΣ X φ n−m − µn*−m (φ Tn−mφ n−m − I ) }
gde su
⎡ 1 ⎤
⎢ µm+1,m+1 ... 2 µij ⎥
⎢ ⎥
φ n −m = [ Φ m+1 Φ m+ 2 ... Φ n ] ; µn*− m = ⎢# ⎥
⎢1 ⎥
⎢ µ ji ... µn,n ⎥
⎣2 ⎦
Tražeći parcijalne izvode kriterijuma J po bazisima i izjednačavajući ove izvode sa nulom, dobija
se sledeći rezultat:
∂J
= 2 ( Σ X φn − m − φn − m µ n*− m ) = 0 ⇒
∂ φ n−m
Σ X φn − m − φn − m µ n*− m = 0 ⇒ Σ X φn − m = φn − m µ n*− m
Poslednja relacija je zadovoljena ako je matrica µ*n−m dijagonalna matrica sa elementima λ m+1 ,..., λ n
na dijagonali, što su zapravo sopstvene vrednosti matrice Σ X . Dakle, minimalna srednje kvadratna
greška aproksimacije je ona čija je vrednost zbir sopstvenih vrednosti izostavljenih koordinata
(dakle treba izostaviti one koordinate kojima odgovaraju najmanje sopstvene vrednosti). Dakle:
n
εopt
2
= ∑λ
i = m +1
i

Ekspanzija slučajnog vektora u prostor koji čine sopstveni vektori kovarijacione matrice Σ X naziva
se Karhunen-Loeve ekspanzija (KL ekspanzija).
Na sledećoj slici je prikazan primer KL ekspanzije za dvodimenzioni slučajni vektor:

Raspodela ovog dvodimenzionog vektora je prikazana

Φ1 konturnom linijom. Sopstveni vektori Φ1 i Φ2 su suštinske ose
Φ2
raspodele a λ1 i λ 2 su varijanse duž ovih osa. Ako je
x2
{
λ2 = E ( y2 − b2 )
2
} malo, to znači da je y ≈ b 2 2 za ( ∀X ) pa
y1 otuda ova koordinata nije informativna, i metod KL ekspanzije
y2 smatra da se svaki dvodimenzioni vektor može vrlo dobro
x1 aproksimirati samo jednom slučajnom promenljivom:
m
X = ∑ yi Φi ≈ y1Φ1
i =1

U daljim razmatranjima ćemo smatrati da je E { X } = 0 a ovakvo ograničenje neće smetati

generalnosti dobijenih rezultata. Osobine KL ekspanzije su sledeće:
1) Učinak svakog od obeležja izražava se njegovom sopstvenom vrednošću λ . Stoga prilikom
odbacivanja obeležja, prvo treba odbaciti ono sa najmanjom sopstvenom vrednošću i t.d.
2) Koordinate yi su međusobno nekorelisane, jer je kovarijaciona matrica slučajnog vektora Y
dijagonalna:
ΣY = ΦT Σ X Φ = Λ = diag {λ1 ,..., λn }
Ukoliko je slučajni vektor X normalno raspodeljen, tada je i slučajni vektor Y normalno raspodeljen,
što znači da su tada koordinate yi nezavisne.
3) Skup od m sopstvenih vektora matrice Σ X koji odgovaraju najvećim sopstvenim vrednostima
minimiziraju srednju kvadratnu grešku aproksimacije ε 2 ( m ) .

Primer: Posmatrajmo primer diskretnih raspodela na slikama gde se svaka vrednost pojavljuje sa
verovatnoćom 1/4:

1 2 1 2

(a) (b)

Srednji vektori su jednaki nula vektorima u oba slučaja, dok su odgovarajuće kovarijacione matrice:
⎡10 / 4 10 / 4 ⎤ ⎡10 / 4 6 / 4 ⎤
Σa = ⎢ ⎥ ; Σb = ⎢ ⎥
⎣10 / 4 10 / 4 ⎦ ⎣ 6 / 4 10 / 4⎦
a odgovarajući sopstveni vektori i sopstvene vrednosti su:
⎡1/ 2 ⎤ ⎡1/ 2 ⎤
λ1a = 5 ; λ 2 a = 0 ; Φ1a = ⎢ ⎥ ; Φ 2a = ⎢ ⎥
⎢⎣1/ 2 ⎥⎦ ⎢⎣ −1/ 2 ⎥⎦
⎡1/ 2 ⎤ ⎡1/ 2 ⎤
λ1b = 4 ; λ 2b = 1 ; Φ1b = ⎢ ⎥ ; Φ 2b = ⎢ ⎥
⎢⎣1/ 2 ⎥⎦ ⎢⎣ −1/ 2 ⎥⎦
Analizom sopstvenih vrednosti postaje jasno da se izostavljanjem druge koordinate u slučaju a) ne
gubi nikakva informacija jer je druga sopstvena vrednost jednaka nuli, dok se izostavljanjem druge
koordinate u slučaju b) gubi informacija i to u toj meri koliko iznosi odgovarajuća sopstvena
vrednost.

Ostali kriterijumi za ekstrakciju obeležja

Karhunen-Loeve ekspanzija nije jedini postupak koji se može primeniti u ekstrakciji obeležja.
Naime postupci se razlikuju po tome koji je kriterijum upotrebljen u cilju redukcije. Na ovom mestu
ćemo pomenuti još tri različita kriterijuma:

1) Mera rasipanja: Naime može se uvesti mera rasipanja kao kriterijum na sledeći način:

{
d X2 = E X − M X
2
}
Tada se traži takva transformaciona matrica A koja će da izvrši preslikavanje slučajnog vektora X u
vektor Y:
Y = AT X
ali tako da se maksimizira kriterijum rasipanja slučajnog vektora Y:

{
A = arg max dY2
A
}
Prilikom optimizacije postavljenog kriterijuma, kao rezultat se dobija da matrica A treba da se
sastoji od sopstvenih vektora kovarijacione matrice Σ X . Dakle, rezultat je isti kao kod KL
ekspanzije.

2) Entropija populacije: U ovom slučaju se kao kriterijum uvodi funkcija entropije definisana za
slučajni vektor:
hX = − E {ln f X ( x )}

Tada se problem postavlja na sledeći način: kako treba da izgleda transformaciona matrica A tako
da entropija populacije definisana za slučajni vektor Y = AT X bude minimalna. Problem sam po
sebi je vrlo složen, ali je zanimljivo napomenuti da rešenje koje iz njega proizilazi jeste
protivurečno prethodnim metodologijama, naime matrica A opet treba da bude sačinjena od
sopstvenih vektora kovarijacione matrice slučajnog vektora X, ali od onih sopstvenih vektora
kojima odgovaraju najmanje sopstvene vrednosti. Zanimljivo je pogledati na šta se svodi entropija
ukoliko je slučajni vektor X normalno raspodeljen:

hX = − ∫ ln ( f X ( x ) ) f X ( x ) dx
⎛ ⎞
1 ⎛ 1 ⎞⎟
= − ∫ ln ⎜ − ( − X ) Σ X (
−1
− X ) ⎟ f X ( x ) dx
T
exp ⎜ x M x M
⎜ ( 2π )n / 2 ( det ( Σ X ) )1/ 2 ⎝ 2 ⎠⎟
⎝ ⎠
1
= ln ( 2π ) + ln ( det ( Σ X ) ) +
n n
2 2 2

Dakle, vidimo da u izrazu za entropiju dominantno figuriše logaritam determinante kovarijacione

matrice, što automatski podrazumeva da se minimizacijom funkcije entropije zapravo biraju bazični
vektori po kojima je rasipanje oko srednje vrednosti minimalno.

3) Kriterijum na bazi mere rasipanja: Ovaj kriterijum je od posebnog značaja, jer za razliku od
prethodna tri kriterijuma, on jedini vodi računa da se redukcija dimenzija mora izvršiti u skladu sa
prethodno postavljenim zadatkom, a to je klasifikacija. Pođimo od pretpostavke da klasifikaciju
treba izvršiti u okviru L različitih klasa, pri čemu je svakoj od klasa pridružen vektor matematičkog
očekivanja Mi i kovarijaciona matrica Σi ; i = 1,..., L . Definišimo tada matricu unutar-klasnog
rasejanja (within class scatter matrix) na sledeći način:

{( X − M i )( X − M i )T / ωi } = ∑ PiΣi
L L
SW = ∑ PE
i
i =1 i =1

i matricu međuklasnog rasejanja (between class scatter matrix):

L
S B = ∑ Pi ( M i − M 0 )( M i − M 0 )
T

i =1
gde je M0 združeni vektor matematičkog očekivanja za sve klase zajedno:
L
M 0 = E { X } = ∑ PM
i i
i =1

Još se uvodi i takozvana miksovana matrica rasejanja:

SM = E {( X − M )( X − M ) } = S
0 0
T
W + SB

Tada se postavlja sledeći problem: Kako odabrati tranformacionu matricu A, tako da slučajni vektor
Y = AT X minimizira jedan od sledećih, uobičajeno korišćenih kriterijuma:
1) ( )
J1 = tr S2−1S1
2) J2 = ln ( S S )
−1
2 1

3) J 3 = tr ( S1 ) − µ ( tr ( S 2 ) − c )
tr ( S1 )
4) J4 =
tr ( S2 )
gde matrice S1 i S2 mogu biti bilo koje dve matrice među matricama SB , SW i S M .

U rešavanju postavljenog problema mogu se dati sledeći komentari:

1) Obično se uzima ( S1 , S2 ) ∈{( SB , SW ) , ( SB , Sm ) , ( SW , SM )}
2) Optimizacija kriterijuma J1 je ekvivalentna optimizaciji tr ( AT S1 A ) sa uslovom AT S2 A = I gde je
A n × m dimenziona tranformaciona matrica.
3) Za J2 se ne može koristiti matrica SB jer je rang (S B ) = L − 1 za L − 1 < n .
4) Optimizacija kriterijuma J1 i J2 rezultuje u istu transformacionu matricu A.
5) Optimizacija kriterijuma J3 je zapravo optimizacija tr (S1 ) pod uslovom tr (S2 ) = c
6) Kriterijumi J1 i J2 su invarijantni na nesingularne linearne transformacije dok za kriterijume J3 i
J4 to ne važi.

Ono što je na ovom mestu važno reći, jeste da transformaciona matrica A koja minimizira
kriterijume J1 i J2 , a koja je dimenzija n × m , koja dakle slučajni n dimenzioni vektor X
aproksimira slučajnim m dimenzionim vektorom Y, može da se napiše u sledećem obliku:
A = Ψ1 Ψ2 ... Ψm

gde su Ψi ; i = 1,...,m sopstveni vektori matrice (S 2−1S1 ) kojima odgovaraju najveće sopstvene
vrednosti. Drugim reèima:

(S 2S ) Ψ i = λ i Ψ i ; i = 1, 2,..., n
−1
1
.
λ1 ≥ λ 2 ≥ " ≥ λ n
Primer: Kao primer redukcije dimenzija navedenim metodologijama može se navesti redukcija
dimenzija dvanaestodimenzionog slučajnog vektora X, iza čega treba izvršiti klasifikaciju oblika u
okviru prethodno definisanih pet različitih klasa. Ideja je bila da se izvrši redukcija dimenzija ovog
vektora na m = 2, kako bi se jednostavno izvršila vizuelizacija. Krenulo se od KL ekspanzije i
dobijene su sledeće vrednosti za sopstvene vrednosti kovarijacione matrice dvanaestodimenzionog
slučajnog vektora X:
λ 1 λ 2 ... λ 12 = 10−4 59 34 17 11 8 1 1 0 0 0 0 0
U cilju ilustracije koliki se deo informacije čuva ukoliko se od originalnog n dimenzionalnog
slučajnog vektora zadrži prvih m (najrasutijih) koordinata formiran je indeks informativnosti koji se
računa na sledeći način:
m

∑λ i
l (m ) = i =1
n

∑λ
i =1
i

gde se podrazumeva sledeći nerastući niz sopstvenih vrednosti:

λ 1 ≥ λ 2 ≥" ≥ λ n

Tako je dobijen sledeći grafik, sa koga se vidi da čuvanjem prve dve koordinate mi konzervišemo
oko 70% informacija.

100 l [%]
m

80

60

40

20
m
0
1 2 3 4 5 6 7 8 9 10 11 12

Indeks informativnosti dobijen KL ekspanzijom

Međutim, pokazuje se da ovako dobijena redukcija dimenzija, u dvodimenzionalnom prostoru

značajno narušava mogućnost klasifikacije. Ovaj je rezultat ilustrovan sledećom slikom gde su u
dvodimenzionalnom prostoru prikazani položaji 150 različitih redukovanih oblika (po 30 oblika iz
svake klase)

1.2
1
Normalna ras.
0.8
Uniform. ras.
0.6
Laplasova ras.
0.4
Jednostr. eksp. ras.
0.2
Relejeva ras.
0
-0.8 -0.6 -0.4 -0.2 0 0.2
-0.2

Položaj redukovanih oblika u dvodimenzionalnom prostoru

Sledeća ideja je bila da se ponovi postupak primenom kriterijuma o rasipanju. Dobijen je sledeći
grafik indeksa informativnosti:
 100 lm [%]

80

60

40

20
m
0
1 2 3 4 5 6 7 8 9 10 11 12

Indeks informativnosti za redukciju dimenzija na bazi minimizacije kriterijuma matrica rasipanja

Ovakav pristup u mnogo boljoj meri daje mogućnost dalje klasifikacije, što je pak ilustrovano
sledećim položajem redukovanih semplova.

0.12

Normalna ras.
0.08 Uniform. rasp.

Laplas. rasp.

0.04 Jednostr. eksp. rasp.

Relejeva rasp.

0.00
-0.04 0.00 0.04 0.08

Položaj redukovanih semplova dobijenih minimizacijom kriterijuma matrica rasipanja

KL ekspanzija za slučajne procese

KL ekspanzija je u svojoj prvobitnoj verziji isprojektovana za slučajne procese. Naime, slučajni

proces x(t ) definisan u intervalu 0,T može da se prikaže kao linearna kombinacija bazisa funkcija:
∞
x(t ) = ∑ y i ξ i (t ) ; (0 ≤ t ≤ T )
i =0

gde su bazisne funkcije ξ i (t ) determinističke funkcije vremena a koeficijenti yi su slučajne

promenljive. Zahteva se da skup bazisnih funkcija ξ i (t ) bude beskonačan, kako bi ovaj skup bio
kompletan. Ortonormalnost funkcija je okarakterisana relacijom:

∫ ξ ( t ) ξ ( t ) dt = δ
T
*
0 i j ij

gde je ξ *j ( t ) konjugovano kompleksna funkcija funkcije ξ j (t ) . Inverznom operacijom na osnovu

x(t ) se može odrediti koeficijent yi :

y i = ∫ x (t )ξ i (t )dt
T

Očekivana vrednost, autokorelaciona i kovarijaciona funkcija su dalje:

{ } { } {
m(t ) = E x(t ) ; R(t , τ) = E x(t ) x* ( τ) ; C(t , τ) = E ( x(t ) − m(t ))( x( τ) − m( τ))
*
}
Zbog jednostavnosti daljeg izvođenja pretpostavimo da je m(t ) = 0 za t ∈ 0, T . Neka dalje, funkcije
ξ i (t ) budu sopstvene funkcije autokorelacione funkcije R(t , τ ) , odnosno:

∫ R(t , τ )ξ (τ )dτ = λ ξ (t );i = 1,2,...

T
i i i
0

gde su λ i sopstvene vrednosti autokorelacione funkcije.

Ove su relacije potpuno analogne relacijama za slučajne vektore. Pretpostavimo da je
slučajni signal x(t ) semplovan u n odbiraka i da su ti semplovi smešteni u slučajni vektor

X = ⎡⎣ x ( t1 ) x ( t2 ) ... x ( tn ) ⎤⎦
T

Analogno tome semplujmo sopstvene funkcije formiraju sopstvene vektore na sledeći način:
Φ i = [ξ i (t1 )ξ i (t 2 )...ξ i (t n )]
T

Tada se uslov ortonormalnosti može napisati u sledećoj formi:

n

∑ ξ (t )ξ (t ) = Φ Φ
k =1
i k j k
T
i
T
j = δ ij

dok se relacija za sopstvene funkcije može napisati u obliku:

n

∑ R(t , t )ξ (t ) = λ ξ (t ); i, l = 1,2,..., n
k =1
l k i k i i l

Poslednja relacija se može napisati i u matričnoj formi: S Φi = λ i Φi što predstavlja klasičnu

definiciju pojma sopstvene vrednosti i sopstvenog vektora matrice, pri čemu je:
⎡ R ( t1 , t1 ) R ( t1 , t2 ) " R ( t1 , tn ) ⎤
⎢ ⎥
⎢ R ( t2 , t1 ) R ( t2 , t2 ) " R ( t2 , tn ) ⎥
S=⎢ ⎥
⎢ ⎥
⎢⎣ R ( tn , t1 ) R ( tn , t2 ) " R ( tn , tn ) ⎥⎦

Kako je S matrica n dimenziona kvadratna matrica, mogu se dobiti najviše n različitih sopstvenih
vrednosti i n različitih sopstvenih vektora (umesto ∞ ∞ sa koliko se startovalo u originalnoj
postavci problema). U želji da se minimizira srednja kvadratna greška koja se dobija
aproksimacijom slučajnog signala sa prvih m sabiraka beskonačne sume, možemo pisati sledeće
relacije:
⎡ T⎛ m
⎞⎛ m
⎞ ⎤
*

ε = E ⎢ ∫ ⎜ x(t ) − ∑ yi ξi (t )⎟ ⎜ x(t ) − ∑ yi ξi (t )⎟ dt ⎥
2

⎢⎣ 0 ⎝ i =0 ⎠⎝ i =0 ⎠ ⎥
⎦
⎡ T⎛ ∞ ⎞⎛ ∞ ⎞ ⎤
*

{ }
n
= E ⎢ ∫ ⎜ ∑ yi ξi (t )⎟ ⎜ ∑ yi ξi (t )⎟ dt ⎥ = ∑ E yi yi*
⎢⎣ 0 ⎝ i =m+1 ⎠ ⎝ i =m+1 ⎠ ⎥ i =m+1
⎦
gde je

{ } ∫ E {x(t ) x ( τ)}ξ (t )ξ dtdτ = ∫ ∫ R(t , τ)ξ (t )ξ (τ)dtdτ

T T T T
E yi yi* = ∫ *
i
*
i i
*
i
0 0 0 0

Međutim, kako su ξ i (t ) sopstvene funkcije autokorelacione fukcije daljemo možemo pisati:

{ }
E yi yi* = ∫ ⎛⎜ ∫ R(t , τ)ξ(t )dt ⎞⎟ ξi* ( τ)dτ = ∫ λ i ξi ( τ )ξ*i ( τ )dτ = λ i
T T T

0 ⎝ 0 ⎠ 0
Dakle srednja kvadratna greška aproksimacije postaje:
∞
ε2 = ∑λ
i = m+1
i

Kako smo pretpostavili da je E{x(t )} = 0 , automatski je E{yi } = 0 , pa je poslednji rezultat potpuno

ekvivalentan rezultatu za diskretnu KL ekspanziju. Problem kod primene kontinualne KL
ekspanzije sastoji se u tome što je neophodno rešiti integral

∫ R(t , τ )ξ (τ )dτ = λ ξ (t )
T
i i i
0

kako bi se odredile sopstvene vrednosti i sopstvene funkcije, a samo za mali broj karakterističnih
funkcija autokorelacije eksplicitno rešenje postoji. Ukoliko se rešenje potraži numerički neophodno
je vršiti semplovanje signala.

Stacionaran proces i KL ekspanzija za beskonačno vreme trajanja

Pretpostavljamo da je proces stacionara:

m(t ) = m; R(t , τ ) = R(t − τ )
I dalje pretpostavljamo da je srednja vrednost procesa jednaka nuli ( m = 0 ). Za stacionarne procese
dalje možemo pisati:

R(t − τ )ξ i (τ )dτ = λ i ξ i (t ); (− T / 2 ≤ t ≤ T / 2 )
T /2
∫
−T / 2

Proširimo ovaj vremenski interval, T → ∞ , tako da dobijamo:

∞
∫ R (t − τ )ξ i (τ )dτ = λ i ξ i (t ) ; − ∞ < t < ∞
−∞

S obzirom da poslednji izraz označava konvoluciju autokorelacione funkcije i funkcije ξ i (t ) ,

primena Furijeove transformacije na poslednju relaciju daje nam sledeći izraz:
S ( jω )Ξ i ( jω ) = λ i Ξ i ( jω )

Dakle, ako znamo funkciju S ( jω ) , što nije ništa drugo nego spektralna gustina snage signala x(t ) ,
potrebno je naći takvo Ξ i ( jω ) da kada se pomnoži sa spektralnom gustinom snage, ova funkcija
zadrži isti oblik. Jedna takva funkcija je Ξ i ( jω ) = δ (ω − ωi ) koja u vremenskom domenu odgovara
funkciji ξi (t ) = exp( jωit ) , što pak odgovara vrednosti spektralne gustine snage za tu učestanost:
S ( jωi ) = λ i . Kako učestanost ωi može biti bilo koja učestanost, ovu učestanost treba menjati u
opsegu od ∞ do ∞ sa beskonačno malim inkrementima i tako dobijamo beskonačno mnogo
sopstvenih funkcija i sopstvenih vrednosti, pa se KL ekspanzija može modifikovati u sledeći oblik:
∞
x(t ) = ∑ yi exp( jωit )
−∞

gde se podrazumeva da je ωi = ω −i . Poslednja suma lako prerast u integral:

1 ∞ y (ω )∆ω
x(t ) = ∫ y(ω ) exp( jωt )dt ; yi =
2π −∞ 2π
Poslednja relacija predstavlja inverznu Furijeovu transformaciju. Zaključak je: kada je stohastički
proces x(t ) stacionaran bazne funkcije za KL ekspanziju pradstavljaju kompleksni eksponencijal a
koeficijenti y (ω ) su vrednosti Furijeove transformacije. Za sluèaj realnih signala poslednja relacija
se može modifikovati u oblik:
∞
x(t ) = y0 + ∑ 2 yi cos(ωit + arg( yi ))
i =1

KL ekspanzija za signal konačne dužine trajanja

Kada je signal konačnog trajanja prethodno navedene relacije važe samo aproksimativno.
Ako se signal x(t ) sempluje u n tačaka 0, ∆t ,2∆t ,..., (n − 1)∆t u periodu dužine T = n∆t
autokorelacija funkcija se dobija u 2n-1 tačaka u intervalu (− T , T ) . Ovih 2n-1 tačaka u
vremenskom domenu će rezultovati u 2n − 1 tačaka u frekvencijskom domenu gde je inkrement
učestanosti
2π 2nπ π
ω0 = = ≈
(2n − 1)∆t (2n − 1)T T

x(t )
S (ω )
R( t )

0 ∆t 2∆t ( n − 1) ∆t ( n − 1) ∆t ∆t 0 ∆t ( n − 1) ∆t ( n − 1)ω0 ω0 0 ω0 (n − 1)ω0

Kako se dve sopstvene funkcije exp( jωt ) i exp(− jωt ) kombinuju i daju jednu realnu, to znači da
samo n sopstvenih funkcija i sopstvenih vrednosti postoji.
ξ i (t ) = cos(iω 0 t + Θ i ); λ i = S (ijω 0 )

Primer: Neka je autokorelaciona matrica stacionarnog procesa data u Toplicovoj formi.

⎡α 1 0 " 0 ⎤
⎢1 α 1 " 0⎥
⎢ ⎥
⎢0 1 α " 0⎥
⎢ ⎥
⎢# # # % #⎥
⎢⎣ 0 0 0 " α ⎥⎦
Sopstvene funkcije i sopstvene vrednosti su tada očigledne:
⎡ iπ ⎤ ⎡ iπ ⎤
sin
⎡α 1 0 " 0 ⎤ ⎢ n + 1 ⎥ ⎢sin n + 1 ⎥
⎢1 α 1 " 0⎥ ⎢ ⎥ ⎢ ⎥
⎢ ⎥ ⎢sin 2iπ ⎥ ⎡ ⎢
iπ ⎤ sin
2iπ ⎥
⎢ 0 1 α " 0 ⎥ ⎢ n + 1 ⎥ = ⎢α + 2 cos ⎥
⎢ n + 1 ⎥ ; i = 1, 2,..., n
⎢ ⎥ ⎢ ⎥ ⎣ n + 1 ⎦⎢ ⎥
⎢ # # # % # ⎥ ⎢ ⎥ ⎢ ⎥
⎢⎣ 0 0 0 " α ⎥⎦ ⎢ inπ ⎥ ⎢ inπ ⎥
⎢sin ⎥ ⎢sin ⎥
⎣ n + 1⎦ ⎣ n + 1⎦
Na osnovu autokorelacione funkcije R(k ) vidi se da je:
 ⎧α ; k = 0
⎪
R(k ) = ⎨1; k = 1
⎪
⎩0 ; k > 1
ako usvojimo ∆t = 1 i T=n dobija se
⎛ ⎛ 1⎞ ⎞
S (i ) = DFT ( R( k )) = exp⎜ − jiπ / ⎜ n − ⎟ ⎟ + α + exp( jiπ / (n − 1 / 2)) = α + 2 cos(iπ / (n − 1 / 2))
⎝ ⎝ 2⎠⎠

Poslednji izraz govori o tome da je navedena metoda aproksimativna, jer je prava vrednost
spektralne gustine snage:

iπ
S (i ) = α + 2 cos
n +1