1. Pojam informacije. Signal.

Osnovni (Šenonov) model

komunikacionog sistema. (6)

Signal je fizička veličina kojom se prenosi poruka, a u poruci se nalazi informacija. Matematički
gledano, signal je funkcija jedne ili više promenljivih. Zavisno i nezavisno promenljiva mogu biti diskretne
i kontinualne, a u zavisnosti od toga signale delimo na analogne, diskretne, sa diskretnom amplitudom i
digitalne. U svakom sistemu postoje otpremnik i prijemnik signala, a između njih se nalazi prenosni
medijum. Ako je medijum organizovan tako da olakšava prenos signala reč je o prenosnom kanalu.
Neophodno je preneti signal sa što manje oštedenja. S obzirom da oštedenja uvek postoje, potrebno je
prenosni sistem učiniti takvim da uz sva oštedenja i izobličenja signala, ne dođe do oštedenja informacije
koja se prenosi. Informacija se može definisati na različite načine i predstavlja različit pojam u različitim
oblastima (znanje, vest, saopštenje, poruka koju je primalac shvatio, mogudnost zaključivanja). U svakom
slučaju, moglo bi se redi da je to saznanje preneto kroz prostor i vreme. Pod saznanjem podrazumevamo
neku istinu koja nam je ranije bila nedostupna, odnosno postupak uklanjanja nedoumice o stanju nekog
sistema.Možemo redi da se informacija sastoji od podatka i značenja koje mu je dodeljeno („17“ je
podatak, „sada je 17h“ je informacija). Teorija informacija se bavi: definicijom mere količine informacija,
proučavanjem izvora informacija i prenosnog kanala, analizom zaštite tajnosti informacija i njihovog
skladištenja itd. Teorija informacija je nastala kao rezultat Šenonovog epohalnog rada u kome je pokazao
nekoliko ključnih činjenica kao što su:
1) sve tehničke komunikacije su u suštini diskretne (teorema o uzorkovanju)
2) izvor informacija generiše stohastički proces, pa se prenos informacija mora analizirati
alatima teorije verovatnode.
3) Bez obzira na kanal, prenos informacija se može značajno ubrzati
4) Kroz zadati kanal, prenos informacija se može obaviti sa proizvoljno malom verovatnodom
greške ukoliko je brzina manja od veličine zvane kapacitet kanala
model:
smetnje
medijum
IZVOR  KODER IZVORA  ZAŠTITNI KODER  ZAŠTITNI DEKODER DEKODER IZVORA  KORISNIK
ekvivalentni izvor kanal bez smetnji ekvivalentni korisnik

Koder izvora informaciju koju je neophodno preneti smešta u signal koji je prilagođen kanalu te
se prenos može značajno ubrzati (npr. analogni signal prevodi u digitalni). Zaštitni koder dodatno
oblikuje signal omogudujudi smanjenje verovatnode greške na prijemu. Dekoderi izvlače informaciju iz
primljenog signala. Šenon je tražio odgovore na dva ključna pitanja: Do koje mere se neki skup podataka
može komprimovati i Šta je krajnja brzina komuniciranja za zadati komunikacioni kanal. Kompleksnost
ispod koje se ne mogu komprimovati signali bez gubitaka, Šenon je nazvao entropijom, razlikujudi taj
pojam od pojma entropije koji je tada ved postojao u termodinamici.
 2. Mera količine informacija (6)

Dve osnovne aksiome o meri količine informacija su:

1) Manje verovatandogađaj nosi vedu količinu informacija
2) Informacija koju pružaju dva nezavisna događaja jednaka je sumi informacija koju pruža
svaki od njih

I(a)=-log(P[a])
Dakle, što je manje P*a+, I(a) je vede, tj. što je događaj manje verovatan, nosi vedu količinu
informacija. I druga aksioma je takođe zadovoljena, jer ako važi P*a,b+=P*a+ P*b+, onda je
I(a,b)=-log(P[a,b])=-log(P[a] P[b])=-log(P[a])-log(P[b])=I(a)+I(b)
U zavisnosti od baze logaritma menja se jedinica za meru količine informacija (menja se skala):
*log10 = 𝑙𝑜𝑔 tada je jedinica Hartley
*log 𝑒 = 𝑙𝑛 tada je jedinica nat (natural unit)
*log 2 = 𝑙𝑑 tada je jedinica bit (binary digit) (neki kažu Sh (od Šenon), nije standard)
(*log 256 = tada je jedinica bajt)
Bacanje novčida ima 2 moguda ishoda koji su jednako verovatni, pismo i glavu. Znači da ishod jednog
bacanja nosi jedan bit informacije kao –ld(1/2)=1.Usvojena definicija ne vodi računa o značenju koje
informacija ima za korisnika usled njegovih predznanja. Ona predstavlja osnovni koncept digitalnih
informacija. Postoje i druge definicije informacije, kao što je Fišerova definicija.
 3. Diskretan izvor (informacija) bez memorije (DMS). Entropija.
Maksimum entropije DMS-a. (7)

Izlaz iz DMS-a je slučajna promenljiva a koja uzima realizacije iz konačnog alfabeta sa

određenom verovatnodom. Simboli iz alfabeta se na izlazu sistema pojavljuju slučajnim redosledom, pri
čemu vremenski intervali između pojavljivanja mogu i ne moraju biti konstantni. Prosečna količina
informacija koju nosi jedan simbol je:
1
𝐻 𝐴 = 𝑃 𝑎𝑖 𝐼(𝑎𝑖 ) = 𝑃 𝑎𝑖 𝑙𝑑
𝑃 𝑎𝑖
𝐴 𝐴

Kada je verovatnoda simbola 0 i informacija koju nosi je 0. Izraz za entropiju je isti kao u
termodinamici. Postoji li analogija i sa „toplotnom smrdu svemira“ (opšte ujednačenje tokom kog
entropija neprekidno raste)? Odnosno, da li je u teoriji informacija entropija maksimalna kada su svi
simboli jednako verovatni? Jeste. Intuitivno, ako je neki ishod verovatniji od nekog drugog lakše je
predvideti šta de se desiti, nego kada su ishodi jednako verovatni. Formalno:
Neka su P i Q dve raspodele verovatnode nad istim alfabetom i znamo da je ln 𝑥 ≤ 𝑥 − 1, tada je
𝑄(𝑎) 1 𝑄(𝑎) 1 𝑄(𝑎) 1
𝑃 𝑎 𝑙𝑑 = 𝑃 𝑎 𝑙𝑛 ≤ 𝑃𝑎 −1 = 𝑄𝑎 − 𝑃𝑎
𝑃𝑎 𝑙𝑛2 𝑃𝑎 𝑙𝑛2 𝑃𝑎 𝑙𝑛2
𝐴 𝐴 𝐴 𝐴 𝐴
1
= 1−1 =0
𝑙𝑛2
pošto je:
𝑄 𝑎 1 1 1
𝑃 𝑎 𝑙𝑑 = 𝑃𝑎 𝑙𝑑 + 𝑙𝑑𝑄 𝑎 = 𝑃𝑎 𝑙𝑑 − 𝑙𝑑 =
𝑃𝑎 𝑃𝑎 𝑃𝑎 𝑄𝑎
𝐴 𝐴 𝐴
1 1
= 𝑃 𝑎 𝑙𝑑 − 𝑃 𝑎 𝑙𝑑 ≤0
𝑃𝑎 𝑄𝑎
𝐴 𝐴

sledi:
1 1
𝑃 𝑎 𝑙𝑑 ≤ 𝑃 𝑎 𝑙𝑑 , 𝑗𝑒𝑑𝑛𝑎𝑘𝑜𝑠𝑡 𝑧𝑎 𝑃 𝑎 = 𝑄 𝑎 , ∀𝑎𝜖𝐴
𝑃𝑎 𝑄𝑎
𝐴 𝐴

Ako uzmemo da je 𝑄 𝑎 = 1/𝑟, ∀𝑎𝜖𝐴, tada je 𝐻 𝐴 ≤ 𝐴 𝑃 𝑎 𝑙𝑑 𝑟 = 𝑙𝑑(𝑟) sa jednakošdu za

𝑃 𝑎 = 1/𝑟, ∀𝑎𝜖𝐴. U slučaju binarnog izvora, r=2, A=,0,1-, P*0+=p, P*1+=1-p dobijamo:
1 1
𝐻 𝐴 = 𝐻 𝑝 = 𝑝𝑙𝑑 𝑝 + 1 − 𝑝 𝑙𝑑 1−𝑝 = −𝑝𝑙𝑑 𝑝 − 1 − 𝑝 𝑙𝑑(1 − 𝑝)

Što se naziva binarna entropijska funkcija.

 4. Proširenje diskretnog izvora bez memorije (8)

Proširenje diskretnog sistema bez memorije podrazumeva emitovanje više simbola odjenom.
Kolika je tada entropija?
Na trenutak pretpostavimo da je u pitanju izvor sa memorijom. DMS emitujeN simbola
odjednom. Neka je 𝑃𝑁 [𝑎] oznaka za verovatnodu događaja 𝑎 koji je N dimenzionalni vektor. Uzmimo da
je:
𝑁

𝑄𝑁 𝑎 = 𝑃[𝑎𝑛 ] 𝑝𝑎 𝑗𝑒 𝑃 𝑎𝑛 = … … 𝑃𝑁 𝑎 , i ≠ n
𝑛=1 𝑎1 𝑎𝑖 𝑎𝑁
𝑁 𝑁
1 1 1 1
𝐻 𝐴𝑁 = 𝑃𝑁 𝑎 𝑙𝑑 ≤ 𝑃𝑁 𝑎 𝑙𝑑 = 𝑃𝑁 𝑎 𝑙𝑑 = 𝑃𝑁 𝑎 𝑙𝑑 =
𝑃𝑁 𝑎 𝑄𝑁 𝑎 𝑃 𝑎𝑛 𝑃 𝑎𝑛
𝑎 𝑎 𝑎 𝑛=1 𝑛=1 𝑎
𝑁 𝑁 𝑁
1 1 1
= … … 𝑃𝑁 𝑎 𝑙𝑑 = … … 𝑃𝑁 𝑎 𝑙𝑑 = 𝑃 𝑎𝑛 𝑙𝑑
𝑃 𝑎𝑛 𝑃 𝑎𝑛 𝑃 𝑎𝑛
𝑛=1 𝑎 1 𝑎𝑖 𝑎𝑁 𝑛=1 𝑎 𝑛 𝑎1 𝑎 𝑖 ,𝑖≠𝑛 𝑎𝑁 𝑛=1 𝑎 𝑛
𝑁

= 𝐻 𝐴 = 𝑁𝐻(𝐴)
𝑛=1

Dakle, za DMS 𝐻 𝐴𝑁 = 𝑁𝐻(𝐴), što znači da N simbola iz alfabeta nosi N puta vedu količinu
informacija. Proširenje izvora dakle podrazumeva da se ne posmatra pojedinačni simbol nego sekvence
od 2, 3 ili više simbola. N-to proširenje znači da se podrazumevaju sekvence od po N simbola, i dokaz
pokazuje da N simbola nosi N puta vedu informaciju. Naravno sve to pod uslovom da su simboli
međusobno nezavisni, odnosno da su sve sekvence mogude, što u realnosti nikada nije slučaj.Pokazuje
se da za izvore kod kojih simboli nisu jednako verovatni važi 𝐻 𝐴𝑁 ≤ 𝑁𝐻(𝐴), sa jednakošdu ako i samo
ako su simboli jednakoverovatni.
 5. Diskretni izvor sa memorijom. Ergodičnost, stacionarnost i
regularnost izvora. (7)

U vedini slučajeva izvori informacija ne emituju statistički nezavisne simbole. Takvi izvori se
nazivaju Markovljevi izvori ili diskretni izvori sa memorijom. Ako pamti poslednjih M simbola, to je
Markovljev izvor M-tog reda. DMS je Markovljev izvor nultog reda. Markovljev izvor se može predstaviti
dijagramom stanja koji osim što pokazuje sva moguda stanja memorije, pokazuje i mogude prelaze iz
jednog stanja u drugo kao i verovatnode tih prelaza.

M=2
Izvor je ERGODIČAN kada su sve verovatnode u dijagramu različite od 0, odnosno kada se iz svih
stanja može stidi u svako od stanja u nekom broju koraka. (Postoji kružna tura kojom se bar jednom
prolazi kroz sva stanja.) Ergodičnost: verovatnoda pojedinih podnizova simbola se ne menja protokom
vremena, tj.očekivanje po vremenu i asamblu je isto. Prelazi se mogu prikazati matricom prelaza gde je
član matrice pij ustvari verovatnoda prelaza iz stanja i u stanje j. Ukoliko elementi matrice prelaza ne
zavise od vremena, odnosno verovatnode prelaza iz jednog stanja u drugo se ne menjaju u toku
vremena, Markovljev izvor je STACIONARAN.
Ako je [P(0)+ vektor početnih verovatnoda pojedinih stanja, a *P(i)] je vektor verovatnoda pojedinih
stanja nakon i izvršenih prelaza, tada je:
[P(1)]= [P(0)] [P]
[P(i)]= [P(i-1)] [P]= [P(0)] [P]i
Za izvor kažemo da je REGULARAN ako za neki prirodan broj i, [P]i ima samo pozitivne elemente.
Ako za neko m, [P]m nema nultih elemenata, onda to važi i za svako i≥m. To znači da za regularne izvore
važi da iz svakog stanja, ako mu je verovatnoda nenulta, možemo dodi u svako drugou svakom broju
koraka. Dakle, svaki regularan izvor je i ergodičan, ali obrnuto ne mora da važi.
Ako postoji neko stanje za koje važi da je verovatnoda prelaza iz njega u njega samog jednaka 1
(postoji jedinica na glavnoj dijagonali u matrici prelaza), ono se naziva apsorbujude stanje. Markovljev
izvor sa bar jednim apsorbujudim stanjem je apsorbujudi Markovljev izvor i on nije ni regularan ni
stacionaran.
 6. Osnovna teorema o regularnim Markovljevim izvorima.
Dobijanje vektora verovatnoće stanja stabilizovanog
Markovljevog izvora (8)

Teorema tvrdi da postoji takva matrica T koja ima kolone istih vrednosti:
𝑡1 𝑡2 … 𝑡𝑚
𝑖
𝑇 = ⋮ ⋮ ⋮ za koju važi lim𝑖→∞ 𝑃 = [𝑇]
𝑡1 𝑡2 … 𝑡𝑚
Ovo znači da verovatnoda prelaska nekog regularnog Markovljevog izvora iz jednog stanja u
drugo nakon i koraka ne zavisi od i (za veliko i). Vektor 𝑡 = [𝑡1 , 𝑡2 , … , 𝑡𝑚 ] je lim𝑖→∞ 𝑃 𝑖 tj. vektor
verovatnoda stanja stabilnog Markovljevog izvora.
𝑡 𝑃 =𝑡
𝑖 𝑖−1 𝑖−1
lim 𝑃 = 𝑇 ⟹ lim 𝑃 𝑃 = lim 𝑃 𝑃 = 𝑇 𝑃 = 𝑇 = 𝑇 𝐼
𝑖→∞ 𝑖→∞ 𝑖→∞

⟹ 𝑇 𝑃 − 𝐼 = [0]
⟹𝑡 𝑃 − 𝐼 =0
Trivijalno rešenje je *P+=*I+ kada je u pitanju apsorbujudi Markovljev izvor, kod kog su sva stanja
apsorbujuda. U tom slučaju je 𝑡 proizvoljno, dok je za [P]≠*I+ mogude izračunati 𝑡 na osnovu M+1
linearne jednačine sa M nepoznatih. Dopunska jednačina je uvek ta da je zbir svih ti jednak 1. Preostalih
M jednačina dobija se iz poslednje jednakosti u dokazu.
𝑡1 𝑃11 − 1 + 𝑡2 𝑃21 + ⋯ + 𝑡𝑚 𝑃𝑚1 = 0
𝑡1 𝑃12 + 𝑡2 𝑃22 − 1 + ⋯ + 𝑡𝑚 𝑃𝑚2 = 0
⋮
𝑡1 𝑃1𝑚 + 𝑡2 𝑃2𝑚 + ⋯ + 𝑡𝑚 𝑃𝑚𝑚 − 1 = 0
𝑡1 + 𝑡2 + ⋯ + 𝑡𝑚 = 1
 7. Entropija Markovljevog izvora. Jezik kao izvor informacija (6)

Neka je početno stanje izvora m-to. Entropija (ili prosečna neizvesnost) prelaska iz m-tog stanja
u neko drugo (stanje s) je:
1 1
𝐻𝑚 𝑆 = 𝑃 𝑠⎸𝑠𝑚 𝑙𝑑
𝑃 𝑠⎸𝑠𝑚
𝑠𝜖𝑆

Suma se radi po svim stanjima.

Pa je entropija izvora za jedan prelazak (prelazak iz nekog stanja u neko drugo, pa sumiramo da
bismo uzeli sve mogudnosti prelazaka):

1
1 1
𝐻 𝑆 = 𝑃[𝑠1 ]𝑃 𝑠2 ⎸𝑠1 𝑙𝑑 = 𝑃 𝑠1 , 𝑠2 𝑙𝑑
𝑃 𝑠2 ⎸𝑠1 𝑃 𝑠2 ⎸𝑠1
𝑠1 𝜖𝑆 𝑠2 𝜖𝑆 𝑠1 𝜖𝑆 𝑠2 𝜖𝑆

Početno stanje je s1, a završno s2. Obe sume dakle idu kroz sva stanja (kroz isti skup).
Na isti način je i slededi izraz entropija prelaska iz m-tog stanja u neko drugo u i koraka.
𝑖 1
𝐻𝑚 𝑆 = 𝑃 𝑠⎸𝑠𝑚 (𝑖) 𝑙𝑑
𝑃 𝑠⎸𝑠𝑚 (𝑖)
𝑠𝜖𝑆

pa je entropija Markovljevog izvora za i prelazaka

𝑖
1
𝐻 𝑆 = 𝑃[𝑠1 ]𝑃 𝑠2 ⎸𝑠1 (𝑖) 𝑙𝑑
𝑃 𝑠2 ⎸𝑠1 (𝑖)
𝑠1 𝜖𝑆 𝑠2 𝜖𝑆

što se može transformisati u:

𝑖
1
𝐻 𝑆 = 𝑃 𝑠1 , 𝑠2 , … , 𝑠𝑖+1 𝑙𝑑
𝑃 𝑠𝑖+1 ⎸𝑠1 , 𝑠2 , … , 𝑠𝑖
𝑠 𝜖𝑆 𝑖+1

gde je si stanje izvora u i-tom trenutku. Suma ide po skupu stanja i+1 put (kao i+1 suma po skupu
stanja). Ova združena verovatnoda je ustvari verovatnoda da je u nekom stanju puta verovatnoda da de
da pređe u i+1 stanje, ako je u prethodnih i trenutaka bio u stanjima s1 do si.
Dakle, entropija po jednom simbolu ui koraka je:

𝑖
1 𝑖
𝐻 𝐴 = 𝐻 𝑆
𝑖
To je praktično i simbola, pa delimo sa i da bismo dobili po 1 simbolu.
Teorema 1: tvrdi da postoji takvo H(A) da je
𝑖
𝐻 𝐴 = lim 𝐻 𝐴
𝑖→∞
0
Teorema 2: Za regularan Markovljev izvor sa 𝑃 = 𝑡 = [𝑡1 , 𝑡2 , … , 𝑡𝑚 ] važi
1 2 𝑖
𝐻 𝐴 =𝐻 𝐴 =⋯=𝐻 𝐴 = ⋯ = 𝐻(𝐴)
 Jezik kao primer Markovljevog izvora. U srpskom jeziku umamo 30 glasova, 31 slovo (računajudi i
razmak). Ako bismo uzeli da su sva slova jednakoverovatna, dobili bismo maksimalnu entropiju izvora i
to je ld(31) što je blizu 5 bita po simbolu. U realnosti, svaki jezik, pa tako i srpski ima neuniformnu
raspodelu verovatnode pojavljivanja pojedinih simbola, a osim toga simboli su i međusobno korelisani u
manjoj ili vedoj meri. Tako da je entropija srpskog jezika manja od pomenutih 5 bita po simbolu.
Informaciona suvišnost odnosno redundansa jezika se računa na slededi način:
𝐻(𝑆)𝑚𝑎𝑥 − 𝐻(𝑆)
𝑅𝑑 =
𝐻(𝑆)𝑚𝑎𝑥
Ako se uzme u obzir stvarna verovatnoda pojavljivanja simbola u srpskom jeziku i idalje se
smatra da je jezik DMS, dolazi se do toga da je entropija 4.24 bita po simbolu. Međutim ispitivanjem
verovatnode pojave digrama, trigrama itd. entropija se smanjuje i sve više približava vrednosti od 1 bita
po simbolu i to ne samo za srpski jezik.
 8. Kontinualni izvor informacija. Maksimum entropije
kontinualnog izvora informacija. Dimenzija entropije
kontinualnog izvora. (10)

Izlaz kontinualnog izvora informacija su tačke kontinualnog N-dimenzionalnog Euklidskog

prostora. Za razliku od diskretnog sistema, kod kontinualnih sistema postoji beskonačan broj mogudih
ishoda. Događajima možemo nazvati pripadanje nekom intervalu, a nikako izjednačenje sa tačnom
vrednošdu. Analogno izrazu za entropiju diskretnog izvora, entropija kontinualnog izvora se može
definisati na slededi način:
∞
1
𝐻 𝐴 = 𝑝 𝑥 𝑙𝑑 𝑑𝑥
𝑝(𝑥)
−∞

gde je p(x) gustina raspodele. I kod kontinualnih signala se

maksimum entropije postiže sa uniformnom rapodelom u slučaju da je
amplitudski opseg ograničen.
𝑥1+𝑄
1
𝐻 𝐴 = 𝑙𝑑(𝑄) 𝑑𝑥 = 𝑙𝑑(𝑄)
𝑄
𝑥1

Ovaj izraz je sličan izrazu za maksimalnu entropiju kod DMS, pri čemu je umesto logaritma broja
simbola ovde prisutan logaritam amplitudskog opsega.Realni kontinualni izvori informacija imaju uvek
konačnu i ograničenu srednju snagu pri čemu amplitudski opseg ne mora biti ograničen, pa tada
uniformna raspodela nije odgovarajuda.
Analogno izvođenju kod diskretnih sistema:
∞ ∞ ∞ ∞
𝑞 𝑥 1 𝑞 𝑥 1
𝑝 𝑥 𝑙𝑑 𝑑𝑥 ≤ 𝑝 𝑥 − 1 𝑑𝑥 = 𝑞 𝑥 𝑑𝑥 − 𝑝 𝑥 𝑑𝑥 = 0
𝑝 𝑥 𝑙𝑛2 𝑝 𝑥 𝑙𝑛2
−∞ −∞ −∞ −∞
∞ ∞ ∞ ∞
1 1 1
⟹ 𝑝 𝑥 𝑙𝑑 𝑑𝑥 + 𝑝 𝑥 𝑙𝑑𝑞(𝑥)𝑑𝑥 = 𝑝 𝑥 𝑙𝑑 𝑑𝑥 − 𝑝 𝑥 𝑙𝑑 𝑑𝑥 ≤ 0
𝑝 𝑥 𝑝(𝑥) 𝑞(𝑥)
−∞ −∞ −∞ −∞
∞ ∞
1 1
⟹ 𝑝 𝑥 𝑙𝑑 𝑑𝑥 ≤ 𝑝 𝑥 𝑙𝑑 𝑑𝑥
𝑝 𝑥 𝑞 𝑥
−∞ −∞

Međutim, odnos signal/šum se ponaša po Gausovoj raspodeli. Ako uzmemo za q(x) Gausovu
raspodelu sa nultom srednjom vrednošdu dobijamo sledede:
1 𝑥2
−
𝑞 𝑥 = 𝑒 2𝜎 2
2𝜋𝜎 2
∞ ∞
1 𝑥2 1
𝐻 𝐴 ≤ 𝑝 𝑥 ln 2𝜋𝜎 2 + 2 𝑑𝑥 = ld 2𝜋𝜎 2 + 2 𝑥 2 𝑝 𝑥 𝑑𝑥
𝑙𝑛2 2𝜎 2𝜎 𝑙𝑛2
−∞ −∞
1 𝑙𝑛𝑒 1 𝑙𝑑𝑒 1
= ld 2𝜋𝜎 2 + 2 𝜎 2 = ld 2𝜋𝜎 2 + = ld 2𝜋𝑒𝜎 2
2 2𝜎 𝑙𝑛2 2 2 2
 Dakle, maksimum entropije u slučaju kada je amplitudski opseg neograničen, postiže se sa
Gausovom raspodelom.
Nema smisla govoriti o jedinici (dimenziji) bit/simbolu. Uzmimo da je frekvencijski opseg signala
uvek ograničen, tada može da se primeni teorema o uzorkovanju, te se onda može govoriti o jedinici
bit/odmerku. Međutim, tačnije je definisati funkciju informacionog fluksa (s tim da je problem što je
merenje relativno u odnosu na koordinatni sistem):
𝑏𝑖𝑡
𝜙 𝐴 = 𝐻 𝐴 ∗ 2𝑓𝑔 [ ]
𝑠
Dakle, entropija bi bila u bitima po odmerku, a po teoremi o odabiranju imamo 2𝑓𝑔 odmeraka
po sekundi, pa je onda jedinica za fluks bit po sekundi.

Za apsolutnu vrednost jakobijana 1, dobijamo H(Y)=H(X).

Kontinualni izvori su praktično svi realni izvori, ali s obzirom da ih digitalizujemo, možemo ih
smatrati diskretnim. Međutim, ipak izučavamo kontinualne izvore jer nam je bitno da znamo kapacitet
kontinualnog kanala, pa je ovo preduslov za bolje razumevanje kontinualnih kanala.
 9. Statističko (entropijsko) kodovanje. Podela kodova. Uslovi
jednoznačne dekodabilnosti. (6)

Kod je način preslikavanja niza ulaznih u niz izlaznih simbola iz uređaja zvanog koder. Svakom od
mogidih ulaznih nizova (neobavezno istih dužina) pridružuje se određen izlazni niz (takođe neobavezno
istih dužina). Ukoliko su izlazni nizovi jednake dužine, reč je o KODU KONSTANTNE DUŽINE KODNE REČI.
Ukoliko to nije slučaj, reč je o KODU PROMENLJIVE DUŽINE KODNE REČI. Ukoliko važi xn=fn(in) u pitanju
je kod bez memorije. Kod bez memorije sa konstantnom dužinom kodne reči je BLOK KOD. Ukoliko važi
xn=fn(in, in—1,..., in-M)u pitanju je kod sa memorijom (TRELIS KOD). Ovakav kod se uvek može prikazati
dijagramom stanja ili trelis dijagramom (dijagram stanja kao funkcija vremena). Blok kodom naziva se i
prefiksni kod, kao i onaj za sažimanje podataka, ali svi oni imaju pomenute osobine blok koda pa se zato
tako i nazivaju.
Kod realnih izvora neki simboli se pojavljuju češde od ostalih, pa samim tim različiti simboli nose
različitu količinu informacija. Osim toga, najčešde postoji i neka statistička zavisnost između pojedinih
simbola. To upuduje na činjenicu da nisu svi simboli „natovareni informacijom do vrha“, pa je zadatak
statističkog kodera da „izvrši pretovar informacija“. Odnosno, zadatak statističkog kodera je da učini sve
simbole jednakim u pogledu količine informacije koju prenose.
Ako imamo kodni alfabet: X(x1,x2,...,xr), svaki simbol može da nosi maksimalno ld(r) bita informacije.
Ako izvor S ima simbole iz alfabeta I(i1,i2,…,is), svaki njegov simbol nosi u proseku H(S) bita po simbolu.
Optimalni statistički koder de izlaz iz izvora S kodovati tako da je KH(S)≅Nld(r), s tim da je K broj
izvornih simbola, a N minimalan mogud broj kodovanih simbola.
Pretpostavkom što manjeg kodnog alfabeta (najmanje 2 simbola u alfabetu), bide potreban sve
vedi broj kodnih simbola za kodovanje. Ako sa Lrobeležimo prosečan broj kodnih simbola (iz kodnog
alfabeta od r različitih simbola) po jednom izvornom simbolu, dobijamo da je
𝑁 𝐻(𝑆)
𝐿𝑟 𝑆 = lim𝑁→∞ = 𝑙𝑑 (𝑟) . (izvor nazivamo n-arnim ako ima n-demenzionalni alfabet)
𝐾

Neka je X=(x1,x2,...,xlK) kodovana sekvenca dužine lK(i). Za fiksirano K, skup svih sK r-arnih sekvenci
(kodnih reči) je kod. Dakle dužina je l, a K u indeksu označava da je K-arna ulazna sekvenca. Pošto je s-
arni ulazni alfabet, različitih mogudnosti na ulazu imamo sK. Pa onda i kodnih reči moramo imati toliko, a
one su r-arne, jer je kodni alfabet r-aran.
Kod je jednoznačno dekodabilan ako ne postoje takve dve sekvence koje čine istu r-arnu
sekvencu, odnosno, ako i samo ako bilo koja sekvenca kodnih reči odgovara jednoznačno samo jednoj
sekvenci (poruci) informacionog izvora. Po Šenonu, dovoljan uslov za jednoznačnu dekodabilnost jeste
da ni jedna kodna reč dužine l nije identična sa l prvih simbola neke druge kodne reči dužine l ili više.
Jasno je da je to tako jer se tada jednostavno detektuje kraj svake kodne reči (ni jedna kodna reč nije
prefiks neke druge). Prefiksni ili blok kod je upravo onaj koji ispunjava pomenuti dovoljan uslov za
jednoznačnu dekodabilnost. Međutim, kod može biti jednoznačno dekodabilan, a da nije prefiksni. Takav
je koma kod. To je kod kod kog na primer jedinica uvek označava početak neke kodne reči.
Postoje izvori sa i bez memorije, kodovi sa memorijom i bez nje, pa i kanali sa memorijom i bez
nje. Možemo ih koristiti u svim mogudim međusobnim kombinacijama (npr. izvor sa memorikom, kod sa
memorijom i kanal bez memorije).
 10. Sardinas-Patersonov način provere jednoznačne
dekodabilnosti. Vreme zadrške pri dekodovanju. (7)

Sardinas-Patersonov postupak služi za proveru da li je kod jednoznačno dekodabilan.

Opis postupka: U nultu kolonu uneti sve kodne reči iz kodnog alfabeta. proveriti da li je neka
kodna reč prefiks neke druge kodne reči. Ako jeste, u prvu kolonu uneti razliku te dve kodne reči. Zatim
proveriti da li je neka od kodnih reči iz nulte kolone prefiks neke reči iz prve kolone, kao i da li je neka reč
iz prve kolone prefiks neke od kodnih reči iz nulte kolone. Ako postoje takvi slučajevi, razlike reči uneti u
narednu kolonu. Ne treba u jednoj koloni ponavljati iste reči. Postupak nastaviti, uvek u odnosu na reči iz
nulte kolone tj. kodne reči. Postupak se može završiti na različite načine.
1) Ukoliko u nekoj od kolona dobijemo reč koja se u potpunosti pokalapa sa kodnom reči (iz
nulte kolone) zaključujemo da kod NIJE jednoznačno dekodabilan
2) Ukoliko dođemo do prazne kolone (ni jedna reč nije prefiks ni jedne kodne reči niti je bilo
koja kodna reč prefiks reči iz poslednje kolone) zaključujemo da kod JESTE jedn.dekod.
3) Ukoliko se počnu ponavljati nizovi reči u kolanama (uzastopnim ili sa nekom pravilnošdu,
npr. svaka druga je ista) zaključujemo da kod JESTE jedn.dekod.
Kašnjenje pri dekodovanju računa se na slededi način:
𝑑 𝑑+1
𝑙𝑚𝑖𝑛 < 𝑙𝑑 < 𝑙𝑚𝑎𝑥
2 2
gde je lminnajkrada kodna reč, lmax najduža kodna reč, a d je redni broj poslednje kolone u koju je
nešto upisano. Kašnjenje praktično govori koliko još simbola treba dodati da bi se mogla
jednoznačno dekodovati sekvenca. Najkrada reč bi se praktično trebala deliti sa 1, a mi delimo sa
2, pa je to sigurna donja granica, a najdužu bi trebalo deliti sa 3 ili više, a mi delimo sa 2, pa je
onda to sigurna gornja granica. d je praktično dužina „sekvence domina“ koje se ređaju tako da
su jedna uz drugu prislonjene delom koji se poklapa (prefiks/sufiks, ono što ne pišemo u
kolonama).
 11. Prva Šenonova teorema o kodovanju. (6)

Ova teorema uspostavlja granice mogude kompresije podataka. Dokazuje da je nemogude izvršiti
kompresiju takvu da prosečan broj bita po simbolu bude manji od entropije izvora datih simbola, inače
de dodi do gubitka informacije. Međutim, mogude je vršiti kompresiju takvu da broj bita po simbolu bude
približan entropiji izvora, sa malom verovatnodom gubitka informacije.
Pozitivan stav:
Za DMS sa alfabetom A i entropijom H(A)=Hza svako 𝑁 ∈ ℕ postoji jednoznačno dekodabilan
binarni kod koji se sastoji od binarnih sekvenci (kodnih reči) dužine 𝑙𝑁 𝑎 , 𝑎 ∈ 𝐴𝑁 , za koji važi da je
očekivana dužina sekvence (kodnih reči):

𝐿𝑁 ≡ 𝑃𝑁 𝑎 𝑙𝑁 𝑎 ≤ 𝑁𝐻 + 𝑜 𝑁
𝐴𝑁

gde je sa o(N) označen član koji sa N raste sporije nego linearno.

Negativan stav:
Ne postoji jednoznačno dekodabilan kod sa očekivanom dužinom sekvence
𝐿𝑁 < 𝑁𝐻

Pozitivan i negativan stav su ustvari dovoljan i potreban uslov. Dokaz je suviše komplikovan, ne
treba ga znati za sada.
 12. Optimalni prefiksni kod za sažimanje podataka. Hafmanov
algoritam. (10)

Ukoliko kodne reči statističkog koda mogu da budu različite dužine, mogude je za dati izvor
konstruisati takav prefiksni kod čija je očekivana dužina najmanja moguda. Optimalan kod je onaj u kom
je prosečna dužina kodne reči jednaka entropiji po izvornom simbolu.
Teorema:
Za dati izvor S sa alfabetom A, od r simbola, binarni prefiksni kod sa minimalnom mogudom
dužinom kodnih reči ima sledede osobine:
1) Verovatniji simbol se koduje kradom kodnom rečju
2) Dva najmanje verovatna izvorna simbola su predstavljeni kodnim rečima iste dužine
3) Ukoliko postoje dve ili više kodnih reči iste dužine, onda postoje dve od njih koje se razlikuju
samo u poslednjem bitu
Dokaz:
1) Ako je P[a1]> P[a2] i l[a1] > l[a2+ , tada se međusobnom zamenom tih kodnih reči dobija bolji
kod
2) Ako pretpostavimo da dva najmanje verovatna izvorna simbola imaju dodeljene kodne reči
različitih dužina, tada odbacivanjem poslednjeg bita duže od te dve reči dobijamo kradu
kodnu reč i samim tim bolji prefiksni kod, a ono što je bitno, s obzirom da je u pitanju
prefiksni kod, te ni jedna kodna reč ne sme biti prefiks neke druge, pomenutim
odbacivanjem nismo mogli dodi do ved postojede kodne reči.
3) Ako pretpostavimo da su sve kodne reči iste dužine takve da se odbacivanjem poslednjeg
bita dobijaju krade reči koje su međusobno različite, a s obzirom da ni jedna kodna reč nije
prefiks neke druge, takvo skradivanje daje bolji prefiksni kod.
Teorema:
Napravimo od dva najmanje verovatna izvorna simbola novi zajednički veštački simbol i
formirajmo onda optimalan prefiksni kod Ҩ‘ za tako dobijen ekvivalentan izvor. Dodavanjem 0 i 1 na
kodnu reč koja predstavlja dodatni kombinovani simbol dobija se kod Ҩ za originalni izvor. Ҩ je
optimalan kod.
Dokaz:
Označimo dva najmanje verovatna simbola originalnog izvora sa a1 i a2, sa verovatnodama p*a1] i
p[a2+. Na osnovu prethodne teoreme znamo da su kodne reči optimalnog koda koje su njima pridružene
najduže i da se razlikuju samo na poslednjem mestu. Dužine kodnih reči iz kodova Ҩ i Ҩ’ su povezane
relacijom
𝑙 ′ 𝑎 + 1, 𝑧𝑎 𝑎 = 𝑎1 ∨ 𝑎 = 𝑎2
𝑙𝑎 =
𝑙 ′ 𝑎 , 𝑖𝑛𝑎č𝑒
 Prosečne dužine ovih kodova su

𝐿 = 𝑝𝑎𝑙𝑎 = 𝑝 𝑎 𝑙 𝑎 + 𝑝 𝑎1 𝑙 𝑎1 + 𝑝 𝑎2 𝑙 𝑎2 =
𝐴 𝐴∕ 𝑎 1 ,𝑎 2

= 𝑝 𝑎 𝑙 ′ [𝑎] + 𝑝 𝑎1 𝑙 ′ 𝑎1 + 1 + 𝑝 𝑎2 𝑙′ 𝑎2 + 1 =
𝐴 𝑎 1 ,𝑎 2

= 𝑝 𝑎 𝑙 ′ [𝑎] + 𝑝 𝑎1 + 𝑝 𝑎2 𝑙 ′ 𝑎1 + 𝑝 𝑎1 + 𝑝 𝑎2 =
𝐴 𝑎 1 ,𝑎 2

= 𝐿′ + 𝑝 𝑎1 + 𝑝 𝑎2
Dakle, minimizacija dužine kodne reči za optimalan kod originalnog izvora vrši se minimizacijom
dužine kodne reči koda korišdenog za ekvivalentni izvor.
Na osnovu pomenutih teorema formuliše se Hafmanov algoritam.
BEGIN
sortiraj u stek simbole iz alfabeta po rastudim verovatnodama;
REPEAT
uzmi dva gornja simbola sa steka;
spoj ta dva simbola u jedan;
na stek stavi novi simbol umesto prethodna dva;
sortiraj stek po rastudim verovatnodama;
UNTIL
ostao samo jedan simbol;
REPEAT
uzmi prvi sastavljeni simbol od vrha steka na niže i raspakuj ga;
kodnoj reči koja predstavlja taj sastavljeni simbol dodaj 0 i 1 i tako formiraj kodne reči za
svaki od dva raspakovana simbola;
usortiraj ta dva raspakovana simbola, zajedno sa pridruženim kodnim rečima u stek po
rastudim vrednostima verovatnode;
UNTIL
nema više sastavljenih simbola;
END

Proširenje izvora smatra se pravljenje novih simbola udruživanjem postojedih u sve mogude
varijante sekvence dužine 2 simbola (prvo proširenje), 3 simbola (drugo proširenje) itd. Proširivanjem
izvora teži se optimalnom kodu. Stepen kompresije računamo kao količnik prosečne dužine reči
kodovane sekvence i dužine reči nekodovane sekvence. Efikasnost koda se računa kao količnik entropije
i prosečne dužine kodne reči.
Postoji jako puno optimalnih kodova. Svaka permutacija kodnih simbola jednog optimalnog koda
takođe je optimalan kod. Svaka zamena kodnih reči koje odgovaraju jednakoverovatnim simbolima
datog izvora, takođe je optimalan kod. Dakle, Hafmanov kod konstruiše samo jedan od njih.
 13. Elajesov (aritmetički) kod (9)

Kodovi sa strukturom stabla su trelis kodovi sa memorijom koja teži beskonačno. Da bi se

ostvarilo statističko kodovanje na brzinama bliskim entropiji izvora, dužine pojedinih kodnih reči treba
da budu približno jednake ld(1/p*a+). Pošto dužina kodne reči mora biti ceo broj, ovo je mogude ostvariti
samo u specijalnim slučajevima. Zato je radi što boljeg statističkog kodovanja potrebno vršiti proširenje
izvora pre primene Hafmanovog algoritma ili primeniti neki drugi postupak. Može se primeniti Elajesov
kod, poznatiji kao aritmetički kod.
U pitanju je kod sa strukturom stabla promenljive dužine koji neograničeno duge nizove izvornih
simbola koduje u neograničeno duge nizove kodovanih simbola. Operacija kodovanja ima klizajudu
strukturu, kod koje kodovanje teče tako što kad nekoliko simbola uđe u koder, istovremeno ga nekoliko
kodovanih bita i napušta. Broj kodovanih bita na izlasku iz dekodera nakon ulaska jednog izvornog
simbola je promenljiv i zavisi od strukture niza izvornih simbola.
Nepraktična verzija Elajesovog koda
Pravilo: svaki slededi izvorni simbol specificira na koji podinterval dotle odabranog podintervala
de izlaz iz kodera nadalje biti ograničen. Onog trenutka kada je prva (binarna) cifra i gornje i donje
granice intervala ista, ona se emituje ka korisniku (jer se daljim sužavanjem intervala ona nede menjati).
Praktična verzija je rađena na vežbama.
 14. Blok kod za sažimanje (kompresiju) podataka. Verovatnoća
gubitka informacija. (8)

Osnovna ideja se zasniva na korišdenju AEP osobine (asymptotic equipartition property) tako što
de se za kodovanje N-torki na izlazu iz izvora S sa alfabetom A odabrati skup od M=2K binarnih K-torki
(kodnih reči) takav da je 𝐾 ≥ 𝐿𝑁 = 𝐻 𝐴𝑁 , 𝑧𝑎 𝐷𝑀𝑆 = 𝑁𝐻(𝐴).
𝐾
Kodna brzina je 𝑅 = 𝑁 [bit/izvornom_simbolu]
𝐻 𝐴𝑁
Važi da je 𝑙𝑑 𝑟 ≥ 𝑅 ≥ 𝑁
, 𝑧𝑎 𝐷𝑀𝑆 = 𝐻(𝐴) .
𝐾 1 1
Prva nejednakost iz 𝑅 = 𝑁 ≥ 𝑁 = 𝑙𝑑 𝑟
⇒ 𝑅 ≤ 𝑙𝑑(𝑟),
𝐾 𝐻 𝐴𝑁
a druga nejednakost iz 𝐾 ≥ 𝐻 𝐴𝑁 ⇒ 𝑅 = 𝑁 ≥ 𝑁
.
Prvih M-1 kodnih reči su normalne kodne reči, a M-ta kodna reč je reč zanemarivanja.
Procedura kodovanja:
Ukoliko je izvorna N-torka u 𝑆 𝑁, 𝜀 , ona se koduje korišdenjem odgovarajude normalne kodne
reči, gde se epsilon bira tako da je kardinalnost skupa #𝑆 𝑁, 𝜀 = 𝑀 − 1, inače N-torku treba preslikati u
kodnu reč zanemarivanja. Ova procedura, iako je praktična, ne omogudava uvek jednoznačno
dekodovanje. Verovatnoda gubitka informacija usled zanemarivanja je
1
𝑃𝑒 = 2−𝐾𝐹 𝑅 +𝑜(𝐾)
, 𝑔𝑑𝑒 𝑗𝑒 𝐹 𝑅 = lim − 𝑙𝑑(𝑃𝑒 ) 𝑒𝑘𝑠𝑝𝑜𝑛𝑒𝑛𝑡 𝑔𝑟𝑒š𝑘𝑒.
𝐾→∞ 𝐾
Zaključujemo da eksponent greške raste porastom K kao i porastom kodne brzine, a tada opada
verovatnoda greške. Odnosno što manje komprimujemo, manja je verovatnoda kasnije pogrešnog
dekodovanja. (Što je K vede, manje se ulaznih N-torki preslikava u reč zanemarivanja, pa se manje
informacija gubi.) Što je K vede, odnosno N manje, manje se komprimuje podatak i kodna brzina je veda.
Najveda kodna brzina može biti 1, kada nema kompresije.
Tipična zavisnost eksponenta greške od R je data na slici. F(R) se dobija ukoliko se pri dokazu AEP
osobine umesto Čebiševe koristi znatno strožija Černovljeva nejednakost. U toj zavisnosti uočavamo dve
kritične vrednosti kodne brzine, ona od koje više eksponent nije 0, i ona na kojoj se javlja asimptota kojoj
teži eksponent (tj. najveda moguda brzina). Ta najveda moguda brzina je ld(r), što je 1 za binarni kodni
alfabet, tada nema kompresije i tada nema ni greške (ona je 0). Najmanja brzina koja se teorijski dostiže
je jednaka entropiji bita po simbolu, pa je upravo vrednost entropije izvora brzina od koje eksponent
počinje da rate , a za koju je greška maksimalna (odnosno iznosi 1).
 15. Lempel-Zivovi algoritmi: varijante algoritma iz 1977. (8)

LZ77 i LZ78 su dva koda za kompresiju bez gubitaka predstavljena u radovima A. Lempela i J. Ziva
1977. i 1978. godine. Ova dva algoritma predstavljaju bazu za mnoge varijacije kao što su LZW, LZBW i
drugi. Osim njihovog naučnog doprinosa, oni se koriste i kao baza u šemama kompresije kao što su GIF,
PNG i druge. Teorijski, oba su kodovi sa rečnikom. LZ77 koristi klizedi prozor prilikom kompresije, što se
kasnije pokazalo ekvivalentnim sa korišdenjem eksplicitnog rečnika kako je i iskorišdeno u LZ78.
Klizedi prozor proizvoljne dužine, traženje poklapanja, zapis. Prva realizacija samo koliko je
vradanje i koliko je poklapanje (kada nema poklapanja piše se 0 vradanje i simbol), potom realizacija sa
flegom, indikator postoji li poklapanje, ako ne postoji, indikator je 0, pa ide simbol, a ako postoji,
indikator je 1, pa ide koliko se vradamo pa koliko simbola prepisujemo. Dopuna, bootstrap, možemo se
manje vratiti, a više prepisati (vratimo se 4 a ponovimo 10, dakle prepisemo sekvencu od 4, pa ponovo,
pa još prva dva simbola te sekvence). Postoji i Lempel Ziv Bender Wolf, koji se zasniva na LZ77, ali
umesto koliko prepisujemo, zapisuje razliku između najvedeg i prvog narednog manjeg poklapanja.
Dužina nekodovane sekvence je broj simbola puta broj bita po simbolu, a dužina kodovane je broj zapisa
puta broj bita potrebnih za zapis (indikator-1 bit, simbol-x bita, vradanje i ponavljanje-ldW, gde je W
dužina prozora, kod LZBW poslednji član zapisa se zapisuje sa brojem bita iz BW tabele). Stepen
kompresije je količnik dužine kodovane i dužine nekodovane sekvence. Dekoder radi na potpuno isti
način.
 16. Lempel-Zivovi algoritmi: varijante algoritma iz 1978. (8)

LZ78 koristi rečnik. U rečnik se upisuje nov simbol i nova reč. Zapis je sačinjen od broja koji u
rečniku predstavlja reč koja se poklapa sa najdužom sekvencom (za koju smo našli poklapanje sa nekom
od reči iz alfabeta) i simbola koji se nadograđuje na tu reč (prvi naredni simbol nekodovane sekvence), i
takvu novu reč takođe beležimo u rečnik. Istovremeno nadograđujemo stablo (čije grane čine reči). Kada
u rečniku više nema mesta, neophodno je odbaciti listove stabla koji nisu korišdeni u prethodnom ili
trenutnom koraku i onda na prvo prazno mesto u rečniku upisati novu reč. Dekoder radi na potpuno isti
način i nije potrebno prosleđivati mu rečnik.
Varijacija, tj. nadogradnja na ovo jeste LZW kod koji takođe koristi rečnik (ali ima i nepromenljiv
deo rečnika koji sadrži alfabet), reči se prave na malo drugačiji način i takođe se pravi stablo i na isti
način se pravi mesto u rečniku. Dekoder i ovde radi na potpuno isti način bez potrebe za prosleđivanjem
rečnika.
 17. Statistički model komunikacionog kanala (9)

KOMUNIKACIONI KANAL=slučajno preslikavanje slučajnog procesa ξ(t) na ulazu u kanal u

slučajan proces η(t) na izlazu iz kanala, pri čemu postoji statistička zavisnost između ovih procesa.
Komunikacioni kanala je DIGITALNI KANAL, ako ulazni proces ξ(t) ima konačno mnogo realizacija.
Digitalni kanal je KODNI KANAL ako su procesi ξ(t) i η(t) predstavljeni konačnim brojem
odmeraka (N-dimenzionalnim slučajnim vektorima).
Kodni kanal je potpuno statistički opisan ako je poznat skup funkcija verodostojnosti.
𝑃 𝑦 𝑁 ⎸𝑥 𝑁 , 𝑠0 , 𝑁 = 1,2 … , 𝑦 𝑁 ∈ 𝑌 𝑁 , 𝑥 𝑁 ∈ 𝑋 𝑁 , 𝑠0 ∈ 𝑆
početno stanje kanala
N-torka mogudih N-torka mogudih skup stanja kanala
izlaza iz kanala ulaza u kanal

Ako su skupovi X i Y konačni, reč je o DISKRETNOM KANALU.

S obzirom da se određen stepen kvantizacije ulaza i izlaza iz kanala najčešde automatski
obezbeđuje, svaki praktični kanal je u suštini diskretan. DISKRETAN KANAL BEZ MEMORIJE (DMC) je
jednoznačno okarakterisan kanalnom matricom gde svaki član predstavlja transverovatnodu
(verovatnodu preslikavanja ulaza i u izlaz j). Ako je pozanta raspodela verovatnoda simbola izvora
(raspodela verovatnoda ulaza u kanal), raspodela verovatnoda izlaza (izlaznih simbola) se može dobiti
množenjem vektora vrste verovatnoda ulaza sa kanalnom matricom.
Specijalni slučajevi:
1) binarni kanal
1−𝑝 𝑝 1-p
Π= x1 y1
𝑞 1−𝑞 p
q
2) binarni simetrični kanal (BSC) x2 y2
1-q
1−𝑝 𝑝
Π= 𝑝 < 0.5
𝑝 1−𝑝
p se naziva verovatnoda greške prenosa bita.

3) kontinualni kanal sa aditivnim belim Gausovim šumom (AWGN)

y=x+n, n je šum, p(n) ima Gausovu raspodelu, kao i transverovatnoda prelaska x u y.
Verovatnode oblika P*x⎸y+ su APOSTERIORNE VEROVATNODE.
Verovatnode oblika P*x+ i P*y+ su APRIORNE VEROVATNODE.
Verovatnoce oblika P*x,y+ su ZDRUŽENE VEROVATNODE.
 18. Ekvivokacija, irelevancija i transinformacija (7)

Pošto su i ulaz i izlaz iz kanala slučajni procesi, mogu se definisati:

*ENTROPIJA OTPREMNE LISTE SILMBOLA (entropija ulaznih simbola)
1
𝐻 𝑋 = 𝑃 𝑥 𝑙𝑑
𝑃𝑥
𝑋

*APOSTERIORNA ENTROPIJA OTPREMNE LISTE posle prijema jednog određenog simbola sa

prijemne liste Y
1
𝐻 𝑋⎸𝑦 = 𝑃 𝑥⎸𝑦 𝑙𝑑
𝑃 𝑥⎸𝑦
𝑋

EKVIVOKACIJA je prosečna aposteriorna entropija po svim simbolima prijemne liste

1 1
𝐻 𝑋⎸𝑌 = 𝑃 𝑦 𝐻(𝑋⎸𝑦) = 𝑃[𝑦] 𝑃 𝑥⎸𝑦 𝑙𝑑 = 𝑃[𝑥, 𝑦] 𝑙𝑑
𝑃 𝑥⎸𝑦 𝑃 𝑥⎸𝑦
𝑌 𝑋 𝑌 𝑋 𝑌

aequivocus=dvoumica, nesporazum
Ako je X=Y onda je P[x⎸y+=1 samo u slučaju x=y, a inače 0, pa je i združena verovatnoda
P[x,y]=P[y]P[x⎸y+=P*y+ za slučaj x=y, a inače 0. Tada je H(X⎸Y)=0. To znači da kada kanal ne unosi smetnje
mera nesporazuma je 0, odnosno nema nesporazuma, što je i očekivano.
Ukoliko je H(X⎸Y)=H(X), zaključujemo da prijem simbola sa izlazne strane (Y) nije doneo bilo
kakvu informaciju, što znači da je kanal u prekidu. Veličina koja predstavlja razliku H(X) i H(X⎸Y), naziva
se TRANSINFORMACIJA (prenesena količina informacija) i ukoliko je ona jednaka nuli, kanal je u prekidu
i kroz njega nije mogude preneti informaciju.
1 1
𝐼 𝑋, 𝑌 = 𝐻 𝑋 − 𝐻 𝑋⎸𝑌 = 𝑃 𝑥 𝑙𝑑 − 𝑃 𝑥, 𝑦 𝑙𝑑 =
𝑃𝑥 𝑃 𝑥⎸𝑦
𝑋 𝑋 𝑌
1 𝑃[𝑦] 𝑃[𝑥, 𝑦]
= 𝑃[𝑥, 𝑦] 𝑙𝑑 − 𝑃[𝑥, 𝑦] 𝑙𝑑 = 𝑃[𝑥, 𝑦] 𝑙𝑑
𝑃𝑥 𝑃 𝑥, 𝑦 𝑃𝑥𝑃𝑦
𝑋 𝑌 𝑋 𝑌 𝑋 𝑌
= 𝑃 𝑥, 𝑦 𝑖(𝑥, 𝑦)
𝑋 𝑌

Veličina i(x,y) se naziva UZAJAMNA INFORMACIJA događaja x i y. Definicija uzajamne informacije

zadovoljava sledede osobine:
1) Ukoliko su x i y nezavisni događaji, uzajamna informacija je jednaka nuli
2) Ukoliko događaj x implicira događaj y, tj. ukoliko je P*y⎸x]=1, tada nam ostvarenje x daje
potpunu informaciju o y, tj. i(x,y)=I(x)=ld(1/P[x])što je jednako sa I(y)= ld(1/P[y])
3) i(x,y)=i(y,x)
4) i(x,x)=I(x), pa se I(x) naziva i auto-informacija
IRELEVANCIJA je H(Y⎸X). Preko nje transinformacija se definiše kao I(X,Y)=H(Y)-H(Y⎸X).
𝑃[𝑦⎸𝑥]
Lema: 0≤I(X,Y)≤ 𝑋 𝑌 𝑃[𝑥, 𝑦] 𝑙𝑑 𝑄[𝑦] sa prvom jednakošdu za nezavisne x i y, a sa drugom za
P[y]=Q[y]. Dokaz jednostavan.
 Može se uvesti i pojam ZDRUŽENE ENTROPIJE.
1 𝑃𝑥𝑃𝑦
𝐻 𝑋, 𝑌 = 𝑃 𝑥, 𝑦 𝑙𝑑 = 𝑃 𝑥, 𝑦 𝑙𝑑
𝑃 𝑥, 𝑦 𝑃 𝑥, 𝑦 𝑃 𝑥 𝑃 𝑦
𝑋 𝑌 𝑋 𝑌
1 1 𝑃 𝑥, 𝑦
= 𝑃 𝑥, 𝑦 𝑙𝑑 + 𝑃 𝑥, 𝑦 𝑙𝑑 − 𝑃 𝑥, 𝑦 𝑙𝑑
𝑃𝑥 𝑃𝑦 𝑃𝑥𝑃𝑦
𝑋 𝑌 𝑋 𝑌 𝑋 𝑌
= 𝐻 𝑋 + 𝐻 𝑌 − 𝐼 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌⎸𝑋 = 𝐻 𝑌 + 𝐻 𝑋⎸𝑌

H(X,Y)
H(X)

H(Y)

H(Y⎸X)
H(X⎸Y) I(X,Y)
 19. Kapacitet diskretnog kanala. Kapacitet BSC kanala. (8)

Izraz za transinformaciju može se napisati u obliku:

𝑃[𝑦⎸𝑥]
𝐼 𝑋, 𝑌 = 𝑃[𝑥] 𝑃 𝑦⎸𝑥 𝑙𝑑 ′
𝑋 𝑃[𝑥 ]𝑃 𝑦⎸𝑥′
𝑋 𝑌

Iz ovog oblika se vidi da transinformacija zavisi samo od transverovatnoda oblika P*y⎸x+, što
znači od kanala, i od raspodele verovatnoda otpremne liste X, što znači od izvora. To znači da se
transinformacija može maksimizovati samo promenom P[X]. Maksimalna moguda transinformacija
naziva se KAPACITET KANALA, RC.
𝑏𝑖𝑡
𝑅𝑐 = max 𝐼(𝑋, 𝑌) [ ]
𝑃[𝑋] 𝑠𝑖𝑚𝑏𝑜𝑙𝑢
Izračunavanje kapaciteta kanala u opštem slučaju može biti vrlo komplikovano, ali za različite
klase kanala može se nadi jednostavniji način rešavanja ovog problema.
BSC kanal:
RC=1-H(p), za P[X=0]=P[X=1]=0.5
Izvođenje…
Uniformni kanali:
Kanal je uniforman sa ulazne strane ako su sve vrste u njegovoj kanalnoj matrici nastale
permutacijom članova prve vrste.(Uniforman je sa izlazne strane ako su sve kolone permutacija prve.) Za
takve kanale važi:
1
𝐼 𝑋, 𝑌 = 𝐻 𝑌 − 𝐻 𝑌⎸𝑋 = 𝐻 𝑌 − 𝑃 𝑥 𝐻 𝑌⎸𝑥 = 𝐻 𝑌 − 𝑃𝑥 𝑃 𝑦⎸𝑥 𝑙𝑑
𝑃 𝑦⎸𝑥
𝑋 𝑋 𝑌
= 𝐻 𝑌 − 𝐻 𝑌⎸𝑥 , ∀𝑥 ∈ 𝑋, 𝑗𝑒𝑟 𝑗𝑒 𝑃 𝑥 = 𝑐𝑜𝑛𝑠𝑡.
⟹ 𝑅𝐶 = 𝑙𝑑 𝑞 ′ − 𝐻 𝑌⎸𝑥 , ∀𝑥 ∈ 𝑋
pri čemu je P*X+ odabrano tako da H(Y) bude maksimalno, tj da izlazi budu jednako verovatni sa
verovatnodom 1/q‘. Na taj način je određen i kapacitet BSC kanala. (q’ je broj simbola izlaza)
Primer…
Za kanale čija je kanalna matrica kvadratna (imaju jednak broj ulaznih i izlaznih simbola) i
regularna (determinanta joj je različita od 0, za određivanje kapaciteta kanala se može koristiti metod
Lagranžovih multiplikatora. (Još jedan uslov za ovu metodu je da sve verovatnode ulaznih simbola budu
između 0 i 1, što se proverava kasnije.)
1) Formira se vektor H=[-H(Y⎸x1), -H(Y⎸x2), ..., -H(Y⎸xq)]
2) Reši se matrična jednačinaΛ= Λ1, Λ2, … , Λq =H ΠT]-1
3) Optimalna raspodela ulaznih verovatnoda je P*X+=*P*x1],P[x2],...,P[xq] ]
𝑞
4) Kapacitet kanala je 𝑅𝐶 = 𝑙𝑑 𝑖=1 2𝜆 𝑖
𝑞 𝑇 −1 𝜆𝑗
𝑗 =1 Π 𝑖𝑗 ∙ 2
𝑃 𝑥𝑖 = 𝑞 𝜆𝑗
𝑗 =1 2
Primer…
20. Kapacitet aditivnog kanala (9)

y=x+n, gde je n šum. Irelevancija ovakvog kanala je:

1 1
𝐻 𝑌⎸𝑋 = 𝑃𝑥 𝑃 𝑦⎸𝑥 𝑙𝑑 = 𝑃𝑥 𝑃 𝑥 + 𝑛⎸𝑥 𝑙𝑑
𝑃 𝑦⎸𝑥 𝑃 𝑥 + 𝑛⎸𝑥
𝑋 𝑌 𝑋 𝑁
1
= 𝑃𝑥 𝑃 𝑛 𝑙𝑑 = 𝑃 𝑥 𝐻 𝑁 =𝐻 𝑁
𝑃𝑛
𝑋 𝑁 𝑋

⟹ 𝐻 𝑋 + 𝑁⎸𝑋 = 𝐻 𝑁 , 𝑧𝑎 𝑛 ≠ 𝑓(𝑥)
𝐼 𝑋, 𝑌 = 𝐻 𝑌 − 𝐻 𝑌⎸𝑋 = 𝐻 𝑌 − 𝐻 𝑁 = 𝐻 𝑋 + 𝑁 − 𝐻(𝑁)
Granični slučajevi:
1) H(N)=0
⇒H(X+N)=H(X)
⇒I X,Y =H X
U pitanju je idealan kanal, kada se sva informacija sa ulaza prenosi.

2) H(X+N)=H(N)
⇒I(X,Y)=0
U pitanju je kanal koji je u prekidu (informacija sa ulaza se ne prenosi).
 21. Kapacitet kontinualnog kanala (10)

Transinformacija kontinualnog kanala se računa analogno transinformaciji diskretnog kanala:

∞
𝑝(𝑥, 𝑦)
𝐼 𝑋, 𝑌 = 𝑝 𝑥, 𝑦 𝑙𝑑 𝑑𝑥𝑑𝑦
𝑝 𝑥 𝑝(𝑦)
−∞

Izračunavanje kapaciteta takvog kanala je veoma komplikovano, ali u specijalnim slučajevima

kao što je aditivni kontinualni kanal važi sledede:
𝐼 𝑋, 𝑌 = 𝐻 𝑌 − 𝐻 𝑁
1
𝑅𝑐 = max 𝐼(𝑋, 𝑌) = max 𝐻(𝑌) − 𝐻 𝑁 = 𝑙𝑑 2𝜋𝑒𝑟𝑦 2 − 𝐻(𝑁)
𝑝(𝑥) 𝑝(𝑥) 2
Ovaj maksimum se dostiže za onu raspodelu verovatnoda p(x), za koju je gustina raspodele
trenutnih vrednosti na izlazu iz kanala Gausova, sa varijansom ry2.
Za kontinualan kanal sa aditivnim belim Gausovim šumom, entropija šuma je maksimalna
moguda:
1
𝐻 𝑁 = 𝑙𝑑 2𝜋𝑒𝑟𝑛 2
2
Kapacitet ovog kanala je:
1 1 1 𝑟𝑦 2 1 𝑟𝑥 2 + 𝑟𝑛 2 1
𝑅𝑐 = 𝑙𝑑 2𝜋𝑒𝑟𝑦 2 − 𝑙𝑑 2𝜋𝑒𝑟𝑛 2 = 𝑙𝑑 2 = 𝑙𝑑 = 𝑙𝑑 1 + 𝑆𝑁𝑅
2 2 2 𝑟𝑛 2 𝑟𝑛 2 2
𝑟𝑥 2
gde je SNR= odnos signal/šum (odnosno odnos srednjih snaga signala i šuma).
𝑟𝑛 2
 22. Kaskadna veza kanala (10)

Pojedini tipovi kanala mogu se kaskadno vezivati pod uslovom da je na mestu kaskadnog spoja
izlazni alfabet prethodnog kanala iste kardinalnosti kao ulazni alfabet narednog. Rezultat kaskadne veze
kanala je novi (ekvivalentni) kanal.

Uslovi za kaskadno povezivanje kanala poklapaju se sa uslovima za množenje matrica.

Teorema:
Za kaskadnu vezu kanala važi: I(X,Y)≤I(X,V) i I(X,Y)≤I(Y,V)
DMC1 DMC2
X V Y
Dokaz:
Analogno se radi za obe nejednakosti.
𝑃[𝑥, 𝑦] 𝑃[𝑥, 𝑣]
𝐼 𝑋, 𝑌 − 𝐼 𝑋, 𝑉 = 𝑃 𝑥, 𝑦 𝑙𝑑 − 𝑃 𝑥, 𝑣 𝑙𝑑
𝑃[𝑥]𝑃 𝑦 𝑃[𝑥]𝑃 𝑣
𝑌 𝑋 𝑉 𝑋
𝑃 𝑥, 𝑦 𝑃[𝑣] 1 𝑃 𝑥, 𝑦 𝑃[𝑣]
= 𝑃 𝑥, 𝑦, 𝑣 𝑙𝑑 = 𝑃 𝑥, 𝑦, 𝑣 𝑙𝑛
𝑃[𝑥, 𝑣]𝑃 𝑦 𝑙𝑛2 𝑃[𝑥, 𝑣]𝑃 𝑦
𝑌 𝑉 𝑋 𝑌 𝑉 𝑋
1 𝑃 𝑥, 𝑦 𝑃[𝑣]
≤ 𝑃 𝑥, 𝑦, 𝑣 −1
𝑙𝑛2 𝑃[𝑥, 𝑣]𝑃 𝑦
𝑌 𝑉 𝑋
1 1
= 𝑃 𝑦⎸𝑥, 𝑣 𝑃 𝑥⎸𝑦 𝑃 𝑣 − 1 = 𝑃 𝑦⎸𝑣 𝑃 𝑣 − 1 = 0
𝑙𝑛2 𝑙𝑛2
𝑌 𝑉 𝑋 𝑌 𝑉
𝑃 𝑥,𝑦 𝑃 𝑥,𝑣
sa jednakošdu za 𝑃 𝑦 = 𝑃 𝑥⎸𝑦 = 𝑃𝑣
= 𝑃 𝑥⎸𝑣 .

* 𝑋 𝑃 𝑦⎸𝑥, 𝑣 𝑃 𝑥⎸𝑦 = 𝑃 𝑦⎸𝑣 važi po teoremi irelevancije, a i intuitivno je jasno da ako nam je
poznato v, y praktično više i ne zavisi od x
 23. Verovatnoća greške prenosa informacija. MAP kriterijum.
Odnos redundanse i verovatnoće greške. (7)

Nakon prijema određenog simbola na izlazu iz kanala, potrebno je doneti odluku o tome koji je
simbol bio poslat kroz kanal. Kriterijum treba postaviti tako da se verovatnoda greške kroz kanal
minimizuje.
Verovatnoda greške u opštem slučaju:

𝑃𝑒 = 𝑃 𝑥 𝑦 ≠ 𝑥 = 𝑃[𝑦] 𝑃[𝑥⎸𝑦]
𝑌 𝑋/𝑥 𝑦

Odnosno, verovatnoda greške je suma proizvoda sledede dve verovatnode: verovatnoda da je

poslat simbol1 i verovatnoda da je primljen neki drugi (po svim mogudnostima) simbol ako je poslat
simbol1. Naravno, suma ide po svim mogudim izlazima. Sa kapicom je označena procena poslatog
simbola x nakon što je primljen simbol y. Verovatnoda greške može se izraziti i drugačije:

𝑃𝑒 = 𝑃[𝑥, 𝑦] = 𝑃[𝑥, 𝑦] − 𝑃[ 𝑥 𝑦 , 𝑦] = 1 − 𝑃[ 𝑥 𝑦 , 𝑦]
𝑌 𝑋/𝑥 𝑦 𝑋 𝑌 𝑌 𝑌

Minimizacija se vrši maksimizacijom 𝑌 𝑃[ 𝑥 𝑦 , 𝑦], tj. maksimizacijom svakog člana te sume.

𝑥 𝑦 = 𝑥: 𝑃 𝑥, 𝑦 ≥ 𝑃 𝑥 ′ , 𝑦 , ∀𝑥 ∈ 𝑋
Ako napravimo matricu združenih verovatnoda, maksimizacija se svodi na maksimizaciju po
kolonama matrice (po kolonama je isti izlazni simbol). To znači da de biti npr. 𝑥 𝑦1 = 𝑥3 ako je u prvoj
koloni matrice združenih verovatnoda najvedi član iz trede vrste. Dakle, ako je na izlazu y 1, smatrademo
da je poslat simbol x3. Tada de verovatnoda greške Pe biti razlika jedinice i zbira verovatnoda odabranih iz
matrice združenih verovatnoda, na opisani način.
Bilo koje drugo pravilo odlučivanja bi
donelo vedu verovatnodu greške
prenosa informacija.
 Maksimizacija združene verovatnode se vrši maksimizacijom aposteriorne verovatnode P*y⎸x] (ili
njenog logaritma nazvanog FUNKCIJA VERODOSTOJNOSTI). To je MAP kriterijum (maximum aposteriory
probability). To se svodi na:
1
P[x,y]=P[x]P[y⎸x]=𝑞 P[y⎸x]

Kada je P[x]=const, odnosno kada su ulazi jednakoverovatni, MAP kriterijum se svodi na ML

kriterijum (most likelyhood). Praktično se uvek svodi na ML jer ukoliko raspodela ulaznih verovatnoda
nije poznata, pretpostavlja se da je ona uniformna. Ova pretpostavka je robusna jer najčešde minimizuje
prosečnu verovatnodu greške po ansamblu svih mogudih ulaznih verovatnoda, ali i realna pošto se
pretpostavlja da je pre prenosa kroz komunikacioni kanal informaciona sekvenca statistički kodovana.
Za BSC MAP kriterijum je optimalan, ali se verovatnoda greške može dalje smanjiti proširenjem
liste na izlazu iz kanala prelaskom na blokovsko odlučivanje. Za DMC odgovarajude N-to proširenje daje
verovatnode
𝑁
𝑁 𝑁
𝑃 𝑦 ⎸𝑥 = 𝑃[𝑦𝑛 ⎸𝑥𝑛 ]
𝑛=1

Primeri…
Optimalno pravilo blokovskog odlučivanja naziva se još i OPTIMALNO DEKODOVANJE. N-torka
𝑥 𝑁 je kodna reč, a 𝑦 𝑁 izlazna kanalna sekvenca. Greška dekodovanja uvek dovodi do pogrešnog
određivanja jednog simbola poslate kodne reči. Verovatnoda pogrešnog određivanja poslatog simbola
pri dekodovanju najrealnija je mera pouzdanosti prenosa i nikada nije veda od verovatnode pogrešnog
dekodovanja cele kodne reči, ali je simbolnu verovatnodu greške teško odrediti u opštem slučaju. Prosto
proširivanje izlazne liste ne menja verovatnodu simbolske greške ukoliko između izlaznih kanalnih
simbola nema međuzavisnosti. Za DMC kanale međuzavisnost izlaznih simbola može nastati samo zbog
međuzavisnosti ulaznih simbola. Najjednostavniji način uvođenja međuzavisnosti je zabrana pojave
određenih kombinacija simbola na ulazu u kanal. Može dodi do problema da prvi simbol kodne reči ne
nosi informaciju, ali se prosečna verovatnoda simbolske greške smanji. Kod načinjen tako što su
određene ulazne kanalne sekvence zabranjene naziva se ZAŠTITNI KOD. Zabranom nekih ulaznih
sekvenci unesena je međuzavisnost pojedinih ulaznih kanalnih simbola, odnosno REDUNDANSA. Kvalitet
zaštitnog koda zavisi od izbora zabranjenih kodnih sekvenci. Unošenjem redundanse je smanjena kodna
brzina R=ld(M)/N *bit/prenesenom_kanalnom_simbolu+, gde je M broj kodnih reči tj. dozvoljenih
sekvenci u skupu svih mogudih N-torki nad kanalnim alfabetom. Kada su dozvoljene sve N-torke, kodna
brzina je R=ld(q), gde je q broj simbola ulaznog alfabeta. Dakle kodna brzina je jednaka entropiji izvora
na ulazu u kanal, uz pretpostavku da su sve N-torke na ulazu jednako verovatne. Dakle, jasno je da se
smanjivanjem kodne brzine smanjuje i verovatnoda greške. Ona se menja i sa povedanjem N.
 24. Druga Šenonova teorema o kodovanju (6)

Druga Šenonova teorema daje odgovor na pitanje kako se menja verovatnoda greške
optimalnog zaštitnog koda sa promenom dužine sekvence, odnosno sa porastom N.
Pozitivan stav:
Pe opada sa N i teži 0 za R<Rc
Negativan stav:
Pe raste sa N za R≥Rc
Dokaz je u opštem slučaju veoma komplikovan, pa se radi za BSC-NE TREBA ZA OVAJ PREDMET
 25. Eksponent greške zaštitnih kodova. (7)

Pažljivom analizom dokaza druge Šenonove teoreme može se ustanoviti da je verovatnoda

greške uniformno raspodeljenog koda

Pe=2-NE(R)+o(N)za blok kodove, ℳ=0, gde E(R) predstavlja EKSPONENT GREŠKE i izgleda ovako:

Eksponent greške ove familije kodova poznat je pri svim

kodnim brzinama. Za trelis kodove, eksponent greške se
definiše kao
−1
𝐸 𝑅, ℳ = lim 𝑙𝑑(𝑃𝑒 )
𝑁→∞ ℳ+1 𝑁
⟹ 𝑃𝑒 = 2− ℳ+1 𝑁𝐸 𝑅,ℳ +𝑜(𝑁)

Ovaj eksponent sa ℳ jako brzo raste i za BSC ima oblik kao

na slici, a uglavnom je isti i za bilo koji drugi kanal, sa
pojedinim izuzecima.

R0=cut off rate brzina

Rcritic1=1/N
Rcritic2=ld(q)

U opsegu brzina ispod Rcritic1 nije

mogude dekodovanje, za brzine
iznad cut off rate, do kodne
brzine nije mogude optimalno, ali
je mogude suboptimalno
dekodovanje, a to podrazumeva
neke turbo kodove. Između
kritičnih brzina imamo linearno
opadanje eksponenta greške.
R0 definiše praktične granice
sekvencijalnih dekodera jer se
oni ponekad zaglave usled
paketa grešaka.
 26. Uloga zaštitnog kodovanja u prenosu informacija. Načini
zaštitnog kodovanja. Vrste zaštitnih kodova. (6)

Zaštitno kodovanje se razvilo 50-ih godina XX veka. Od tada se ulaže u kostrukciju što
efikasnijeg postupka kodovanja za pouzdan prenos informacija kroz kanale u kojima deluju smetnje.
Dakle, zahtevi su: što manja verovatnoda greške, što manja srednja snaga utrošena na prenos jednog
bita informacije, što krade vreme prijemne i otpremne obrade signala i naravno, što manja cena
čitavog sistema. Nemogude je postidi sve, pa se radi na optimizaciji nekih od njih, dok se ostali drže
na nekom fiksnom nivou. Razvojem tehnologije pomeraju se i granice pomenutih parametara.
Verovatnoda greške nekada je bila dovoljna do 10-4, a danas ide i do 10-9. Odnos srednjih snaga
signala i šuma se spušta sa nekadašnjih 11 na današnjih 3-6 dB, pa i manje. Vreme obrade takođe
ubrzano pada. Da su sve tehničke komunikacije u suštini diskretne pokazuje se time da je za potpuno
veran prenos ili skladištenje bilo koje informacije dovoljno pouzdano preneti samo konačan broj
simbola iz nekog pogodno odabranog alfabeta.
model sistema za digitalni prenos:
izvor infostatistički koderšifarski koderzaštitni kodermodulatorprenosni
medijumdemodulatorzaštitni dekoderšifarski dekoderstatistički dekoderkorisnik informacija
Za prenosni sistem obavezni su samo izvor, prenosni medijum i korisnik, a sve ostalo je opciono,
ali relativno često u realnim sistemima za digitalni prenos informacija. Prenosni kanal možemo
predstaviti kao IZVORZAŠTITNI KODERKODNI KANALZAŠTITNI DEKODERKORISNIK
Načini zaštitnog kodovanja su:
1) ponavljanje sumnjivih poruka (ARQ)
2) kodovanje za otklanjanje grešaka (FEC)
ARQ sistemi, iako su mnogo jednostavniji i jeftiniji, imaju nekoliko problema, a to su: veliko
kašnjenje koje je u nekim slučajevima neprihvatljivo i potreba za dodatnim kanalom koji nije uvek mogud
(uvođenjem povratnog kanala, kapacitet kanala se ne menja).
Klase zaštitnih kodova:
1) blok kodovi (nema memorije, bitska kodna brzina R=K/N=broj_ulaza/broj_izlaza)
2) trelis kodovi (postoje memorijski elementi)
Razmatrademo samo prenos informacija kroz:
1) BSC, binarni simetrični kanal, verovatnoda greške prenosa bita je p
2) BEC, binarni kanal sa brisanjem
3) BSDC, binarni kanal sa finim odlučivanjem (kvantizacijom) na izlazu

q
0 0
r
p
E
p
r
1 1
q
 Kvantizacija u BSDC može biti na 4, 8, 16 nivoa. Za BSC se pokazuje da je u bitskom odnosu signal
šum, uočeno znatno poboljšanje za kvantizaciju na 8 umesto 4 nivoa, ali neznatno na više od 8 nivoa.
Trelis kodovi su u kanalima bez memorije superiorniji u odnosu na blok kodove. U kanalima sa
memorijom, blok kodovi su superiorniji. Za blok kodove Pe~2-E(R)*N, a za trelis kodove Pe=2-E(R)*(ℳ+1)*N.
 27. Trelis kodovi: definicija, parametri, dijagram stanja i trelis
dijagram (7)

Trelis koder je Milijev automat sa konačnim brojem stanja, K ulaza i N izlaza. Generatorska
sekvenca ili polinom definiše način povezivanja ulaza sa izlazom za linearne trelis kodove. Linearan kod
je onaj kod kog je zbir komponenta po komponentu neke dve mogude izlazne sekvence takođe moguda
izlazna sekvenca. Za alfabet {0,1} zbir je definisan kao ekskluzivno ili. Linearni kod je svaki kod kod kog se
u funkciji preslikavanja koriste samo linearni operatori. Konvolucioni kod je onaj kod kod kog je
kodovana sekvenca jednaka konvoluciju informacione sekvence i generatorske sekvence. Linearni trelis
kod i konvolucioni kod su sinonimi. Fiksni konvolucioni koder je onaj kod kog funkcija preslikavanja
odnosno generatorski polinom nije funkcija vremena (diskretnog). U praksi se najčešde koriste fiksni
konvolucioni kodovi. Parametri: ℳ broj memorijskih delija, K broj ulaza, N broj izlaza, R=K/N kodna
brzina. Pošto je trelis kod automat sa konačnim brojem stanja, njegovo ponašanje se može opisati
dijagramom stanja (stanja i prelazi). Na liniji koja označava prelaz obično se piše simbol koji je
prouzrokovao taj prelaz, a zgodno je označiti i izlaz iz kodera za taj prelaz. Dok mogudi prelazi zavise
samo od stanja i memorije, kao i informacione sekvence, izlazi iz kodera zavise i od funkcije
preslikavanja. Dijagram stanja nacrtan posebno za svaki trenutak daje trelis, odnosno rešetkasti
dijagram. Praktično služi za pradenje prelazaka iz jednog stanja u drugo u toku vremena. Pogodan je za
proučavanje strukture rastojanja koda u kojoj je najinteresantnije slobodno rastojanje koda.
dfree=minimalno Hemingovo rastojanje između parova različitih puteva kroz beskonačno dug
trelis. Za linearne kodove to je minimalna Hemingova težina nekog ne-nultog puta kroz beskonačan
trelis.
 28. Metrika za optimalno dekodovanje trelis kodova (9)

Pretpostavimo kanal bez povratne sprege i bez memorije. Dekoder po maksimalnoj

verodostojnosti teži da maksimizuje za dati niz na izlazu iz kanala verovatnode
𝑁𝐿

𝑃 𝑌𝑁𝐿 ⎸𝑋𝑁𝐿 = 𝑃 𝑦𝑛 ⎸𝑥𝑛

𝑛=1

Pošto je izlaz dat, može se ostvariti samo izborom ulaza. Pošto maksimizacija proizvoda nije
jednostavna kao maksimizacija sume i pošto je logaritam monotono rastuda funkcija, ova maksimizacija
se može zameniti slededom maksimizacijom
𝑁𝐿

𝑙𝑑𝑃 𝑌𝑁𝐿 ⎸𝑋𝑁𝐿 = 𝑙𝑑𝑃 𝑦𝑛 ⎸𝑥𝑛

𝑛=1

ili
𝑁𝐿

𝑙𝑑𝑃 𝑦𝑛 ⎸𝑥𝑛 − 𝑓(𝑦𝑛 ) , 𝑡𝑎𝑗 č𝑙𝑎𝑛 𝑗𝑒 𝑐𝑜𝑛𝑠𝑡, 𝑝𝑎 𝑛𝑒𝑚𝑎 𝑢𝑡𝑖𝑐𝑎𝑗𝑎 𝑛𝑎 𝑚𝑎𝑘𝑠𝑖𝑚𝑖𝑧𝑎𝑐𝑖𝑗𝑢, 𝑛𝑒 𝑧𝑎𝑣𝑖𝑠𝑖 𝑜𝑑 𝑋
𝑛=1

ili
𝑁𝐿

𝐴 𝑙𝑑𝑃 𝑦𝑛 ⎸𝑥𝑛 − 𝑓(𝑦𝑛 ) , 𝐴 > 0

𝑛=1

metrika 𝜇 𝑥𝑛 , 𝑦𝑛
Pogodno je odabrati 𝑓 𝑦𝑛 = min𝑥 𝑛 𝑙𝑑𝑃 𝑦𝑛 ⎸𝑥𝑛
Tada je metrika uvek nenegativna, a jednaka nuli za „najgoru“ ulaznu sekvencu, tj. za najlošije
poklapanje. Za BSC i BEC metrika je irelevantna u odnosu na izbor verovatnoda prelaza u kanalu. Kod
trelis kodova problem dekodovanja po maksimalnoj verodostojnosti se svodi na pronalaženje puta kroz
trelis sa najvedom akumulisanom metrikom.
 29. Viterbijev algoritam za dekodovanje trelis kodova (VA):
završeni trelis (9)

Poenta je kretanje kroz trelis uz zadržavanje samo najboljeg puta do savkog stanja. Postoje dve
tipične situacije: završen i beskonačan trelis. Kod završenog, nakon L trenutaka (grana) treba ubaciti ℳ
unapred poznatih K-torki u koder kako bi se koder doveo u jedinstveno (poznato) stanje. Kod
beskonačnog dekoder ne može da čeka na kraj trelisa. Dekodovana poruka kod završenog trelisa se
iščitava od kraja trelisa, iz jedinstvenog poznatog stanja u koje vodi samo jedan preživeli put.
U slučaju da dekodujemo kanal BSDC-4, potom dekodujemo, a da je kanal postao BSC, a onda i
BEC, dobijamo različitrezultat. Razlog je: što finije odlučujemo manje grešaka pravimo, odnosno grubo
odlučivanje ima vedu verovatnodu pojave greške, pa de nam od pomenuta tri slučaja, najverovatnije
tačnu sekvencu dati BSDC-4.
 30. Viterbijev algoritam za dekodovanje trelis kodova (VA):
beskonačan trelis (10)

Odaberi 𝑖𝑛 kao granu na dubini n iz koje proizilazi put sa najboljom metrikom do nekog od
stanja u trenutku n+τ, gde je τ kašnjenje. Bez obzira kako se razreši slučaj istih metrika, odluka na
kraju bude ista. Kašnjenje treba odabrati tako da verovatnoda greške usled prinudne odluke bude
zanemarljiva u odnosu na verovatnodu greške dekodovanja, a da se pri tome prostorna
kompleksnost dekodera minimizuje. Eksperimentalno je utvrđeno da je τ=4ℳ. Ukoliko želimo da
izbegnemo maksimizaciju metrike po svim stanjima u nekom trenutku, radi dekodovanja samo jedne
grane, treba koristiti sledede pravilo: odaberi 𝑖𝑛 kao granu na dubini n iz koje proizilazi put do stanja
svih nula (ili ma kog drugog) na dubini n+τ, s tim da kašnjenje u ovom slučaju mora biti vede i iznosi
τ=5ℳ.
31. Dopune VA neophodne pri praktičnoj realizaciji.
Karakteristike VA. (9)

1. Da ne bismo vodili računa kaoja su stanja aktivna u kom trenutku

Samo poznatom početnom stanju dodeli metriku 0 u trenutku n=0, a ostalima se dodeljuje
metrika –dfree(maksimalna_granska_metrika)-1, što obezbeđuje da putevi koji iz njih
proizilaze (divergiraju) nikako ne mogu biti odabrani kao preživeli do bilo kog stanja na
dubini n=ℳ i dalje. Dekodovanje vršiti za sva stanja, i preko dubine L, a kao dekodovani,
odabrati onaj put koji vodi u poznato završno stanje, a sve ostale zanemariti, bez obzira na
metriku. Prosto takvim dodeljivanjem metrika, metrika puta koji vodi iz najboljeg početnog
stanja de uvek biti najveda i jedino de taj put biti onaj preživeli.
2. Da ne bi postepenim akumuliranjem metrike došlo do situacije da maksimalna metrika
premašuje najvedi broj koji se može predstaviti u memoriji dekodera (overflow)
Povremeno oduzeti minimalnu metriku od svih akumulisanih metrika u tom trenutku.
3. Ukoliko postoji mogudnost gubitka bitske sinhronizacije
Treba preskočiti jedan bit (prosto ga ispustiti da bi se ponovo uspostavila sinhronizacija) u
slučajevima kada je razlika između maksimalne i minimalne akumulisane metrike manja od
neke granice tokom više uzastopnih vremenskih trenutaka. Ovu situaciju inicira i spor rast
maksimalne akumulisane metrike. U slučaju da je sve u redu, metrika konstantno raste sa
nagibom 1-p (uz povremena „štucanja“ u slučaju greške), pa ako metrika počne da raste
sporo (sa nagibom ½), zaključidemo ili da je naišao ogroman paket grešaka ili da se
jednostavno izgubila sinhronizacija.
4. Ukoliko se dekoder uključuje negde u sredini beskonačne sekvence i nije poznato početno
stanje
Treba sva stanja inicijalizovati sa metrikom jednakom 0. Nakon ~5ℳ grana sinhronizam de
se automatski uspostaviti (kao u slučaju dekodovanja za beskonačan trelis kad je početno
stanje poznato). To znači da nam zapravo nije neophodno da znamo početno stanje, jer de
se sinhhronizacija svakako sama uspostaviti nakon ~5ℳvremenskih trenutaka (koraka).

Karakteristike VA:
1. Obezbeđuje dekodovanje po maksimalnoj verodostojnosti.
2. Brz u hardverskoj realizaciji.
3. Praktično se može realizovati samo ukoliko je broj stanja relativno mali, npr. 4096 ili
manje. Broj stanja je 2Kℳ, jer se memorija sastoji od ℳ 2K-arnih delija, odnosno Kℳ
binarnih delija. Za K=1 broj memorijskih delija je ograničen na ~12.
4. Pošto se pomodu VA mogu dekodovati samo kodovi kratkih memorijskih dužina,
esencijalno je korišdenje najboljeg mogudeg koda. Ovo podrazumeva maksimalno
mogude slobodno rastojanje, minimalan broj jedinica u informacionoj sekvenci koji
prouzrokuje kodovani put na rastojanju dfree od puta svih nula. (Ne postoji
deterministički način konstrukcije najboljih kodova za određenu dužinu memorije ved se
dobijaju kompjuterskom pretragom. Kodova brzine R=K/N i memorijske dužine ℳ ima
2KN(ℳ+1). N generatorskih polinoma, svaki sa K(ℳ+1) članova koji mogu biti 0 ili 1.)
5. Tipično postižu Pe=10-5 na R=R0
6. Kao univerzalan algoritam našao je primenu u svim estimacijama rada automata sa
konačnim brojem stanja (ISI)
 32. Fanoova metrika. Stek algoritam. (8)

Za vede vrednosti dužine memorije, razvijaju se postupci za dekodovanje trelis kodova pod
zajedničkim imenom SEKVENCIJALNO DEKODOVANJE. Osnovna ideja: Razmotati trelis u stablo tako što
de se stanja u trenutku n razlikovati ne samo ukoliko je sadržaj memorije različit, nego i ukoliko se
informacione sekvence koje su do tog stanja dovele, različite. Ovo se može ostvariti i fiktivnim
produženjem memorije-trelis koder je specijalan slučaj kodera sa strukturom stabla, kod koga je
memorija ograničena na ℳ vremenskih jedinica, ali je i kod sa strukturom stabla specijalan slučaj trelis
kodera kada je ℳ>L. Algoritam plada jedno računanje (dinar, sekund) svaki put kad od kopije kodera
traži da mu za željeno stanje da izlaz iz kodera. Stanje: prethodnih Kℳ informacionih simbola ili bita u
do sada analiziranom slučaju.
Fanoova metrika proističe iz zahteva za minimalnom verovatnodom greške pri dekodovanju
kodova sa promenljivom dužinom kodnih reči. Neka je maksimalna dužina kodne reči nekog koda NS.
Neka je primljena i kodna reč dužine Nf, a posle nje još NS-Nf grana sa po N bita, generisanih iz mašine za
koju ne znamo kako funkcioniše, ali znamo da su iste apriorne verovatnode pojave svakog simbola. Neka
je m poruka kodovana u reč dužine f.

𝑃 𝑚, 𝑌𝑆 = 𝑃 𝑚 𝑃[ 𝑡⎸𝑚]𝑃[𝑌𝑆 ⎸𝑋𝑚 , 𝑡]
𝑡

𝑃[𝑚] ≡ 𝑃[𝑋𝑚 ] = 𝑃 𝑚 𝑃[𝑌𝑓 ⎸𝑋𝑚 ] 𝑃 𝑌𝑆−𝑓 ⎸𝑡 𝑃[ 𝑡]

𝑡

𝑃 𝑌𝑆 ⎸𝑋𝑚 , 𝑡 = 𝑃[𝑌𝑓 ⎸𝑋𝑚 ]𝑃 𝑌𝑆−𝑓 ⎸𝑡

𝑃0 𝑌𝑆 = 𝑃0 𝑌𝑓 𝑃0 𝑌𝑆−𝑓
Što znači da je dovoljno maksimizovati (nema potrebe posmatrati iza dubine f)
𝑃 𝑚, 𝑌𝑆 𝑃[𝑌𝑓 ⎸𝑋𝑚 ]
= 𝑃[𝑚]
𝑃0 𝑌𝑆 𝑃0 𝑌𝑓
Kao i ranije, i ova metrika se dobija logaritmovanjem ove verovatnode:
𝑓−1
𝑃[𝑌𝑓 ⎸𝑋𝑚 ] 𝑃[𝑌𝑓 ⎸𝑋𝑚 ] 𝑃[𝑦𝑛 ⎸𝑥𝑛 ]
𝜇𝑓 = 𝐴𝑙𝑑 𝑃[𝑚] = 𝐴𝑙𝑑 + 𝐴𝑙𝑑𝑃 𝑚 = 𝐴 𝑙𝑑 −𝐾
𝑃0 𝑌𝑓 𝑃0 𝑌𝑓 𝑃0 𝑦𝑛
𝑛=0
𝑓−1 𝑁
𝑃[𝑦⎸𝑥] 𝐾 1
= 𝐴 𝑙𝑑 − 𝑅 , 𝑔𝑑𝑒 𝑗𝑒 𝑅 = , 𝑎 𝑃 𝑚 = 𝐾𝑓
𝑃0 𝑦 𝑁 2
𝑛=0

bitska Fanoova metrika

Stek algoritam
Produži put sa najvedom Fanoovom metrikom u poluistraženom stablu. Algoritam se završava
kada je put sa najvedom Fanoovom metrikom na kraju stabla (trelisa).
33. Fanoova metrika. Fanoov algoritam. (9)
34. Stek i Fanoov algoritam. Osobine sekvencijalnih dekodera.
(10)

1. MAla verovatnoda greške, u principu istog reda veličine kao za VA, ali se ovi dekoderi za
razliku od VA mogu realizovati za vede dužine memorije
2. Količina računanja je skoro nezavisna od dužine koda pa se mogu koristiti za dekodovanje
vrlo dugih kodova ℳ=48, odnosno broj stanja je 248.
3. Lako se prilagođava finom odlučivanju
4. Količina računanja je slučajna promenljiva sa Paretoovom raspodelom. Praktično uz
prihvatljivu vremensku kompleksnost dekodovanja, mora se dozvoliti određena količina
“brisanja” (otkaz funkcije dekodera). Ova vrednost se krede oko 10-3 za L~10000.

5. Za razliku od VA, SEQD nemaju izražene samosinhronišude osobine. Stoga je potrebno

povremeno ubacivanje “repa” od ℳ K-torki nula da bi se dekoder resinhronizovao nakon
brisanja.
 35. Osobine dobrih trelis kodova. Kolonsko i vrsno rastojanje
koda, katastrofalni kodovi. (10)

Jedna od osnovnih osobina trelis kodova je KOLONSKO RASTOJANJE

di je kolonsko rastojanje i-tog reda, i≥0. Predstavlja najmanji broj izlaznih simbola koji se ne
slažu od n=0 do n=i+1 (uključujudi i+1), pod uslovom da se ulazi u trenutku n=0 razlikuju.
𝑖

𝑑𝑖 = min 𝑑𝐻 ( 𝑥𝑛 , 𝑥𝑛 ′)
𝑖0 ≠𝑖0 ′
𝑛=0

Za konvolucioni (linearni) koder važi

𝑖

𝑑𝑖 = min 𝑤𝐻 ( 𝑥𝑛 )
𝑖0 ≠𝑖0 ′
𝑛=0

dH je Hemingovo rastojanje (broj mesta na kojima se dve sekvence razlikuju)

wH je Hemingova težina (broj simbola različitih od 0) neke sekvence
d∞=dfree slobodno rastojanje-bitno za verovatnodu greške
𝐷 = (𝑑0 , 𝑑1 , … , 𝑑∞ ) -profil rastojanja (važno za raspodelu količine računanja sekvencijalnih
dekodera)
 Radi određivanja slobodnog rastojanja, pogodno je odrediti VRSTNO RASTOJANJE koda.
ri je vrstno rastojanje koda i-tog reda. Predstavlja najmanji broj izlaznih simbola koji se ne slažu
od n=0 do n=i+ℳ (uključuno), pod uslovom da se ulazi u trenutku n=0 razlikuju i tokom poslednjih ℳ
trenutaka NE razlikuju.
𝑖+ℳ

𝑟𝑖 = min 𝑑𝐻 ( 𝑥𝑛 , 𝑥𝑛 ′)
𝑖0 ≠𝑖0 ′
𝑛=0

𝑖+ℳ

𝑟𝑖 = min 𝑤𝐻 ( 𝑥𝑛 )
𝑖0 ≠0
𝑛=0

Vrstno rastojanje očigledno opada pošto se porastom i u skup po kom se vrši minimizacija samo
dodaju novi članovi, a stari ostaju u njemu. Pa važi:
d0≤d1≤d2≤...≤d∞≤r∞≤...≤r1≤r0
Za kodove za koje ne važi d∞=r∞nazivaju se katastrofalnim. Zato što relativno mali broj
pogrešno prenesenih simbola može da prouzrokuje beskonačno mnogo grešaka dekodovanja.