@ prof. dr.sc. Igor S.
Pandiic
doc. dr: sc. Alen Baiant
dr. sc. Zeljko IliC
rnr. sc. Zdenko Vrdoljak
prof. dr. sc. Mladen Kos
prof. dr. sc. Vjekoslav SinkoviC, 2007.
Urednica
Sandra GraEan, dipl. in?.
Recenzenti
prof. dr, sc. Maja MatijaSeviC
prof. dr, sc. Branko Mikac
prof. dr. sc. Nikola RoiiC
Lektorica
Dunja Vujec, prof.
Dizajn ovitka
Edo KadiC
ELEMENT, Zagreb
http://www.element.hd
e-mail: element@element.h
Tisak
TISKARA ZELINA d.d., Sveti Ivan Zelina
Predgovor
Teorija informacije predstavlja neophodnu osnovu modemih informacijskih i
komunikacijskih tehnologija. Bez ove osnove rnnoge danaSnje tehnologbe bile
bi nedostupne, ili daleko manje razvijene, te moiemo slobodno r d i da je teorija
informacije nerazdvojno utkana u iivot modemog Eovjeka i Eitavog drultva.
Jezgreni teorelni teorije informacije postavljaju mjeru za koliEinu informacije,
granicu moguCe kompresije informacije bez gubitaka, granicu brzine prijenosa
informacije kanalom sa ili bez Suma, te ovisnost moguie brzine prijenosa
informacije o odnosu snaga signala i Suma u odredenim uvjetima. Premda teorija
inforn~acijeu svojoj osnovi ne daje praktiEna rjeSenja za dostizanje granica koje
postavlja, ove teoretske osnove biIe su neophodan i kljuEan korak ka praktitnom
rjeSavanju ovih problems. Ova knjiga predstavlja uvod ne samo u jezgrena
pitanja teorije informacije, nego i u podruEja koja na tim osnovama rjeiavaju
probleme komunikacije na praktiEne naEine, a to su prvenstveno kompresija
podataka, te zaititno kodiranje podataka (ispravljanje pogrelaka nastalih zbog
Suma).
Obzirom na Sirinu pokrivenog podruEja, jasno je da u naslovu ove knjige rijeE
"uvod" treba shvatiti doslovno - da bi detaljno pokrila sva navedena podruEja,
knjiga bi morala biti daleko opsefnija. Ova knjiga nastoji na strukturiran i
relativno pristupaEan naEin objasniti temeljne koncepte teorije informacije i
podruEja vezanih uz nju.
Problemi kojima se bavi ova knjiga u osnovi su slofeni, te svaki pokuiaj
njihovog prikaza na pristupaEan naEin nosi u sebi rizik pretjeranog ,
pojednostavljivanja, Eime se gubi i temeljni smisao. Pri pisanju ove knjige cilj
nam je bio odriati ravnotefk upravo na granici ove opasnosti i postiCi jasan,
Evrsto strukturiran prikaz, uz izbjegavanje detalja tamo gdje se mogu izbjeCi bez
gubljenja temeljnog smisla, te uz nastojanje da se odrii stalna veza:.teqrije 6
primjerima iz stvarnog svijeta. ., -.
Ova knjiga nije zamjena, nego dodatak postojeiim knjigarna koje pokrivaju ovo
podruEje na dublji naEin. Na hrvatskom jeziku to su prvenstveno 1201 [21] [22]
[23], te na engleskom jeziku [8] [9] [lo] [49]. Kroz ove knjige, te kroz brojne
ostale reference, Eitatelji mogu dublje uCi u podruEje teorije infonnacije i srodna
podrueja.
Cilj ove knjige je da Eitatelji steknu solidna i Emto usadena temeljna znanja. te
?trukturiran naEin razmiqanja o problemima informacije i komunikacije.
Zelimo da ovi temelji budu svakom Eitatelju dugoroEna osnova na kojoj Ce
graditi znanje o informacijskim i komunikacijskim tehnologijama.
Autori
Sadrgaj
1. Uvod ......................................................................................1
1.1. Korijeni teorije informacije .........................................................4
1.2. Pregled knjige ................................................................................6
2 . Osnovni pojmovi teorije informacije ................................9
2.1. OpCi model komunikacijskog sustava .......................................11
2.1.1. Diskretni komunikacijski sustav ........................................................ I1
2.1.2. Poruka ................................................................................................
12
2.1.3. Prijenos poruke...................................................................................
Y ..
2.2. Sadrza~lnformaclje
13
.. .....................................................................15
2.2.1. ' ~ n t r o ~ .............................................................................................
ija 16
2.2.2. Entropija, neodredenost i sadriaj informacija u sustavu
bez smetnji............. . ........................................................................19
2.2.3. Svoistva entropiie .. ;.......20
.......................................................................
2.3. Kodiranje .....................................................................................21
2.3.1. Kodiranje i entropija ..........................................................................
22
2.4. Informacijski opis komunikacijskog sustava............................24
2.4.1. Vjerojatnosni opis diskretnog informacijskog sustava.......................25
2.4.2. Prijelaz iz vjerojatnosnog u informacijski opis ..................................28
2.4.3. Infonnacij ske mjere ..........................................................................29
2.4.4. Entropija na ulazu, na izlazu, zdruiena entropija...............................30
2.4.5. Uvjetna entropija.................................................... :........................... 30
2.4.6. Entropija 5uma ili irelevantnost.......................................................... 31
2.4.7. MnogoznaEnost ili ekvivocija ............................................................ 31
2A.8. Srednji uzajamni sadriaj informacije i relativna entropija.................32
2.4.9. Odnosi i svojstva informacijskih mjera ..............................................34
Odnos entropije i uzajamnog sadriaja informacije...........................................34
Odnos izmedu entropije, zdruiene entropije i uvjetne entropije .......................... 35
Vlastiti sadiiaj inforrnacije...................................................................................
35
Odnosi informacijskih mjera - pregledni prikaz ..................................................35
2.5. Prijenos informacije i informacijske mjere ..............................38
2.6. Kapacitet kanala .................................................................... 3 9
2.6.1 . Temeljni teorem kanala sa smetnjama ...............................................40
2.7. Prijenos informacija komunikacijskim sustavom....................42
2.8. Zadaci ...........................................................................................44
.
3 Komunikacijski kanali u kontinuiranom vremenu .......49
3.1. Signali ....................................................................................... 5 1
3.1 .1 . Srednja snaga i energija deterministitkii signala ..............................53
3.1.2. PeriodiEni signali................................................................................53
."
3.1.3. Neperiodicni signali ...........................................................................59
 3.1.4. Veza izmedu spektra periodiEnih i neperiodiEnih signala ..................62 4.2. Linearno binarni blok kodovi .................................................141
3.1.5. SluEajni signali ...................................................................................
63 4.2.1. GenerirajuCa matrica ........................................................................
143
3.1.6. Sirina spektra signala .........................................................................
66 4.2.2. Standardni oblik generirajuCe matrice..............................................145
3.2. Komunikacijski kanali u kontinuiranom vremenu ..................
67 4.2.3. Kodiranje linearnim kodovima.........................................................147
3.2.1. MatematiEki model kana1...................................................................
69 4.2.4. Dekodiranje linearnog koda ............................................................. 148
3.2.2. Irnpulsni odziv i prijenosna funkcija kanala ...................................... 71 4.2.5. Matrica provjere pariteta ................................................................ 151
3.2.3. Sirina prijenosnog pojasa kanala ........................................................73 4.2.6. Sindromsko dekodiranje ................................................................. 155
Veza izmedu Sirine prijenosnog pojasa kanala i Sirine spektra signala.................79 4.2.7. Vjerojatnost ispravnog dekodiranja i kapacitet kanala ..................... 157
3.3. Uzorkovanje signala ..................................................................79 4.3. Hammingovi kodovi ................................................................1 6 2
3.3.1. Teorern uzorkovanja u vremenskoj domeni .......................................80 4.3.1. Kodiranje pornoCu Hammingovog koda .......................................... 163
Dokaz teorema uzorkovanja: inaEica 1............................................................... 81 4.3.2. Dekodiranje Hammingovog koda ....................................................167
Rekonstrukcija signala temeljem njegovih uzoraka ........................................... 84
Dokaz teorema uzorkovanja: inaEica 2 .................................................................
4.4. CikliEni kodovi ........................................................................... 167
85 4.4.1. Generirajuti polinom i generirajuka rnatrica ....................................171
Rekonstrukcija signala telneljem njegovih uzoraka .............................................. 86 4.4.2. Matrica provjere pariteta ..................................................................
173
3.3.2. Fizikalna interpretacija teorema uzorkovanja ....................................86 4.4.3. Implernentacija kodera i dekodera cikliEnog koda ...........................175
3.3.3. Uzorkovanje signala u pomaknutom frekvencijskom pojasu .............89 4.4.4. CikliEan k8d na primjeru CRC-32 ...................................................182
3.3.4. Uzorkovanje u frekvencijskoj domeni ...............................................
3.3.5. Poduzorkovanje ..................................................................................
92
94
4.5. BCH kodovi ................................................................................184
4.5.1. Pojam minimalnog polinoma ......................................................... 184
3.3.6. Kvantizacija uzoraka ...................................................................... 95 4.5.2. CikliEni Hammingovi kodovi .......................................................... 188
Kvantizacijski Sum ................................................................................................ 97 4.5.3. Definicija BCH kodova ....................................................................
190
3.3.7. Kodiranje kvantiziranih uzoraka .................................................. 1 0 0 4.5.4. Dekodiranje BCH koda .................................... .. ............................
195
3.4. Kapacitet kanala u kontinuiranom vremenu ..........................101 4.6. Reed-Solomonovi kodovi .........................................................198
3.4.1. Entropija u kanalima u kontinuiranorn vrernenu ............................. 10 1
Informacijske mjere kontinuiranog informacijskog sustava ............................... 103
4.7. Konvolucijsko kodiranje ........................................................ 202
Entropija sluCajnog vektora ................................................................................105 Tipovi konvolucijskih kodera.............................................................................203
3.4.2. Problem maksimizacije entropije kontinuirane sluEajne varijable ...105 4.7.1. GenerirajuCa matrica binarnih konvolucijskih kodova ....................204
Polinomski prikaz konvolucijskih kodovl ........................................................ 208
3.4.3. Prijenos informacije u prisustvu aditivnog buma .............................106
4.7.2. GrafiEki prikaz konvolucijskih kodova ............................................209
Odredivanje kapaciteta kanala u prisustvu Gaussovog aditivnog Suma te
uz zadanu srednju snagu signala na izlazu predajnika i srednju snagu Suma......107 4.1.3. Prijenosna funkcija konvolucijskog koda ........................................ 212
3.4.4. Informacijski kapacitet pojasno ograniEenog kanala .......................109 ProraEun udaljenosti konvolucijskih kodova..................................................... 213
AWGN kana1 .................................................................................................... 109 ProraEun performansi konvolucijskih kodova u pogledu pogreiaka ..................215
Teorem o informacijskom kapacitetu AWGN kanala ......................................... 4.7.4. Dekodiranje konvolucijskih kodova............................................... 217
1 10
3.4.5. UEinkovitost prijenosnog pojasa .....................................................114 Dekoder s tvrdim i mekim odluEivanjem ...........................................................217
Mjerenje performansi kodnih sustava.................................................................
219
3.4.6. Odnos prijenosne brzine i kapaciteta kanala ....................................115
4.7.5. Optimalni Viterbijev algoritam dekodiranja
3.4.7. Informacijski kapacitet kanala s obojenim bumom ......................... 116
konvolucijskih kodova ..................................................................... 220
3.5. Saietak poglavlja ................................................................... 121 4.7.6. Drugi algoritmi dekodiranja konvolucijskih kodova........................227
3.6. Zadaci .........................................................................................121 4.8. Turbo kodovi ............................................................................228
4. ZaStitno kodiranje ..........................................................125 4.9. Zadaci ........................................................................ ,................229
4.1. Uvod u blok kodove ................................................................... 129
Hammingova udaljenost ...............................................................1 31
.
5 Entropijsko kodiranje .....................................................235
4.1 .1.
NajveCi ostvarivi broj kodnih rijeEi i perfektni kodovi ....................134
5.1. Podjela metoda kompresije ...................................................... 237
4.1.2.
4.1.3. Ekvivalencija kodova .................................................................. 137 5.2. Uvod u entropijsko kodiranje .................................................. 239
4.1.4. Paritetno kodiranje ..........................................................................1 3 9 5.3. Karakteristike izvora informacije ..........................................239
5.3.1. Stacionami izvor .............................................................................. 240

5.3.2. ErgodiEki izvor ............................................................................. 24 1
5.3.3. Izvori s memorijom .......................................................................... 242
Markovljevi informacijski izvori ......................................................................
5.4. Vrste kodova: nesingularni, jednoznarni i prefiksni kodovi 244 . 243
Prosjetna duljina kodne rQeEi ............................................................................ 245
5.4.1. Nesingularni kodovi ....................................................................... 247
5.4.2. JednoznaEno dekodabilni kodovi ..................................................... 247
5.4.3. Prefiksni kodovi ...............................................................................
248
5.5. Optimalno kodiranje ...............................................................250
5.5.1. Kraftova nejednakost .......................................................................
250
5.5.2. Optimalni kodovi .............................................................................
25 1
5.6. Metode entropijskog kodiranja ...........+. ................
, . 252
5.6.1. Shannon-Fanoovo kodiranje ............................................................ 253
5.6.2. Huffinanovo kodiranje .....................................................................
255
Svojshra Huffmanovog kodiranja ...................................................................... 258
ProSireni Huffinanov k6d ...................................................................................259
Prilnjene Huffmanovog kodiranja ...................................................................... 260
5.6.3. AritmetiCko kodiranje ...................................................................... 260
Postupak kodiranja............................................................................................. 261
Postupak dekodiranja ....................................................................................... 263
Odabir koda ........................................................................................................ 264
Implementacija.................................................................................................... 265
Usporedba Huffmanovog i aritlnetiEkog kodiranja............................................ 268
Pri~njenearitrnetiEkog kodiranja ....................................................................... 268
5.6.4. Metode rjeEnika ................................................................................ 268
Algoritam LZ77 ................................................................................................. 269
Lz78 i LZW ........................................................................................................27 i
Primjene metoda rjeEnika ...................................................................................275
5.6.5. Metode skrakivanja niza ................................................................... 275
Primjene metoda skrakivanja niza ................................................................... 276
5.7. Zadaci.........................................................................................276
6. Izvorno kodiranje ...........................................................279
6.1. Analogni mediji u diskretnom komunikacijskom sustavu ....281
6.2. Principi kompresije pri izvornom kodiranju ..........................283
6.3. Osnovne metode izvornog kodiranja ..................................... 284
6.3.1. Kvantizacija .....................................................................................
284
PogreSka kvantizacije (kvantizacijski Sum) ........................................................286
Linearna i nelinearna kvantizacija ...................................................................... 286
Vektorska kvantizacija ...................................................................................... 288
6.3.2. Poduzorkovanje................................................................................ 29 1
6.3.3. Transformacijsko kodiranje ............................................................. 292
6.3.4. Diferencijalno (predikcijsko) kodiranje ........................................... 297
Osnovni postupak diferencijalnog kodiranja .................................................... 299
6.3.5. Potpojasno kodiranje .......................................................................303
6.3.6. Kodiranje zasnovano na modelu ...................................................... 306
7. Informacijska svojstva i principi kodiranja medija ....309
7.1. Jezik ..........................................................................................311
7.2. Zvuk ............................................................................................ 314
7.2.1. Fizikalne osnove z w k a .................................................................... 314
7.2.2. Percepcija z w k a ...............................................................................
315
7.2.3. Karakteristike govornog signala....................................................... 316
Vremenska analiza govora .................................................................................316
Frekvencijska analiza govora ........................................................................... 317
Model govora u vremenu ....................................................................................318
Maskiranje zwka ............................................................................................. 318
7.2.4. Osnove kodiranja zvuka ................................................................... 319
Primjena svojstava i percepcije zvuka na kodiranje ...........................................319
Kriteriji usporedbe kodera ................................................................................ 320
Subjektivna mjerila kvalitete kodera .................................................................. 321
7.2.5. Koderi govora ................................................................................... 321
PCM ............................................................................................................... 322
ADPCM ..............................................................................................................323
7.2.6. Koderi zasnovani na modelu ............................................................ 324
Ljudski govorni organi .......................................................................................325
Model proizvodnje govora .................................................................................325
Koder LPC ....................................................................................................... 327
Koder CELP .......................................................................................................328
7.2.7. Koderi zwka u frekvencijskoj domeni ............................................ 329
Osnovni percepcijski koder ................................................................................ 330
MPEG Audio Layer 3 - MP3 koder ............................................................... 331
7.3. Slika ............................................................................................ 331
7.3.1. Fizikalna svojstva svjetlosti i percepcija slike ................................ 332
7.3.2. RaEunalni prikaz slike ......................................................................
335
Osnovni rnodeli boje za sliku ............................................................................. 335
7.3.3. Kodiranje slike .................................................................................336
7.3.4. P E G .................................................................................................337
Princip rada JPEG kodera prikazan na 1D primjeru ....................................... 337
JPEG koder .........................................................................................................
340
Korak 1: priprema slike ................:................................................................... 341
Korak 2: transformacija...................................................................................... 341
Korak 3: kvantizacija........................................................................................ 342
Korak 4: kornpresija bez gubitaka .................................................................... 343
Svojstva JPEG kodera ........................................................................................ 344
7.3.5.PEG 2000 ..........................................................................................
345
Usporedba JPEG - JPEG 2000 ...........................................................................
346
7.3.6. Fraktalno kodiranje ..........................................................................
347
Funkcija s fksnom toEkom ................................................................................
347
.kodirania.............................................................................
Svoistva fraktalnoa 348
7.4. Video ...........................................................................................349
7.4.1. Modeli boje i formati za video .........................................................349
 Formati za digitalni video ...................................................................................350
7.4.2. Postupak kompresije videa ............................................................... 352
Kompenzacija gibanja ........................................................................................352
Osnovni princip kodiranja videa .........................................................................354
7.4.3. Evolucija n o m i z a kodiranje videa .................................................. 356
Strategija predikcije (I, P, B okviri/blokovi).......................................................357
VeliEina blokova (kompenzacija gibanja, DCT) .................................................359
VeliEina vektora pomaka .................................................................................... 360
Precimost vektora pornaka ................................................................................. 360
Hijerarhijska podjela slika na jedinice i njihovo pakiranje u struju bitova .........361
Pregled normi za kodiranje videa prema namjeni ...............................................362
8. Rjegenja zadataka ........................................................365
8.1. RjeSenja zadataka (Osnovni pojmovi teorije informacije) ....367
8.2. RjeSenja zadataka (Komunikacijski kanali u
kontinuiranom vremenu) ..........................................................371 Uvod
8.3. RjeHenja zadataka (ZaHtitno kodiranje) ..................................374
8.4. RjeHenja zadataka (Entropijsko kodiranje) ............................382
.. .......................................................................387
9. Referencije
10. Kazalo ........................................................................393
> .;
,$.,.,
i',..
y-•
.,>A.

. Korijeni teorije informacij4! L!

3
.;:*..>
*CL.

...6+"
.<.
..

Oi
$!
, . . .... '
,
. . . . .. .. .
Teorija informacije je temeljna matematiEka teorija koja se bavi problemima
komunikacije u smislu prijenosa informacije iz jedne toCke (izvor) u drugu
(odrediSte), kao Sto to p r i k m j e Slika 1.1. OpCenito, prijenos informacije ielimo
izvriiti:
Sto brie,
Sto toEnije,
uz Sto manje utroSene energije,
usprkos neizbjeinim smetnjama u sustavu prijenosa,
te ponekad uz prikrivanje i zaStitu od zlouporabe.

h
SMETNJE

KOMUNlKAClJSKlSUSTAV

Slika 1.1: OpCeniti shematski prikaz komunikacijskog sustava

Teorija informacije postavlja teoretske osnove za postizanje navedenih ciljeva

time Sto daje definiciju komunikacijskog sustava i mjere za koliEinu informacije
koja protjeEe kroz taj sustav, te izraEunava teoretske granice uEinkovitog
kodiranja i prijenosa informacije. Konkretnije, jezgreni teoremi daju nam
granicu moguCe kompresije informacije bez gubitaka, granicu brzine prijenosa
informacije kanalom sa ili bez smetnji, te ovisnost moguCe brzine prijenosa
informacije o odnosu snaga signala i Surna u odredenirn uvjetima. Teorija
informacije se u osnovi bavi prijenosom informacije, no jasno je da kompresija
podataka predstavlja vainu osnovu i za pohranu, tj. spremanje podataka.
Premda teorija informacije u svojoj- osnovi ne daje praktiEna rjeSenja za
dostizanje granica koje postavlja, postavljene teoretske osnove su neophodan i
kljuEan korak prema praktiEnom rjegavanju tih problema. Ova knjiga ne
predstavlja samo uvod u jezgrena pitanja teorije informacije, nego i u podruEja
koja na ovim osnovarna rjeSavaju probleme komunikacije na praktiCne naEine, a
to su prvenstveno uEinkovito kodiranje podataka (kompresija), te zagtitno
kodiranje podataka (ispravljanje pogregaka nastalih zbog smetnji).
Teorija informacije predstavlja neophodnu osnovu modemih informacijskih i
komunikacijskih tehnologija. Bez ove bi osnove mnoge danasnje tehnologije
bile nedostupne, ili daleko manje razvijene, te moZemo slobodno reCi da je
teorija informacije nerazdvojno utkana u tivot modernog Eovjeka i Eitavog
UVODU TEORIJU INFORMACIJE I KODIRANJE
drugtva. Ukoliko ova tvrdnja zvuEi pomalo pretjerano, razmotrirno je na sljedeCi
naEin. Teorija informacije predstavlja neophodnu osnovu za:
kodiranje i kornpresiju svih vrsta sadriaja, od teksta do govora, glazbe,
videa itd.;
prijenos sadriaja kornunikacijskim kanalom u uvjetirna srnetnji.
Jasno je da su ovo najosnovnije pretpostavke za svaki telefonski razgovor,
pristup internetu, prijarn satelitske televizije i niz drugih aktivnosti bez kojih bi
danainji "rnoderan iivot" bio jednostavno nezamisliv. Teorija informacije i
tehnologije koje su se razvile na njezinoj osnovi utkane su u druitvene promjene
Eija dalekoseinost i brzina kojom su se dogodile (i kojorn se i dalje dogadaju)
vjerojatno nernaju paralelu u povijesti EovjeEanstva.
Korijeni teorije informacije
PoCetkom rnodeme teorije informacije Eesto se smatra Elanak Claudea E.
Shannona pod naslovom "MatematiEka teorija komunikacije" iz 1948. g. [45].
Medutim, da bismo shvatili korijene i rnotivacije koje su dovele do ovog
razvoja, potrebno je makar nakratko zaviriti malo dalje u povijest. Teorija
informacije vuCe korijene iz prouEavanja i teinje k poboljSanju elektroniEkih
komunikacija, konkretno telegrafa, telefona i radiokomunikacija.
Samuel B. Morse je 1838. smislio k6d za prijenos teksta putem telegrafa koji se i
danas koristi u nekim vrstarna signalizacije. Ovaj poznati kBd predstavlja svako
slovo pornoCu jedne kodne rijeEi. Kodna rijeE je jednoznatna kornbinacija
kratkih i dugih signala (strujnih irnpulsa), Sto se obitno predstavlja toEkama
(kratki signal) i crtarna (dugi signal). PoSto je za slanje dugih signala potrebno
viSe vrernena, Morse je uoEio da se viSe isplati dodijeliti kraCe kodne rijeEi onirn
slovima abecede koja se koriste EeSCe. Tako je, na prirnjer, najEeSCe koriSteno
slovo u engleskom jeziku, slovo E, predstavljeno najkraCorn rnoguCom kodnom
rijeEi, jednorn toEkom. Kako bi saznao koja slova se najEeSCe koriste, Morse se
snaSao na originalan nacin. OtiSao je u tiskaru - tisak se tada radio tako da su se
ruEno slagala olovna slova jedno do drugog - i prebrojio koliko se olovnih
otisaka koristi za svako pojedino slovo abecede. KoriStenjem kraCih kodnih
rijeEi za EeSCa slova, Morse je postigao znaEajnu uStedu (oko 15%) prosjeEnog
vrernena potrebnog za slanje poruka. Iz ovog je prirnjera jasna vahost
kodiranja, tj. naEina na koji pretvaramo poruke koje Eelimo poslati u nizove
simbola. Ovo je jedno od osnovnih pitanja u teoriji informacije.
Telegrafija je vrlo brzo naigla na ozbiljan problem. Zbog prijenosnih se
karakteristika tadaSnjih sustava, impulsni strujni signal s predajne strane na
prijarnnoj strani pretvara u rnanje ili vise razvuEeni signal. Dakle, vise se
susjednih signala moie preklopiti ako vremenski razmaci izrnedu njih nisu
dovoljno veliki, te primljeni signal postaje nerazumljiv. To znaEi da postoji
ganica brzine kojom se poruke mogu slati putern takvog sustava. U sluEaju
podzemnih ili podmorskih kabela, ta je granica bnine bila toliko niska da je
smetala operaterirna. Ovaj problem brzine prijenosa informacije putem nekog
sustava - kornunikacijskog kanala - centralno je pitanje teorije informacije.
Jedan od naEina da se ubrza slanje podataka telegrafom bio je korigtenje vise
razina i smjerova struje. Na prirnjer, Thomas Edison je 1847. uveo tzv.
kvadripleksni telegrafski sustav koji je koristio Eetiri rnoguCa signala: dvije
razine jakosti pozitivne struje (+1 i +3) i dvije negativne (-1 i -3). Ovaj sustav je
koriSten za slanje dviju poruka istovremeno. Jedna poruka se Salje smjerom
struje (+ ili -) a druga razinom jakosti struje (I ili 3). Ako ovo usporedimo sa
slutajem koriStenja samo dva simbola (npr. pozitivne i negative stnrje, bez
koriitenja razliEitih razina), vidimo da koriitenjern dvostruko viSe simbola
rnoiemo prenositi dvostruko vise poruka, dakle dvostruko viSe korisne
informacije. Harry Nyquist [46] je 1924. poopCio ovo zapaianje i pokazao da
slanjern k simbola u sekundi, gdje svaki sirnbol moie poprimiti jednu od In
razlititih vrijednosti, moiemo postiCi brzinu prijenosa W = k logz m [bitis].
Vidimo da je za spomenuti Edisonov sustav m jednak 4, jer iinarno na
raspolaganju 4 razliEite vrijednosti simbola.
U vrijeme Nyquistovog rada bila je uobiEajena praksa koriStenja iste linije za
telefonsku i telegrafsku komunikaciju, o~noguCenaEinjezinicom da ove dvije
vrste signala koriste razliEite frekvencijske pojaseve. Nyquist je prouCavao
signale razlaiuki ih na frekvencijske komponente i doSao do zakljuEaka koji su
ugradeni u teoriju informacije i koji imaju univerzalnu primjenu [47]. Najvainiji
Nyquistov zakljuEak je Cinjenica da je za prijenos i vjernu rekonstrukciju signala
ograniEenog frekvencijskog pojasa potreban broj uzoraka u sekundi (frekvencija
uzorkovanja) dvostruko veCi od najveCe frekvencije signala (ovo je kasnije
dokazao Shannon; postoje neslaganja oko toga kome pripada najveCa zasluga za
ovaj teorem, pa se on pojavljuje pod raznim imenima: Nyquistov teorem,
Shannonov teorem, teorem uzorkovanja itd.).
Vrlo znaEajan9loprinos razvoju teorije informacije dao je i Ralph Hartley [48].
Hartley je razmiSljao o problemu komunikacija u srnislu izvora koji Salje poruke
prijarnniku. Na izvoru se za slanje poruka koriste simboli iz konaEnog skupa
(npr. slova abecede) te se svaka poruka Salje kao niz takvih simbola. Hartley je
definirao veliEinu H- informaciju sadrianu u poruci - kao H = n log s, gdje je s
broj simbola u abecedi, a n broj simbola upotrijebljenih za slanje poruke (duiina
poruke).
Iz ovog vrlo saietog pregleda naslukuje se da je, pofevgi od prve uporabe
telegrafa, tijekom viSe od jednog stoljeCa razvoja elektroniekih komunikacija,
nastao velik skup praktitnih i teorijskih znanja o komunikacijama. Claude E.
UVOD U TEORIJU INFORMACIJE I KODIRANJE

fonnacijsko kodiranje, diferencijalno (predikcijsko) kodiranje, potpojasno

kodiranje i kodiranje zasnovano na modelu. . _ !,.,,..c+p';za~.-.3+
. t*zy+2. ..+t:-

Posljednje poglavlje knjige bavi se informacijskim svojstvima i principima

kodiranja pojedinih medijskih sadriaja - jezika (teksta), zvuka, nepomihe slike
i videa. Za kodiranje inedija (uziznimku teksta) koriste se gotovo uvijek hibridni
koderi koji koriste kombinacije metoda entropijskog i izvomog kodiranja
prikazane u dva prethodna poglavlja. Jasno je da cilj ovog poglavlja nije iscrpan
prikaz svih inetoda kompresije medijskih sadriaja (za daleko dublji i detaljniji
prikaz izvrsna je referenca [49]), nego objagnjenje najosnovnijih principa i vrsta
metoda kompresije.

.I Osnovni
,,-, pojmovi
. ."i

.?k@f.
"
, - t e o r lk
gZ
~e~nforrnacij~ 1% \,.
-\,,
%3<4
$! \
,%.,
i'er
..:..,
?k'.,
-:$%

.L"r
model komunikacijsko$
,..N sustava
r2aj informacije - 4 g ~ . "

.,&id.
. e..mMra*r*-
-> .,.
-4.,--='

!%Z&js"~i opis komunikacijskogsustava

2.5. Prijenos informacije i informacijske mjere
2.6. Kapacitet kanala
2.7. Prijenos informacija komunikacijskim
sustavom
2.8. Zadaci
ovo poglavlje daje podlogu za razumijevanje temeljnih koncepata i pojmova
teorije informacije te pruia temelj na koji se logitno nadograduju ostala
poglavlja.

2.1. OpCi model komunikacijskog sustava

U svakodnevnom Bivotu, pojam "komunikacija" upotrebljavamo u najrazli-
Eitijim moguCim kontekstima, od lneduljudskih komunikacija do prometnih
veza. Da bismo mogli prouEavati probleme komunikacije, potrebno je definirati
$to taj pojam znaEi u podruEju koje prouEavamo, a to su informacijske i
komunikacijske tehnologije. Slika I . 1 prikazuje opCi model komunikacijskog
sustava koji je postavio Claude E. Shannon 1948. g. [45]. Prema Shannonovoj
definiciji, temeijni problem komunikacije je toEno ili aproksimativno u jednoj
toEki informacijskog prostora (odrediite) reproducirati poruku odabranu na
nekoj drugoj toEki (izvor). Kako bi ova definicija bila praktiEno upotrebljiva,
Shannon je precizno definirao znaEenje svih dijelova opCeg komunikacijskog
sustava (Slika 1.1), i najvainije, definirao je Sto toEno znaEi pomka i njezin
prijenos.

2.1.I.Diskretni komunikacijski sustav

Mi Cemo se zasad zadovoljiti pomalo intuitivnim shvakanjem opkenitog
komunikacijskog sustava, te Cemo najosnovnije pojmove potrebne za prouEa-
vanje teorije informacije definirati na neito jednostavnijem sluhju diskretnog
komunikacijskog sustava. U diskretnom komunikacijskom sustavu koristimo se
diskretnim signalima (vidi poglavlje 3.1), dakle signalima koji (za razliku od
kontinuiranih) mogu poprimiti konaEan broj diskretnih vrijednosti. Pritom treba
primijetiti da vedina modernih komunikacijskih sustava koristi upravo diskretne
signale, pa stoga takvo suiavanje podruEja ne suiava znaEajno praktiEnu
vrijednost ovih razmatranja. Kontinuiranim komunikacijskim sustavima Cemo se
baviti u poglavlju 3.
Zasad Cemo zanemariti detalje predajnika i prijamnika, te promatrati
pojednostavljenu sliku na kojoj je lakSe uoEiti temeljna pitanja, a to su:
Sto je poruka?
Sto znaEi prenijeti poruku?
Kako moierno mjeriti koliEinu informacije u nekoj pomci, te
informacije prenesene sustavom?
UVOD U TEORIlU MFORMAClJE I KODIRANJE
IZVOR
DlSKRETNl KOMUNlKAClJSKl
SUSTN
6SMETNJ
ODREDISTE
Slika 2.2: Prijenos poruke: pogled s izvora
Vidimo da je u stvarnom sluEaju poieljno da je n = m i da su sve vjerojatnosti
pbilxi)Sto bliie vrijednosti 1, a sve druge vjerojatnosti Sto bliie vrijednosti 0.
OEito je da su statistiEka svojstva komunikacijskog sustava odredena naEinom
izvedbe, tj. mehanizmom prijenosa. Takvih mehanizama moie biti bezbroj - od
signalizacije zastavicama izmedu dva broda do prijenosa signala optiEkin1
nitima. Za bilo koji od tih sustava moguCe je odrediti ili procijeniti statistiEka
svojstva prijenosa. Unutar teorije informacije pretpostavit Cemo da su nam ta
statistiEka svojstva poznata i neCemo ulaziti u fiziEke mehanizme prijenosa.
Postavimo se sada na odredigte (Slika 2.3), i to u trenutku kada je na izvoru
odabran simbol xi, ali malo prije nego Sto smo na odrediStu primili simbol yj. U
ovom trenutku ne znamo joS niSta o tome koja je poruka odabrana na izvoru
osim vjerojatnosti izbora simbola p(xi). Nakon prijenosa se na odrediitu pojavio
simbol y,. Kao promatraEi na odrediitu, mi i dalje ne znamo koji je simbol
odabran na izvoru. Ukoliko promatramo pojave simbola na odrediStu same za
sebe, one su neovisne i opisane skupom vjerojamosti p h ) . Medutim, poznajemo
statistitka svojstva sustava, te znamo uvjetne vjerojatnosti p(xih), tj,
vjerojatnosti da je na izvoru odabran simbol xi ako znamo da se na odrediStu
pojavio simbol yi. Dakle, premda nakon primanja simbola yj i dalje ne znamo
toEno koji je simbol bio odabran na izvoru, za svaki od simbola XI, ..., x, znamo
vjerojatnost da je upravo taj simbol bio odabran. Primijetimo da u stvarnom
sustavu oEekujemo da ta vjerojatnost za jedan od simbola - onaj koji je stvarno
bio odabran - bude blizu 1.
Kao promatraEi na odredigtu, vidimo da se pojavom simbola yi naSe znanje o
tome koji je simbol odabran na izvoru bitno poveCalo, tj. naSa nesigurnost je
smanjena - primili smo informaciju.
2. OSNOWIPOJMOVI TEORlJE MFORMACIJE
@+-
c-2
DISKREMI KOMUNlKAClJSKl
METNJ
ODREDISTE
Slika 2.3: Prijenos poruke: pogled s odrediHta
2.2. SadrLaj informacije
Kako bismo inogli promatrati prijenos informacije na sustavan naEin, potrebna
nam je mjera za sadriaj (koliEinu) informacije u nekoj poruci. Tknije, zanima
nas koliko informacije u prosjeku sadrii svaki simbol poruke. Ovu mjem
nazivamo srednji sadriaj informacije a dana je definicijom koja je jedna od
temeljnih definicija u teoriji informacije. Prije same definicije, razrnotrimo Sto bi
trebala biti mjera za srednji sadriaj informacije. PoSto nas zanima prijenos
informacije, onda je to mjera koja izraiava koliko informacije moiemo prenijeti
nekom porukom.
Primjer: Sadriaj informacije pri bacanju noveiida
Kako bismo stekli osje6aj za znaEenje sadriaja informacije, zamislimo
jednostavan primjer (Slika 2.4). Na izvoru se stvara poruka bacarjem novEiCa, i
tu poruku - o tome je lf palo pismo ili glava - vidi promatraE. Kao promatraE,
prije bacanja mamo da moie pasti pismo ili glava s jednakom vjerojatnoSCu, ali
ne mamo hoke li pasti pismo ili glava. Nakon bacanja, naSa nesigumost je
razrijeiena i sada znamo t&no da je palo npr. pismo - prirnili smo informaciju.
ToEnije, primili smo jedan bit, jednu osnovnu jedinicu informacije. Vidimo da
jedan bit moiemo shvatiti kao koliEinu informacije koja je dovoljna za
rjeiavanje jedne elementame neodredenosti, jednog izbora izmedu dvije jednako
vjerojatne moguCnosti, jednog pitanja na koje odgovor moie biti da ili ne. U
ovom primjem, srednji sadriaj informacije je jedan bit po simbolu, tj. svaki
simbol (pismo ili glava) nosi jedan bit informacije.
 Slika 2.4: Sadriaj (koliBna) informacije: primjer bacada novrika
Kao protuprimjer, zamislimo da je na novEiCu s obje strane pismo, te da kao
promatraE unaprijed znamo tu Einjenicu. Dakle, znamo da Ce uvijek pasti pismo
i neinamo nikakvu nesigumost po tom pitanju. Poruke koje opaiamo - pismo,
pismo, ..., opet pismo - ne donose nam nikakvu novu informaciju. Dakle, sadriaj
informacije ovakve poruke je 0 bita.
Zanlisli~noda imamo novEiC koji u prosjeku 70% bacanja daje pismo, a 30%
bacanja glavu. Koliki je sada srednji sadriaj infonnacije koji primamo kao
promatraE? Da bismo odgovorili na ovo pitanje, i kasnija sloienija pitanja,
potrebno je prijeCi s ovih intuitivnih razmatranja na definiciju sadriaja
informacije.
2.2.1. Entropija
Diskretna slucajna varijabla je varijabla odabrana iz skupa od n moguC~h
vrijednosti, gdje je za svaku vrijednost poznata vjerojatnost odabira. Entropija
diskretne sluEajne varijable je definirana kao:
H(X)= - ~ p ( x , ) l o g p ( x , )[bitls~mbol],
I=!
gdje je X diskretna sluEajna varijabla koja poprima vrijednosti iz skupa {XI,...,
xi, ...x,), ap(xJ su vjerojatnosti pojavljivanja vrijednosti x,, 1 Ii a n.
Ako koristimo logaritam s bazom 2, entropiju izrdavamo u bitovima. OpCenito,
definicija entropije vrijedi uz bilo koju odabranu bazu Iogaritma, samo Sto se
tada ne izraiava u bitovima nego u drukEijim jedinicama (npr. nit ili nat - baza
e, dit - baza 10); u praksi se gotovo uvijek koristi baza 2 i bit. U ovoj knjizi,
ukoliko nije drukzije naznazeno, uvijek koristimo logaritam baze 2.
Poruka sastavljena od ovakvih simbola sadrii u prosjeku H(X) bita po simbolu.
Definicija entropije je izuzetno korisna zbog toga Sto toCno odgovara onome Sto
intuitivno shvaCamo kao sadriaj informacije. To moida nije oCito na prvi pogled
iz same formule, ali kroz primjere i dodatne diskusije vrlo brzo postaje jasno da
entropija posjeduje svojstva koja je Eine idealnom mjero~nza sadriaj (koliCinu)
informacije.
Primjer: Entropija bacanja novc'ida
Vrati~nose nakratko primjeru bacanja novEiCa (Slika 2.4). U ovom sluEaju,
imamo dva moguCa simbola ( n = 2), i oba se pojavljuju s vjerojatnoiCu p(xj) =
0,5. Jednostavnim uvrStavanjem u formulu entropije dobivamo H(X) = 1
bitisimbol. Dakle, entropija bacanja novEiCa je I bit/simbol, odnosno srednji
sadriaj informacije poruke koja se sastoji od uzastopnih rezultata bacanja
novCiCa je 1 bit po simbolu. Za sluEaj "nepoStenogVnovEiCa koji uvijek daje
pismo, imamo p(x,) = 1, p(x2) = 0, dobivamo oCekivano H(X) = 0 bitisimbol
(0 log 0 = 0, jer vrijedi x log x -* 0 kada x -* 0). Za sluEaj "nesimetriEnog
novEiCaMkoji daje 70% pismo, dobivamo H(X) = 0,88. Dakle, poruka nastala
bacanjan ovakvog novEiCa daje u prosjeku 0,88 bita po simbolu.
UvrStavanjem svih moguCih vjerojatnosti pojave pisma u formulu entropije,
dobivamo graf ovisnosti entropije o toj vjerojatnosti (Slika 2.5).
Slika 2.5: Entropija bacanja novEiCa H u ovisnosti
o vjerajatnosti pojavljivanja pismap
 UVODU TEORIJU MFORMACIJE I KODIRANJE 2. OSNOVNI POJMOVI TEORIJE NFORMACIJE

Maksimum (1 bit/simbol) je postignut kada je vjerojatnost pisma jednaka
vjerojatnosti glave (p = 0.5) - dakle kada je najveCa nesigumost pojave jednog
ili drugog. Primijetimo siinetriju ovog grafa. Svejedno je pojavljuje li se s veCom
vjerojatnoSCu pismo ili glava. Zarnjenom njihovih uloga situacija se s
informacijskog glediSta ne mijenja.
I -
Primjer: Entropija bacanja novCiCa sloieniji eksperiment
U laboratoriju se izvodi eksperiment bacanja novEiba - ako padne pismo,
eksperiment se zaustavlja, a ako ne padne pismo, eksperiment se izvodi dalje.
Dogadaji su sljedovi {glava, pismo}. Svaki dogadaj opisujemo jednim od
simbola iz skupa X={xo, X I , ..., x,,..~,,),gdje indeks "it' oznaEava broj pojava
glave prije pojave pisrna. Potrebno je odrediti entropiju skupa simbola X.
2.2.2. Entropija, neodredenost i sadr2aj informacije u
sustavu bez smetnji
prolnotrimo ponovo prijenos poruke u komunikacijskom sustavu bez smetnji
(Slika 2.6). U trenutku prije nastanka poruke i na izvoru i na odrediStu postoji
nesigumO~t,odnosno neodredenost, jer ne znamo koji de simboli biti odabrani.
Mjera ove neodredenosti je entropija izvora H(X). Iz njezine definicije veC
marno da ona ovisi iskljuEivo o svojstvima izvora informacije. Promatrana na
ovaj naEin i izraLena kao broj bita po simbolu, entropija daje mjeru za prosjeEnu
neodredenost pojave nekog simbola na izvoru, a pritom jedan bit s h v a b o kao
jednu elementarnu neodredenost - jedno bacanje "poitenog" novEiCa.

DISKRETNI KOMUNIKACIJSKI
SUSTAV BE2 SUMA

PRlJE NASTANKA PORUKE

q2 I(X) = H(X)
6, x,x,x,x, x,. .
DlSKRETNl KOMUNIKACIJSKI
SUSTAV BE2 SUMA

NAKON NASTANKA ALI PRlJE SLANJA PORUKE

PRIJENOS
I(x;v)
I(V, = I(X)=H(Y)=H(X)

DlSKRETNl KOMUNIKACIJSKI
SUSTAV BE2 SUMA

Za izrabnavanje zbroja u izrazu za entropiju posluiit Cemo se sljedeCom

NAKON PRIJENOSA PORUKE
Slika 2.6: Entropija, neodreaenost i sadriaj informacije u sustavu bez smetnji

Deriviranjem prethodnog izraza dobit Cemo:
Konacno, ako primijenimo (*) na H(X), dobit Cemo:
Nakon nastanka poruke (tj. odabira simbola) neodredenost na izvoru nestaje, a
stvoren je sadriaj informacije I(X) upravo jednak dosadainjoj neodredenosti. Na
odrediltu, gdje poruka jog nije primljena, i dalje imamo neodredenost H(Y).
Nakon prijenosa poruke, i ova neodredenost nestaje primanjem sadriaja
informacije I(X).
Vidimo da su informacija i neodredenost dvije strane iste medalje. Neodredenost
izvora je potencijal za nastajanje informacije u poruci, a informacija u poruci je
potencijal za razrjeiavanje neodredenosti na odredigtu. Jedan bit neodredenosti
rjelavamo jednim bitom informacije.
 -
UVOD U TEORIJU INFORMAClJE I KODIRANJE
2.2.3. Svojstva entropije
Entropija ima niz svojstava koja proizlaze iz njezine definicije, a koja je Eine
pogodnom mjerom za sadriaj informacije, odnosno za neodredenost. BuduCi da
su vjerojatnosti p(x,) ograniEene izmedu 0 i I , entropija ne moie biti negativna,
tj. H(X) 2 0 .
Intuitivno je jasno da sadriaj informacije ne moie biti negativan. Mini~nalni
sadriaj informacije je nula. To je sluEaj ilustriran u primjeru s novEiCem koji
uvijek daje pismo. OpCenito, ako se jedan od simbola pojavljuje s vjerojatnoSdu
1 (iz Eega proizlazi da je vjerojatnost pojave svih ostalih simbola 0), entropija je
0: H(X) = 0 o3x, takav da jep(xi) = 1.
Entropija postiie maksimum kada su vjerojatnosti simbola jednako rasporedene.
Za abecedu od n simbola, vjerojatnost pojavljivanja bilo kojeg simbola xijep(xi)
= lln. U tom sluEaju jednostavnim uvrStavanjemp(x,) u izraz za entropiju (2.1)
dobivamo: H(X) = log n .
Moie se pokazati da je ova vrijednost najveca moguCa vrijednost entropije, tj. za
bilo koju razdiobu vjerojatnosti pojavljivanja simbola iz abecede od n simbola
vrijedi: H(X) 5 log n .
Dokaz ove tvrdnje moie se pronaCi u [20] (str. 33). Promatranjem entropije kao
mjere neodredenosti, intuitivno je jasno da je neodredenost najveca kada su
vjerojatnosti jednako rasporedene po svim simbolima.
PrornatrajuCi definiciju entropije rnoie se postaviti pitanje zbog Cega u njoj
srediSnju ulogu igra logaritam. ZaSto ne bismo sadriaj informacije mjerili na
neki drugi naEin? Osnovni razlog je u Einjenici da prosjeEni sadriaj informacije
poruke koja se sastoji od kombinacija dvaju simbola inora biti jednak zbroju
prosjeEnih sadriaja informacija poruka koje se sastoje od pojedinaEnih simbola
[22].Konkretno, uzmimo dva medusobno neovisna skupa simbola - skup X od n
simbola xi i skup Y od m sirnbola yi. Uredeni parovi simbola xi i yi tvore treCi
skup XY koji se sastoji od mn simbola oblika (x*). Gradimo poruke sastavljene
od simbola iz svakog od ova tri skupa. U prosjeku, sadrZaj informacije
kombiniranih simbola mora biti jednak zbroju sadriaja informacije pojedinaEnih
simbola. Drugim rjeEima, mjera H za sadriaj informacije mora imati svojstvo:
Upravo logaritamska funkcija zadovoljava ovo svojstvo. Pretpostavimo radi
jednostavnosti da su vjerojatnosti pojavljivanja jednako rasporedene unutar
svakog skupa (daklep(xi) = l/n,p(~,) = llm,p(xfi) = llmn). Tada je:
H(XY) = logmn= logm + logn = H(X) + H ( Y ) .
2. OSNOVNI POJMOVI TEORIJE INFORMACUE
potkrijepimo ovo razmatranje jednostavnim prirnjerom. ProSirimo primjer
bacanja novCiCa i zamislimo da se istovremeno bacaju dva novEiCa, te
promatramo niz ovakvih bacanja. Moiemo promatrati svaki novEiC pojedinatno
ili ih promatrati kao par. Na taj naEin ovakav niz bacanja generira tri poruke: niz
rezultata prvog novEiCa, niz rezultata drugog novEiCa, i niz zdruienih remltata.
Jasno je da u prosjeku zdruieni rezultat bacanja obaju novEiCa nosi dvostruko
viSe informacije nego rezultat bacanja pojedinog novCiCa, te okkujemo da mjera
za sadriaj informacije to i pokaie. Ovo je pojednostavljeni sluEaj izraza (2.2),
gdje su pojedinaEna bacanja simboli xi i yi, a zdruieni rezultat dvaju bacanja daje
kombinirane simbole xfi. Mjera za sadriaj informacije mora zadovoljavati ovo
svojstvo, a zadovoljava ga iskljuEivo logaritamska hnkcija.
~ ~ ~ ~ ~ ~ ~ 5 ~ ~ $ ~ ~ ~ ~ ~ ~ ; ~ . 5 ~ ~ $ f , ~ . ~ $ < ~ ; ~ > ~ ~ ; ~ ~ A ~ { ~ ; ~ ~ ~.?.:2>,3q:z;,~y{q;%
j.;~:,~;~;~;y$j~$~~
1Bit i binarna znamenka ...
,,q,
<,..
,,
Bit, u srnislu teorije informacije, je osnovna jedinica za koliEinu informacije.
'~olicinu inforrnacije od jednog bita moiemo zamisliti kao jedan odgovor na '$
binarno pitanje da ili ne, jedno bacanje "poStenogUnovEiCa itd. , .,
, <I
:,
..*
. I '
k?Mebutim, u Sirem informatiEkorn smlslu, pa i u svakodnevnom iivotu,
uobiEajeno je koristiti naziv "bit" za binarnu znamenku, dakle 0 ili 1 u '
b~narnornzapisu broja. *I .
SuSt~nskurazliku izmedu bita kao jedinice informacije i bita kao binarne '.
znamenke najlakSe je uoEiti na najjednostavnijem primjeru, veC poznatom '
bacanju novEiCa. Recimo da pismo oznaEavamo binarnom znamenkom 1, a "
glavu binarnorn znamenkorn 0. Promotrimo opet sluEaj novEiCa koji uvijek
daje pismo. Nakon deset bacanja imamo poruku: "1 111111111". OEito je da ,
ova poruka ima 10 bitova - binarnih znamenki. Mebutim, ako govorimo o I
bitovirna u srnislu teorlje informacije, ova poruka sadrii 0 bita.
E ~ a j ~ e jeg ~iz ekonteksta jasno u kojem srnislu s e koristi rijeE bit, te u ovoj ri
knjizi to neCemo posebno napominjati, osim u sluEaju kada postoji rnoguCnost i$
>,.
2.3. Kodiranje
Kodiranje je jedan od najosnovnijih pojmova kako u teoriji, tako i u praksi
informacijskih i komunikacijskih tehnologija. Premda veCina Eitatelja vjerojatno
ima prilicno dobru ideju o tome Sto je kodiranje, neophodno je dati jednostavnu i
opCenitu definiciju. Prisjetimo se da smo ponrku u komunikacijskom sustavu
definirali kao niz simbola odabranib iz abecede, gdje je abeceda konaEan skup
elementarnih simbola.
 UVODU TEORIJU WFORMACIJE I KODIRANJE 2. OSNOVNI
POJMOVI TEORIJE MFORMACIJE

Kodiranje je postupak dodjeljivanja kodnih rijeEi (k6dova) simboliina poruke. Tablica 2.1: Primjer kodiranja
Svaka se kodna rijeE sastoji od jednog ili viSe simbola iz neke druge abecede. VJEROJATNOST
Dakle, kodiranjem se poruka (niz simbola) pretvara u niz kodnih rijeEi.
Iz definicije je jasno da kodiranje u konaEnici jednostavno pretvara poruku (niz
SIMBOL(xi) POJAVLnVANJA
(P(nl) =pi)
KODNA RIBE (C,)
DmF&FF
simbola iz neke abecede) u drukEiji oblik poruke - niz simbola iz ileke dmge
abecede. Postavlja se pitanje zbog Eega bismo htjeli vrSiti ovakw pretvorbu.
Odgovora na ovo pitanje ima onoliko koliko ima i razlititih vrsta kodiranja, ali
optenito se inoie reti da je smisao kodirai~japretvorba poruke u oblik koji ima
neka bolja svojstva, npr. povoljniji je za prijenos, zaStitu ili pohranu. Na primjer,
kompresija je vrsta kodiranja kod koje je kodirana poruka krata od izvorne
! poruke; kriptografija je kodiranje kod kojeg kodirana poruka iina odredena
sigurnosna svojstva; zaStitno kodiranje daje poruci svojstva koja olakSavaju Jednostavnim uvrgtavanjem vjerojatnosti pi u izraz za entropiju (2.1) dobivamo
otkrivanje i/ili ispravljanje pogregaka uzrokovanih smetnjama u prijenosu. U da je entropija ovakvog izvora H(X) = 1.75 ~itlsimbol].
sklopu optenitog komunikacijskog sustava kodiranje se dogada unutar
Tablica 2.1 u tretein stupcu daje jedan moguCi k6d za ovakav izvor, ti. naEin
predajilika i pritom koder infonnacije vrSi kompresiju, a koder kanala zagtitno
pridruiivanja kodnih rijeEi simbolima. Na primjer, niz simbola na izvoru 134213
kodiranje (Slika 2.7).
kodirao bi se kao 01 10111 I00 110. Po30 mamo vjerojatnosti pojavljivanja
U praktiEnim primjenama u podruEju informacijskih i komunikacijskih simbola, moierno jednostavno izraEunati prosjeEnu duljinu kodne rijdi (uz
tehnologija, abeceda od koje se grade kodne rijeEi je gotovo uvijek binaina, pretpostavku da su poruke dugaEke, tj. da duljina poruke te5i beskonatnosti):
dakle svaka kodna rijeE je niz od jedne ili viSe binarnih znamenki, te je i
kodirana poruka niz binan~ihzna~nenki.

Dakle, uz ovaj k6d potrebno je u prosjeku 1.75 bita (binarnih znamenki) po

KOMUNlKAClJSKl SUSTAV
Slika 2.7: Kodiranje u sklopu komunikacijskog sustava
simbolu za kodiranje informacije s ovakvog izvora. Vidimo da je to upravo
jednako entropiji izvora. NemoguCe je pronaCi neki drugi skup kodnih rijeEi
kojiin bi se simboli s izvora mogli jednoznaEno prikazati, a Eija bi prosjeena
duljina .kodne rijeEi bila manja od 1.75 bita po simbolu. Na primjer, ukoliko
bismo naivno pokuiali skratiti kodnu rijeE Cq i koristiti 11 umjesto 1 11, kW vise
ne bi bio jednoznaEan jer bi se kodirani niz 110 mogao dekodirati bilo kao
simbol "3", bilo kao dva simbola "41".

11 2.3.1. Kodiranje i entropija

Optenito, moie se dokazati (vidi poglavlje 5.5) da je nemoguke jednoznaEno
kodirati simbole s nekog izvora uz prosjeEnu duljinu koda manju od entropije
izvora. Drugim rijeEima, entropi'ja je granica kompresije bez gubitaka. Ova
Kada se vrSi kodiranje s ciljem kompresije podataka, jasno je da mora postojati temeljna Einjenica ukazuje na praktiEnu vainost entropije.
neka granica do koje se moZe saiimati bez gubitaka. Ta granica je upravo
entropija izvora. U poglavlju 5 (o entropijskom kodiranju) ovo temo pokazati na
formalniji naEin, a zasad promotrimo jednostavan primjer.

Primlec Kodiranje
Promatrajmo izvor koji proizvodi simbole iz skupa X = (1, 2, 3 , 4 ) s vjerojatno-
stima pojavljivanja koje daje Tablica 2.1.
U V O D U TEORIJU NFORMACIJE I KODlRANJE
2.4. lnformacijski opis komunikacijskog
sustava
Komunikacijski sustav bez smetnji posluiio je kao pojednostavljeni teoretski
model koji je olakSao uvodno shvadanje osnovnih pojmova vezanih uz
informaciju i njezin prijenos (poruka, prijenos poruke, sadriaj informacije,
neodredenost, entropija, kodiranje). Naialost, u stvarnim sustavima uvijek
postoje smetnje, te je neophodno proSiriti razmatranje na opdeniti komuni-
kacijski sustav definiran u uvodnim razmatranjima (Slika 1.1).
Radi jednostavnosti, i dalje se ogranitavamo na razmatranje diskretnih sustava.
Uz to, zasad promatramo komunikacijske kanale bez memorije, Eija svojstva
prijenosa simbola ne ovise o simbolima koji su se pojavljivali ranije. Bez obzira
na ova ograniEenja, informacijski opis komunikacijskog sustava, koji demo
ovdje postaviti, vrlo je opcenit i izuzetno vaian jer dobro sluii za opis vedine
stvamih komunikacijskih sustava.
U srediStu komunikacijskog sustava je komunikacijski kanal, te je njegovo
shvadanje osnova za opis Eitavog sustava. S glediSta teorije informacije,
komunikacijski kanal uz prisustvo smetnji opisujemo kao diskretni informacijski
sustav sa smetnjama (Slika 2.8). Time je oinoguken relativno jednostavan opis
komunikacijskog kanala skupom vjerojatnosti, na Eemu se zasniva Citav niz vrlo
vainih opaianja i zakljuEaka.
Slika 2.8: Komunikacijski kanal kao diskretni informacijski sustav
2. OSNOVNI
POJMOVI TEORIJE INFORMACIJE
2.4.1. Vjerojatnosni opis diskretnog informacijskog
sustava
promatramo dakle diskretni bezmemorijski komunikacijski kanal kao diskretni
informacijski sustav. Na ulazu u kanal pojavljuju se simboli xi iz skupa X =
{x,,...,x,,) s vjerojatnostima p(xi), a na izlazu iz kanala simboli yi iz skupa Y =
b,, ...,ym} s vjerojatnostima pbj) (Slika 2.9). Vjerojatnosti p(xi) i pbj) su
apriorne vjerojatnosti, tj. vjerojatnosti pojavljivanja simbola jednog skupa
neovisno o pojavljivanju simbola dmgog skupa. Dakle, skupom apriomih
vjerojatnosti p(xi) u potpunosti vjerojatnosno opisujemo vjerojatnosti pojava
simbola na ulazu, promatrajuki pritom pojave na ulazu u potpunoj izoliranosti od
pojava na izlazu. Jednako tako, kroz apriorne vjerojatnosti pCyj) promatramo
pojave na izlazu u potpunoj izoliranosti od pojava na ulazu.
Informacijski sustav daje vezu izmedu pojava simbola na ulazu i na izlazu. Ako
znamo fizikalni mehanizam prijenosa, moiemo odrediti vjerojatnosti pojava
simbola na ulazu i izlazu u medusobnoj ovisnosti. Ove ovisnosti moiemo
promatrati i opisati na razlitite naEine, ovisno o naEinu na koji promatramo
sustav. Slika 2.9 prikazuje tri moguCa nazina promatranja i opisa informacijskog
sustava.
Promatramo li sustav sa strane ulaza, informacijski sustav moiemo opisati
skupom vjerojatnosti na ulazup(xi) i skupom uvjetnih vjerojatnosti pCyilxi) za sve
moguke parove (id? Za svaki par kojeg Eine simbol xi na ulazu i yj na izlazu
kanala, pbjJx;) predstavlja vjerojatnost pojave simbola yi na izlazu ako se na
ulazu u kanal pojavio simbol xi. Ove vjerojatnosti nazivarno jog i vjerojatnostima
prijelaq xi u y,. Primijetimo da ih moiemo sloiiti u matricu dimenzija n x m.
Takvu matricu nazivamo matricom unaprijednih vjerojatnosti prijelaza.
Obmuto, promatran sa strane izlaza, informacijski sustav moiemo opisati
skuporn vjerojatnosti p b ) na izlazu kanala i skupom uvjetnih vjerojatnosti
p(xilvi), tj. vjerojatnosti da je na ulazu bio odabran xi ako znamo da je na izlazu
8. Ove vjerojatnosti nazivamo joS i unazadnim vjerojatnostima prijelaza y, u xi,
te ih moiemo sloiiti u matricu dimenzija m x n. Takvu matricu nazivamo
matricom unazadnih vjerojatnosti prijelaza.
Napokon, ako istovremeno promatramo ulaz i izlaz, zanirna nas istovremena
pojava para simbola xi i fi te opisujemo informacijski sustav skupom zdruienih
vjerojatnosti p(xiyj). Za svaki par, kojeg Eine simbol xi na ulazu i simbol yj na
izlazu kanala, p(x,&) predstavlja vjerojatnost istovremene pojave ovog para
simbola. Ove vjerojatnosti moiemo sloiiti u matricu zdruknih vjerojatnosti
dimenzija m x n.
 2. OSNOVNIPOJMOVI TEORIJE INFORMACIJE
UVODU TEORIJU INFORMACIJE I KODIRANJE

lJLAZ. *-{XI-* DIS RETNl

NFORMACIJSK

METNJ
IZLAZ
Tablica 2.2: Odnosi vjerojatnosti u sustavu i njihova znaEenja

x,,p(*,) WJETNE
----*Y2
- --------:
VJEROJATNOSTI P ( Y I I?)- I
'

.~I,P(X~) - -
UNAPRIJED- ,
====---:= - - - - -
- - - - - _ a

x,.p(x,,) - - - - - - Y,.
*.

* - - -p_(x, I-- VJEROJATNOSTI

,
UVJETNE
YI~P(YI)
----_
XI )I,)

x2 *----,:- UNATRAG
------I:====-
YI,PO~~)

__----
.*------
_---_ _ _ - - -
5, Y,,, P(Y.,)
9

Prisjetimo se da informacijski sustav uz prisustvo smetnji koristimo kao model

X Y za opis komunikacijskog kanala sa smetnjama (Slika 2.8). Vaino je primijetiti da
x, H - - - - - - - - - -P(SI,YZ)
------ 3 YI je komunikacijski kanal u potpunosti opisan matricom vjerojatnosti prijelaza.
Yl Matrica vjerojatnosti prijelaza p&Jxi) je neovisna o vjerojatnostima na ulazu i
__---- potpuno opisuje nacYin na koji Ce kanal prenositi bilo kakav signal, koji se nade
P$,,;Y,~ - - -
na ulazu, tj. bilo kakvu razdiobu vjerojatnosti p(xi). Kada razmatramo opis

x,, .*'
- - - - - - -VJEROJATNOSTI
-~DRU~ENE
Y,,,
komunikacijskog kanala, matricu vjerojatnosti prijelaza obiEno oznahvamo s Q .

Primjer: Komunikacijski kanal sa zadanim vjerojatnostima prijelaza

Slika 2.9: Vjerojatnosni opis informacijskog sustava: pogled s ulaza, izlaza,
te istovremeno na ulaz i izlaz
Bilo koji od ova tri pogleda u potpunosti odreduje informacijski sustav i pojave
na ulazu i izlazu. Pri pogledu s ulaza, potpuni opis daju apriorne vjerojatnosti na
Kolnunikacijskim kanalom prenose se tri poruke, "a", "b" i "c", generirane iz
skupa simbola X= {a, b, c) . Vjerojatnosti pojavljivanja simbola su p(a) = p(b) =
2 .p(c). Matrica uvjetnih vjerojatnosti prijelaza u kanalu je:
Q

ulazu i vjerojatnosti prijelaza (uvjetne vjerojatnosti); pri pogledu s izlaza,

apriorne vjerojatnosti na izlazu i unazadne vjerojatnosti prijelaza (aposteriorne
vjerojatnosti); pri istovremenom pogledu na ulaz i izlaz, zdruiene vjerojatnosti
potpuno opisuju sustav. Po30 svaki od ovih skupova vjerojatnosti potpuno i
jednoznaEno opisuje informacijski sustav i pojave na ulazu i izlazu sustava, Potrebno je:
jasno je da mora postojati izravna veza kojom se iz bilo kojeg od ovih skupova a) nacrtati graf prijelaza u kanalu.
mogu odrediti ostala dva skupa. Ova veza proizlazi iz poznatih zakona o
vjerojatnostima i dana je u tablici (Tablica 2.2). Dakle, ako imamo jedan pogled b) odrediti vjerojatnost pojave pojedinog simbola na izlazu iz kanala.
na sustav, moiemo jednostavno prijeCi na bilo koji od ostala dva pogleda.
UVODU TEORIN INFORMACIJE I KODIRANJE

H(Y I X) =
n

i=l
P(X,)H(Y I x =xi) =-x
n

i=I
nr

p ( x , ) C p(yj I xi)logp(yj I xi)

j-l
n nt

= - id ~ P- ( Y ,
C C,=I P ( ~ ; ~ Y ~ ) ~ ~lx,)

~ k o l i k obolje razmotrimo znaEenje ove definicije, moiemo uoEiti da uvjetna

2.4.4. Entropija na ulazu, na izlazu, zdrufena entropija
Ukoliko pojave simbola na ulazu i izlazu sustava promatramo odvojeno, svaki za
sebe, moiemo ih opisati entropijama na ulazu i na izlazu:
entropija varijable Y u odnosu na X, H(YCY), izraiava prosjeEnu neodredenost
varijable Y koja preostaje nakon Sto je poznata varijabla X. Prije odabira
varijable X,entropija varijable Y je H(Y), odredena vjer~jatnostimapb~). Nakon
Sto je X poznat, vjerojatnosti pojave razliEitih yi su promijenjene (uz
pretpostavku da X utjeEe na Y), pa je time promijenjena i neodredenost varijable
Y. Ta nova neodredenost, preostala nakon Sto je X poznat, izraiena je uvjetnom
entropijom.
lz definicije i znaEenja uvjetne entropije proizlazi znaEaj uvjetnih entropija
H ( W i H(XIY).

2.4.6. Entropija Suma ili irelevantnost

Promatramo li dogadaje na ulazu i izlazu zajedniEki, kao pojave parova simbola
(xi,yj), tada ih moieino opisati zdruienom entropijom. Zdruiena entropija para
sluEajnih varijabli definirana je kao:
Vidimo da ova definicija u subtini nije razliEita od definicije entropije jedne
sluEajne varijable. Ako zamislimo sluEajnu varijablu kao sluEajni vektor, vidimo
da se zapravo radi o potpuno istoj definiciji.
Uvjetna entropija H(YCY) izraiava prosjeEnu neodredenost simbola na izlazu,
promatrano s ulaza, nakon Sto je poslan simbol s ulaza. Ova neodredenost je
direktna posljedica smetnji. Ako ne bi bilo smetnji, promatraE na ulazu (Slika
2.1 1) bi nakon slanja sirnbola sigurno znao koji se simbol mora pojaviti na
izlazu. Medutim, zbog pojave smetnji, nije sigumo koji Ce se simbol pojaviti,
dakle postoji neodredenost. Ta neodredenost, uzrokovana smetnjama, upravo je
uvjetna entropija H(YIX) i naziva se entropija Suma.

2.4.5. Uvjetna entropija

Uvjetna entropija H(YVri) je definirana kao prosjeEna vrijednost entropije
sluhjne varijable Y uz poznati X, gdje se prosjek uzi~napo svim vrijednostima
varijable X.Drugim rijeEima, svaki xi uvjetuje razdiobu vjerojatnosti sluEajne
Slika 2.11: Entropija Suma ili irelevantnost, ilustracija
varijable Y odredenu upravo uvjetnim vjerojatnostima p(j,,lxi). Kao i za svaku
razdiobu vjerojatnosti, tako i za o w razdiobu vjerojatnosti moiemo izraEunati
entropiju, koju oznaEavamo H ( 4 x = xi) ili kraCe H(qxi). To je dakle entropija
razdiobe sluEajne varijable Y uz uvjet da je x =xi. Ako izraEunamo prosjek ove
2.4.7. MnogoznaEnost ili ekvivokacija
entropije za sve moguCe xi, dobivamo uvjetnu entropiju H(YCY). MatematiEki se
Ukoliko promatramo s izlaza, vidjeli smo da u sluEaju bez smetnji pojavom
ova definicija opisuje na sljedeCi naEin: simbola na izlazu mamo toEno koji je simbol bio odabran na ulazu, dakle
 UVODU TEORIJU INFORMACIJE I KODIRANJE 2. OSNOVNIPOJMOVI TEORIJE MFORMACIJE

\
P
neodredenost je potpuno nestala. Medutim, u stvamom sustavu zbog prisutnosti
smetnji n ~ t nakon
l primanja simbola na izlazu promatraE joS uvijek nije siguran
pojavljivanja q(xi). Ova pogreSna pretpostavka dovodi do neuEinkovitosti, i
mjera te neurinkovitosti je relativna entropija.
koji je simbol bio odabran na ulazu. Simbol koji vidlmo na izlazu mogao je,
i zbog posljedica smetnji, biti uzrokovan bilo kojim od simbola na ulazu - dakle ~ k nago zamibljeni promatraE ieli kodirati simbole xi, te konstruira skup kodnih
I postoji mnogoznaEnost. MnogoznaEnost, ili ekvivokacija, je dakle prosjeEna rijeEi polazeki od vjerojatnosti q(xi), on Ce zbog svoje pogreine pretpostavke u
I neodredenost simbola na ulazu nakon primanja simbola na izlazu, i to je upravo
uvjetna entropija H(XJY).
prosjeku potroSiti upravo D(pllq) vise bitova po simbolu nego Sto je to stvamo
potrebno - sjetimo se da je teoretski minimum jednak entropiji H(X), a
I
konstruiranjem koda prema vjerojatnostima q(xJ dobili bismo prosjetni broj
)
bitova po simbolu L prema sljedeCem izrazu:
I X Y ,P O

Uzajamni sadriaj informacije izmedu sluEajnih varijabli X i Yje definiran kao

relativna entropija izmedu razdiohe njihovih zdruienih vjerojatnosti i razdiobe
umnoSka njihovih pojedinatnih vjerojatnosti:
P(~,>Y,)
Slika 2.12: MnogoznaEnost ili ekvivokacija, ilustracija I(X;Y) = ~ ~ p ( x ~ , y j ) l o g
1-1 /=I P(X,)P(Y, 1 '

Uzajamni sadriaj informacije naziva se joS i transinformacija. Premda to na prvi

J
2.4.8. Srednji uzajamni sadr2aj informacije i relativna pogled nije lako naslutiti iz same definicije, uzaja~misadriaj informacije ili
entropija transinfomacija jedan je od srediSnjih pojrnova u teoriji informacije jer vrlo
dobro prikazuje prijenos informacije u informacijskom sustavu. To postaje jasno
Uzajamni sadriaj informacije je medu najvainijim pojmovima u teoriji analizom i interpretacijom definicije i svojstava uzajamnog sadriaja informacije.
informacije. Definira se pomoCu relativne entropije, te je zbog toga potrebno Vjerojatno najintuitivniji naEin shvaCanja ovog temeljnog pojma je da uzajamni
I
prvo uvesti definiciju relativne entropije, kako bi se na njezinoj osnovi definirao sadriaj informacije izraiava mjeru koliko informacije jedna sluEajna
uzajamni sadriaj informacije. Uz definicije Cemo dati i najvainije naEine varijabla pruta o drugoj. To je dakle mjera medusobne ovisnosti dviju
I
interpretacije ovih pojmova. sluCajnih varijabli. Ako su varijable potpuno neovisne jedna o drugoj, tada je
'1 II Relativna entropija rzmedu dviju razdroba vjerojatnostl sluEajne varijable je zdruiena vjerojatnost pojave para p(xiaj) uvijek jednaka umnoSku pojedinaznih
mjera udaljenosti izmedu tih dviju razdioba (naziva se joS i Kullback-Leihlerova vjerojatnosti p(xi)p(jj) te je uzajamni sadeaj informacije nula. Druga krajnost je
I
udaljenost)' i definirana je izrazom: da su varijable X i Y jednake. U tom sluEaju jednom varijablom moiemo u
I
I potpunosti izraziti drugu. Poito je tada
i 2
D(P I I ~= ) p(x,)log- P(x,)
,=I dx,) '
t

gdje su p(x,) i q(x,) dvije razdiobe vjerojatnosti sluEajne varijable X.

uzajamni sadriaj informacije jednak je entropiji jedne varijable:

I
Relativnu entropiju moiemo interpretirati na sljedeh naCin. Recimo da su
vjetojatnosti p(x,) stvame vjerojatnosti pojava simbola xi. Zamislimo prornatraEa I(X; Y) = H(X) = H(Y).
:z;'?i:i;
ZAGKta Unska 3 -
!?:IBT/A

koji ne zna stvame vjerojatnosti p(x,), nego pretpostavlja da su vjerojatnosti

'~otrebnoje napomenuti da koriitenje pojma "udaljenost", premda uvrijekno, nije matematiEki
ispravno jer relativna entropija nije sirnetritna, tj. D@l(q)#D(q/b).
ZnaEenje uzajamnog sadriaja informacije kao mjere ovisnosti m d u varijablama
vidi se i iz interpretacije relativne entropije. Zdruiene vjerojatnosti p(xijJ)
predstavljaju stvarnu razdiobu para sluEajnih varijabli X i Y. U smislu relativne
entropije, umnoiak p(xi)p(yj) je pretpostavljena razdioba (ekvivalent q(x) u
UVODu TEORIJUINFORMACIIE I KODIRANJE

definiciji relativne entropije), i ta razdioba pretpostavlja da su varijable X i Y Odnos izmedu entropije, zdruiene entropije i uvjetne entropije
medusobno neovisne, jer jedino za neovisne varijable vrijedi da je vjerojatnost
pojave para jednaka urnnoSku vjerojatnosti pojave pojedinaEnih simbola. Iz Odnos izmedu entropije, zdruiene entropije i uvjetne entropije proizlazi iz
ovakve interpretacije proizlazi da uzajalnni sadriaj informacije izraiava u definicije zddiene entropije i pomatog odnosa vjerojatnosti p(x,y) =p(x)p(yb):
kolikoj mjeri je pogreSna pretpostavka da su varijable neovisne, tj. u kojoj su
mjeri varijable ovisne jedna o drugoj.

2.4.9. Odnosi i svojstva informacijskih mjera

PoSto smo uveli sve mjere potrebne za opis informacijskog sustava, promotrit
Cemo njihova svojstva i medusobne odnose.
Odnos entropije i uzajamnog sadriaja informacije
Iz definicija entropije i uzajamnog sadriaja infonnacije jednostavnom
transfonnacijo~nproizlazi sljedeCi odnos:
I(X;Y)= H ( X ) - H ( X / Y).
Ako se prisjetimo da entropija H(X) predstavlja neodredenost varijable X, a
uvjetna entropija H(4T) preostalu neodredenost varijable X nakon Sto je poznata
varijabla Y, vidimo da uzajamni sadriaj informacije I(X;Y) predstavlja
smanjenje neodreaenosti varijable X uzrokovano poznavanjem varijable Y.
To se poklapa s veC poznatom interpretacijom uzajamnog sadriaja informacije
kao mjere informacije koju jedna varijabla pruia o drugoj.
Dokaz ovog svojstva direktno proizlazi iz definicija entropije i uzajanmog
sadriaja informacije:
Dakle, zdiuiena entropija (neodredenost) para varijabli jednaka je zbroju
neodredenosti jedne varijable, te preostale neodredenosti druge varijable, uz
uvjet da je prva varijabla poznata.
Iz ovoga nadalje proizlazi i: I(X;Y) = H ( X ) + H(Y) - H(X,Y).
Dakle, uzajamni sadriaj informacije je razlika izmedu zbroja pojedinaEnih
entropija varijabli i zdruiene entropije tih istih varijabli. Ovo se i dalje poklapa s
interpretacijom uzajamnog sadriaja informacije kao mjere ovisnosti lnedu
varijablama. Naime, kada su varijable ovisne jedna o drugoj, njihova zdruiena
entropija (neodredenost) manja je od zbroja neodredenosti svake varijable
promatrane zasebno.
Vlastiti sadriaj informacije
Uzajamni sadriaj informacije jedne varijable same sa sobom naziva se vlastiti
sadriaj informacije. Vlastiti sadriaj informacije slutajne varijable je upravo
njezina entropija: I(X; X) = H ( X ) - H ( X I X ) = H(X).

Odnosi informacijskih mjera - pregledni prikaz

SimetriEno, vrijedi i: I(Y; X ) = H(Y) - H(Y I X).

Uzajamni sadriaj inforrnacije dviju varijabli je simetriEan:
I(Y; X ) = I ( X ; Y).

Slika 2.13: Odnosi informacijskih mjera prikazani Vennovim dijagramom

 r
UVODU TEORIJU MFORMACIJE I KODIRANJE
-

Svi medusobni odnosi infonnacijskih mjera simboliEkl se mogu prikazati c) uzajamni sadriaj informacije I(% Y);
Vennovim dijagramom (Slika 2.13). Svi odnosi matematiEki opisani u tablici ' d) zdruienu entropiju para varijabli H(X, Y).
(Tablica 2.3) zorno se vide u odnosima povrSina u dijagramu na slici. Tablica
2.3. ujedno daje i saietu interpretaciju svakog odnosa. RjeSenje:
Entropiju ulaznog, odnosno izlaznog skupa simbola odredujemo koristeCi
Tablica 2.3: Pregled odnosa i svojstava informacijskih mjera sljedeCe formule:

H(X) = - i P ( x i ) logp(x,) = 1,522 [bitisimbol] i

ill

3
H(Y) = - ~ P ( Y i ) l o g p ( y i =
) 1,566 [biffsimbol].
i=l

b) H ( q Y),odnosno H ( Y 4 odredujemo koristeki sljedeCe izraze:

H ( X I Y) =-zx 3

!=I
3
,=I p(xi,yj)logp(xi I y,) = 1,124 [biffsimbol], uz

3 3
H(Y / X ) = - ~ z p ( x iy,)logp(yj
, I x,) = 1,157 [bit/simbol].
I=I ,-I

c) KoristeCi proracune iz a) i b) dijela zadatka, uzajarnni sadriaj informacije, tj.

onaj iznos informacije po simbolu, koji se prenosi od izvoriSta do odrediita
neizmijenjen, odredujemo iz:
I(X;Y) = H(X) - H(4Y) = H(Y) - H(YVY) = 0,4095 [bitlsimbol]. Isto tako, medu-
sobni sadrhj informacije moguke je odrediti koristeCi sljeddu formulu:

d) Obzirom da poznajemo vrijednosti svih veliCina koje opisuju komunikacijski

Primjer: IzraEun informacijskih mjera za prethodni primjer
kanal, zdruienu je entropiju para varijabli najlakie odrediti kao H(X,Y) = H(X) +
Za komunikacljski sustav zadan u prethodnom primjem matricom uvjetnih H(Y) - I(X;Y) = 2.6788 [bitlsimbol].
vjerojatnosti potrebno je odrediti:
a) entropiju ulaznog i izlaznog skupa simbola, t ~H. ( 4 1 H(Y);
1 b) uvjetne entropije H(4Y) i H ( w ; I
UVODU TEORIJU INFORMACIlE I KODIRANJE
2.5. Prijenos informacije i informacijske mjere
U prethodnim razmatranjima prouEili smo informacijske mjere u diskretnom
informacijskom sustavu uz prisustvo smetnji. Prisjetimo se ponovo da takav
informacijski sustav koristimo kao model za komunikacijski kanal unutar
kolnunikacijskog sustava (Slika 2.8).
Kao Sto je prikazano (Slika 2.14), predstavljene informacijske mjere vrlo dobro
opisuju prijenos informacije ko~nunikacijskim kanalom. Na ulazu u kanal
pojavljuje se koliaina informacije H ( 3 , tj. entropija ulaznog skupa simbola. Pod
utjecajem smetnji u kanalu dio informacije se gubi. Taj gubitak uslijed smetnji je
ekvivokacija (mnogoznaEnost) H(4Y). Kanalom se prenosi koliEina informacije
jednaka uzajarnnom sadriaju informacije (transinformacija) I(X;Y). S glediSta
prijenosa informacije, moiemo reCi da je to korisna informacija prenesena s
ulaza na izlaz. Medutim, na izlazu uz tu korisnu informaciju imamo joS i
neodredeilost uzrokovanu smetnjarna - to je entropija Suma (irelevantnost)
H(YCY). Dakle, ukupna entropija na izlazu sastoji se od prenesene korisne
informacije I(X,Y) i neodredenosti uzrokovane sinetnjama H ( W .
DlSKRETNl
ULAZ INFORMACIJSKI '0 lZLAZ
DlSKRETNl
BEZMEMORIJSKI
U L ~ @ ~ MNU{
7 Dakle, kapacitet kanala odgovara transinformaciji koja bi bila postignuta u
SIika 2.14: Prijenos informacije i informacijske mjere
KoliEina informacije koja se prenosi kanalom je dakle uzajarnni sadrZaj
informacije. KrenuvSi od definicije, promotrimo o Eemu on ovisi:
2. OSNOVNI POJMOVI TEORIJE INFORMACIJE
IZ ovakve jednostavne pretvorbe zomo se vidi da koliEina informacije koja se
prenosi kanalom ovisi iskljuEivo o:
(1) karakteristikama kanala, tj. o rnatrici prijenosnih v j e r o j a t n ~ s t i f i ~i~ ~ )
(2) o karakteristikama ulaza, tj. vjerojatnostirna pojava simbola na ulazu p(xi).
Ova spoznaja je vaina za terneljito shvakanje kapaciteta kanala.
2.6. Kapacitet kanala
Kapacitet kanala jedail je od terneljnih pojmova teorije infonnacije. U ovom
poglavlju uvest demo definiciju kapaciteta kanala, objasniti njegovo znaEenje
kroz temeljni teoreln kanala sa smetnjama, te dati prirnjer raEunanja kapaciteta
kanala na jednostavnorn sluEaju binamog simetriEnog kanala. Time postavljamo
temelje za raEunanje kapaciteta kanala za razne vrste konkretnih kanala u
kasnijim poglavljima.
Promatramo i dalje prijenos informacije komunikacijskim kanalom kao Sto
prikazuje slika (Slika 2.14). Pretpostavimo da se na ulazu u kanal pojavljuju
simboli xi s vjerojatnostima pojavljivanja p(xi). Iz prethodnih razmatranja znamo
da je prosjeEna kolitina prenesene informacije jednaka transinformaciji I(X;Y)
[bit/simbol]. Prisjetimo se da transinformacija ovisi o karakteristikama kanala i o
razdiobi vjerojatnosti na ulazu, p(xi), kao Sto se vidi iz izraza (2.3). Kapacitet
kanala je definiran kao maksimum transinformacije, gdje se maksirnizacija
provodi po svim mogukim razdiobama vjerojatnosti pojave simbola na ulazu:
C = rnax I(X;Y)[bitlsimbol].
{~('i))
sluEaju idealne razdiobe vjerojatnosti pojave simbola na ulazu. Iz definicije
izravno slijedi da je nemoguh postiki veku transinformaciju za zadani kanal.
Drugim rijetima, kapacitet kanala je maksimalna koliEina informacije po
simbolu koja se u prosjeku moie prenijeti kanalom.
1
t'
E
UVOD
U TEORIJU INFORMACIJE I KODIRANJE
2.6.1. Temeljni teorem kanala sa smetnjama
Pretpostavimo kanal kapaciteta C [bitlsimbol] i izvor karakteriziran entropijom
H [bitlsimbol]. Ako je H 5 C, tada postoji takav sustav kodiranja da se poruke s
izvora mogu prenositi kanalom uz proizvoljno malu utestalost pogreSke (tj.
proizvoljno malu ekvivokaciju). Ako je H > C tada je mogude kodirati tako da
ekvivokacija bude manja od H - C + E [bitlsimbol], gdje je e proizvoljno mala
velicina. Ne postoji metoda kodiranja kojom bi se postigla ekvivokacija manja
od H - C [bit/simbol].
Ovaj teorem ilustriran je grafoin (Slika 2.15) koji prikazuje mogude vrijednosti
ekvivokacije (gubitaka u kanalu nastalih uslijed smetnji) u bivsimbol u ovisnosti
o entropiji izvora, t j . koliEini informacije koju izvor generira. Dok je entropija H
manja ili jednaka kapacitetu kanala, gubici mogu biti proizvoljno blizu nuli.
Medutim, kad je entropija izvora veCa od kapaciteta kanala, gubici se ne mogu
smanjiti na nulu. Donja grailica gubitaka u ovom podruCju je pravac H(YIX) = H
- C.
Ova spoznaja je jedan od najvainijih rezultata teorije infonnacije. I prije
formalnog nastanka teorije informacije bilo je jasno da smetnje uzrokuju gubitke
u kanalu. Medutim, nije bilo jasno na koji naEin ti gubici utjeEu na mogudnost
prijenosa informacije. Teorija informacije pokazala je da poveCanjem uCestalosti
pogreSaka u kanalu kapacitet kanala pada postupno, te da je teoretski mogude
prenositi koliEinu infonnacije jednaku kapacitetu kanala uz proizvoljno malu
pogregku. U svojoj osnovi, teorija informacije ne kaie niSta o tome kako to
postidi na praktiCan naEin, no ove teoretske postavke otvorile su put ka
praktiCnim jeSenjima. Takva praktiCna rjesenja, tj. metode koje sluie za
kodiranje informacije na takav naCin da omogude otkrivanje i/ili ispravljanje
pogreSaka nastalih uslijed smetnji, su metode zaititnog kodiranja. Njih
prouEavamo u poglavlju 4.
i primjer: Kapacitet binarnog simetricnog kanala
~ i n a r nsimetriEni
i kanal s pogreSkom je kanal koji prenosi binarne siinbole 0 i 1,
a vjerojatnost pogreSke je jednaka za oba simbola (Slika 2.16). Vjerojatnost
pogreSnog prijenosa simbola je p,, a vjerojatnost ispravnog prijenosa simbola je
I-Pk3.
X Y
Slika 2.16: Binarni simetrirni kanal
Prema definiciji kapaciteta kanala, potrebno je pronaCi takvu razdiobu
vjerojatnosti pojave si~nbolana ulazu - p(0) i p(1) - za koju de transinformacija
i biti maksimalna:
C = max I(X;Y) = a x [ H ( Y ) - H(Y I X)].
I (P(.,)) Rx19
j IZ svojstava entropije H(Y) znarno da je ona maksimalna ako su vjerojatnosti
: pojave simbola jednake. PoSto je kanal siinetriEan, razdioba vjerojatnosti pojave
i
1 simbola na izlazu bit Ce simetriCna ako su vjerojatnosti pojave simbola na ulazu
i simetriEne. Dakle maksimum entropije H(Y) postidi Ce se zap(0) = p ( l ) = 0.5.
i
1 IzraEunijmo entropiju Suma H(YIX) za binarni simetriEni kanal:
! n ni " m

H(YI ~ ) = r C C ~ 0 1 , , x i ) l o g ~ lxi)=-CCP(xi)Pbj
Cy/ Ix,)'o~P(Y,(xi)
i l l ]-I i=l j = l

= -[P(~)P, 1% P, + P(l)(l- P,) log(1- P, + P(~)P,log P, + P(O)(l - P, )log(l- P, I]

Stika 2.15: Temeljni teorem kanala sa smetnjama
= -[(p(l) + P(~))P,1% P, + ( ~ ( 1+) P(O))(1- P,) log(1- P,)]
= -[p, log p, + (1 - p, ) log(1-p,)] [bit/simbol].
Vidimo da entropija Suma H(Y$t!) za binarni simetriEni kanal ne ovisi o
vjerojatnostima pojave simbola na ulazu. To znaEi da H(klX) nema utjecaja na
traienje maksimuma transinformacije po definiciji kapaciteta kanala. Dakle,
maksimum transinformacije, tj. kapacitet kanala, dostiie se kada jep(0) = p(1) =
0.5. Uz ovakvu razdiobu je H(Y) = 1 bitfsimbol,te dobivarno kapacitet kanala:
C = 1+ p, log p, + (1 - p,) log(1- p,)[bit Isimbol].

Promotrimo ovisnost kapaciteta kanala o vjerojatnosti pogreike p, (Slika 2.17).
Kapacitet kanala pada na nulu kad je jerojatnost pogreSke 0.5, jer u tom sluEaju
za neku vrijednost na ulazu moiemo jednakom vjerojatnoSCu dobiti 0 ili 1 na
izlazu, pa na osnovu simbola na izlazu ne moielno zakljuEiti niSta o tome koji je
simbol bio na ulazu. Maksimalni kapacitet kanala postiie se kada nema
pogregke, kao Sto bismo logiEno i oEekivali, ali i kada je vjerojatnost pogreSke
jednaka 1. Ovaj sluEaj, kada se pogreSka dogada uvijek, zapravo samo znaEi da
je kanal "invertiran" - nula na ulazu daje jedinicu na izlazu i obrnuto - te se i
dalje iz silnbola na izlazu mogu sa sigurnoSCu odrediti simboli na ulazu.
Slika 2.17: Kapacitet binarnog simetritnog kanala u ovisnosti
o vjerojatnosti pogreikepg
2.7. Prijenos informacije komunikacijskim
sustavom
Sva dosadaSnja razinatranja, te steEeno razumijevanje osnovnih pojmova teorije
informacije, omoguCavaju cjelovit pogled na prijenos informacije komuni-
kacijskim sustavom (Slika 2.18). Ovakav cjelovit pogled ujedno je i slikoviti
pregled sadriaja ove knjige, jer pruia uvid u funkcije pojedinih dijelova sustava
Eije detalje pokrivaju iduCa poglavlja, a pritom omoguCava sagledavanje cjeline i
medusobnih ovisnosti njezinih pojedinih dijelova.
1. Na izvoru informacije nastaje izvorna poruka, tj. podaci (engl. data). Izvorna
poruka sadrii samu informaciju, ali najEeSCe sadrii i redundanciju, npr.
nepotrebno ponavljanje pojedinih podataka. Izvoma poruka je zbog redundancije
veCa od samog sadr2aja informacije. Osnovni zadatak predajnika je da preuzme
podatke koje generira izvor i da ih pripremi za prijenos kanalom. Koder
informacije i koder kanala sastavni su dio predajnika.
2. OSNOVNI
POJMOVI TEORUE INFORMACUE
2. U koderu informacije uklanja se redundancija, te se na izlazu iz kodera
informacije pojavljuje kodirana poruka. Cilj kodiranja informacije je da poruke
kodira utnkovito, tj. sa Sto je moguce ~nanjebita po svakoj poruci. Medutim,
ovako kodirane poruke bile bi izuzetno osjetljive na pogreSke nastale zbog
smetnji u prijenosu kanalom. Stoga se nakon kodera informacije koristi koder
kanala. Kodiranjem informacije bave se poglavlja 5,6 i 7.
3. Koder kanala v 6 i zagtitno kodiranje, te na njegovom izlazu nastaje zaStitno
kodirana poruka koja sadrii kodiranu poruku preuzetu od kodera informacije i
dodatne zaStitne bitove. Sa stajaliita informacije, koju sustav prenosi, zaStitni
bitovi takocter predstavljaju redundanciju. Mebutim, za razliku od redundancije u
izvornoj poruci ova je redundancija tako strukturirana da Eini ukupnu poruku
otpomijom na pogreSke, tj. omoguCava ispravljanje pogreSaka u prijamniku.
ZaStitnim se kodiranjem bavi Eetvrto poglavlje.
4. Prijenosni je kanal sredstvo za jednosmjeran prijenos podataka od predajnika
do prijamnika. Prolaskoin kroz prijenosili kanal, uslijed djelovanja izobliEenja i
smetnji u poruci nastaju pogreSke, tj. dijelovi poruke bivaju promijenjeni.
IzobliEenja mogu biti linearna CpriguSenje signala, disperzija signala) i nelinerna
(harmoniEka i nehannoniEka, u osnovi se radi o generiranju novih frekvencija
koje u izvornom signalu, kakav je na izlazu predajnika, ne postoje, ali nastaju na
nelinearnim elementiina u kanalu). NajEeSCi oblik sinetnji u prijenosu je Sum. U
prijamniku se obavljaju operacije suprotne od onih u predajniku. Dekoder kanala
i dekoder informacije sastavni su dijelovi prijamnika.
5. Dekoder kanala koristi dodane zaStitne bitove (redundanciju koju je dodao
koder kanala) kako bi, usprkos pogregkama, rekonstruirao kodiranu poruku. Na
izlazu iz dekodera kanala dobivamo dekodiranu poruku koja je pribliino jednaka
kodiranoj poruci, koju je kreirao koder informacije. Potpunu jednakost tih dviju
poruka je nemoguCe jamCiti upravo zbog smetnji koje su gotovo uvijek prisutne,
a djeluju stohastitki, tj, nepredvidljivo.
6. Dekoder informacije vrSi obrnuti postupak od kodera informacije i vraCa
poruku u izvorni oblik. Ta se rekonstruirana poruka zbog veC opisanog
djelovanja izobliEenja i smetnji u kanalu i nesavrgenosti zaStitnog kodiranja
razlikuje od izvorne poruke, a njihova razlika ovisi o intenzitetu izobliEenja i
smetnji te o ~Einkovitostikodera i dekodera kanala.
Sam se prijenosni kanal sastoji od linijskog kodera ili modulatora i predajnog
filtra (zajedno tvore tzv. pretvaraC signala) kao dijelova predajnika, od kanala u
uiem smislu (prijenosni medij) i od prijarnnog filtra i linijskog dekodera ili
demodulators (zajedno tvore pretvaraE signala) kao sastavnih dijelova
prijarnnika. Osnovna je uloga pretvaraEa u predajniku da binarni signal iz kodera
kanala obradi na takav naEin da po spektralnim obiljeijima bude kompatibilan s
prijenosnim sustavom. Takoder, pretvarat u prijamniku ima zadatak da linijski
kodirani ili modulirani signal vrati u osnovni, binarni oblik, pogodan za obradu u
UVOD U TEORIJU MFORMACIJE I KODIRANJE

dekoderu kanala. Vige detalja o prijenosnom kanalu i fenomenima koji su uz

njega usko vezani bit ce dano u trekem poglavlju.
pnmljena poruha: dekodlrana poruka: rekonstruirana
3. izobliWa
+ +
kodiana poruka + izvorna

Slika 2.19

Koji uvjet mora biti ispunjen (uz z p ( x , ) = 1 ) tako da vrijedi: H(X) = H(Y)?
I

kanal
Napomena: p,= konst. # O!
Zadatak-3: Digitalni sklop za prikaz simbola (7-segmentni indikator) prikazuje simbole
u formatu kao na slici (Slika 2.20). Svi simboli (0 - 9) pojavljuju se na indikatoru sklopa
prijenasni kanal
s jednakom vjerojatnoSb pojavljivanja. Zbog kvara na uredaju otkazale su gornje tri
Slika 2.18: Model komunikacijskog sustava i prijenosni kanal oznake (Slika 2.21).
a) IzraEunajte prosjetnu entropiju po jednoin prikazu na 7-segmentnom indikatoru prije
kvara.
b) IzraEunajte prosjeEnu entropiju po jednom prikazu na 7-segmentnom indikatoru nakon
2.8. Zadaci kvara.

Zadatak-1: Na ulazu binamog simetriEnog kanala pojavljuju se dva simbola X = {O, 1) s

vjerojatnostima pojavljivanja (0.5, 0.5) slijedno gledano. Matrica uvjetnih vjerojatnosti
prijelaza u kanalu je

Slika 2.20 Slika 2.21

gdje je ~vjerojatnostpogreSnog prijenosa.
a) Odredite entropiju ulaznog skupa simbola, tj. H ( 4 . Zadatak-4: Odredite kapacitet binamog kanala s brisanjem simbola predoEenog na slici
b) Odredite entropiju izlaznog skupa simbola, tj. H(Y). (Slika 2.22). Takoder, p(x,) = a i p(x2) = 1- a.
c) Odredite zdruienu entropiju H(X,Y).
d) Odredite srednji uzajamni saddaj infomacije (transinfomacija) izmedu ulaznog i
izlaznog skupa simbola, tj. Z(X;Y).
e) Za koje vrijednosti varijable c j e transinfomacija maksimalna?
f ) Za koju vrijednost varijable ~ j kapacitet
e danog kanala minimalan?
Zadatak-2: Diskretni komunikacijski kanal predoEen je na slici (Slika 2.19):

Slika 2.22
UVODU TEORIJU INFORMACIJE I KODIRANJE
- 2. OSNOVNI POJMOVl TEORIJE INFORMACIJE

Zadafak-5: Tri simbola jednakih vjerojatnosti pojavljivanja prenose se preko dva serijski vjerojatni. IzraEunajte transinformaciju u sustaw kanala. Takoder, izratunajte ekvivo-
vezana kanala u kojima je vjerojatnost ispravnog prijenosa 0.8, a svi moguCi pogreSni kaciju u kanalima K,, K2 i u sustaw kanala.
prijelazi su jednako vjerojatni. Odredite vjerojatnosti pojave simbola y, na izlazu kanala
ako je na ulazu simbol xi za sve parove i,j.
Zadaiak-6: VeliEina (v) koju mjeri instrument poprima osam vrijednosti sa sljededim
vjerojatnostima:
~THTI
izvor

sustav kanala

Slika 2.23

Zadaiak-11: IzvoriSte emitira simbole x, koji se prenose u kanalu s djelovanjem Suma zi.
Odredite srednji sadriaj informacije koju daje instrument u jedinici vremena (bit/s) ako Na odrediStu se pojavljuju si!nboli y,. Vrijednosti simbola i vjerojatnosti pojavljivanja
se pokazivanje mijenja svakih 15 ms. dani su na slici (Slika 2.24). Sum u kanalu djeluje na taj naEin da se njegova vrijednost
Zadatnk-7: Instrumentom oEitavamo vrijednosti iz skupa siinbola X = {-2, - 1, 0, 1, 2).
multiplicira sa simboliina iz izvora.
Sve vrijednosti su jednako vjerojatne. Na pokazniku instrumenta pokvaren je indikator
za "minus" koji se ne upali u 30% sluEajeva. Ako sustav promatraino kao komuni-
kacijski kanal, potrebno je:
a) grafiEki prikazati vjerojatnosti prijelaza u kanalu;
b) odrediti vjerojatnost pojave pojedine vrijednosti na indikatoru instrumenta;
c) odrediti entropiju ulaznog i izlamog skupa simbola;
d) izraEunati transinformaciju i ekvivokaciju u ovom sustaw.
Zadafak-8: Komunikacijskim kanaloln prenose se tri poruke "a", "b" i "c" , generirane
iz skupa simbola X = {a, b, c). Vjerojatnosti pojavljivanja siinbola su p(a) =p(b) = 2 x
p(c). Matrica uvjetnih vjerojatnosti prijelaza u kanalu je:

Slika 2.24

Odredite: a) H (Y). b) l (X;Y).

Zadatak-12: Na sustav kanala (serijska veza kanala KI i K2) povezano je izvoriSte Eije
a) Odredite vjerojatnosti pojavljivanja pojedinih simb.ola na izlazu iz kanala. se ponaSanje moie opisati Markovljevim lancem pwog reda s dva stanja (1 i 2).
b) Odredite ekvivokaciju i transinformaciju u kanalu. IzvoriSte u 25% sluEajeva ostaje u stanju 1, a u 50% slucajeva u stanju 2. Uvjetne
c) IzraEunajte promjenu transinformacije ako se provede zaStita tako da se svaka vijest u vjerojatnosti prijelaza u kanalima K1 i K2 su:
prijenosu jednom ponovi.
0 (2 0,7 0 0,I 0 0
Zadafak-9: Neka je dano izvoriSte na Eijem izlazu se pojavljuju dva simbola, i to: toEka
(e) i crta (-). Trajanje (.) je 0,2 s, dok je trajanje (-) tri puta duie. Vjerojatnost
pojavljivanja (*) je dva puta veCa od vjerojatnosti pojavljivanja (-), dok je trajanje
Kl: [
0,8 0,l 0 0,l
0,4 0,5 0,l 0
0,3 0
0 0
0,4 0,3 0 0 0 0
0 0,2 0,4 0,4 0 0
stanke izmedu simbola 0,2 s. IzraEunajte prosjetnu brzinu generiranja simbola na 0 0 0 0 0 0,8 0,l 0,l
izvoristu i to u bit/s.
Zadafak-10: Komunikacijski kanali spojeni su serijski kako je prikazano na slici (Slika a) IvaEunajte vjerojatnost pojavljivanja simbola na izlazu iz sustava kanala.
2.23). Na kanal Kt prikljuEen je informacijski izvor koji generira 8 jednako vjerojatnih
b) Odredite transinformaciju u cijelom sustaw kanala.
poruka koje se kodiraju skupom simbola X = {xi, ..., x8]. Vjerojatnost ispravnog prije-
nosa u kanalu K, je 0,93, u kanalu K2 je 0,86 dok su svi drugi prijelazi jednako Napomena: kod proraEuna raditi s tri decimalna mjesta!
3.2. Komunikacijski kanali u kontinuiranom
vremenu
3.3. Uzorkovanje signala
3.4. Kapacitet kanala u kontinuiranom vremenu
3.5. SaZetak poglavlja $
3.6. Zadaci-, -..,,-.
 3. KOMUNIKACIJSKI
i u
KANALl U KONTMUIRANOM V R E M W

ovom poglavlju bit ce razmatrani komunikacijski kanali u kontinuiranom

' '
qemenu. Prvo h biti razmotreni signali koji se javljaju na ulazu i izlam takvih
kanalk a poseban Ce naglasak biti stavljen na signale u kontinuiranom vremenu.
,, o d mnogobrojnih obiljeija signala, poseban Ce naglasak biti stavljen na njihovu
snagu, odnosno energiju jer su to bitni parametri za odredivanje kapaciteta
kanala. Nakon toga slijedi prikaz modeliranja kanala lineamim vremenski
: nepromjenjivim sustavom te odredivanje Sirine prijenosnog pojasa kanala.
Nadalje, provedeno je i razmatranje procesa uzorkovanja signala i kvantizacije
uzoraka, kao podloga za digitalni prijenos informacija. KonaEno, na kraju ovog
poglavlja dan je i proraEun kapaciteta kontinuiranih kanala. Pri tome je
razmatrana primarno fizikalna razina prijenosnog kanala, gdje su poruke
1I generirane na izvoru informacije predstavljene parametrima elektriEnih signala
@rije svega srednja snaga i Sirina frekvencijskog pojasa), pomoCu kojih je
j izraZen kapacitet kanala.

3.1. Signali
Signal je pojava koja prikazuje neku fizikalnu veliEinu (na primjer, napon ili
struju) i sadriava inforinaciju o ponaianju, odnosno o prirodi promatranog
fenomena. MateinatiEki, signal je modeliran fiinkcijom x(t) neovisne varijable t,
t E R, pri Eemu varijabla t najEeSCe predstavlja vrijeme. Signal, kao inatematiEka
funkcija, preslikava neovisnu varijablu, tj. vrijeme, u vrijednost x(t), tj. x: t 4
. nastavku Ceino promatrati iskljutivo realne signale (x: R + R).
~ ( t )U
Signal x(t) je signal u kontinuiranom vremenu, ako je t kontinuirana varijabla
(Slika 3.la). Takve Cemo signale u nastavku skraCeno nazivati kontinuirani
signali. Primjer kontinuiranog signala je sinusni signal x(t) = A . sin(2nfi), pri Ee-
mu je f realan broj koji predstavlja frekvenciju signala x(t), a A realan broj koji
predstavlja njegovu amplitudu. Ponekad signal moie biti i funkcija dvije ili viSe
varijabli. Npr. naponski signal na prijenosnoj liniji Eunkcija je vremena t i
udaljenosti z od poEetka linije pa ga zapisujemo kao x(t, z). Takvi se signali
nazivaju viiedimenzionalni signali.
Za varijablu t koja oznaEava vrijeme kaiemo da je diskretna ako poprima
vrijednosti iskljuEivo u diskretnim trenucima t = kT, pri Eemu je T pozitivan
realan broj razliEit od nule, a k je cijeli broj. Sukladno navedenom, signal u
diskretnom vremenu najEeSde oznaEavamo kao slijed brojeva, oznaEen kao {xk}
ili x[k], k E Z,Sto je u stvari skraCeni zapis od x[kT]. Takve Cemo signale u
nastavku skraCeno nazivati diskretni signali. Dakle, vrijednosti signala u
diskretnom vremenu definirane su samo u diskretnim vremenskim trenucima
UVODU TEORIJU INFORMACIJE I KODIRANJE
(Slika 3.lb). Na slici su vrijednosti diskretnog signala oznaEene totkama, a
okomite linije koje ih spajaju s apscisom koriStene su samo zbog preglednosti
prikaza.
a) b)
Slika 3.1: Prirnjeri signala: a) signal u kontinuiranorn vremenu,
b) signal u diskretnorn vremenu
Ako umjesto vreinena t promatramo vrijednosti koje signal moie poprimiti u
bilo kojem trenutku, tj. x(t), tada signale moiemo podijeliti na analogne i
digitalne. Analogni signal moie u nekom trenutku poprimiti bilo koju vrijednost
unutar kontinuiranog skupa moguCih vrijednosti. Primjer takvog signala je
sinusni signal x(t) = A.sin (2xfi), ranije dan kao primjer kontinuiranog signala.
Sinusni signal u nekom trenutku t moie poprimiti bilo koju vrijednost iz
intervala [-A, A]: x(t) E [-A, A].
Nadalje, neka je {al,a2,...,ahr) konazan skup od N realnih brojeva. Digitalni
signal moZe u bilo kojem trenutku poprimiti samo jednu od N moguCih
vrijednosti iz tog skupa: x(t) E {al,az,...,a d . Primjer digitalnog signala je binarni
signal koji u bilo kojem trenutku moie poprimiti jednu od dvije vrijednosti iz
skupa (0, A), A E R. Slika 3.2 daje primjer analognog i digitalnog signala.
Slika 3.2: Prirnjeri signala: a) analogni signal i b) digitalni signal
Promatrajudi slutajnost vrijednosti koje neki signal moie poprimiti, postoje
deterministizki signali i sluEajni signali. Vrijednosti deterministiEko2 signala,
,<(t),odnosno x[k], su u potpunosti specificirane u svakom vremenskom trenutku
kojem je signal definiran. Takav je signal moguCe modelirati nekoln funkcijom
vrernena. Nasuprot tome, slucajni signal u bilo kojem vremenskom trenutku
poprima neku sluEajnu vnjednost i stoga se karakterizira stohastitki. SluCajni se
signali modeliraju pomoCu sluEajnih procesa.
u ovom Ce potpoglavlju naglasak biti stavljen na odredivanje srednje snage i
energije signala u kontinuiranom vremenu. Srednja snaga signala raEuna se u
ovisnosti o vrsti signala. Signale u kontinuiranom vremenu dijelimo na
deterministitke i slucajne. Nadalje, deterministitke signale dijelimo na
periodhe i neperiodiEne. Srednja snaga nekog detenninistiEkog signala raEuna
se ~rimjenomrazvoja funkcije u Fourierov red, odnosno pomoCu Fourierove
transfonnacije, dok se srednja snaga sluEajnog signala raCuna pomoCu
autokorelacijske funkcije sluEajnog procesa kojim je taj signal modeliran.
3.1.1. Srednja snaga i energija deterministiekih signala
Iz osnova elektrotehnike poznato je da napon u(t), odnosno struja i(t) na
otporniku od R oma [a]proizvodi energiju E, odnosno srednju snagu P,
definirane sljedeCim izrazima, [4]:
P= rlim-
1
j mT lv~ i ' ( t ) d t[W].
712
U daljnjim razmatranjima napon, odnosno struja bit Ce zamijenjeni opCenitim
signalom x(t), dok Ce za otpornik R biti pretpostavljena vrijednost od jednog
oma. To je uobiEajena praksa u teoriji komunikacija kako bi se izrazi za snagu,
odnosno energiju pojednostavili.
3.1.2. PeriodiCni signali
Signal x(t) u kontinuiranom vremenu smatramo periodhim ako vrijedi: x(t) =
x(t + T), Vt E R, pri Eemu je T realna konstanta. Najmanji broj T veCi od nule,
oznatimo ga kao To, za kojeg vrijedi ta jednakost, nazivamo osnovni period
signala x(t). Signali koji ne zadovoljavaju navedeno svojstvo periodihosti su
neperiodizni.
Perioditan signal mogude je razviti u Fourierov red na sljeddi naEin, [6]:

gdje su ck koeficijenti razvoja u Fourierov red koje je moguCe izraEunati izrazom
Temeljem dva prethodna izraza moguCe je definirati Fourierov transforrnacijski
par:
x(t)=xr=,ck6(f -%)Y (3.1)
tj. funkcija x(t) Eini Fourierov transformacijski par sa zbrojem Diracovih
funkcija S(f - &),k E Z, skaliranih s koeficijentima ck. Diracova delta funkcija
6(t) definirana je sljedeCim izrazima, [7]:
.,
a zadovoljava i dva vaina svojstva:
2) neka je funkcija x(t) definirana nad skupom realnih brojeva, x: R + R,
tada vrijedi
pri Eemu je to takoder realan broj.
U gore navedenim izrazima vezanim uz razvoj funkcije u Fourierov red javlja se
konstanta Q koja je s osnovnim periodom signala vezana jednostavnom
relacijom: Q = 27th = 2n/T0, gdje jefo osnovna frekvencija periodiEnog signala
x(t). Jedan razred periodiEnih signala koje je moguCe prikazati pomoCu razvoja u
Fourierov red su signali koji imaju konatnu energiju unutar jednog perioda, tj.
za koje vrijedi
Kad je taj uvjet zadovoljen zajamEeno je da koeficijenti ck imaju konaEan iznos.
Medutim, time nije zajamEeno da su originalni signal i njegov prikaz pomoCu
razvoja u Fourierov red jednaki u svakom trenutku t. Time je samo zajamEeno
da signal njihove razlike, e(t), definiran kao
KANALI U KONTINUIRANOM VREMENU
i 4
i e(t)=~(t)-~~=,c~e~~~'
ima energiju jednaku nuli:
!
postoji i altemativni skup uvjeta koje je postavio matematiear P. L. Dirichlet,
, koji jamEe da je signal x(t) jednak svojem razvoju u Fourierov red, osim za
izolirane vrijednosti od t u kojima funkcija ima prekid. U tim toEkama
i
~I_4cke~kNor konvergira prelna srednjeln imosu od vrijednosti tog zbroja
i
I proraEunatih obje stralle diskontinuiteta, Detalje Dirichletovim kriterijima
i moguCe je pronaCi u literaturi, [4].
~oeficijentick tvore spektar signala, odnosno prikaz signala u frekvencijskoj
domeni. Spektar periodiEnog signala je diskretan, tj. popriina vrijednosti samo za
diskretne vrijednosti frekvencije,,!; = &TO,k G Z. U optenitom sluEaju koefi-
cijenti ck su kompleksne veliEine i zadovoljavaju relaciju c-, =<, tj. vrijednost
koeficijenta c-k jednaka je konjugirano-kompleksnoj vrijednosti koeficijenta ck.
Koeficijente ck moguCe je prikazati u Eulerovom obliku kao
I
ck = Jcke--''t , (3.2)
gdje apsolutne vrijednosti koeficijenata ck tine tzv. arnplitudni spektar signala, a
eksu vrijednosti tzv. faznog spektra signala x(t).
Srednju snagu periodiEnog signala u kontinuiranom vremenu, P, moguCe je
izraEunati izrazorn
Dakle, srednja snaga se raEuna nad cijelirn intervalom od -a do 03 (otuda Elan k
koji teii u a ) , a skrakivanjem dobivaino da je srednju snagu periodiEnog signala
moguCe raEunati i samo unutar jednog perioda trajanja To. Gornja se jednakost
ujedno naziva i Parsevalova relacija za periodiEne signale u kontinuiranom vre-
-
menu. Obzirom da za koeficijente ck vrijedi da je c-, =ck , gomji izraz moLemo
pojednostavniti:
Interpretirano rijetima, srednja snaga periodithog signala jednaka je zbroju
srednjih snaga svih harmonitkih komponenti od kojih je signal sastavljen.
UVOD U TEORIJU MFORMACIJE I KODIRANJE

Primjer 1: spekfar i srednja snaga frigonometrijskih signala

I 3. KOMUNIKACIJSKI
KANALI U KONTINUIRANOM VREMENU

Signali sinusnog, adnosno kosinusnog oblika Eesto se koriste u komunikacijama.

Stoga je po2eljno poznavati njihov spektar i srednju snagu. Funkcija sin(t),
odnosno cos(t), gdje je t realna varijabla, periodiEna je s osnovn~mperiodom 2n.
Neka je signal zadan kao n(t) = A sin(&& CLY, = 2nfo = 2n/T0, pri Eemu je f o
frekvencija sinusnog signala x(t), To njegov period, a A njegova amplituda.
KoristeCi izraz za razvoj periodiEne funkcije u Fourierov red i izraz (3.1)
dobivamo spektar tako zadanog sinusnog signala x(t):

Na sliEan naEin, spektar kosinusnog signala x(t) = A cos(@t), & = 2xfo = 2n/To
(Ib, To i A iinaju isto znaEenje kao i kod slllusnog signala), dan je iziazom
Slika 3.4: Periodiran slijed pravokutnih impulsa

Naravno, funkcija x(t) zadovoljava i svojstvo periodicnosti pa vrijedi x (t + To)=

Slika 3.3 prikazuje spektar kosinusnog, odnosno sinusnog signala. Ako uspo-
redimo izraze za spektar ovih dvaju signala, evidentno je da Eimbenik -j u imam
za spcktar sinusnog signala potjeCe od faznog kagnjenja funkcije sinus u odnosu
na funkciju kosinus: sin(x) = cos(x - n/2), V x E R. Srednja snaga sinusnog
signala jednaka je srednjoj snazi kosinusnog signala i iznosi P = ~ ~ 1Srednja
2.
snaga signala uvijek ovisi samo o arnplitudnom spektru, a ne i o faznom spektru.
~ ( t ) ,V t E W.Drugim rijefiuna, poznavanje funkcije na razini jednog perioda
omoguCava nam da odredimo njezinu vrijednost u bilo kojem vremenskom
trenutku. Kao i svaki periodican signal, tako je i periodiEan slijed pravokutnih
impulsa moguCe razviti u Fourierov red, Sto Ce omoguCiti prikaz spektra takvog
signala i proraEun njegove srednje snage. Koeficijenti razvoja u Fourierov red
dani su izrazom

KonaEni izraz za Fourierove koeficijente ck moguCe je napisati u obliku funkcije

sin(x)lx:
r sin (ko,-r/2)
Slika 3.3: Spektar a) kosinusnog i b) sinusnog signala C, =A-
r, k o o r / 2 '

Primjer 2: periodi2an slijed pravokutnih impulsa
Promatrajmo beskonaEan slijed pravokutnih impulsa. Neka pravokutni impuls
ima amplitudu A volta, trajanje r sekundi, a osnovni period ponavljanja iznosi To
[s], To > r (Slika 3.4). Na razini osnovnog perioda u podruEju oko nule funkciju
x(t), koja predstavlja periodiCan slijed pravokutnih impulsa, matematiEki je
moguCe zapisati kao
Slika 3.5 i izraz za koeficijente Fourierovog reda, (3.4), pokazuju da je spektar
periodiEnog slijeda pravokutnih impulsa definiranog izrazom (3.3) diskretan i
njegove se komponente ck pojavljuju sarno na diskretnirn frekvencijama k/To
[Hz], k E Z.Spektar perioditnog slijeda pravokutnih impulsa najvecu vrijednost
poprima u nuli: co = AdTo. OpCenito gledano, koeficijent c, predstavlja isto-
smjernu komponentu periodiEnog signala. Ovojnica spektra, koja je na slici
prikazana crtkano, predstavlja spektar jednog jedinog pravokutnog impulsa
UVODU TEORIJU INFORMACIJE I KODIRANJE

amplitude A [V] i trajanja r [s] (vidi potpoglavlje 3.1.3). Vrijednosti diskretnih

komponenata ck poklapaju se s ovojnicom. Nadalje, promatrano na frekvencij-
skoj osi, ovojnica prolazi kroz nulu u toEkama nlz [Hz], n E Z. Ovisno o omjeru
dTo, neke komponente ck mogu biti jednake nuli. Na primjer, ako z traje
dvostruko kraCe od perioda To (zlTo = 1/2), tada de svaka pama komponenta
spektra periodiEnog slijeda pravokutnih impulsa biti jednaka nuli: c2k = 0, \CI k E
Zik#O.

ReferencirajuCi se na opdeniti izraz (3.2) za spektralne komponente, amplitudni

spektar periodiEnog slijeda pravokutnih iinpulsa definiranog izrazom (3.3)
odreden je na sljedeCi naEin:

lck=A-
r sin (kw, 212)
r, kw,,z/2 1,
k ~ z ,
Slika 3.5: Spektar perioditnog slijeda pravokutnih impulsa
dok je fami spektar tog istog signala odreden izrazom
3.1.3. NeperiodiEni signali
Promatrajmo neperiodiEan signal x(t) u kontinuiranom vremenu. Tada su
energija signala x(t), E, i njegova srednja snaga, P, definirani izrazima, [4]:

E = T+m
lim fTlx(t)12dt = rlx(t)12dt,
Ako se periodiEan slijed pravokutnih impulsa prikazan slikom (Slika 3.4)
pomakne iz ishodigta po vremenskoj osi za neki iznos I,, 0 I t, l To, tada se
mijenja samo fazni spektar signala, dok amplitudni spektar signala ostaje
nepromijenjen. Obzirom da je hnkcija x(t) iz izraza (3.3) zadana kao parna Spektat neperiodiEnog signala vezan je s vremenskim prikazom signala pomodu
knkcija, koeficijenti ck poprilnaju realne vrijednosti i vrijedi c.k = ck. ImajuCi to Fourierove transformacije, [7]:
svojstvo u vidu, funkciju x(t) moiemo prikazati pomoCu koeficijenata ck na
sljedeCi naEin: X (f ) = E x ( t ) e - ~ ~ ' d ili
t X(w) = Ex(t)e-"dt ,
pri Eemu je kruina frekvencija w vezana s frekvencijomf jednostavnirn izrazom:
o = 27cJ Za funkcije x(t) i ~ ( f ) odnosno
, x(t) i X(w) kaiemo da tvore
Kad su poznati svi koeficijenti ck, tada je srednju snagu periodiEnog slijeda Fourierov transformacijski par:
pravokutnih impulsa moguCe izraeunati kao
x ( t ) + ~ ( f ) ili x ( t ) + ~ ( w ) .
Na sliEan naEin kao i u sluEaju razvoja finkcije u Fourierov red, funkcija x(t)
mora zadovoljavati tzv. Dirichletove uvjete kako bi postojala njezina Fourierova
transformacija. Od tih uvjcta posebno izdvajamo kvadratnu apsolutnu integra-
bilnost funkcije x(t):
UVODU TEORUU INFORMACIJE 1 KODIRANJE
- /
impulsa prolazi kroz nulu u toEkamafk = Wz, k E Z.Srednja snaga pravokutnog
impulsa jednaka je nuli, a njegova je ukupna energija dana izrazom
3.1.4. Veza izmedu spektra periodienih i neperiodienih
signala
Razmotrimo periodican signal xo(t) osnovne fiekvencijefo = l/To, pri Eemu je To
osnovni period signala xo(t). Signal xo(t) moiemo prikazati razvojem u Fourierov
red, [I]:
pri Eemu su c, kompleksni koeficijenti Fourierovog reda definirani izrazom
Nadalje, definirajmo signal impulsne naravi, x(t), koji je jednak hnkciji xg(t) za
vrijeme trajanja jednog perioda:
10, izvan tog intervala.
Sada je signal xo(t) mogude izraziti pomoCu signala x(t) u obliku
Temeljem ovog izraza funkciju x(t) moHemo smatrati generirajudom funkcijom
koja tvori periodiEan signal xo(t). Neka je X(f) Fourierova transformacija
funkcije x(t). Izraz za koeficijente c, moguCe je redefinirati na sljededi naEin:
gdje je X(nfo) Fourie~ovatransformacija funkcije x(t) promatrana na diskretnoj
fiekvenciji nfo. Pomodu ovako definiranih koeficijenata c, moguCe je signal xo(t)
prikazati u obliku Fourierovog reda kao
3. KOMUNIKACIJSKI
KANALI U KONTINUIRANOM VREMENU
ili u obliku izraza za Poissonov zbroj:
KonaEno, periodican signal h(t), prikazan pomodu generirajute funkcije, i
sDektralne komponente X(nJa) Eine Fourierov transformacijski par (vidi izraz
~pLenito,neperiodiEan signal x(t) ima kontinuiran spektar. Nasuprot tome,
periodican signal xo(t), generiran neperiodiEanm impulsom x(t), ima diskretan
spektar. DaMe, perioditnost signala u domeni vremena izaziva pojavu diskretnih
spektralnih komponenti (Diracove funkcije) na frekvencijama koje su cjelobrojni
viSehtnici osnovne frekvencije perioditnog signala. Kao najbolja ilustracija
ove tvrdnje mogu posluiiti prikazi spektra periodiEnog slfieda pravokutnih
impulsa (Slika 3.5) i spektra pravokutnog i~npulsa(Slika 3.6).
3.1.5. Slueajni signali
Obzironl da sluEajni signal u bilo kojem vremenskom trenutku poprima neku
sluEajnu vrijednost, opisivanje takvog signala funkcijom x(t) Eija je vrijednost
definirana u svakom trenutku t nema smisla. Stoga sluEajne signale modeliramo
pomodu sluEajnih procesa. SluEajni ili stohastiEki proces X(t) koji se koristi za
matematitki opis sluEajnih signala je familija sluEajnih varijabli { a t ) , t E R),
[12]. Osnovna obilje2ja sluEajnog procesa su oEekivanje (srednja vrijednost),
autokorelacijska funkcija i autokovarijanca, [I]. Srednja vrijednost sluEajnog
procesa X(t), pdt), odredena je izrazom
pri Eemu jef&,t) funkcija gustoke vjerojatnosti prvog reda slutajnog procesa
X(t). Nadalje, autokorelacijska funkcija sIuEajnog procesa X(t) definirana je kao
otekivanje produkta dviju sluEajnih varijabli tog sluEajnog procesa, definiranih u
vremenskim trenucima t, i t2:
a autokovarijanca sluEajnog procesa kao
Autokorelacijska funkcija pokazuje u kakvom su medusobnom statistiEkom
odnosu vrijednosti nekog sluEajnog procesa promatrane u trenucima tl i tz. U
komunikacijama se Eesto razmatraju stacionami sluEajni procesi, [22]. Ako je
sluEajni proces X(t) stacionaran u Sirem smislu, tada zadovoljava sljedeCe uvjete:
tj. njegovo otekivanje je konstantno @x) i neovisno o vremenu, dok je njegova
autokorelacijska funkcija ovisna samo o razlici It, - tzl = 5 a ne i o samim
vremenskim trenucima tl i tz. K d r ) ima znaEenje korelacijskog momenta
slucajnih varijabli X(t,) i X(t2). U nastavku Cemo razmatrati samo sluCajne
signale koje je moguCe modelirati stacionarnim sluEajnim procesom.
Neka je autokorelacijska funkcija sluEajnog procesa u kontinuiranon~vremenu,
X(t), koji je stacionaran u Sirein smislu, definirana kao
pri Eemu vrijedi: R, (-r)= R, ( r ) , I R, (r) 1 L Rx (0) i R, ( 0 ) = E [ x 2 (I)] 2 0.
Spektralna gustoda snage signala modeliranog sluEajnim procesom X(t) gore
navedenih svojstava, Sx(f ), definirana je izrazom
odnosno, spektralna gustoCa snage stacionarnog sluCajnog procesa predstavlja
Fourierovu fransformaciju autokorelacijske funkcije tog procesa. Ako je poznata
spektralna gustoCa snage, tada je autokorelacijsku funkciju moguCe odrediti
inverznom Fourierovom transformacijom:
R, (r)= L S, (f )e"xfrdf.
KonaEno, srednja snaga P sluEajnog signala modeliranog stacionarnim sluEajnim
procesom definirana je izrazom
Prirnjer sluCajnog signala: Gaussov bijeli Sum
SluEajan proces W(t) nazivamo bijeli Sum ako su njegove vrijednosti, tj. sluEajne
varijable u trenucirna ti i I,, ti # I,, medusobno potpuno nekorelirane. U tom
sluEaju vrijedi da je autokovarijanca Cx(ti, $) jednaka nuli kad god vrijedi ti ;t $.
Ako su sluEajne varijable W(tj) i W(t,) istovremeno nekorelirane i neovisne, tada
se radi o strogo bijelom Sumu. Bijeli Sum u kontinuiranom vrenlenu je
stacionarni sluEajni proces u Sirem smislu, W(I), Eija je srednja vrijednost
jednaka nuli, a njegova autokorelacijska fimkcija (Slika 3.7a) dana je izrazom:
Rn, ( r ) = 0 2 6 ( r ) .
Fourierovom transformacijom prethodnog izraza dobivamo spektralnu gustoCu
snage bijelog Suma:
koja je konstantna i neovisna o frekvenciji (otuda i naziv bijeli Sum). Sukladno
tome, srednja snaga bijelog Suma je beskonaEna i takav signal predstavlja
iskljuEivo teoretski model. UnatoE tome, bijeli se Sum Eesto koristi u ailalizi
komunikacijskih sustava. Spektralnu gustoCu snage bijelog Suma, S,(f),
obiEno izjednacavamo s konstantom Na/2 (Slika 3.7b).
Slika 3.7: a) Autokorelacijska funkcija i b) spektralna gustofa snage bijelog Suma
SluEajni, proces nazivamo bijeli Gaussov Sum ako su zadovoljena prethodno
navedena svojstva bijelog Suma i ako su sluEajne varijable sluEajnog procesa
Gaussove. Za neku sluEajnu varijablu X kaiemo da ima Gaussow razdiobu ako
je njezina funkcija gustoCe vjerojatnosti definirana kao
pri Eemu je p , dekivanje,
~ a ox standardna devijacija, odnosno korijen varijance
sluCajne varijable X.
OpCenito promatrano, varijanca neke sluhjne varijable X definirana je kao, [12]:
U teoriji vjerojatnosti za varijancu se koristi i izraz disperzija. Ako neka sluEajna
varijabla X predstavlja napon, odnosno struju, tada oEekivanje E[XJ predstavlja
srednju vrijednost tog napona, odnosno te struje, a E[p]srednju snagu dotiEnog

signala disipiranu na otporniku otpora 1 Q. Medutim, ako vrijedi da je E[X] = 0,
tada je ispunjena jednakost v a r ( ~=) E [x']= o i , pa je u takvoin sluEaju
srednja snaga signala opisanog slutajnom varijablom X jednaka kvadratu
standardne devijacije te slucajne varijable.
3.1.6. Sirina spektra signala
U realnim komunikacijskim sustavima, ovisno o pojasu frekvencija kojeg
zauzima amplitudni spektar signala, signale dijelimo na (Slika 3.8):
1. signale u osnovnom frekvencijskom pojasu (engl. basebandsignals)
amplihldni spektar im je razliEit od nule iskljuEivo unutar
frekvencijskog pojasa (-&,A);
2. signale u pomaknutom frekvencijskom pojasu (engl. passbandsignals)
amplitudni spektar im je razliEit od nule iskljutivo unutar pojaseva (--,
- - ) i (-,A), fd <& i fd # 0; poloiaj ta dva pojasa, koji su za fd herca
pomaknuti u lijevo, odnosno u desno od nulte frekvencije, osnovni je
razlog koriStenja naziva signal z~pomaknutomfiekvencijskompojasu.
Slika 3.8: Vrste signala prema pojasu frekvencija kojeg zauzima njihov amplitudni
spektar: a) signal u osnovnom frekvencijskom pojasu i
b) signal u pomaknutom frekvencijskom pojasu
Treba reCi da u praksi ne postoje signali koji bi imali idealno omeden amplitudni
spektar koji je u nekom pojasu frekvencija jednak nuli. Stoga, da bi odredili
Sirinu spektra signala (oznaEimo je kao B [Hz]), moramo prvo definirati
graniEnu vrijednost amplitudnog spektra. Ako iznos amplitudnog spektra padne
ispod te graniEne vrijednosti, tada ga smatramo praktiEno jednakim nuli.
Sukladno slici (Slika 3.8a), ako je amplitudni spektar zanemarivo mali za sve
frekvencije iman frekvencijskog pojasa (--, f,),tada je Sirina spektra signala
jednaka: B = & [Hz]. Takoder, sukladno slici (Slika 3.8b), ako je amplitudni
spektar zanemarivo mali za sve frekvencije iman frekvencijskih pojaseva (-f,,
-fd) i ((fd,fg), tada je Sirina prijenosnog pojasa odredena izrazom: B =f,-fd [Hz].
3. KOMUNIKACIJSKI
KANALI U KONTlNUlRANOM VREMENU
pimjer: Sirlna spektra pravokutnog signala
Slika 3.6b prikazuje spektar pravokutnog signala x(t). Temeljem slike lako je
rnoguCe odrediti i amplitudni spektar pravokutnog signala, I X(f) I. Pravokutni
signal smatramo signalom u osnovnom frekvencijskom pojasu Na slici je
takoder vidljivo je da je glavnina spektra, pa uslijed toga i energije takvog
,ipala, smjegtena u podruEju frekvencija izmedu nul-toEaka -l/z Hz i l/z Hz.
Za praktitne potrebe, 3irinom spektra pravokutnog signala smatra se B = l/z Hz.
3.2. Komunikacijski kanali u kontinuiranom
vremenu
po definiciji svjetske standardizacijske organizacije ITU (engl. International
T~lecommunication Union) komunikacijski kanal je sredstvo za jednosmjemi
prijeno~signala izmedu predajnika i prijamnika. Prilikom razmatranja komuni-
kacijskih sustava Sam prijenosni medij pomoCu kojeg su medusobno povezani
predajnik i prijainnik predstavlja komunikacijski kanal (ili skraCeno kanal) na
najniiem, tj. na fiziEkom sloju komunikacije. U telekomunikacijama postoje tri
osnovne vrste prijenosnih medija koje se koriste u prijenosu na veCim
udaljenostima:
1. iiEni mediji
upredene parice (upredenu paricu Eine dva metalna vodiEa omotana
jedan oko drugog), koaksijalni kabeli, vodovi elektroenergetske mreie,
2. optiEke niti,
3. neomedeni medij ili tzv. eter
prostorno neomeden medij (najEeSCe zrak) kroz koji se prostiru
elektromagnetski valovi,
prijenos signala se odvija u radijskom, mikrovalnom ili infracrvenom
frekvencijskom podruEju. .
U komunikacijski sustavima ponekad se cijeli prijenosni medij koristi samo za
jednu vezu ostvarenu izmedu dvije toEke u komunikacijskoj mreii. Primjer
takvog korilitenja medija je pretplatnitka linija kojom su medusobno povezani
telefonski aparat krajnjeg korisnika i telefonska centrala u tradicionalnoj
analognoj telefonskoj mreii. Medutim, tu dolazimo do suStinske razlike izmedu
fuiEkog kanala, tj. same upredene parice, i telefonskog kanala, kao pojasa
frekvencija koriStenog za prijenos tim medijem. Poznato je da je za razumljiv
prijenos ljudskog govora dovoljno prenositi frekvencije u pojasu od 300 do 3400
Hz. Za praktiEne proraEune uzima se da efektivna Sirina prijenosnog pojasa
UVOD U TEORIJU INFORMACIJE 1 KODIRANJE

takvog kanala iznosi 4 kHz. Dakle, prilikom prijenosa ljudskog govora u odgo- prvenosna brzina (od engleskog: transmission rate). Opisani naEin slaganja
varajuCim sklopovima u telefonskoj rnreii pojas govora se ograniEava na potkanala u jedan zajedniEki kanal naziva se multipleksiranje po vremenu ili
navedeno podrutje frekvencija. Upredena parica, kao prijenosni medij, nema v r e m e n ~ kmultipleksiranje.
~
izravne veze s tim. Ona formirani signal iz predajnika prihvaCa i prenosi ga,
tok bita iz informaajskog izvora
sukladno svojoj prijenosnoj funkciji do prijamnika. Drugi rijeEima, upredena
parica je fiziEki kanal, odreden svojstvima prijenosnog medija, odnosno materije
.... 1 0 0 1 1 1 0 0 ....
tF
od koje je sazdan, a telefonski kanal je logiEki kanal, izgraden nad prijenosnim dodjela putkanala
infonacijskorn toku
medijem uz koriBtenje dodatnog sklopovlja za obradu signala i ograniEavanje
njegovog prijenosnog pojasa. . .. . polkanal I poikanal 1 polkanal I ....
Za razliku od gore navedenog primjera, ponekad se jedan prijenosni medij rnultipleksiranje
koristi za istovremeni prijenos veCeg broja veza ostvarenih izmedu razlititih
krajnjih toEaka u mreii. U tom sluEaju koriitenje prijenosnog medija kao
cjelovitog kanala nije moguCe. Prijenos signala ima Eetiri koordinate: prostor, / ~riienos n I f
frekvenciju, vrijeme i dinamiku. Kanal (fiziEki ili logidki) unutar prijenosnog is-*
.. . . o r o o
I III 01 0 I r I 00 ...- tok bita u zajedniekorn kanalu (prijenosnorn rnedgu)
medija moguCe je podijeliti na potkanale, koristeki jednu ili viSe koordinata. Sam ). . . signal u prijenosnornrnediju
postupak rasporectivanja potkanala unutar raspoloiivog zajedniEkog kanala b

odvija se u predajniku i nazivamo ga rnultipleksiranje, a u prijamniku se obavlja

obmut postupak, tj. demultipleksiranje, odnosno razdvajanje potkanala (Slika
\sab 3.10: Prijenos kanala u vremenskom rasporedu jednim prijenosnim medijem
t

3.9). Takoder, prilikom odagiljanja signala u neomedeni medij, kanal je podijeljen na

potkanale, od kojih svaki koristi zaseban pojas frekvencija i u pravilu se ti
potkanal 1 pojasevi minimalno preklapaju. Takav naEin formiranja jednog kanala iz viSe
potkanala naziva se multipleksiranje po frekvencijama ili frekvencijsko

,
\ ,,,'
/
,' za'ednieki kana1 u
prijknosnorn rnediju
odrediSte
N
.... pzq
zajedniEki kanal
1 Prilikom matematiEkog modeliranja, sustav defiiramo kao preslikavanje skupa
Slika 3.9: Osnovno nareio multipleksiranja i demultipleksiranja potkanala
Na primjer, jednom se upredenom paricom Balje N potkanala u vremenskoj
podjeli, N E W (Slika 3.10). Svakom od N informacijskih izvora pridjeljujemo
vlastiti potkanal za prijenos pripadajukih nlu podataka. Svaki izvor permanentno
generira informacije brzinom R bit/s (Eesto se za ovu brzinu koristi naziv
podatkovna brzina, engleski: data rate). Potkanali se po vremenskom rasporedu
multipleksiraju u jedan cjeloviti kanal kojim se zajedniEki signal, generiran
temeljem informacije iz svih aktivnih izvora, prenosi upredenom paricom do
prijamnika. Prijenos signala na razini parice je neprekidan, a potkanali su
vremenski poredani jedan do drugog i stalno se ciklitki ponavljaju. Brzina
prijenosa informacijskih bita paricom iznosi N.R bitls. Ova se brzina naziva
multipleksiranje. Primjer uporabe frekvencijskog multipleksiranja je radio-
difuzijsko odagiljanje televizijskog signala.
3.2.1. . MatematiCki model kanala
F (ulaz u sustav) u skup G (izlaz iz sustava), [5]. U kontekstu komunikacija,
sustav moiemo promatrati kao proces uslijed kojeg su ulazni signali, tj. signali
na ulazu sustava, transformirani djelovanjem sustava u izlazne signale, tj, signale
na i z l m sustava. Sustav je kontinuiran ili analogan, ako su elementi skupova F i
G funkcije kontinuirane varijable. Nasuprot tome, sustav je diskretan ili
digitalan, ako su elementi skupova F i G funkcije diskretne varijable.
U svijetlu uvodnih razmatranja danih u 3.2 ograniEit Cemo se na pojam kanala u
opkenitom smislu, bez obzira radilo se o cijelom prijenosnom mediju ili o nekom
potkanalu unutar njega. Kanal je moguCe modelirati sustavom u kontinuiranom
ili diskretnom vremenu. U nastavku ovog poglavlja razmatrat Cemo iskljuEivo
I sustave u kontinuiranom vremenu. Slika 3.1 1 prikazuje sustav u kontinuiranom
vremenu. Djelovanje sustava moiemo zapisati kao x(t) -+ fit). Pri tome signal
UVODU TEORIJU MFORMACIJE I KODlRANJE
x(t) djeluje na u l m u sustav (ulazni signal), a signal y(t) djeluje na izlazu iz y(t - to), i to za bilo koji to E R, tada je sustav, koji zadovoljava navedeno
sustava (izlazni signal). svojstv~,vremenski nepromjenjiv (Slika 3.13). Prito~nto predstavlja vremenski

4 sustav u kontinuiranorn
vremenu
signala. Dakle, kanal je vremenski nepromjenjiv ako poinak ulaznog
signah u vremenu za to sekundi rezultira iskljuEivo vremenskim pomakom
izlaznog signala za isti iznos to.

Slika 3.11: Sustav u kontinuiranom vremenu

Nadalje, kanali mogu biti linearni i nelinearni. VeCinu komunikacijskih kanala

najCeSCe opisujemo modelom linearnog vremenski nepromjenjivog sustava
(skraCeno LTI sustav, LTI dolazi od engleskog pojma Linear Time-Invariant),
121.
Linearnost kanala (Slika 3.12) definirana je na teinelju sljedeCih pretpostavki.
Neka predajnik na ulaz kanala Salje signal xl(t), a na izlazu kanala, odnosno na
ulazu prijarnnika, kao odziv na pobudu signalom XI((),pojavljuje se signal yl(t).
Nadalje, neka predajnik na ulaz kanala Salje signal xz(t), a na izlazu kanala,
odnosno na ulazu prijamnika, kao odziv na pobudu signalom xz(t), pojavljuje se
signal y2(t). Kana1 Ce biti linearan ako je odziv kanala na pobudu axl(t) + b%z(t)
jednak a y l ( t ) + by2((), a , b E R.Drugim rijeEima, sustav je linearan ako je
njegov odziv na pobudu linearnom kombinacijom signala na ulazu ista takva
linearna kombinacija odziva na pobudu svakim od tih ulaznih signala zasebno.
Telefonski kanal koriSten u analognoj telefoniji primjer je linearnog kanala.
Primjer nelinearnog kanala je satelitski kanal (iako takav kanal nije uvijek
nelinearan).
4 1 - 10) b kanal W Y (-
~ to)
Slika 3.13: Definicija vremenske nepromjenjivosti kanala
u kontinuiranom vremenu
3.2.2. lmpulsni odziv i prijenosna funkcija kanala
U vremenskoj domeni linearan sustav opisujemo impulsnim odzivom. Ako
pretpostaviino da Diracov impuls nastupa na ulazu nekog LTI sustava u trenutku
t = 0, tada je odziv na takvu pobudu jednak impulsnoln odzivu dotiCnog sustava,
i obiEno se oznaCava kao funkcija h(t). Ako je sustav ujedno i vremenski
nepromjenjiv, tada je oblik impulsnog odziva sustava uvijek isti, neovisno o
trenutku u kojem se Diracova delta funkcija javlja na ulazu sustava.

XI(!) --j kana1 w

1
- y , ~ )
LTI sustav

Slika 3.14: Impulsni odziv i prijenosna funkcija LTI sustava

xz(4 w kanal Y2(0
Nadalje, ako na ulazu nekog LTI sustava poznatog impulsnog odziva h(t) djeluje
signal x(t), tada je signal na izlazu tog sustava, y(t), moguCe na jednoznacan
ax,([)+ bx2(1) kanal aJJl(1)+ bYz(1) naEin odrediti temeljem tih dviju funkcija (Slika 3.14), [2]:

Slika 3.12: Definicija linearnosti kanala u kontinuiranom vremenu

Dakle, odziv LTI sustava je konvolucija ulaznog signala s impulsnim odzivom
Definicija vremenske nepromjenjivosti kanala u kontinuiranom vremenu je sustava:
sljede6a. Pretpostavimo da je odziv kanala na pobudu signalom x(t) jednak
signalu Ht). Ako je odziv sustava na pobudu signalom x(t - to) jednak signalu
UVOD U TEORIJU INFORMACIJE I KODIRANJE
U gore navedenom konvolucijskom integralu parametar z predstavlja vrijeme
pobude, t predstavlja vrijeme odziva, a razlika t - zje trajanje pamCenja sustava.
Sukladno tome, impulsni odziv djeluje kao funkcija p a d e n j a sustava.
Nadalje, razmotrimo LTI sustav impulsnog odziva h(t) na Eijem ulazu djeluje
kompleksni eksponencijalni signal x(t) jediniEne amplitude i frekvencijeJ
x ( t ) =eJ2x/'.
KoristeCi konvolucijski integral moguce je na jednostavan naEin odrediti odziv
sustava, y(f),koristeCi sljedeCi izraz:
Prijenosna funkcija LTI sustava, H ( f ) , definirana je kao Fourierova transfor-
macija impulsnog odziva sustava:
Drugim rijeEima, ako na ulazu sustava djeluje pobuda u obliku Diracove delta
funkcije, tada prijenosna funkcija predstavlja prikaz odziva sustava u
frekvencijskoj domeni. Sada je moguCe odziv LTI sustava na pobudu komplek-
snim eksponencijalnim signalom prikazati kao
y(t)= H ( f ) e j 2 " P
OEito je da je odziv LTI sustava na pobudu kompleksnim eksponencijalnim
signalom x(t) jediniEne amplitude i frekvencije f ista takva funkcija poinnoiena
koeficijentom H ( f ). Prijenosna funkcija je u opCenitom sluEaju kompleksna
veliCina i moguCe ju je prikazati kao
H(f)=I~(f)(e-~'('),
pri. Eemu I H ( , f )1 predstavlja amplitudni odziv sustava, a 6 (f ) fazni odziv
sustava. Amplitudni odziv je parna funkcija frekvencije, a fazni odziv neparna
funkcija frekvencije:
Obzirom da je prijenosna funkcija LTI sustava definirana kao Fourierova
transformacija impulsnog odziva, tada je evidentno da je impulsni odziv vezan s
prijenosnom funkcijom H ( f ) pomoCu inverzne Fourierove transformacije:
3. KOMUNIKACIJSK~
KANALI U KONTINUlRANOM VREMENU
~ ~ k l eimpulsni
, odziv i prijenosna funkcija LTI sustava Eine Fourierov
transforrnacijski par: h(t)+ H ( f ).
LTI sustav zadovoljava v a k o svojstvo da je spektar signala na njegovom izlazu
jednak urnnoiku spektra signala na njegovom ulazu i prijenosne hnkcije
sustava. Neka je s X ( f ) oznaEen spektar ulaznog signala x(t), a s YCf) spektar
izlaznog signala y(t). Ako je H ( f ) prijenosna funkcija LTI sustava, tada vrijedi
(Sliks 3.14):
Y(f)= x(f).H(f 1.
TO svojstvo je u potpunosti u skladu sa svojstvom Fourierove transfomcije
temeljem kojeg se konvolucija dvaju signala u domeni vremena preslikava u
umnoiak Fourierovih transfonnacija tih signala u domeni frekvencije. Naravno,
vrijedi i obrat, a to je da se umnoiak dvaju signala u domeni vremena
Fourierovom transfonnacijom preslikava u konvoluciju njihovih spektara u , ..
frekvencijskoj domeni.
Ako na ulazu LTI sustava prijenosne funkcije H ( f ) djeluje signal obiljezja
stacionamog sluEajnog procesa X(t), Eija su srednja vrijednost ,ux i spektralna
gustoCa snage Sx ( f ), tada su adekvatna obiljeija sluEajnog signala na izlazu,
Y(t),odredena izrazima
.Prolaskom kroz LTI sustav, sluEajni proces zadriava stacionarnost i na izlazu
sustava.
3.2.3. ~ i r i n aprijenosnog pojasa kanala
NajopCenitije reEeno, Sirina prijenosnog pojasa kanala je podruEje ffekvencija u
kojem komunikacijski kanal propugta signale sa svojeg ulaza na izlaz. Svaki
realan kanal, koji se ponaSa kao LTI sustav, prigubuje signale koje prenosi, tako
da je srednja snaga, odnosno energija izlaznog signala, uvijek manja od srednje
snage, odnosno energije ulaznog signala. Drugim rijdima, amplituda svake
frekvencijske komponente od koje je sazdan izlami signal manja je od amplitude
odgovarajuke frekvencijske komponente ulaznog signala. PriguSenje kanala,
A ( f ) , definirano je pomoCu modula njegove prijenosne funkcije kao
A(f)=lllH(.f)I.
 3. KOMUNIKACIJSKI KANALI U KONTINUIRANOM VREMENU
UVOD U TEORlN MFORMACIJE I KODlRANJE
Pored priguSenja amplitude signala, kanal djeluje i na fazu ulaznog signala. Faza
svake frekvencijske komponente od koje je sazdan izlazni signal razliEita je od
faze odgovarajuee frekvencijske komponente ulaznog signala. Ta se pojava
naziva disperzija signala. Djelovanje kanala na fazu signala posljedica je
njegovog fanog odziva B( f ). Ako na ulaz kanala dovedemo signal x ( t ) Eiji je
spektar X(f ) definiran kao X(f ) = Ix( f

pri Cemu su I X(f ) I amplitudni, a cp( f ) fazni spektar, tada spektar signala na
izlazu linearnog i vreinenski nepromjenjivog kanala, Y ( f ), zadovoljava sljede-
Ca svojstva:

Slika 3.15: Vrste kanala prema obliku amplitudnog odziva: a) niskopropusni,

b) visokopropusni, c) pojasnopropusni i d) pojasna brana
pri Eelnu su I Y(f)( amplitudni, a 9(f ) fazni spektar izlaznog signala.
Treba napomenuti da su kanali prikazani gomjom slikom idealni u sinislu da
Pojain propusnosti kanala vezan je uz priguSenje kojim kanal djeluje na signal neke frekvencije propuitaju, dok neke potpuno priguluju. U praksi takva
koji se njime prenosi. Dakle, za kanal kaieino da propuSta one frekvencije na situacija ne postoji. Svaki kanal praktiEno propuSta sve frekvencije, viSe ili
kojima je njegov amplitudni odziv veCi od nule. Obratno, kanal ne propuSta one manje prigubene. Dakle, stvarni bi niskopropusni kanal propuStao i frekvencije
frekvencije na kojima je njegov amplitudni odziv jednak nuli. iznad svoje graniEne frekvencije, ali uz poveCano priguienje. Najbolja ilustracija
Ovisno o obliku amplitudnog odziva, kanal moie biti (Slika 3.15): toga je tzv. RC krug (Slika 3.16a), sastavljen od jednog otpornika i jednog
kondenzatora (upredena parica se ponaSa slirno kao i RC krug).
a) niskopropusan
Njegov je amplitudni odziv (Slika 3.16b) dan izrazom
propuSta sve frekvencije od nule do gornje graniEne frekvencijeh;
b) visokopropusan
propuSta sve frekvencije iznad donje graniEne frekvencijefd;
c) pojasnopropusan
pri Eemu je R [R] iznos otpora otpornika, C [F] kapacitet kondenzatora, a f
propuSta sve frekvencije unutar pojasa izmedu donje i gornje granitne
frekvencija signala. Napon U,(f) je ulazni napon RC kruga, a U2(f ) njegov
frekvencije;
izlazni napon. Iz izraza za H ( f ) vidljivo je da se RC krug ponaSa kao
d) pojasna brana
propugta sve frekvencije osim one unutar pojasa izmedu donje i gornje
i niskopropusni sustav. Arnplitudni odziv RC kruga ima svoj maksimum na
I frekvenciji f = 0 Hz i iznosi IH(O)I = 1. Kako frekvencija raste od nule prema
granitne frekvencije.
: vdim vrijednostima, 1 H(f) I pada, medutirn nikada ne dostiie iznos koji je
U praksi se svi komunikacijski kanali pondaju kao niskopropusni ili
pojasnopropusni. Ovisno o vrsti kanala definira se i Sirina prijenosnog pojasa
,
1
potpuno jednak nuli. Dakle, strogo promatrano, Sirina prijenosnog pojasa RC
h g a je beskonaEna. Na sliEan naEin i realan pojasnopropusni kanal propugta i
kanala. Za niskopropusni kanal Sirina prijenosnog pojasa, B, jednaka je gornjoj frekvencije izvan pojasa (fd, A), ali uz pojaEano priguSenje.
graniEnoj frekvenciji kanala: B = f, [Hz]. Sirina prijenosnog pojasa pojasno-
propusnog kanala jednaka je razlici izmedu gomje i donje graniEne frekvencije:
B =f,-fd [Hz].
UVOD U TEORIJU INFORMACIJE I KODIRANJE
a) . --- b)
Slika 3.16: a) RC krug i b) njegov amplitudni odziv
/ ' / -
U praksi se za sustav prijenosne karakteristike sliEne ovoj kod RC kruga Sirina
prijenosnog pojasa raEuna pomoCu tzv. toEaka priguSenja 3 decibela, [14].
Decibel je jedinica koja oznaEava logaritamsku mjeru neke veliEine ili omjera
dviju veliEina. Konkretno, amplitudni je odziv RC kruga moguCe prikazati u
decibelima kao
jer je (H(0)I = 1, pa vrijedi 201og(lH(O)I) = 0 dB. Na frekvenciji na kojoj I H ( f )
iznosi pribliino 0,707 (=I/&) amplitudni je odziv za 3 decibela slabiji od
JH(0)I. Ta se frekvencija naziva graniEna frekvencija f, i Sirina prijenosnog
pojasa RC kruga jednaka je: B =f,. ToEke priguSenja 3 decibela moguCe je
koristiti i za odredivanje praktiEne Sirine prijenosnog pojasa pojasnopropusnog
kanala, ali i za odredivanje Sirine spektra signala, [I].
Da u stvamosti niskopropusni kana1 ne moZe biti strogo ograniEen na neki pojas
frekvencija, i to u smislu da je njegov amplitudni odziv strogo jednak nuli iznad
neke frekvencije: 1 H(f ) I= 0 za I f (>fg ,vidljivo je iz razmatranja tzv. idealnog
niskopropusnog kanala. Definirajmo ga na sljedeki naEin (Slika 3.17a):
te pretpostavimo da je fazni odziv tog kanala linearna funkcija frekvencije:
B( f ) = 2 z f i , pri Eemu je i realna konstanta. Impulsni odziv tako definiranog
idealnog niskopropusnog kanala dan je izrazom
h(r)= LH( )e'2r*df = f~~
f e-flxfre"r"d/=2 fg
sin[2a fg (I - r)]
Z ~ f ~ ( t - 4*
3. KOMUNIKACIJSKI
KANALI U KONTIWIRANOM VREMENU
slika 3.17b prikazuje impulsni odziv idealnog niskopropusnog sustava pod
pRtpostavkom da je r = 0. Sa slike je vidljivo da impulsni odziv ima maksimum
, toEki t = 0 i da prolazi kroz nulu u totkama kl(2f,), k c Z. Ako je pak z # 0,
tada impulsni odziv treba pomaknuti u vremenu za iznos ( Ij udesno (ako je
>
, 0) ili ulijevo (ako je i < 0).
Slika 3.17: a) Amplitudni odziv idealnog niskopropusnog kanala i
b) njegov impulsni odziv
Medutim, najvatnije je primijetiti da impulsni odziv idealnog niskopropusnog
1 kanala praktitki poEinje u t = - m. Dakle, ako je na ulaz takvog sustava doveden
vrlo uzak impuls (gotovo i d e n t i h Diracovom delta impulsu), odziv idealnog
niskopropusnog kanala praktiEki prethodi pobudi, Sto je u realnim sustavilna
nemoguke. Svi su realni sustavi kauzalni, tj. odziv sustava ne moie poEeti prije
pobude. Svako ogranitavanje u domeni frekvencije, bilo prijenosne funkcije
sustava ili spektra signala, dovodi do istitravanja impulsnog odziva sustava,
odnosno samog signala u podruEju vremena. Obratno, svako ograniEavanje u
domeni'vremena, bilo impulsnog odziva sustava ili samog signala, dovodi do
istitravanja prijenosne funkcije, odnosno spektra signala u domeni frekvencije.
Motemo dakle zakljuEiti da kauzalni sustavi ne mogu biti strogo ograniEeni na
neki pojas frekvencija, Sto je tvrdnja od koje smo i krenuli u ovo razmatranje.
Slika 3.18 prikazuje Sto se kvalitativno dogada sa spektrom signala kad signal
sve viSe ogranitavamo u vremenu. Treba napomenuti da je u ovom razmatranju
painja primamo usmjerena na oblik spektra i njegove prolaske kroz fi-ekven-
cijsku os, a ne na toEne iznose spektra. Kad signal Eija je vrijednost konstantna
tijekom vremena (Slika 3.18a, signal 1: x(t) = A, V t E R, A E R) poEnemo
ograniEavati unutar nekog vremenskog intervals, signal prelazi u pravokutni
impuls trajanja 2T (Slika 3.18a, signal 2):
UVODU TEORlJU 1NFORMACUE I KODlRANIE
i smanjivanjem trajanja impulsa on konatno prelazi u Diracov delta impuls
(Slika 3.18a, signal 3). Paralelno s tim procesom u vremenskoj domeni, u
frekvencijskoj se domeni zbiva obmut proces: spektar signala iz Diracovog delta
impulsa (Slika 3.18b, signal 1) prelazi u funkciju oblika sin(x)/x (Slika 3.18b,
signal 2) Eiji se prolasci kroz nulu (toEke klT, k E Z i k # 0) sve viSe razmiEu
kako se trajanje pravokutnog impulsa skraiuje i na kraju prelazi u ravnu crtu
(Slika 3.18b, signal 3). Ista razmatranja moguCe je primijeniti i na par koji Wore
impulsni odziv LTI sustava i njegova prijenosna funkcija. U provedenom bi
razmatranju takoder bilo moguCe zamijeniti omake na apscisi, tako da na lijevoj
slici na apscisi bude frekvencija, a na desnoj vrijeme.
f x(t) ili h(() S X y ) ili H@
Slika 3.18: a) Ograniravanje signala u domeni vremena ima za posljedicu
b) proHirenje spektra signala
Medutim, prilikom praktiznog modeliranja kanala zbog jednostavnijeg prora-
tuna pretpostavljamo da su kanali pojasno ograniteni. Kako bi u praksi mogli
odrediti toEnu Sirinu prijenosnog pojasa kanala, potrebno je definirati iznos
priguienja imad kojeg smatramo da je prijenosna funkcija kanala praktiEno
jednaka nuli. Dakle, ako se radi o niskopropusnom kanalu (Slika 3.15a),
potrebno je definirati frekvenciju fg takvu da vrijedi I X I (f) = 0 za Jfl> f
g4
Takav je kanal ograniten pojasno i Sirina njegovog prijenosnog pojasa po iznosu
je jednaka granitnoj frekvenciji. U slutaju pojasnopropusnog kanala (Slika
3.15b) potrebno je definirati frekvencije fd i fg takve da vrijedi I X I (f) > 0
-
samo ako je ( f, >I f (>f,. Sada je takav kanal ograniten pojasno i Sirina njego-
vog prijenosnog pojasa jednaka je razlici izmedu gornje i donje graniEne
frekvencije.
Kanali su, osim po Sirini prijenosnog pojasa, ograniEeni i po snazi signala
predajnika, kako u samom prijenosnom mediju ne bi doSlo do pojave nelineamih
izoblitenja te kako bi se kod nekih medija smanjila Stetna emisija elektro-
magnetskog zraEenja u okolinu.
3. KOMUNIKACIJSKI
KANALl U KONTlNUlRANOM VREMENU
4
Veza izmedu Sirine prijenosnog pojasa kanala i jirine spektra
Signals
~ k objedinimo
o razmatranje Sirine prijenosnog pojasa kanala i Sirine spektra
na ulazu kanala, dolazimo do sljedeCih zakljuEaka. Da bi prijenos signala
kanalom bio uspjeSan, svakako je poieljno da Sirina spektra signala po mo-
gubnosti bude manja od raspoloiive Sirine prijenosnog pojasa kanala, te da Sam
pojas frekvencija u kojem je smjegtena glavnina spektra signala bude sadrian
mutar pojasa frekvencija koje Wore propusni pojas kanala. Naravno, ako taj
uvjet i nije u potpunosti zadovoljen, prijenos Ce biti moguC, ali uz povecane
pbitke, tj. pogreSke u prijenosu. Stoga se signal prije samog prijenosa kanalom
Oblikuje kako bi se svojim spektrom Sto bolje uklopio u prijenosni pojas kanala.
U tu se svrhu koriste modulacijski postupci i linijsko kodiranje (Slika 3.19).
Njihova je osnovna uloga da spektar signala iz osnovnog podruEja, u kojem se
nalazi prije obrade, prebace u neko drugo frekvencijsko podmEje, pogodno za
prijenos.
b I I; h ./*
prijenosni
predajnlk prijemnik
medlj
Slika 3.19: Uloga linijskog kodiranja, odnosno modulacije u prilagodbi spektra
signala karakteristikama prijenosnog medija
3.3. Uzorkovanje signala
Kao Sto je veC reEeno u ovom poglavlju, realni kanali imaju ogranitenu Sirinu
prijenosnog pojasa (fi, fi), f; < f2, unutar kojeg je prigufenje signala zadovo-
1javajuCe malo. Izvan tog pojasa priguSenje u kanalu matno raste, pa spektar
signala treba prilagoditi pojasu frekvencija (fi, fi). U nastavku razmatranja u
ovom poglavlju ograniEit Cemo se na skup strogo pojasno ogranitenih signala,
{x(t)), za koje spektar signala x(t) postaje jednak nuli iznad neke granitne
frekvencije f,:
 UVOD U TEOKUU INFORMACIJE 1 KODlRANJE
1 /
Pri prijenosu signala, koji nije pojasno ogranieen nuino je prenositi neprebrojiv
skup kontinuiranih vrijednosti tog signala, $. sve vrijednosti signala x(t), V t c
[I,, t2], t,, h E 8,pri &mu je [t,, t2] promatrani vremenski interval unutar k o j q
se odvija prijenos signala x(t). Takav prijenos ujedno zovemo i analogni
prijenos. Medutim, ako je signal pojasno ograniden, tada je unutar promatranog
vremenskog intervala dovoljno prenositi prebrojiv skup njegovih vrijednosti.
Dakle, pojasno ogranifen signal u kontinuiranom vremenu mogufe je
jednoznaEno specificirati pomoCu njegovih vrijednosti uzetih u diskretnim
trenucima. Taj proces uzimanja uzoraka kontinuiranog signala u diskretnim
trenucima naziva se uzorkuvanje (engleski: sampling). Uzorkovanje se provodi u
predajniku, a rekonstrukcija izvornog signala u prijamniku. Uzorkovanje pred-
stavlja osnovu digitalnog prijenosa signala, [ 6 ] , odnosno prvi korak u pretvorbi
analognog u digitalni signal, tj. u digitalizaciji analognog signala.
Pored uzorkovanja signala u vremenskoj domeni, postoji i inatica koja se odnosi
na uzorkovanje spektra signala, tj. na uzorkovanje u frekvencijskoj domeni, a
priinjenjuje se na signale ogranicene u vremenu: x(t) = 0 izvan intervala (t,, 4).
3.3.1. Teorem uzorkovanja u vremenskoj domeni
Teorem uzorkovanja za strogo pojasno ograniEene signale konatne energije
glasi, [I I:
Pojasno ograniEeni signal konacne energije, x(t), t E B,Eiji spektar ne
sadrii frekvencijske komponente na frekvencijama iznad B herca
(X(f ) = 0 za If I > B), u potpunosti je i na jednoznaEan naEin opisan
pomodu vrijednosti tog signala uzetih u diskretnim vremenskim
trenucima T, = nl(2B), gdje je n cijeli broj, a B je gomja graniCna
frekvencija signala;
Pojasno ogranieeni signal x(t) konatne energije, Ciji spektar ne sadrii
frekvencijske komponente na frekvencijama iznad B herca (X(f ) = 0
za 1 f I > B) mogude je u potpunosti i na jednoznaEan naEin
rekonstruirati na temelju pomavanja njegovih uzoraka uzetih u
diskretnim trenucima medusobno razmaknutim za 1/(2B) sekundi.
Iako su oba dijela teorema gotovo identiha, prvi se dio odnosi na predajnik, u
kojem se provodi proces uzorkovanja, a dmgi na prijarnnik, u kojem se provodi
rekonstrukcija signala. Frekvencija uzorkovanja u iznosu od 2B uzoraka po
sekundi, uzetih od signala pojasno ograniEenog na B herca, naziva se Nyquistova
frekvencija (prema americkom znanstveniku Harryju Nyquistu), a njezina
reciproena vrijednost, 1/(2B) [s], naziva se Nyquistov interval uzorkovanja.
3. KOMUNIKACIJSKI
KANALl U KONTINUIRANOM VREMENU
u n a s t a ~ kslijedi
~ dokaz teorema koji de pokazati kako se rjeiava osnovnl
Pr4ed
rnblem uzorkovanja, a to je odabir adekvatne frekvencije uzorkovanja kako bi
woraka jednoznaeno definirao izvorni analogni signal. Bez ikakvog
dokazivanjajasno je da je poieljno da frekvencija uzorkovanja signala bude Bto
rnanja kako bi broj uzoraka takoder bio ito manji $to su uzorci guSCi, tj.
frekvencija uzorkovanja vefa, to se sve viie pribliiavamo izvornom signalu, a
broj woraka, koje je potrebno prenijeti, sve je veCi, uslijed Eega se neuEinkovito
~ o g raspoloiivi
e resursi kanala, prije svega njegov kapacitet.
Dokaz teorema uzorkovanja: inaCica 1
promatrajmo proizvoljni signal x(t) konaEne energije, koji je definiran za svaki
realan argument 1. Pretpostavimo da se u procesu uzorkovanja takvog signala
uzorci uzimaju jednolikom frekvencijom (medusobno su jednako razmaknuti u
vremenu): jedan uzorak svakih T, sekundi (Slika 3.20). Na taj naEin nastaje
,lijed uzoraka {x(nT,)], n E Z. T,, nazivamo period uzorkovanja, a f , = 1/T, \\
jekvencija llzorkovanja (engleski: sampling rate). Idealno (trenutno) uzorko- ' ,,
vanje je ono kod kojeg trajanje uzorka, At, teii u nulu: At + 0.Iako uzorke u
matematiCkoln alatu za prikaz procesa uzorkovanja opisujemo Diracovim delta
impulsima, u stvarniln sustavima trajanje uzoraka je veCe od nule, a sami uzorci
su pravokutni signali vrlo malog trajanja. Uzorkovani signal, x&), je slijed
Diracovih delta impulsa, medusobno jednoliko razmaknutih za T, sekundi, a
svakom je impulsu pridodan teiinski koeficijent x(nT,):
Slika 3.20: Proces uzorkovanja: a) originalni kontinuirani signal i
b) njegova uzorkovana inazka
Signal xdt) nazivamo idealno uzorkovani signal. Clan u zbroju, 6 (1 - nT,),
predstavlja Diracove delta impulse pozicionirane u diskretnim vremenskim
trenucima nT,. Po definiciji je pomato da Diracova delta funkcija ima povdinu
81
UVODU TEORIJU INFORMACIIE I KODRANJE 3. KOMUNIKACIJSKI
KANALI U KONTINUIRANOM VREMENU
7

1. Diracovu delta funkciju kojoj je dodan teiinski koeficijent x(nT,,) moguCe je ~ k primijenimo
o Fourierovu transformaciju na obje strane izraza (3.9, te
pribliino toEno aproksimirati pravokutnim impulsom trajanja At i amplitude iskoristimo svojstvo Fourierove transformacije da Diracov delta impuls tvori
x(nT,)/At. Naravno, Bto je At manji, to je aproksimacija bolja. Nadalje,
iskoristimo dva svojstva Fourierove transformacije.
Prvo svojstvo: beskonaEni slijed Diracovih delta impulsa, medusobno razmaknu-
-
Fourierov transfomacijski par s eksponencijalnom funkcijom:
6 ( t -nT,,).-e
-j2nrzflu

tih za To sekundi, preslikava se u beskonaEan slijed Diracovih delta impulsa

medusobno razmaknutih za 11 To herca:

pri Cemu je X6(f ) Spektar signala x,(t). Ta se relacija naziva Fourierova

Drugo svojstvo: umnotak dviju funkcija u vremenskoj domeni preslikava se u
konvoluciju njihovih spektara. Obzirom da je funkcija xdt) umnoiak funkcije
x(t), Eiji je spektar X(f), i beskonaEnog slijeda Diracovih delta impulsa
S ( t - n K ) , Eiji je spektar moguie odrediti pomoCu izraza (3.6), ona se
Fourierovom transfonnacijoin preslikava u konvoluciju spektra X (f ) i besko-
natnog slijeda Diracovih impulsa 6 ( f- n q ) , mecfusobno jednoliko razmaknutih
za 1/ T,:
transformacija u diskretnom vremenu, odnosno diskretna Fourierova trans-
f ~ ~ a c i(skraieno:
ja DFT), [7].
Navedeni izrazi primijenjeni su na kontinuirani signala x(t) konaEne energije i
beskonaEnog trajanja. Pretpostavimo u nastavku da je signal x(t) strogo
ograniCen na odredeni pojas frekvencija, tj. da njegov spektar ne sadrii
komponente na frekvencijama vedim od B herca (a): X (f ) = 0 za ( f(>B.
Trokutasti oblik spektra na slici ima iskljuEivo ilustrativan znaEaj. Pretpostavimo
takoder da je period uzorkovanja signala x,(t), T,, jednak lI(2B). Tada je
spektar uzorkovanog signala x, (r), X, ( f ) (Slika 3.2 1b), odreden ivazom

m KoristeCi izraz (3.7) spektar X,(f) moguCe je prikazati kao

+
xs (0 f;,
,,=-a
x(f- nf;, ).
Taj je izraz moguCe interpretirati na sljedeii naEin: proces jednolikog uzorko-
vanja kontinuiranog signala konaEne energije rezultira perioditanm s p e k o m
Ciji je period jednak frekvenciji uzimanja uzoraka (Slika 3.2 I). Ako su ispunjena sljedeCa dva uvjeta:

u prethodnom izrazu Elan S, X(f - mS,) postaje jednak nuli pa vrijedi

m=-m
nltO

sljedeie:

Slika 3.21: a) Amplitudni spektar signala pojasno ogranitenog na pojas

frekvencija (-B, B) i b) amplitudni spektar uzorkovane inaEice
tog signala uzorkovane frekvencijomf, = 1/(2B)
 UVODU TEORIJU INFORMACIJE 1 KODIKANJE
UvrStavajuCi (3.8) u prethodni izraz dobivamo
Dakle, ako su uzorkovane vrijednosti signala x(t), x[nl(2B)], poznate za sve
cjelobrojne vrijednosti n, tada je njegova Fourierova transformacija, X(f),
jednoznaEno odredena diskretnom Fourierovom transformacijom definiranom
prethodnim izrazom. Bududi da je x(t) vezan sa spektrom X(f) pomodu
inverzne Fourierove transformacije, slijedi da je signal x(t) jednoznaeno odreden
uzorcima x[nl(2B)], - a, < n < a,. Drugim rijeEima, slijed uzoraka signala x(t),
{x[nl(2B)]), sadrii svu informaciju koju sadr2i i kontinuirani signal x(t).
Rekonstrukcija signala temeljem njegovih uzoraka
Nakon Sto smo definirali proces uzorkovanja signala kojim se Cuva kompletna
informacija sadr2ana u izvomom signalu, potrebno je definirati i obmuti proces,
tj. kako iz slijeda uzoraka {x[nl(2B)]) dobiti originalni kontinuirani signal x(t).
Uvrstimo li prethodni izraz u izraz za inverznu Fourierovu transformaciju koja
povezuje signal x(t) s njegovim spektrom X ( f), dobivamo sljedede, [I]:
Nakon izmjene redoslijeda integracije i zbrajanja, prethodni izlaz prelazi u
Nakon rjeSavanja integrala dobivamo konaEni rezultat:
" ' n \ s i n ( 2 n ~-t nn) , - w < t < a , .
n=-m '!%) 2nBt - nn
U literatun se Eesto koristi djelomiEno skraCena inaCica ovog izraza:
pri Eemu vrijedi sin c(x) = sin(rrx)/(m). Dakle, izvomi signal x(t) dobiva se
interpolacijom slijeda uzoraka {x[nl(2B)]), pri Cemu sin c(2Bt) ima ulogu
interpolacijske funkcije. Svaki je uzorak pornno5en sa zakainjelom inaEicom
interpolacijske funkcije, sin c (2Bt - n), i svi tako dobiveni signali medusobno se
zbrajaju kako bi dali signal x(t) (Slika 3.25).
Takoder, ako Su U Z O ~ Csignah
~ uzeti u trenucima t = d(2B), gdje je a realna
konstanta, 0 < a I1, tada izraz za signal x(t) poprima oblik
,-w<t<w.
Dokaz teorema uzorkovanja: inaEica 2
DO istog rezultata mogli slno doCi na sljedeCi naEin, [6]. Neka je signal x(t)
pojasno ograniEen i vrijedi X(f ) = 0 za 1 f ( > B, pri Eemu je X(f ) spektar,
odnosno Fourierova transformacija signala x(t):
Signal je uzorkovan u trenucima medusobno jednoliko razmaknutim za 1/(2B)
sekundi. Nadalje, spektar signala X(f) moiemo proizvoljno pretvoriti u
periodieni spektar Xo(f), s periodom ponavljanja 2B, a da to ne utjeEe na iznos
spektra u podruCju frekvencija (fI 5 B (Slika 3.22).
Slika 3.22: Prikaz pojasno ogranirenog amplitudnog spektra
kao pcrioditne funkcije
Uzrnimo sada izraz za razvoj neke peri@iEne funkcije g(t) u Fourierov red:
pri Cemu je To osnovni period funkcije g(t). Zamijenirno u tom izrazu vrijeme s
fiekvencijom, tj. To s 2B, granice integracije - Td2 i Td2 s novim granicama -B
i B, funkciju g(t) sa spektrorn X(f ), ffekvenciju fo s fiekvencijom f, a vrijeme t
s periodom uzirnanja uzoraka, T, = 1/(2B). Dakle, periodiEni je spektar Xo(f)
UVODU TEORllU MFORMACIJE 1 KODIRANIE -
moguk razviti u Fourierov red, a za potrebe pojasno ogranitene funkcije ~ k vrijedi
o da je r << 11(2B), tada moiemo pretpostaviti da je vrijednost signala
moiemo koristiti vrijednosti reda u pojasu frekvencija If 1 I B: dt) ~ribliinokonstantna za cijelo vrijeme uzimanja uzorka. Shodno pretpo-
Stavci, uzorak u toEki nl(2B) i uzorak kratkog trajanja z moiemo definirati
funkcijomx,(f) kao

Koeficijenti Fourierovog reda, c,, odredeni su izrazom

Dakle, za Fourierovu transformaciju n-tog uzorka vrijedi

Obzirom da je X ( f ) pojasno ograniEen, za signal x(t) vrijedi xn(f )= E x , ,(t)e-j2."dt= I

11/(2D)tr/2

,1/(2B)-r/2
r,,(f)e-""'dt
nl(2 B)tr/2

KoristeCi prethodni izraz moguCe je proraEunati vrijednosti signala x(t) u

trenucima t = - nl(2B)

Temeljem ovog izraza zakljuEujemo da je koeficijente Fourierovog reda, c,,,

moguCe izraEunati temeljem ponatih vrijednosti signala x(t) u trenucima
uzimanja uzoraka: t = ..., -3/(2B), -2/(2B), -1/(2B), 0, 1/(2B), 2/(2B), 3/(2B), ...,
pa je i spektar signala x(t), X (f), jednoznaEno odreden temeljem vrijednost
signala u trenucima uzimanja uzoraka
Slika 3.23: Uzorkovanje pomofu impulsa trajanja z, %# 0 i r<< 1/(2B)

Funkcija eg2fl takoder je praktiEno konstantna na pretpostavljenom intervalu

kratkog trajanja od nl(2B)-d2 do nl(2B)+z/2 pa izraz za Fourierovu trans-
Rekonstrukcija signala temeljern njegovih uzoraka formaciju n-tog uzorka konaEno postaje jednak
Rekonstrukcija originalnog signala temeljem njegovih uzoraka odvija se na
naEelu opisanom u prvoj inaEici dokaza teorema uzorkovanja u vremenskoj
domeni.
Nadalje, upotrijebimo izraz za Fourierovu transformaciju Diracove delta
funkcije koja je za iznos to pomaknuta iz ishodilta:
3.3.2. Fizikalna interpretacija teorema uzorkovanja
Promatrajmo signal x(t) Eiji je spektar X( f ) pojasno ograniten. Uzorkujmo
signal x(t) u trenucima koji su medusobno jednoliko razmaknuti za ll(2B). Promatrajudi ova dva izraza slijedi da je X,(f) Fourierova transformacija
Medutim, ovaj put pretpostavimo da trajanje uzimanja svakog pojedinog uzorka Diracove delta funkcije povrSine .zlx[nl(2B)]koja se javlja u trenutku 1, = nl(2B).
nije jednako nuli, veC da ima konaEan (iako mali) iznos z [s] (Slika 3.23), [6].
UVODU TEORIJU INFORMACIJE I KODlRANJE 3. KOMUNIKACIJSKI KANALl U KONTMUIRANOM VREMENU
/

BuduCi da smo veC pretpostavili da je r vrlo mali, uzorak trajanja r sekundi je Dakle, odziv idealnog niskopropusnog filtra proporcionalan je ulaznom signalu
aproksimiran delta iinpulsom povrSine .r.x[n /(2B)]. svim trenucima, a ne samo u trenucima uzorkovanja.

Propustimo sada takav impuls kroz idealni niskopropusni filtar (Slika 3.24)
prijenosne hnkcije H(f ) definirane kao

OCito je da takav filtar ima amplitudni odziv jednak jedinici u pojasu frekvencija
[-B, B] (na ostalim frekvencijama ( H(f ) (=O), a fami odziv mu je jednak nuli
na svim frekvencijama. Odziv takvog filtra na pobudu uzorkom f [nl(2B)]dan je
izrazom

Slika 3.25: Odziv ideafnog niskopropusnog fiftra

kao superpozicije odziva na pojedinatne uzorke

Funkcije y,,(t) od kojih je sastavljen odziv idealnog niskopropusnog filtra vrlo

Slika 3.24: a) Rekonstrukcija signala x(t) propu5tanjem kroz idealni niskopropusni
fiftar, b) impulsni odziv idealnog niskopropusnog filtra
Potpuni signal odziva idealnog niskopropusnog filtra na pobudu slijedom
uzoraka signala x(t) mogude je odrediti kao superpoziciju odziva na pojedinatne
uzorke (to nam prije svega omogukava svojstvo linearnosti idealnog niskopro-
pusnog filtra, (Slika 3.25):
r .7
brzo padaju po amplitudi i doprinos ukupnom odzivu A t ) svake od njih je
nezanemariv samo unutar relativno malog broja intervala trajanja Il(2B) u
okolini odgovarajukeg trenutka nl(2B). Razmotrimo proizvoljnu funkciju x(t) Eiji
je spektar pojasno ograniEen: X ( f ) = 0 za If 1 > B, a i njezine vrijednosti izvan
intervala TI < t < T2 su vrlo male. Uzorkujmo tu funkciju frekvencijom od 2B
uzorakls. Ako vrijedi da je T2 - TI = T, tada broj uzoraka uzetih unutar
odgovarajukeg intervala iznosi 2BT. Tih 2BT uzoraka znatajno doprinose
vrijednosti signala x(t).
Medutim, Cak i kad signal x(t) ne poprirna zanemarivo male vrijednosti izvan
intervala Ti< t < T2,glavni doprinos njegovoj vrijednosti u bilo kojem trenutku
unutar navedenog intervala daje upravo 2BT uzoraka uzetih unutar ( T I , T2).
Razlog tome opet leii u Einjenici da odziv na svaki pojedini uzorak, y,(t), brzo
opada Sto se viSe udaljavamo od trenutka uzimanja odgovarajudeg uzorka,
nl(2B).
3.3.3. Uzorkovanje signala u pomaknutom
frekvencijskom pojasu

Razmotrimo idealni signal u pomaknutom pojasu frekvencija, x(t), Eiji j e spektar

y(t)= 2 yn (1)=2Br5 x f ~ ) I
sin 2aB t--
[ 'B11=2Br .x(t).
.-\
,
X(f ) ograniten na pojas frekvencija [Bo,BO+ B]: X (f ) = 0 za 0 I If 1 < BOi
I f ( > Bo+B (Slika 3.26). Kao Sto je veC ranije istaknuto, spektar uzorkovanog
UVODU TEORIJU INFORMACIJE I KODlRANJE
I /
3. KoMUNIKACIJSKJ KANALl U KONTINUIRANOM VREMENU

signala, X , (f ), je periodiEan i ponavlja se frekvencijom f,, ffekvencijom

I
m

x(t)= x(nT,)h(t-n~,)
uzorkovanja (Slika 3.21): "=-

rn
sin [ n ~ ( -t nT, )]
x(t)=2BT ~(UT,) c o s [ 2 n ~(t~- n~,)].
I,=-% z~(t-nr,)
Dozvoljene vrijednosti perioda uzorkovanja odredene su sljedekom relacijom,
[61:

pri Eemu frekvencija Bo mora biti razliEita od nule. Od svih vrijednosti koje m
Slika 3.26: ldealni signal u pomaknutom frekvencijskom pojasu
moZe poprimiti, postoji maksimalna vrijednost, oznaEimo je kao M, koja zado-
voljava gomju relaciju i relaciju M S Bo/B. Tada je maksimalna dozvoljena
Dakle, jednako kao i prilikom uzorkovanja signala u osnovnom frekvencijskom vrijednost perioda uzorkovanja, (T,),,,, odredena izrazom
pojasu, n1oguCe je koriStenje samo onih perioda uzorkovanja koji ne izazivaju
preklapanje spektara u frekvencijskoj domeni. Pitanje je: koja je minimalna
frekvencija uzorkovanja potrebna za rekonstrukciju originalnog signala teme-
ljem njegovih uzoraka? Stoga je minimalna dozvoljena frekvencija uzorkovanja dana kao
Radi jednostavnosti, pretpostavimo da se proces uzorkovanja odvija pomoCu
Diracovih delta hnkcija. Kako bi mogli rekonstruirati uzorkovani signal x~ (t),

pri Eemu je M, = M + I najveCi cijeli broj koji je manji ili jednak omjeru

potrebno ga je propustiti kroz odgovarajubi filtar [6]. Od svih moguCih opcija

odaberimo filtar prijenosne funkcije :1 1
(Bo+B)IB,tj. M = -+ 1 ,a k je odreden izrazom k = (Bo + B)IB-M,

pa gomji izlaz prelazi u:

= BoIB-M,

B,s~~~sB,+B,
na ostalim frekvencijarna.

Impulsni odziv tako definiranog filtra dan je izrazom
sin (nBt)
h(t)=:{sin[2n(~, + ~ ) t -] s i n ( 2 n ~ , t ) }=ZBT, ---cos(2nBSt).
nBt
gdje je B, srediSnja frekvencija u pojasu [Bo, Bo+B]: B, = Bo+B/2. Rekonstrukcija
izvomog signala pomoCu njegovih uzoraka daje sljedebi prikaz signala x(t):
OEito je da se k krebe u rasponu od nule do jedinice. Sukladno tome i frekvencija
uzorkovanja raste od 2B do 2B(1 + 11M). Neovisno o tome gdje se toEno na
fiekvencijskoj osi nalazi pojas frekvencija [Bo, Bo+B], minimalna frekvencija
uzorkovanja, potrebna za toEnu rekonstrukciju signala u pomaknutom frekven-
cijskom pojasu, leii u intervalu izmedu 2B i 4B uzorakls (Slika 3.27).
UVOD U TEORIJU MFORMACIJE I KODIRANJE
Slika 3.27: Ovisnost minimalne frekvencije uzorkovanja
o najvisoj frekvenciji u pojasu
Sa slike je vidljivo da je minimalna frekvencija uzorkovanja potrebna za toEnu
rekonstrukciju izvornog signala u pomaknutom frekvencijskom pojasu najveCa
kad se spektar signala nalazi unutar pojasa frekvencija [B - AJ 2B - AA, Af + 0.
Tada potrebna minimalna frekvencija uzorkovanja iznosi 2(2B - Aj), Sto se
pribliiava iznosu 4B kako se Af pribli2ava nuli. Kad je Af jednak nuli,
frekvencija uzorkovanja naglo pada na minimalni iznos, tj. na 2 8 . U okolini
toEaka kB, k E Z, funkcija ima diskontinuitete. Takoder, kada je maksimalna
frekvencija u spektru signala x(t) jednaka B, tada se radi o idealnom nisko-
propusnom filtru koji propuSta frekvencije u pojasu [-B, B ] , pa je i minimalna
frekvencija, potrebna za toEnu rekonstrukciju signala x(t), jednaka 2B uzorakls,
St0 je identieno ranije izvedenom rezultatu.
3.3.4. Uzorkovanje u frekvencijskoj domeni
Uzmimo u razmatranje signal x(t) koji je ograniEen na neki vremenski interval,
TI < t < T2. Taj signal u podruEju (- co, T I ]i [T2,co) iskljuEivo poprima vrijed-
nost nula, dok unutar ( T I , T2) moie poprimiti proizvoljne vrijednosti (izmedu
ostalog, i vrijednost nula). Primjer takvog signala je
Fourierova transformacija opienitog signala x(t) koji je ograniten na neki
vremenski interval odredena je izrazom
3. KOMUNIKAC[JSKJ
KANALl U KONTINUIRANOM VREMENU
u nastavku Cemo pokazati da je signal x(l) potpuno odreden vrijednostima
spektra X ( f ) uzetim u toEkama f, na frekvencijskoj osi koje su odredene
Dokaz ove tvrdnje je jednostavan i slitan dokazu provedenom za uzorkovanje u
vrernenskoj domeni, [6].Signal x(t) moguCe je na intervalu TI < t < T2razviti u
FourierOv red
Naravno, prikazavSi signal x(t) pomoCu Fourierovog reda pretpostavili smo da je
perioditan, s periodom ponavljanja T = T2-TI. To, medutim, ne mijenja
vrijednosti signala unutar intervala T, < t < Tz.Gornja dva izraza pokazuju da je
signal x(t) u potpunosti odreden uzorcima spektra uzetim na diskretni~n
frekvencijama f, = nI(T2-TI). Takoder, temeljem povezanosti spektra sa
signalom pomoCu Fourierove transformacije moiemo reCi da je spektar X ( f ) u
potpunosti odreden pomodu uzoraka.
Teorem uzorkovanja u frekvencijskoj domeni: spektar signala x(t),
ograniEenog u vremenu na interval ( T I ,T2), tj. izvan tog intervala vrijedi x(t) = 0,
V t E (-a,T , ] u [ T l ,a),je na bilo kojoj frekvenciji u potpunosti odreden pomoku
uzoraka. uzetih na diskretnim frekvencijama kontinuiranog spektra X ( f ) koje
su medusobno razmaknute za I/( T2-TI)herca.
Pretpostavimo li da je T2 = T/2 i Tl = -T/2, prikaz spektra pomoku uzoraka
poprima sljedeCi oblik:
- -
Sada je signal x(t) moguCe prikazati pomoCu uzoraka uzetih u frekvencijskoj
domeni:
UVOD U TEORUU INFORMACIJE I KODIRANJE
3.3.5. Poduzorkovanje
Sam teorem uzorkovanja i cijeli njegov dokaz poEivaju na pretpostavci da je
uzorkovani signal strogo pojasno ograniEen. U praksi, medutim, signali nisu
strogo pojasno ograniEeni i to rezultira tzv, poduzorkovanjem (engleski: under-
sampling). Drugim rijeEima, obzirom da signal sadrii i frekvencijske
komponente iznad neke graniCne frekvencije B, prilikom uzorkovanja frekven-
cijom f, = 2B nije ispunjen uvjet da je uzorkovanje provedeno frekvencijom
koja je barem dvostruko veCa od najveCe frekvencije u spektru signala.
Poduzorkovanje se u spektru uzorkovanog signala reflektira preklapanjem
spektara X(f- nf,), n E Z, u engleskoin nazvano aliasing.
Slika 3.28: a) Spektar izvornog signala i b) spektar poduzorkovanog signala, f,=B
Slika 3.28 prikazuje primjer jednog signala koji je pojasno ograniEen, a obzirom
da je poduzorkovan frekvencijom f, manjom od 2B herca, amplitudni spektar
poduzorkovanog signala, X , (f), je izobliEen. Iz takvog izobliEenog spektra
nije moguCe rekonstruirati izvorni signal, [I].
Mjere za izbjegavanje preklapanja spektara uzorkovanog signala su sljedeke.
Prvo, prije uzorkovanja potrebno je signal propustiti kroz niskopropusni filtar
(engleski naziv za takav filtar je anti-aliasing filter) koji Ce priguSiti one
visoko£?ekvencijske komponente signala koje nisu bitne s aspekta informacije
koju signal prenosi (Slika 3.29). Nakon toga slijedi uzorkovanje filtriranog
signala frekvencijom koja je neznatno veCa od Nyquistove frekvencije.
3 . KoMUNIEOZCIJSKI KANALI U KONTlNUIRANOM VREMENU
rekonshkclju
preklapanje spektara slgnala
Slika 3.29: Spreravanje preklapanja spektara prilikom uzorkovanja - na slici je
pretpostavljen idealan kanal, Eiji je izlaz jednak ulazu
Uporaba frekvencije uzorkovanja koja je veCa od Nyquistove ima jog jednu
povoljnu posljedicu, a to je jednostavnija izvedba filtra za rekonstrukciju
izvornog signala iz slijeda priinljenih uzoraka. Filtar za rekonstrukciju je
niskopropusni filtar, a koristenje frekvencije uzorkovanja koja je veda od
Nyquistove omoguCava da nagib anplitudnog odziva filtra nije previSe s m , Sto
znaEi i jednostavniju izvedbu sklopovlja. Treba svakako ilnati na umu da idealni
niskopropusni filtar beskonaEne strmine amplitudnog odziva u toEki graniEne
frekvencije nije fiziEki ostvariv pa ima iskljuEivo teoretsko maCenje.
3.3.6.'Kvantizacija uzoraka
Sljededi korak (nakon uzorkovanja) u pretvorbi analognog u digitalni signal je
kvantizacija uzetih uzoraka. Analogni signal, kao signal koji poprima vrijednosti
na kontinuiranom skupu, ima beskonaCno mnogo moguCih vrijednosti ampli-
tude. Mdutim, nije potrebno prenositi toEne vrijednosti uzoraka. UporiSte za
takvo razmiSljanje le2i u Einjenici da ljudska osjetila (vid, sluh), kao krajni
prijamnik signala (audio, govor, video) mogu detektirati samo konaEne razlike
izmedu razina signala. Drugim rijeEima, originalni analogni signal je moguke
aproksimirati signalom sastavljenim od diskretnih amplitudnih razina koje se
odabiru iz konaEnog skupa po kriteriju minimalne pogreSke u razlici izmedu
stvarnih i aproksimiranih vrijednosti signala. Takav pristup predstavlja osnovu
tzv. impulsno-kodne modulacije (skradeno PCM, od engleskog Pulse-code
Modulation). Nadalje, ako su diskretne razine dovoljno bliske susjednim
razinama tada je aproksimirani signal praktiEki identibn originalu.
 UVOD U TEORlJU MFORMACIJE 1 KODIRANJE
-
Kvantizacija uzoraka je definirana kao proces pretvorbe amplituda uzoraka
m(nTu), uzetih od analognog signala m(t) u diskretnim trenucima nT,,, n E Z, u
diskretne amplitudne razine v(nT,), odabrane iz konaEnog skupa mogudih razina.
Jednako kao i u potpoglavljima o uzorkovanju, Tu onaEava period uzorkovanja
signala. Daljnja pretpostavka je da je kvantizacijski proces bezmemorijski i
trenutan, Sto znaEi da trenutna transformacija signala u bilo kojem trenutku ne
ovisi o prethodnim niti o narednim uzorcima originalnog signala. Takva se
kvantizacija koristi u modulacijskom postupku impulsno-kodne modulacije, ali
ne i u naprednijim metodama pretvorbe analognog u digitalni signal. ViSe detalja
o naprednim tehnikama kvantizacije dano je u gestom poglavlju.
Slika 3.30 prikazuje pojednostavljenu shemu kvantizatora, na Eiji se ulaz dovode
uzorci analognog signala, m(nTu), a na izlazu se pojavljuju diskretni uzorci
v(nTu), tj. kvantizirani signal. Diskretna amplituda kvantiziranog signala u
nekom trenutku nTu Ce poprimiti indeks k, tj. v(nTu) de biti izjednaEen s
diskretnom vrijednogku vk, ako amplituda originalnog uzorka signala na ulazu
kvantizatora zadovoljava svojstvo:
pri Cemu je L broj stupnjeva amplitude koje kvantizator koristi, odnosno broj
kvantizacijskih razina. Takoder vrijedi i sljedeke:
uzorci konlinuiranog signala
- -
dlskrstni uzoni
kvan[izator
C -C
tm(nr3) s(.) (v(nT.)I
Slika 3.30: Bezmernorijski kvantizator
Dakle, kvantizator vrSi preslikavanje m(nT,) --, vk prema gore navedenom
pravilu (Slika 3.31). Amplitudne razine koje se javljaju na ulazu u kvantizator,
mk, nazivaju se i razine odluEivanja ili pragovi odluke. Diskretne razine
definirane u kvantizatoru, koje se ujedno javljaju i na izlazu kvantizatora, tj.
kvantizacijske razine vk, nazivaju se i razine prikaza signala ili razine za
rekonstrukciju signala. Razmak medu dvjema susjednim kvantizacij-skim
razinama, vk+l - vk, naziva se korak kvantizacije u k-toj razini. Preslika-vanje
definirano f i c i j o m v = g(m) naziva se kvantizacijska karakteristika. U praksi
se najEeSde kvantizacijska razina odabire na sredini izmedu dvije susjedne razine
odluEivanja, tj. vrijedi vk= (mk + mk+,)/2.
3. K o ~ u ~ l K A c l l S KKANALI
l U KONTMUlRANOM VREMENU
kvantiiacijskog
Burna
ulaz kvantizator izlaz
Slika 3.31: Prirnjer kvantiziranja uzorka analognog signala
Kvantizacija moie biti jednolika ili nejednolika, ovisno o veliEini koraka
kvantizacije. Ako su svi koraci kvantizacije medusobno jednaki, tada se radi o
jednolikoj kvantizaciji. U suprotnom je rijeE o nejednolikoj kvantizaciji. U
nastavk~Cemo razmatrati iskljuEivo jednoliku kvantizaciju. Slika 3.32 prikazuje
dvije razliCite karakteristike kvantizatora, koje imaju oblik stepenaste funkcije, a
medusobno se razlikuju po naEinu na koji kvantizacijska karakteristika prolazi
kroz ishodiSte koordinatnog sustava.
-
razina
Slika 3.32: Karakteristike jednolikog kvantiziranja
Kvantizacijski gum
Proces kvantizacije nije idealan, veC unosi odredenu pogresku u kvantizirani
signal. Ta je pogreSka posljedica moguCe razlike izmedu uzorka analognog
signala na ulazu, m(nTu), i diskretnog uzorka na izlazu kvantizatora, v(nT,)
(Slika 3.31), a nazivamo je kvantizacijski Sum, [I]. Qbzirorn da na ulazu
kvantizatora djeluju uzorci Cije veliEine potjeEu od analognog signala kojeg je
realno modelirati sluEajnim procesom (a ne ga promatrati kao deterministiEki
signal), ulaz u kvantizator opisujemo kontinuiranom sluEajnom varijablom M.
Sukladno tome, kvantizator preslikava sluzajnu varijablu M u diskretnu sluzajnu
varijablu V na izlazu kvantizatora. Vrijednosti koje mogu poprimiti sluEajne
 3. KOMUNIKACIJSK~
KANALl U KONTINUIRANOM VREMENU

varijable M i V oznaEit Cemo kao m i v, i vrijedi: v = g(m). OpiSimo

kvantizacijski Sum sluEajnom varijablom Q Eije Cemo vrijednosti omaEiti kao q.
Dakle, vrijedi Q = M-V, odnosno q = m-v. Ako je E [ M = 0 i kvantizacijska
karakteristika je simetriEna kao na slici (Slika 3.32), tada vrijedi i da je E[VI = Neka je sa S oznaEena srednja snaga signala m(t). Tada za odnos srednje snage
E[Q]= 0.Dakle, preostaje odrediti standardnu devijaciju kvantizacijskog Suma. signah i srednje snage kvantizacijskog Suma, N, na izlazu kvantizatora vrijedi
Prilikom dizajna kvantizatora pretpostavlja se da amplitude ulaznog signala
mogu poprimati kontinuirane vrijednosti iz intervala (-m,,,, m,%). Ako se na
ulazu kvantizatora pojavi signal Eije su amplitude izvan navedenog intervala,
nastupit Ce preopterekenje kvantizatora i izobliEenje izlaznog signala. Zadatak je
primjet: Kvantizacija sinusnog signala
dizajnera cijelog sustava za pretvorbu analognog u digitalni signal da sprij&i
takav scenarij. Nadalje, ako pretpostavimo da se koristi jednolika kvantizacija i pretpostavimo da na ulaz kvantizatora dolazi sinusni signal amplitude A, koji
kvantizator karakteristike prikazane slikom (Slika 3.32b), te da se amplitude koristi sve razine za rekonstrukciju signala. Srednja snaga takvog signala na
u l a n o g signala krebu u granicama od -m,, do in,,,, tada je korak kvantizacije ot.pomiku otpora od jednog oma iznosi
odreden izrazom A = 2mmaxlL,pri Eemu je L broj kvantizacijskih razina. Dakle,
kvantizacijski Ce Sum po amplitudi biti ograniEen uvjetom -A12 I q I Al2.
Nadalje, ako je korak kvantizacije dovoljno mali, tada je opravdano pretpostaviti
da sluEajna varijabla Q iina jednoliku razdiobu, a Sam utjecaj kvantizacijskog Obzirom da se razine ulaznog signala kredu izmedu -A, i A,, ukupni raspon
Su~nana ulazni signal sliEan je utjecaju termiEkog Suma. Funkcija gustobe amplituda na ulazu kvantizatora iznosi 24,. Dakle, m, =A,, pa za kvantizacij-
vjerojatllosti sluEajne varijable Q definirana je izrazorn ski Sum vrijedi:

a odnos srednje snage signala prema srednjoj snazi kvantizacijskog Suma dan je
Obzirom da smo vet ranije utvrdili da je oEekivanje sluEajne varijable Q jednako izrazom
nuli, njezina je varijanca odredena sljedetim izrazom

Omjer snaga se Eesto u praksi izraiava u logaritamskom mjerilu pri Eemu se

KombinirajuCi prethodna dva izraza dobivamo sljedeCe:
koristi jedinica decibel (dB). Dakle, l O l o g , , ( ~ / ~=)1,76+6,02.r [ d ~ ] .
Tablica 3.1 prikamje odnos izmedu broja kvantizacijskih razina, broja bita po
uzorku i odnosa SIN.
Kvantizirani se signal ne prenosi do prijarnnika diskretnim uzorcima vk, veC se
oni pretvaraju u binami k6d i prenose binamim signalom. Neka r oznacava broj Tablica 3.1: Odnos izmedu parametara kvantizacije
bita koji se koriste za opis svakog uzorka vk. Ako je L ukupan broj svih
diskretnih razina na izlazu kvantizatora, tada mora vrijediti da je L = 2'. Kad bi L
bio veCi od 2', tada ne bismo mogli jednoznaEno opisati sve uzorke. Nasuprot
tome, koriStenje broja bita po uzorku za kojeg vrijedi L < 2'je nepotrebno jer se
u prijenos uvodi nepotrebna zalihost. Stoga je koriStenje broja bita r za kojeg
vrijedi L = 2' jedino opravdano. Ako ovaj izraz ubacimo u izraz za korak
kvantizacije, dobivamo A = 2mmaX/2'pa vrijedi:
UVODU TEORIJU INFORMACIJE I KODIRANJE
3.3.7. Kodiranje kvantiziranih uzoraka
Nakon uzorkovanja i kvantizacije, zadnji korak u digitalizaciji analognog signala
je kodiranje kvantiziranih uzoraka, tj. njihovo pretvaranje u slijed simbola koji
se prenose adekvatnim signalom. Svakoj kvantizacijskoj razini potrebno je
pridijeliti jednoznaEan slijed simbola, [13]. Pravilo dodjele sljedova simbola
diskretnim kvantizacijskim razinama naziva se khd, a slijed simbola koji se
dodjeljuje nekoj kvantizacijskoj razini naziva se kodna rijeE.
Ako se prilikom kodiranja uzoraka koriste binami simboli, tada se radi o
binamom kodu. Pravilo kodiranja ovisi o vrsti komunikacijskog sustava, a
najEeSCe je odredeno odgovarajutim preporukama, odnosno normama. Na
prirnjer, pretpostavimo da na izlazu kvantizatora imamo Eetiri kvantizacijske
razine (L = 4): -3 U, -U, U i 3 U, pri Eeinu je U razina napona u voltima. Tada je
za njihovo jednoznacno kodiranje nuino koristiti 2 bita po svakoj razini, tj. po
svakom uzorku (R = 2), a jedno od moguCih preslikavanja tih razina u biname
simbole je sljedete: -3U -+ 11, -U -+ 10, U -+ 00 i 3U + 01. Pritom prvi bit
odreduje polaritet (0 - pozitivan, 1 - negativan), a drugi apsolutni iznos razine
( 0 4 , 1-3U).
Na izlazu kvantizacijskog kodera javlja se binami digitalni signal koji koristi
dvije naponske razine, 0 i A volta (Slika 3.33). Takav se signal ujedno naziva i
unipolarni binami signal. Pritom svaka naponska razina prenosi jedan binami
simbol, 0 ili 1. Moiemo takoder reCi da se svaki binami simbol prenosi jednim
signalnim elementom, xA(t+kr) ili xo(t+kT), a uzastopni slijed signalnih ele-
menata tvori cjeloviti binami signal x(t):
pri Eemu je T trajanje signalnih elemenata. Dodjeljivanje razina binamim
simbolima varira od sustava do sustava. UobiCajeno je da se binamoj nuli
pridjeljuje razina 0 [V], a binamoj jedinici razina A [V].
Slika 3.33: Unipolarni binarni signal
Trajanje binarnih signalnih elemenata, onaEeno kao T, jednako je za svaki
signalni element od kojeg je sastavljen neki binarni signal. T se naziva i trajanje
3. KOMUNIKAC~JSKI
KANALl U KONTMUIRANOM VREMENU
bits (obzirom da se svaki bit prenosi jednim signalnim elementom), a reciproha
~ t T se naziva prijenosna brzina: R = i/T [bitls] (engleski naziv za
v r i j e d n ~od
pijenosnu brzinu je transmission rate ili bit rate).
Iako je pri kodiranju kvantiziranih uzoraka teoretski moguCe i koriStenje drugih
kodova osim binamih (npr. temarnih, kvatemamih i dr.), najEeSCe se upravo
koriste binami kodovi. Medutim, pri prijenosu signala, ovisno o vrsti kanala,
&st0 se binarni signal u predajniku pretvara u linijski k13d (Slika 3.19) koji je
pogodniji za prijenos u dotiEnom kanalu. Pored linijskih binarnih kodova
(bipolami binami khd, k6d Manchester), u podruEju linijskih kodova svoju su
prirnjenu naSli temami kodovi (svaki simbol moie poprimiti jednu od tri
vrijednosti), kvatemami kodovi (svaki simbol moie poprimiti jednu od Eetiri
vrijednosti) te viserazinski PAM kodovi (skr. od engl. Pulse-amplitude
Modulatign). Detaljnije razinatranje linijskih kodova nije u podrucju kojim se
bavi ova knjiga.
3.4. Kapacitet kanala u kontinuiranom
vremenu
U ovom Ce potpoglavlju prvo biti definirane entropije u kanalima u kontinui-
ranom vremenu. Nakon definiranja transinfomacije u takvim kanalima, bit de
definiran kapacitet kanala u kontinuiranom vremenu i odreden iwaz za njegov
proraEun. KonaCno, primjenom teorema uzorkovanja, taj Ce izraz biti prilagoden
pojasno ograniEenim kanalima.
3.4.1. Entropija u kanalima u kontinuiranom vremenu
Entropiju jednodimenzionalne sluEajne varijable X s kontinuiranoin razdiobom
definiramo izrazom
H(X)=E[-logfx(X)]=- gfx(x)logfx(x)dr.
pri Eemu je fx(x) kontinuirana fimkcija gusto& vjerojatnosti sluEajne varijable
X.Entropija slucajne varijable koja je definirana po~noCulogaritma po bazi 2
izraiava se jedinicom bitlsimbol. Naziv koji se ponekad koristi za entropiju
definiranu gomjim izrazom je diferencijalna entropija sluEajne varijable X, [9].
Prilikom prelaska s diskretnih kanala na kontinuirane <iavlia ,
se nekoliko
problerna iezanih uz definiciju entropije danu prethodnim izrazom. U diskret-
nom je modelu entropija sluEajne varijable uvijek pozitivna, tj. ve& ili jednaka
nuli. U kontinuiranom modelu entropija moie biti i negativna.
 UVODU TEORIJU TNFORMACIIE I KODlRANJE
i Primjer: Entropija slutajne varijable s jednolikom razdiobom
Neka kontinuirana sluEajna varijabla X ima jednoliku razdiobu na intervalu
(0, a). Funkcija gustoCe vjerojatnosti takve sluEajne varijable dana je sljedeCim
izrazom:
Ako sada primijenimo izraz za diferencijalnu entropiju, dobivamo sljedeki
rezultat:
Ako je a < 1, tada je log (a) < 0, pa je diferencijalna entropija takve kontinuirane
sluEajne varijable negativna.
Nadalje, entropija sluEajne varijable s kontinuira~omrazdioboin moie (iako ne
mora) postati i beskonatno velika (vidi izraz (3.9)), Sto nije sluEaj kod entropije
slutajne varijable s diskretno~nrazdiobom. Ipak, poznavanje diferencijalne
entropije je korisno. Opravdanost gornjeg izraza za diferencijalnu entropiju
kontinuirane sluEajne varijable moguCe je dokazati sljedeCim razmatranjem.
Aproksimirajmo kontinuiranu sluEajnu varijablu X s diskretnom sluEajnom
varijablom koja poprima vrijednosti xk = k.Ax, k E Z, a Ax teii u nulu. Sukladno
aproksimaciji, kontinuirana sluEajna varijabla X poprima vrijednosti u intervalu
[xk, xk + Ax] s vjerojatnoSCu fx (x,). Ax. DopuStajuCi da Ax teii u nulu, te
sukladno definiciji entropije za diskretnu sluEajnu varijablu, entropiju kontinui-
rane sluEajne varijable Xsada je mogube zapisati kao
H ( X ) = lim
AX-+Okz4
z
m
fx ( x k ) h l o g
Obzirom da je povrSina ispod funkcije gustobe vjerojatnosti fx(x) jednaka
jedinici, konaEni izraz za entropiju kontinuirane slutajne varijable X je sljedebi
3. KOMUNlMCIJSKl KANA11 U KONTINUIRANOM VREMENU
/
Kad Ax teii u nulu -log (Ax) teii u beskonaEnost. To znaEi da je entropija konti-
,uirane sluEajne varijable beskonaEno velika. Takav zakljuEak je i intuitivno
opravdan, jer kontinuirana sluEajna varijabla moie poprimiti neprebrojiv skup
vrijednosti na intervalu na kojein je definirana pa je samim time i njezina
neodreden~stbeskonacna. Problem koji proizlazi iz ovih razmatranja zaobilazi
se uvodenjem diferencijalne entropije koja je jednaka fx (x)log
a -log(Ax), kao Elan u izrazu (3.9), a ostaje sluiiti samo kao referentna
[&Idx
wijednost. Na kraju ovog kratkog razmatranja treba naglasiti da, unatoE njezinoj
korisnosti u razmatranju informacijskog kapaciteta kanala u kontinuiranom
wemenu, diferencijalna entropija ni na koji naEin ne predstavlja mjeru
neodredenosti slutajne varijable X.
lnformacijske mjere kontinuiranog informacijskog sustava
Neka je ulaz u kontinuirani kana1 no deli ran sluEajnom varijablom X, Eija je
hnkcija gustoCe vjerojatnosti fi(x) kontinuirana. Na sliEan naEin izlaz iz kanala
modelirajmo sluEajnom varijablo~nY kontinuirane funkcije gustobe razdiobe
fib). Neka je zdruiena funkcija gustoCe vjerojatnosti sluEajnih varijabli X i Y
definirana kao kontinuirana funkcija Axy). Vezu izmedu zdruiene funkcije
gustoCe vjerojatnosti f(x,y) i funkcija gustobe vjerojatnosti fi(x) i f2b) opisuju
sljedeCi izrazi:
Tada su, po analogiji s potpoglavljem 2.4.3., odgovarajube informacljske mjere
koje opisuju sustav definirane sljedediln izrazima:
entropija na ulazu kanala:
H ( x ) = ~ [ - ~ o g A ( x ) ] = -~ A ( x ) l o (x)Qk
g~
entropija na izlazu kanala:
H(Y)=E[-kf2(Y)]=- jl/,(y)log/,(y)dy,
 ekvivokacija: ~ntropijasluEajnog vektora
~(xy)=~[-log~,(xIy)]=- P_ $f (x,y)log5 (" Y)dxdy, Neka je X sluEajni vektor sastavljen od n kontinuiranih sluEajnih varijabli Xk,
k = I,...+ Tada se diferencijalna entropija raEuna kao
entropija Suma:

zdruiena entropija: ili skraCeno zapisano kao

H(X,Y)=E[-log f(X,Y)]=- $ lf(x,y)logf (x,Y)&~s.
Medutim, naglasak je potrebno staviti na transinformaciju I(X,Y) umjesto na
pojedinaEne entropije H ( 3 , H(Y), H(XJY), H(YIX) i H(X,Y). Brzinu prijenosa pri Eemu je fx(x) zdruiena funkcija gustobe vjerojatnosti sluEajnog vektora X.
informacije u kanalu, tj. transinformaciju moguCe je definirati kao oEekivanje U nastavku razmatranja u ovom poglavlju koristit demo iskljuEivo diferencijalnu
sluEajne varijable I definirane funkcijom log ( (x'y) )
f I t ~ ) f - (i y )
mle,
entropiju kontinuirane sluEajne varijable i sluEajnog vektora.

3.4.2. Problem maksimizacije entropije kontinuirane

Vezu izmedu transinformacije i ranije definiranih entropija odreduju sljedeci
izrazi:
I(x;Y)=H(x)-H(X~Y)=H(Y)-H(Y\x)=H(x)+
H(Y)-H(x,Y),
Sto je ekvivalentno odnosima u diskretnom informacijskom sustavu, opisanim u
drugom poglavlju. Transinfomacija I(X;Y) nikad nije negativna i u opCenitom
sluEaju uvijek ima konaEnu vrijednost (to vrijedi ako su funkcije gustobe
vjerojatnosti apsolutno kontinuirane). Elementarna svojshta transinfomacije
vidljiva su iz definicije ove veliEine, [9]:
I(X;,Y)= I(YjTC)
I(x;,Y) > 0
I(X;Y) = 0 ako su X i Y medusobno neovisne sluEajne varijable.
Obzirom da se transinformacija raEuna kao razlika izrnedu dviju entropija, te
imajuCi u vidu izraz (3.9), evidentno je da Ce se prilikom operacije oduzirnanja
referentne vrijednosti -log(&) medusobno poniStiti pa stoji tvrdnja da je
transinformaciju moguCe izraEmati poznavanjem diferencijalnih entropija
kontinuiranih sluEajnih varijabli.
sluCajne varijable
Maksimalna entropija diskretne sluEajne varijable nastupa kad su svi njezini
elementarni dogadaji jednako vjerojatni. Ako je kontinuirana sluEajna varijabla
definirana na cijelom skupu realnih brojeva, tada prethodna tvrdnja nema neko
posebno znaCenje, jer postoji moguCnost da entropija nije konaEna. Medutim,
pretpostavimo li da je kontinuirana sluEajna varijabla ograniEena na neki
konaEan interval, tada ima smisla razmatrati koja gustoca vjerojatnosti daje
maksimalnu vrijednost entropije. U nastavku be biti analizirana tri razliEita
scenarija, [9]:
sluEajna varijabla X definirana je na konaEnom intervalu [a, b] i njezina
je funkcija gustoCe vjerojatnosti fi(x);
sluEajna varijabla Xpoprima samo nenegativne vrijednosti, i ima
unaprijed zadano oEekivanje E[X]= a, a > 0;
neka sluEajna varijablaX, Eije je otekivanje jednako nuli, ima
definiranu standardnu devijaciju ox.
U sva tri scenarija maksimalna se entropija odreduje temeljem zadanih ograni-
Eenja i koriStenjem metode Lagrangeovih multiplikatora i Euler-Lagrangeove
jednakosti. Zbog jednostavnijeg proratuna entropiju sluEajne varijable X moguie
je definirati i kao

H(X)=- $ A ( x ) ln (x)& [nat/simbol] .

UVODU TEORIPJ INFORMACIJE I KODIRANJE
U ovom izrazu entropija sluEajne varijable X se ra6una pomoCu prirodnog
logaritma pa je njezina vrijednost odredena jedinico~nnadsimbol. Rezultati su
sljedeki:
za prvi scenarij: maksimalnu entropiju Ce imati sluEajna varijabla s
jednolikom funkcijom gustoCe vjerojatnosti na intervalu [a, b], tj.
J(x) = ll(b - a), a < x < b i H(X) = In (b - a ) nadsimbol;
za dlugi scenarij: maksimalnu entropiju uz unaprijed zadanu srednju
vrijednost a ima sluEajna varijabla Eija je funkcija gustoCe vjerojatnosti
fi(x) = (1la)e"'" pa je H(X) = ln(ae) = 1 + In(a);
za treCi scenarij: maksimalnu entropiju de imati sluEajna varijabla
1 -r1/(20;)
funkcije gustoCe vjerojatnosti (x) =- , Sto daje
0,~s;;"
Od svih jednodiinenzionalnih razdioba s unaprijed zadanom standardnom
devijacijom najveCu entropiju pruBa Gaussova (normalna) razdioba.
3.4.3. Prijenos informacije u prisustvu aditivnog Suma
Odredivanje inaksi~numa transinfomacije I(X;Y) u ovisnosti o funkcijama
gustoCe vjerojatnosti j(x,y), fi(x) i fib) te uz dodatna ogranitenja vodi prema
konceptu kapaciteta kontinuiranog kanala, [9], [a], [9], [3]. Za razliku od
diskretnog kanala, kapacitet kontinuiranog kanala nije apsolutna veliEina veC
ovisi o ogranitenjima. OpCenito gledano, proraEun kapaciteta kontinuiranog
kanala je vrlo sloien problem i ne postoji opkenita metoda za odredivanje
kapaciteta u svim okolnostima. Medutim, u nekim posebnim slucajevima
moguCe je relativno jednostavno proraEunati kapacitet kanala i odrediti njegov
maksirnum. Jedan od kanala za koje vrijedi prethodna tvrdnja je i kana1 s
aditivnim Sumom.
Neka je X sluEajna varijabla koja opisuje signal na izlazu predajnika, a Y
sluEajna varijabla koja opisuje signal na ulazu u prijarnnik Definirajmo uvjetnu
funkciju gustoCe vjerojatnosti f,@Ix) kao
Nadalje, pretpostavimo da je Sum u kanalu aditivan i neovisan o X
3. KOMUNIKACIJSKI KANALI U KONTINUIRANOM VREMENU
pri Eemu je Z sluEajna varijabla koja opisuje Sum Eija je funkcija gustoCe
vjerojatnosti q5 (z). Drugim rijeEima, f,(z + xb) ovisi samo o z. Da relacija
jednakosti izmedu funkcija gustoCe vjerojatnosti f,(z + xb) i 4 (z) doista vrijedi,
rnoguke je ustanoviti na temelju sljedeCih relacija. Temeljem definicije fimkcije
razdiobe vrijedi:
P{z<ZIz+dz)=q5(z)dz.
Obzirom da smo veC ranije pretpostavili da vrijedi y =x + z, takoder vrijedi i
SljedeCe:
P(y<YIy+dy)X=x)=P{z<ZIz+dz~X=x).
Ta je uvjetna vjerojatnost neovisna o x i ovisi samo o strukturi Suma, tj.
=P(~-X<Z<~-X+~~}
KonaEno, obzirom da je y = x + z i dy = dz, vrijedi
P{y<Y~y+dy~X=x)=P{z<Z_<z+dz}=~(z)dz,
tj. $(yIx)=f.(z+xIx)=q5(~).
Iz toga proizlazi jednakost H(YCY) = H(X + ZCY) = H(Z), pa za transinformaciju
vrijedi:
Kapacitet kontinuiranog kanala s aditivnim Sumom odredujemo pronalaienjem
maksimuma transinfotmacije I(X,Y) u ovisnosti o funkciji J(x) i pod odredenim
ogranieenjima. NajuEestalije ograniEenje je ograniEenje vrSne ili srednje snage
signala na izlazu predajnika. RjeSavanje ovog problema je sloieno i zahtijeva
dugotrajno izvodenje. Medutim, uz odgovarajuCe pretpostavke taj je problem
moguCe pojednostaviti.
Odredivanje kapaciteta kanala u prisustvu Gaussovog
aditivnog Suma te uz zadanu srednju snagu sfgnala na izlazu
predajnika i srednju snagu Iuma
Na samom poEetku potrebno je definirati ograniEenja bitna za prordun
kapaciteta. Za Sum je pretpostavljeno da ima Gaussow razdiobu, srednju
vrijednost jednaku nuli i srednju snagu jednaku a:, a prvo ograniknje, koje
proizlazi iz opCenitog svojstva funkcije gustobe vjerojatnosti, dano je sljedekim
izrazom:
UVODU TEORIJU MFORMACIJE I KODIRANJE
pri Eemu je q standardna devijacija Suma, [9]. Preostala ograniEenja odnose se
na ulazni signal funkcije gustobe vjerojatnostifi(x):
ito znaEi da je srednja vrijednost ulaznog signala jednaka nuli, pa, shodno t o t e ,
o:, predstavlja srednju snagu ulaznog signala (vidi 3.1.5). Transinformacija je
dana izrazom
a za njezin maksimum vrijedi: max I(X;Y) = max [H(Y) - H(Z)]. Dakle, kapacitet
kanala je moguCe izraEunati maksimizacijom entropije H(Y) uz ranije navedena
ogranidenja. Za srednju vrijednost i standardnu devijaciju signala na izlazu
kanala vrijede sljedeCe jednakosti:
E[Y] = E[X I- Z] = E[X] + E[Z] = 0,
E[y2] = E[(X + z)'] = E [ x Z ]+ 2E[X]E[Z] + E[Z2].
Obzirom da je produkt E[XJE[Z] jednak nuli, vrijedi
E[y2]= q: + af= konst.
Sukladno tim jednakostima, problem pronalaienja kapaciteta kanala svodi se na
pronalaienje funkcije gustobe vjerojatnosti koja daje srednju vrijednost 0 i
standardnu devijaciju q: +of. U potpoglavlju 3.4.2 navedeno je da ako je
standardna devijacija sluEajne varijable unaprijed zadana (uz srednju vrijednost
jednaku nuli) tada najvecu entropiju daje Gaussova funkcija gustoke
vjerojatnosti. U skladu s navedenim, maksimalna entropija signala na ulazu u
prijamnik je dana izrazom
Ovdje je koriitena jedinica nat/simbol zbog prirodne baze logaritma. Kapacitet
kanala po simbolu, C,, jednak je maksimalnoj vrijednosti transinformacije:
3. KOMUNIKACIJSKI
KANALI U KONTMUIRANOM VREMENU
-
~onacno,ako pretpostaviino da vrijedi o: = S i o: = N, pri Eemu je S srednja
snags signala na izlazu predajnika, a N je srednja snaga Suma u kanalu, tada
m za kapacitet kanala po simbolu prelazi u
j
~oriitenjeprirodnog logaritma pogodno je s aspekta izvodenja izraza za
kapacitet kanala. Medutim, u praksi se u iwazu za kapacitet kanala EeSde koristi
logaritam po bazi 2 jer u konaEnici daje kapacitet po simbolu izraien brojem bita
po simbolu:
Na kraju ovog razmatranja o prijenosu informacije moguCe je rezimirati u kanalu
u kojem djeluje aditivni Gaussov Sum, a srednja snaga signala na izlazu predaj-
nika i srednja snaga Suma su ogranifene, signal na ulazu kanala i signal na izlazu
kanala moraju iinati Gaussovu razdiobu kako bi brzina prijenosa infonnacije
takvim kanalom bila inaksimalna, tj. jednaka kapacitetu tog kanala.
3.4.4. lnformacijski kapacitet pojasno ogranieenog
kanala
U prethodnom dijelu ovog poglavlja razmatrali smo prijenos kontinuiranih
signala kanalom. Problem koji se javlja kod egzaktnog opisa kontinuiranih
signala je u sljedekem. Vrijednost sluEajnog kontinuiranog signala x(t) je
nepredvidiva u bilo kojem trenutku. U bilo kojem trenutku tk, x(tk) je sluEajna
varijabla. Prilikom matematiEkog opisivanja takvih signala potrebno je pozna-
vanje statistiEkih svojstava praktiEki -beskonaEnog broja sluEajnih varijabli.
RjeSenje tog problema nazire se u sljededem: prikazati kontinuirani signal
diskretnim signalom. Upravo u prelasku s kontinuiranog prikaza signala na
diskretni uzorkovanje ima glavnu ulogu, a promatrani skup signala svodi se na
pojasno ograniEene signale.
AWGN kanal
Bijeli Gaussov Sum se obiEno koristi u modelu tzv. AWGN kanala (engleski:
Additive White Gaussian Noise, u prijevodu aditivni bijeli Gaussov Sum, Slika
3.34).
UVOD U TEORIJU INFORMACIJE I KODIRANJE 3. K0MUNlKACIJSKl KANALl U KONTMUIRANOM VREMENU
- -
cZ(z,.,z~)=o,
i+j.

Drugim rijeEima, komponente od kojih je sastavljen sluEajni vektor Suma su

m e d u s ~ b npotpuno
~ neovisne. Obzirom da je Sum u AWGN kanalu aditivan, za
sluEajni vektor izlaznog signala vrijedi jednostavna relacija
Slika 3.34 : Model AWGN kanala
Y=X+Z.
U takvom kanalu na ulazu djeluje signal x(t) kojemu se pribraja bijeli Gaussov
Sum n(t) i zajedno Eine izlaz iz kanalay(t): ~ljedeCikorak na putu do odredivanja kapaciteta AWGN kanala je odredivanje
transinfomacije u kanalu, I(X;Y). Za transinformaciju vrijedi da je
I(x;Y)=H(Y)-H(Y~X).
U praksi postoji pravilo za koriStenje bijelog Suma u analizi realnih sustava: sve
dok je Sirina fiekvencijskog pojasa Suma na ulazu sustava znatno veCa nego Sukladno imodu u potpoglavlju 3.4.3 vrijedi:
Sirina prijenosnog pojasa sustava, Sum moiemo modelirati kao bijeli Sum.
fx(~l.)=f,(x+zlx)=rn(z),
Teorem o informacijskom kapacitetu AWGN kanala gdje je &z) funkcija gustoCe razdiobe Suma, definirana kao
Slika 3.34 prikazuje opCeniti model AWGN kanala u kojem se izvorni signal x(t)
algebarski zbraja s bijelim Gaussoviin Sumom n(t) i tvori signal y(t), [9]. Ako
signale x(t) i y(t) uzorkujeino sukladno teoremu uzorkovanja, dobivamo
diskretne signale koje je moguCe prikazati n-dimenzionalnim sluEajnim BuduCi da su komponente Suma medusobno neovisne, entropija Suma jednaka je
vektorima X, odnosno Y: zbroju entropija njegovih pojedinaEnih komponenata:
x = [ X I , X,,...,X,,] i Y=[I;,Y, ,...,Y,],
gdje su Xk,k = 1,2,...,n i Yk, k = 1,2,...,n uzorci signala x(t), odnosno y(t), koje
opisujemo sluCajnim varijablama. StatistiEka svojstva sluEajnih varijabti Xk, Dakle, transinformacija Ce biti jednaka
k = 1,2,...,n, odredena kao

Kako bi odredili kapacitet kanala, prvo je potrebno odrediti maksirnalnu

Sum u kanalu je takoder moguCe prikazati n-dimenzionalnim sluEajnim vrijednost transinformacije uz pretpostavljena ograniEenja Taj se problem svodi
vektorom: na maksimizaciju entropije H(Y). Na' svaku komponentu sluEajnog vektora X
djeluje neovisna Gaussova smetnja: Yk = Xk+Zk. S obzirom na ranije zadane
srednje vrijednosti i standardne devijacije signala X i Suma Z vrijedi:
pri Eemu su statistiEka svojstva sluEajnih varijabli Zk, k = 1,2, ...,n, odredena a;&=o:;+ o i , k=1,2 ,...,n.
izrazima
Entropija H(Y) Ce biti maksimalna kad su ispunjeni sljedeki uvjeti:
1. sve komponente sluEajnog vektora Y su medusobno neovisne sluliajne
varijable;
a autokovarijanca zadovoljava sljedeCe svojstvo: 2. svaka komponenta ima najveCu entropiju pod zadanim uvjetima.

Prvi uvjet implicira da su uzorci Yk medusobno neovisni, a ispunjenje drugog
uvjeta pretpostavlja da svaki uzorak ima Gaussovu razdiobu, kao Sto je veb
ranije pokazano u ovom poglavlju. Dakle, inaksimalna transinformacija je
odredena izrazom
I~~ (x;Y)= t l 0 g ( D y , &)-glog(flzi G)
4
- I:[
k=l k=l
k:li [
log - +log 2)
I+-.
Izvor koji omogudava postizanje maksimalne transinformacije takoder generira
signal Eije su komponente medusobno neovisne i imaju Gaussovu razdiobu, jer
je njihovu funkciju gustoCe vjerojatnosti mogude dobiti konvolucijom funkcija
gustoCe vjerojatnosti sluEajnih varijabli Yki Zk. KonaEno, pretpostavimo da su
standardne devijacije svih komponenti Xk medusobno jednake te da su i
standardne devijacije svih komponenti Zk takoder medusobno jednake
U tom sluEaju izraz za maksimalnu transinformaciju prelazi u
Sada moieino o: i a: zamijeniti oznakama S i N, koje predstavljaju srednju
snagu signala, odnosno srednju snagu Surna (vidi 3.1.5):
PraktiEna vainost ovog izraza je u tome Sto je maksimalna transinformacija
prikazana pomoCu srednje snage signala i srednje snage Suma, koje je mogude
mjeriti u laboratoriju. Nadalje, ako je sluEajni signal X pojasno ograniEen na
pojas 0 2 1 f ( 2 B herca, tada je prilikom njegova uzorkovanja potrebno poStivati
uvjet da je frekvencija uzorkovanja, f,, barem dvostruko veCa od gomje grani-
Ene frekvencije B: f, 2 2B. U tom sluEaju broj uzoraka uzetih unutar jedinice
vrernena iznosi 2 B (dakle n = 2B), pa konaEan izraz za kapacitet kanala, C,
prelazi u
3. KOMUN~KAC~JSKIKANALI U KONTINUIRANOM VREMENU
pored ovog oblika, izraz za kapacitet kanala moguce je krace zapisati i kao
c = 2BD, pri Eeinu je D dinarnika, prikazana brojem bita prenijetih svakim
uzorkom:
Ako spektralnu gustocu snage Suma, SN(f), definiramo kao
tada je srednja snaga Suma unutar frekvencijskog pojasa 0 5 IfJ I B dana kao:
N = NoB, pa izraz za kapacitet kanala prelazi u
Ovaj izraz predstavlja konaEni izraz za odredivanje informacijskog kapaciteta
kanala, kojeg je postavio CIaude Shannon. Dakle, uz uvjete zadane teoremom
kanalom je moguCe prenositi C bids uz proizvoljno malu vjerojatnost pogreSke,
ako se primijeni sustav za kodiranje zadovoljavajude razine sloienosti. Kanalom
nije moguce prenositi infonnaciju brzinoln veCom od C bids, a da je pri tome
vjerojatnost pogreSke proizvoljno mala, bez obzira na sloienost kodera. Teorem
o informacijskom kapacitetu kanala odreduje fundainentalno ogranicenje za
prijenos bez pogreiaka kroz pojasno ograniEen Gaussov kanal s ogranieenom
snagom predajnika. Kako bi se u stvamoln kanalu pribliiili tom ograniEenju
nuino je da poslani signal ima statistiEka svojstva koja su pribliino jednaka
svojstvima bijelog Gaussovog Suma. Iz gomjeg izraza vidljivo je da je
informacijski kapacitet kanala lakSe poveCati proSirenjem frekvencijskog pojasa
kanala nego povebavanjem snage signala na izlazu predajnika.
Primjer: Ogranic'enjeinformacijskog kapaciteta kanala uzrokovano
kvantizacijskim Sumom
Pretpostavimo da se radi o telefonskom kanalu, Cija Sirina prijenosnog pojasa
iznosi 3100 Hz. Telefonski kanal je pojasnopropusni sustav koji propulta
frekvencije u pojasu od 300 do 3400 herca. Nadalje, pretpostavimo da kroz
takav kanal ielirno sIati digitalni signal koji nastaje obradom sinusnog signala.
Ako se koristi kvantizacija s 256 razina (L = 256, R = 8), tada odnos srednje
snage sinusnog signala prema srednjoj snazi kvantizacijskog iuma iznosi 49,8
dB (Tablica 3.1). Dakle, B = 3100 Hz i SIN = 95499. S ovim podacima, koristdi
Shannonovu formulu, moiemo izraEunati informacijski kapacitet telefonskog
kanala: C = 5 1283 bids.

Naravno, kvantizacija nije jedini uzrok smetnji u telefonskom kanalu pa je
stvami kapacitet takvog kanala i manji od izracunatog iznosa. Mjerenja pokazuju
da je kod barem 50% krajnjih korisnika odnos srednje snage signala prema
srednjoj snazi Suma manji ili jednak 35 dB. Dakle, SIN= 3162, pa informacijski
kapacitet C iznosi 36044 bitls. Ovo je glavni razlog zaSto modemi za prijenos
podataka telefonskim kanalima (na engleskom: voiceband modems) nisu
razvijeni za brzine veCe od 33.600 bitis.
3.4.5. UCinkovitost prijenosnog pojasa
Definirajmo kao idealan onaj sustav u kojem se bitovi prenose brzinom Rb = C
[bitls]. Nadalje, ako promatramo neki signal x(t) (na primjer, signal sliEan onom
na Slika 3.33) trajanja T pomoCu kojeg se bitovi informacije prenose kanalom,
tada je srednja snaga tog signala, S, definirana kao
pri Eemu je E energija signala x(t). OEito je da ako srednju snagu predajnika
ograniCimo na neki iznos, energija signala raste linearno s vremenom. Predajnik
koji generira Rb bita u jedinici vremena u stvari Salje jedan bit informacije u
kana1 svakih IIRb sekundi. Dakle, srednja energija po svakom bitu, Eb, jednaka
je Eb= SIR. Sukladno tome, u idealnom Ce sustavu vrijediti da je S = EbC. Omjer
kapaciteta kanala, C, i Sirine prijenosnog pojasa, 5, odreden je sljedekim
izrazima:
pri Eemu je EdNo omjer energije signala po bitu prema spektralnoj gustoti snage
Suma. OpCenito, omjer prijenosne brzine Rb i Sirine prijenosnog pojasa sustava
naziva se ~Einkovitostprijenosnog pojasa (engleski: bandwidth eficiency), [I].
Kako se Sirina prijenosnog pojasa povekava prema beskonaEnosti, omjer EdNo
se pribliiava svojoj donjoj graniEnoj vrijednosti (taj omjer teoretski nema gomju
graniEnu vrijednost):
3. KOMUNIKACIJSKI
KANALI U KONTMUIRANOM VREMENU
/
Ta se vrijednost naziva i Shannonovo ogranitenje AWGN kanala, uz
p r e t p ~ s t a ~ kdau je zalihost koda korigtenog u prijenosu informacije jednaka nuli.
~ d ~ o v a r a j u gomja
ka granitna vrijednost kapaciteta kanala je
3.4.6. Odnos prijenosne brzine i kapaciteta kanala
prijenosna brzina Rb moie biti u sljedekim odnosima s kapacitetom kanala, C:
Rb=C
graniEna vrijednost prijenosne brzine;
Rb < C
prijenos brzinom, koja je manja od kapaciteta kanala, moguCe je
realizirati s po volji malom vjerojatnoSCu pogreSaka simbola u prijeinu;
Rb> C
prijenos brzinom, koja je veCa od kapaciteta kanala, nije moguCe
realizirati s po volji malom vjerojatnoSCu pogreSaka simbola u prijernu.
Dakle, realni prijenosni sustavi uvijek su projektirani tako da je prijenosna
brzina manja od kapaciteta kanala (vrijednost Rb = C je ionako ostvariva isklju-
Eivo teoretski). To je nuino kako bi takvi sustavi bili pouzdani. Stoga je prilikom
razmatranja praktiEnih prijenosnih sustava u kojima je vjerojatnost pogreSke
dovoljno mala (iznos dovoljno male vjerojatnosti pogreSke odreduju dizajneri
sustava) potrebno uvesti n o w veliEinu, namanu smanjenje odnosa srednje snage
signala prema srednjoj snazi Suma, T, [I]. T j e hnkcija dozvoljene vjerojatnosti
pogreSke i kodnog sustava koriStenog u prijenosu, te odreduje ~Einkovitost
realnog kodnog sustava u odnosu na idealni sustav (kakvog je Shannon
pretpostavio u teoremu o informacijskom kapacitetu kanala). Ako je kapacitet
kanala odreden izrazom C=1/2 log (1 + S I N ) [bitlsimbol] , tada vrijedi
Dakle, za prijenosnu brzinu sada vrijedi
R = l log(l + L)
[bitisimbol].
2 TN
R, = Blog 1+-
odnosno
[ TSNI
[bitls] .
 - 3. KOMUNIKACIJSKI
KANALI U KONTINUIRANOM VREMENU

3.4.7. lnformacijski kapacitet kanala s obojenim Sumom (Slika 3.36). Sto je manja Sirina prijenosnog pojasa potkanala, AJ to je
aproksimacija bolja. U graniEnorn sluEaju, kad Af teii u nulu, stepenasta se
U ovom potpoglavlju Shannonov teorem o informacijskom kapacitetu kanala bit aproksimacija pribliZava stvarnom amplitudnom odzivu kanala, I H ( , f ) I .
Ce proSiren s pojasno ograniEenog AWGN kanala na opkenitiji model kanala s MoguCe je pretpostaviti da svaki potkanal u aprohimaciji djeluje kao AWGN
obojenim Sumom, [I], [3]. Obojenim Sumom (engleski: coloured noise) se kanal.
ponekad naziva i Sum koji nije bijeli (engleski: non-white noise), a njegova
spektralna gustoCa snage nije konstantna po svim frekvencijama.
Slika 3.35a prikazuje model kanala s obojenim Sumom, pri Eemu H(f)
oznaEava prijenosnu funkciju kanala. Sum koji aditivno djeluje na izlaz kanala,
n(t), je modeliran funkcijom koja predstavlja jedan od mogukih ishoda
stacionarnog Gaussovog procesa srednje vrijednosti jednake nuli i spektralne
gustoCe snage S N (f ) (Slika 3.35a).
Cilj pri odredivanju kapaciteta kanala s obojenim Sumom je sljedeki:
PronaCi takav ulazni signal, opisan spektralnom gustoCorn snage Slika 3.36: Stepenasta aproksimacija (crtkana linija)
S, (f ), koji omoguhva postizanje maksimalnog uzajamnog sadXaja amplitudnog odziva kanala (debela linija)
informacije izmedu izlaza kanala, y(t), i ulaza u kanal, x(t), uz
pretpostavku da je srednja snaga ulaznog signala x(t) ograniEena na Uvodenjem ekvivalentnog modela kanala (Slika 3.35b) i podjelom kanala na
fiksni iznos S. Samim time bit de odreden informacijski kapacitet potkanale 3irine prijenosnog pojasa Af herca, izvoini je model kanala (Slika
takvog kanala. 3.35a) zamijenjen paralelnom kombinacijom N potkanala (svaki potkanal
zauzima zasebno frekvencijsko podruEje), pri Eemu u svakom od njih djeluje
Prilikom rjeSavanja ovog optimizacijskog problema bit Ce koriStena zarnjena pojasno ograniEeni bijeli Gaussov Sum (Slika 3.37), [I],[I 51.
modela kanala u kojem Sum djeluje na izlazu kanala sa sliEnim modelom u
kojem Sum, opisan signalom n,(t), aditivno djeluje na ulazni signal x(t) (Slika
3.35b). Tu zamjenu narn omoguCava linearnost kanala. Usporedimo li spektralna
obiljeija signala mjerena na izlazu kanala, oba modela kanala su ekvivalentna.
Naravno, kako bi ta ekvivalentnost bila potpuna, spektralna gustoka snage Suma
nett) mora biti povezana sa spektralnom gustoborn snage Suma n(t) sljedekim
izrazom:

Slika 3.35: a) Model pojasno ograniEenog kanala s obojenim Sumom i Slika 3.37: Aproksimacija kanala s N paralelnih potkanala
b) ekvivalentni model takvog kanala
Dakle, za k-ti potkanal u ekvivalentnom modelu vrijedi:
Kako bi lakSe proveli analizu, kanal Ce u ekvivalentnom modelu biti podijeljen u
veliki broj frekvencijskih odsjeEaka (potkanala), kao Sto je prikazano slikom
 UVODU TEORIJU INPORMACIJE I KODIRANJE 3. KOMUNIKACIJSKIKANALI U KONTINUIRANOM VREMENU
-
Srednja snaga kornponente ulaznog signala x(t) u k-tom potkanalu, oznaEene
funkcijorn xk(t),je dana izrazom

Kako bi zadovoljili to rjeienje, postavljamo sljedeCi uvjet:

gdje Sx(f,) oznaEava spektralnu gustoCu snage ulaznog signala na frekvenciji
h f k .

pri Eernu je K konstanta jednaka za sve potkanale. Drugim rijeEima, zbroj

Varijanca komponente Suina, nk(t), dana je sljedeCim izrazom: srednje snage signala i srednje snage Suina rnora u svakorn potkanalu biti kon-
stantan. UvrStavajuCi izraze (3.11) i (3.12) u (3.14), nakon sredivanja dobivamo
sljedeCi izraz:

S N ( ~ ;2; ), k=1,2 ,..., N.

~x ( f , ) = K --
pri Eemu je SN(fk)spektralna gustoCa snage Surna na frekvencijifk, a I H (f,)I je
amplitudni o&iv kanala na toj istoj frekvenciji. Sada je rnoguCe izraEunati
If (fk )I
informacijski kapacitet k-tog potkanala, Ck, koristeCi izraz (3.10), pri Cemu Neka 3 oznaEava podrueje frekvencija unutar kojeg konstanta K zadovoljava
uvodirno jednostavnu zarnjenu B = Aj72: uvjet

K>- S N (A)
If ( A) I 2
Faktor 112 u gomjem izrazu potjeEe od Einjenice da se girina prijenosnog pojasa Tada, ako se Afpribliiava nuli i broj potkanala raste u beskonatnost, inoguCe je
Af podjednako odnosi na pozitivne i negativne frekvencije u nekom potkanalu. upotrijebiti izraz (3.15) kako bi utvrdili da je spektralna gustoCa snage ulaznog
Nadalje, svi su potkanali mebusobno neovisni jedni o drugirna. Stoga je ukupni signala, uz koju se postiie maksiinalna vrijednost informacijskog kapaciteta,
informacijski kapacitet cijelog kanala dan zbrajanjem komponenti Ck: nenegativna velitina definirana na sljedeCi naEin:

Problem je kako postiki rnaksirnalan ukupni informacijski kapacitet kanala uz

uvjet da je ukupna snaga ulaznog signala ograniEena na fiksni iznos S:
BuduCi da je srednja snaga sluEajnog procesa dana ukupnom povriinom ispod
kriwlje spektralne gustoCe snage procesa, srednju snagu ulaznog signala x(t)
rnoguCe je izraziti kao
UobiEajeni postupak za rjeSavanje takvog problerna je prirnjena metode
Lagrangeovih multiplikatora. Prije nastavka optimizacijske procedure potrebno
je prvo definirati ciljnu funkciju koja zajedno obuhvaCa informacijski kapacitet
kanala i ogranicenje snage ulaznog signala:
Uz unaprijed zadanu snagu S i specificirane SNV) i IH(f)I potrebno je odrediti
konstantu K tako da bude zadovoljena jednadiba (3.17).
Preostalo je jog odredivanje rnaksiinalnog inforrnacijskog kapaciteta kanala.
Supstitucijorn izraza (3.14) u izraz (3.13), i nakon toga uvritavanjem definicij-
pri Eernu je A Lagrangeov multiplikator. Derivirajudi ciljnu funkciju J po snazi
skih vrijednosti iz izraza (3.1 1) i (3.12) konaEno dobivarno
Sk i izjednaEavajuCi rezultat s nulorn, dobivamo sljedeCi izraz:
UVODU TEORIJU INFORMACIJE I KODIRANJE
- I
Kad pustimo da Af teii u nulu, gomji izraz prelazi u svoj graniEni oblik:
pri Eemu je konstanta K odabrana kao rjegenje jednadibe (3.17) uz unaprijed
zadanu snagu ulaznog signala S.Izrazi (3.16) i (3.17) sugeriraju sljedeCi grafiEki
prikaz (Slika 3.38). Temeljem tog prikaza moguCe je zakljuEiti da je snaga
ulamog signala, S, odredena ukupnom povriinom osjencanih podrui?ja na slici.
Takav se prikaz naziva interpretacija punjenjem vode jer je proces po kojem se
snaga ulaznog signala rasporeduje u odnosu na funkciju S, ( f ) l 1 H (f)
identiean naEinu na koji se voda rasporeduje unutar posude.
0 f
Slika 3.38: Interpretacija teorema o informacijskom kapacitetu kanala
s obojenim iumom punjenjem posude vodom
Razmotrimo idealiziran sluEaj pojasno ograniEenog signala na kojeg djeluje
aditivan bijeli Gaussov gum spektralne gustoCe snage No12. Prijenosna funkcija
idealnog pojasno propusnog kanala definirana je kao
pri Eemu je j$ srediSnja frekvencija u pojasu Sirine B. Za ovaj poseban sluEaj
izrazi (3.16) i (3.1 7) svode se na sljedete:
3. KOMUNIKACIJSKJ
KANALI U KONTINUIRANOM VREMENU
~liminirajutikonstantu K iz gornja dva izraza dobivamo standardni oblik
ShannonOVOg izraza za informacijski kapacitet kanala
3.5. Saietak poglavlja
Cilj ovog poglavlja bio je odrediti kapacitet komunikacijskog kanala u kontinui-
ranom vrernenu. Za odredivanja kapaciteta kanala neophodno je pomavanje
signala i njihovih srednjih snaga (potpoglavlje 3.1) te poznavanje obiljeija
prijenosnog sustava (potpoglavlje 3.2), s posebniin naglaskom na njegow Sirinu
prijenosn~gpojasa. Kao Sto je opisano u potpoglavlju 3.4, prilikoin proraEuna
kapaciteta pojasno ograniCenog kanala ulazni je signal bilo potrebno uzorkovati
(potpoglavlje 3.3). KonaEni rezultat, prikazan izrazom (3.10), predstavlja
maksimalnu teoretsku vrijednost kapaciteta pojasno ograniknog kanala.
Medutirn, kapacitet kanala u stvamim uvjetima ima vrijednost manju od
teoretski ostvarive, a njegov proraEun izlazi izvan okvira ove knjige.
3.6. Zadaci
Zadatak-2: Razvijte u kompleksni eksponencijalni Fourierov red funkciju
x(1) = cos(2nf,t) + sin2(2nfor) .
Zadaiak-l?: Odredite koji su od navedenih signala (a)-(c) signali snage, signali energije
ili niti jedno od toga.
(a) x(t) = e-"M,a > 0;
(b) x(t) = u(t) ;
(c)~ ( t=) t .~ ( t;)
I 220
gdje je u(t) =
0 t<0'
Zadatak-3: Signal S~lma,n(t), ima spektralnu gustoh snage & (f) definiranu kao
UVODu TEORIJU MFORMACIJE I KODIRANJE

(a) Odredite autokorelacijsku hnkciju Suma (Napomena: f,> B ).

I (~lika3.401.
3. KOMUNIKACIJSKI KANALI u KONTINUIRANOM VREMENU
zadatak-8: Neka je dan pojasno ograniteni signal m(t) sa spektroin predoEenim na slici

(a) Odredite minimalnu dozvoljenu frekvenciju uzorkovanja i skicirajte spektar

uzorkovanog signala. Odredite na koji je naEin mogube provesti rekonstmkciju signala
,(fl~,iz uzorkovanog signala.
(b) Odredite srednju snagu Suma. @) Skicirajte spektar uzorkovanog signala za sluEaj uzorkovanja signala m(t) s J, = 45
'
Zadatak-4: Dan je perioditan slijed pravokutnih iinpulsa x(t) amplitude A [V], m z . Odredite na koji naEin je moguCe provesti rekonstmkciju signala m(t) iz
frekvencijef= 2 kHz i odnosa s / F 1 / 4 (Slika 3.39). uZorkovanogsignala.
(a) Skicirajte spektar danog signala. (c) ponovite b) ako jef;,= 50 kHz.
(b) Odredite vrijednosti komponenata spektra (co do cs).

(c) IzraEunajte odnos snaga

z:*-,
-
P
4 .

Slika 3.40

Zadatak-9: Dan je kontinuirani komunikacijslu sustav s frekvencijskim pojasom

prijenosa od 4 kHz i aditivnim bijelim Gaussovim Sumom spektralne gustoCe snage kao
na slici (Slika 3.41). Odredite kapacitet danog prijenosnog sustava ako se na prijamnoj
strani zahtijeva snaga signala od 0,l mW.
Slika 3.39

Zadatak-5: PeriodiEni slijed pravokutnih impulsa x(t) (Slika 1. Zadatak-4) frekvencije

10 kHz i odnosa impuls-pauza 3:l treba biti propugten kroz idealni niskopropusni filtar,
ali tako da se barem 90% snage signala prenese na izlaz filtra.
(a) Odredite graniEnu frekvenciju filtra f,.
(Napomena: Kod proraEuna raditi s najmanje 3 decimalna mjesta!)
(b) Skicirajte realni dio spektra signala na ulazu u filtar za podruEje od -80 do 80kHz.
Slika 3.41
(c) Odredite poziciju prve nul-toEke ovojnice spektra signala.
Zadatak-6: Odredite prijenosnu funkciju LTI sustava Eiji je impulsni odziv Zadatak-10: Signal x(t) = 3 cos(12000a. t) + cos(5000z - t) + cos(10000~t) [V] prisu-
-loll\
h(i) = 0.5e . tan je u kanalu s aditivnim pojasno ograniEenim bijelim Sumorn spektralne gustobe snage
0,2 mW/Hz za 0-12 kHz i 0 mW& iznad 12 kHz. Na prijamnoj strani signal i pridodani
Zadafak-7: Na ulazu LTI sustava impulsnog odziva h(i) = e-bfu(~)( b = konstanta, Sum propusteni su kroz idealni pojasnopropusni filtar sa Sirinom pojasa 1 kHz i
centralnom frekvencijom pojasa propuStanja na 6 kHz.
b ~ R 3 , djeluje signal obilje2ja stacionamog slucajnog procesa X(t) Eija je
autokorelacijska funkcija R,(r) = ~ e - " l ' l (a = konstanta, QER'; A = konstanta, A E R ~ (a) IzraEunajte srednji odnos signal-Sum na ulazu u filtar (u dB!).
Odredite autokorelacijsku funkciju sluEajnog signala na izlazu, Y(t), LTI sustava. (b) Izratunajte srednji odnos signal-gum na izlazu iz filtra (u dB!).

(Napomena: u(t) =
{:1): Zadatak-11: Govomi se signal na ulazu nekog prijenosnog sustava uzorkuje s
frekvencijom uzorkovanja f, = 8 kHz, a potom kodira s 8 bitova po uzorku. Odnos
UVODU TBORUU W'FORMACIJE 1 KODIRANJE

srednje snage signala prema srednjoj snazi Suma u kanalu iznosi 30 dB. Odredite
potrebni pojas prijenosa ako se Sum u kanalu poveCa za 3 dB.
Zadatak-12: Na ulaz sklopa za analogno-digitalnu ( A D ) pretvorbu signala dovodi se
analogni signal Sirine pojasa prijenosa 4 kHz. Signal se uzorkuje frekvencijom
uzorkovanja koja je 1.25 puta veda od minimalne dozvoljene frekvencije uzorkovanja.
Nakon toga se svaki uzorak kodira s 8 bitova.
a) Odredite informacijsku brzinu na izlazu sklopa za A/Dpretvorbu.
b) Da li je moguCe informacijski slijed bitova iz A/D pretvornika bez pogreSaka prenositi
kanalom s aditivnim bijelim Gaussovim Sumom, u kojem je odnos srednje snage signala
prema srednjoj snazi Suma (SIN) 20 dB i koji ima pojas prijenosa 10 kHz?
c) Odredite odnos SIN (u dB) koji osigurava prijenos bez pogreSaka za b) dio zadatka.
Zadatak-13: Na ulaz kvantizatora dolazi sinusni signal amplitude A, koji koristi sve
razine za rekonstrukciju signala. Minimalni zahtjevani odnos srednje snage signala i
srednje snage kvantizacijskog Su~nana izlazu kvantizatora je 40 dB. Odredite broj
kvantizacijshh nivoa kvantizatora te proraeunajte odgovarajudi odnos srednje snage
signala i srednje snage kvantizacijskog Suma na izlazu kvantizatora.
Zadafak-14: Signal u r n ( [ )= 10sin(2n10001)uzorkuje se frekvencijorn od 3 kHz. Uzorci se
potoln kvantiziraju u kvantizatoru ((jednoliko kvantiziranje) s osam nivoa. ProraEunajtc ranj
odnos srednje snage signala i srednje snage kvantizacijskog Suma na izlazu kvantizatora.
Zadatak-15: Na ulaz PCM (engl. Pulse Code Modulation) sustava dolazi signal

u,,>(t)= 0,8sin(2n2000t +c)

4
. Uzimanje uzoraka izvodi se u trenucima t = kT,,

k = 0,+1,+2, ... i To= 125ps . Amplitude uzoraka nalaze se u intervalu Iu(t)l10,8 i

kvantiziraju u kvantizatoru (jednoliko kvantiziranje) s osam kvantizacijskih nivoa (Slika
3.42). Koder izvodi kodiranje uzoraka binarnim kodom. Odredite analitiEki oblik signala
na izlazu iz dekodera (prijamnik!).

4.6. ReedSolomonovi kodovi

4.7. Konvolucijsko kodiranje
4.8. Turbo kodovi
4.9. Zadaci
e
----*&. " . -
fl-'
"e-
h'(F
,*#
Slika 3.42
zadatak komunikacijskog sustava je St0 vjemije prikazati informacijski sadriaj
izvora informacije primatelju informacije koji se nalazi na fizitki udaljenoj
lokaciji. Kako bi informacijski sadriaj bilo moguk prenositi, on mora dobiti
fizikalni prikaz pogodan za zapis i prijenos - kodiranu poruku. Kodirana se
poruka sastoji od niza simbola izabranih iz konatne abecede simbola. Kodirana
poruka nastaje u koderu informacije postupkom kodiranja koji je posebno
prilagoden prirodi izvora informacije. Dekoder informacije na prijamnoj strani
vrSi dekodiranje kodirane poruke i primatelju inforrnacije predaje sadriaj
poslane informacije.
prijenos simbola poruke, koji su formirani u koderu informacije, podloian je
pogreSkama uzrokovaniln smetnjama u prijenosnom kanalu. PogreSka se otituje
kao pogreSan prijenos jednog ili viSe simbola poslane poruke. Smetnje su najviSe
i m i e n e u prijenosnom mediju, kao sastavnom dijelu prijenosnog kanala.
~ i m b o l iporuke se u prijenosnom mediju preslikavaju u odredene oblike
elektrolnagnetskog vala, kojeg nazivamo signal. Izoblitenje oblika signala moie
u prijamniku uzrokovati pogreSnu detekciju simbola koji je poslan, a time i
pogreSku u kodiranoj poruci. IzobliEenju signala velikim dijelom doprinosi Sum.
Medu prioritetima komunikacijskog sustava je osigurati zagtito kodirane poruke
od poiregaka koje nastaju prilikom prijenosa uporabom zaStitnog kodiranja.
OpCenito se moie reCi da je zaStitno kodiranje postupak dodjeljivanja zaStitnih
kodnih rijeti simbolima kodirane poruke. Navedeni postupak provodi se u
koderu kanala. ZaStitne kodne rijeti se sastoje od niza simbola iz abecede, koja
je jednaka ili razliEita od abecede simbola, od kojih je satinjena kodirana
poruka. Pravilo dodjeljivanja kodnih rijeti simbolima kodirane poruke zovemo
zaStitni k6d, pa kafemo da se zaStitno kodiranje provodi zagtitaim kodom.
Dekodiranje prenijetih zaStitnih kodnih rijeti na prijamnoj se strani odvija u
dekoderb kanala.
U ovom su poglavl~uopisani zaititni kodovi kod kojih se kodirana poruka, tj.
slijed simbola iz kodera informacije, na ulazu u koder kanala dijeli u fragmente,
koje u okviru ovog poglavlja jednostavno nazivamo porukama (Slika 4.1).
ZaStitni k6d je definiran pravilom pridruiivanja zaStitnih kodnih rijeti poru-
kama. Pravilo pridruiivanja moie se temeljiti samo na trenutnoj ulaznoj poruci
ili na ulaznoj poruci i porukama koje su ranije zagtitno kodirane. Slijed zaStitnih
kodnih rijeti formira zagtitno kodiranu poruku koja se prenosi prijenosnim
kanalom. ZaStitne kodne rijeti Cemo u nastavku zbog jednostavnosti zvati kodne
rijeEi (engl. code word).
Princip zaStitnog kodiranja poruke slitan je mehanizmu koji veC postoji u jeziku.
Hrvatski jezik je savrSen primjer buduCi da postoji nedvosmisleno preslikavanje
izmedu izgovorene i pisane rijeEi (fonetitnost). ProsjeEna duljina rijeEi je 5 slova
(simbola), a abeceda koju upotrebljavamo ima 30 slova. Tako moiemo procije-
niti da bi u hrvatskom jeziku rnoglo biti oko 30' = 24,3 rnilijuna rijeti. Medu-
UVOD u TEORIJU MFORMACIJE I KODIRANJE
tim, svjesni smo da je realan broj rijeEi daleko manji. To omoguCuje da se u
velikom broju slutajeva susjedne rijeEi ne razlikuju samo po duljini, nego i po
velikom broju razliEitih slova. Na primjer, rijeEi PRODOR i PRIZOR su
jednake po duljini i vrlo slitne po redoslijedu i uporabi simbola (slova).
Medutim, Eak je i u tom sluEaju razlika izmedu ovih rijeEi u 2 simbola. To nanl
omoguCuje da prilikom razgovora u prostoru s velikom razinom buke (smetnje
pri prijenosu) ipak razaznamo o kojoj se rijeEi radi na naEin da izaberemo
postojedu rijeC koja je najslitnija rijeti koju smo zapravo Euli.
I I
Kodirana poruka
A
>
I A&
ZaStitna
kodna rii& 1
xi X2
ZaPtrtna
kodna riiet 2
xa Xq Xs X6 X7 XB Xs XIO
ZaStitno kodirana poruka
1 2 3 4
Predajnik
Slika 4.1: Fragmentiranje kodirane poruke na ulazu u koder kanala
i zagtitno kodiranje
ProsjeEna duljina rijeti koje upotrebljavamo u jeziku je pun0 veCa od prosjetne
duljine zamiSljenog optimalnog koda jezika (njegove entropije). Medutim, jezik
osigurava zaStitu od smetnji pri komunikaciji: npr. buke, prekida u komunikaciji
ili npr. razmazanih ili izgubljenih slova u pismu.
Jednak princip koristi se i kod zaititnog kodiranja. ZaStitnim se kodiranjem
porukama dodjeljuju kodne rijeEi koje imaju veCu prosjeEnu duljinu od
prosjeEne duljine poruka. To omoguCuje da dekoder na odrediitu otkrije pogre-
Sku nastalu prilikom prijenosa. Cilj je iskoristiti onaj zaStitni k8d koji uvodi
najmanje moguCe povedanje prosjeEne duljine kodnih rijeEi u odnosu na
prosjeEnu duljinu poruka, a u isto vrijeme osigurava prihvatljivo malu vjerojat-
nost da pogreSke simbola zagtitno kodirane poruke nastale pri prijenosu ostanu
neotkrivene.
Ukoliko dode do otkrivania- -pogreSke
- na primljenoj kodnoj rijeEi, pokreCe se
postupak otklanjanja pogreSke (engl. error-correction). Jedan natin otklanjanja
pogreSke je koriStenje posebnih svojstava zaStitnog koda kako bi se odredila
kodna rijeE koja je zapravo poslana. Opisani pristup zovemo ispravljanje
pogreSki u dekoderu kanala (FEC - engl. forward error correction). Koristi se
prvenstveno onda kada odrediSte ne moie zatrafiti ponovno slanje pogreSno
primljene kodne rijeEi (engl, retransmission). ZaStitni kodovi koji se koriste u
ovom pristupu moraju posjedovati svojstva otkrivanja i ispravljanja pogreSaka i
takve kodove zovemo kodovi za ispravljanje pogreiaka (engl, error correcting
code).
u sluCaju kada postoji mehanizam koji odrediitu omoguduje da zatraii ponovno
slanje krivo primljene kodne rijeEi, koristi se pristup ispravljanja pogreHki
ponovnirn slanjem (BEC - engl. backward error correction). U ovom pristupu,
kada odrediite otkrije pogreiku na primljenoj kodnoj rijeti, prvo je pokuSava
otkloniti koristeCi se strukturom samog koda. Ukoliko nije moguCe otkloniti
pogreik~, ili sam zaStitni k6d ne pruia mogudnost otklanjanja pogrebke,
odrediite traii ponovno slanje kodne rijdi sve dok se ne primi ispravna kodna
rijeE. ZaStitne kodove koji mogu samo otkriti pogreSke zovemo kodovi za
otkrivanje pogreSaka (engl. error detection code). ZaStitni kodovi za otkrivanje
p~greSakamogu, ali i ne inoraju imati sposobnost otklanjanja pogregaka.
Xi1 X i 2
~ G t i t n ise kodovi dijele u dvije osnovne skupine: blok kodovi (engl. block
codes) i konvolucijski kodovi (engl. convolutional codes), koji se u literaturi
dosta Eesto mogu naCi i pod nazivima stablasti (engl. tree) ili reietkasti (engl.
@ellis)kodovi. Glavne razlike medu navedenim skupinama kodova su u naCinu
izvedbe kodera. Kod blok kodova se k-bitna poruka potpuno preslikava u n-bitnu
kodnu rijeE. DrukEije reEeno, koder za blok kodove spada u grupu kodera bez
memorije (engl. n~emoryless)jer je generiranje nekog bita u kodnoj rijeEi
iskljuEivo funkcija trenutatnog stanja ulaza kodera. Konvolucijski kodovi
spadaju u p p u memorijskih kodova. Kod njih je generiranje nekog bita u
kodnoj rijeCi funkcija trenutacnog stanja ulaza kodera kao i nekolicine njegovih
prethodnih stanja.
Takoder, postoji i druga podjela zaititnih kodova, a to je na linearne (engl.
linear) i nelinearne (engl. nonlinear) kodove. Navedena je podjela napravljena
na osnovu strukture i svojstava kodnih rijeti. Linearni kodovi su oni kodovi Eija
se svaka kodna rijeE moie izraziti kao linearna kombinacija drugih kodnih rijeti.
Njihova je primjena jako rasprostranjena. Postoje tri kategorije linearnih kodova,
i to: blok, konvolucijski i turbo kodovi. Njihova Ce svojstva biti analizirana u
sljedeki~npoglavljima.
4.1. Uvod u blok kodove
ZaStitni k8d se sastoji od odredenog broja kodnih rijeEi i pravila dodjeljivanja
kodnih rijdi porukama koje se kodiraju. Broj simbola u kodnoj rijeEi zove se
duljina kodne rijeti. Kodne rijeEi zaititnog koda formiraju se tako da se
simbolima poruke na ulazu kodera kanala dodaje jedan ili viSe redundantnih
simbola, ili se svakoj poruci pridruiuje zasebna kodna rijeE koja ima veCi broj
simbola od originalne poruke. U binarnim digitalnim komunikacijskim
sustavima kodne rijeEi i poruke su nizovi jedinica i nula. Na primjer, poruka'
moZe biti 10110. ZaStitni koder na tu poruku dodaje jedan zaStitni bit tako da
zbroj jedinica bude paran - 101101. Dobivena kodna rijeE omoguduje otkrivanje
UVOD U TEORlJU INFORMACIJE I KODIRANJE
jednostruke pogregke simbola (bita). Ovo je primjer paritetnog kodiranja koje Ce
biti posebno obradeno u nastavku poglavlja.
OpCenito se moie govoriti o q-arnom kodu, Eije se kodne rijeEi sastoje od
simbola izabranih iz konaEnog skupa simbola F, = {XI,..., X q ) s q elemenata
kojeg nazivamo abeceda (engl. alphabet). NajEeSCe se abeceda izabire kao
konaEan podskup skupa cijelih brojeva, a broj elemenata u abecedi se izabire kao
prost broj ili potencija prostog broja. U digitalnim se kolnunikacijskim
sustavima koristi abeceda F2= {0, 1). Silnboli abecede F2su binarne znanlenke
0 i 1, a kodovi koji koriste ovu abecedu zovu se binarni kodovi. U daljnjem
tekstu prouravamo iskljurivo zaHtitne binarne kodove.
Primjer zaStltnog kodiranja:
Princip zagtitnog kodiranja vidljiv je iz sljedekeg prirnjera. Izvor infonnacije
generira Eetiri razliEita simbola: A , B, C i D, a koder inforlnacije kodira ih
binarnim kodoln na sljedeCi naEin:
0 0 - A ;
0 1 - B ; veCu razliku izmedu svih kodnih rijeEi. Za mjeru razliEitosti kodnih rijeEi uzima
1 0 - C ; se Hammingova udaljenost [16].
1 1 - D . HAMMINGOVA UDALJENOST: Hamlningova udaljenost izmedu dvije
Koder kanala zagtitno kodira ove poruke dodajuCi jedan redundantni simbol na
sljededi naEin:
Dobiven je zaltitni k6d s Eetiri kodne rijeEi i pravilom njihovog pridruiivanja
porukalna. Mote se uoEiti da ukoliko prilikom prijenosa dode do pogreSke na
jednom simbolu kodne rijeEi, primljena kodna rijeE neCe pripadati zaStitnorn
kodu pa prijamnik moie otkriti da je do510 do pogrelke. K6d K, je k6d za
otkrivanje jednostruke pogreSke.
Neki drugi koder moie dodati tri redundantna simbola. Na primjer, zaStitni k6d
moie biti sljededi:
4. ZASTITNO
KODIRANJE
Kako Cemo vidjeti kasnije u tekstu, k6d K2ne samo da moie otkriti jednostruku
pogreSk~,nego je moie i ispraviti. Dodamo, k6d Kz moie otkriti i dvostruku
pogrelk~.Ispravljanje pogreSke se vrSi tako da prijamnik odredi onu kodnu rijeE
koja se najmanje razlikuje od primljene. Na primjer, ako je primljena kodna rijeE
01 100, najbliZa ispravna kodna r i j d je 01 101, pod pretpostavkom da je nastupila
jednostmka pogreSka na zadnjem simbolu (binamoj znamenci).
~ & t i t n ikodovi KI i K2 iz prethodnog primjera imaju svojstvo da su im sve
kodne rijeEi jednake duljine. Takvi se kodovi nazivaju blok kodovi. Naglasimo
ovaj pojam sljedeCom definicijom.
BLOK KOD: K6d K zove se blok k6d ukoliko su duljine svih njegovih kodnih
njeEi jednake. Ako kodne rijeEi koda K imaju duljinu n, onda je K blok k6d
duljine n.
4.1. I . Hammingova udaljenost
I . prethodnog primjera vidimo da je cilj koristiti z&titni k6d koji osigurava Sto
kodne rijeEi je broj pozicija na kojima se kodne rijdi razlikuju, tj. broj pozicija
na kojima kodne rijeEi imaju razliEite simbole. Oznaka Hamlningove udaljenosti
i m e d u dviju kodnih rijeEi x i y je d(x, y). Hammingova udaljenost se definira
samo za kodne rijeEi jednakih duljina.
Na primjer, Hammingova udaljenost kodnih rijeEi 01 101 i 10110 je d(01101,
10110) = 4.
Kodne rijeEi Eesto prikamjemo vektorima simbola. Na primjer, kodna rijeC
10110 koda K2 iz prethodnog se primjera mote prikazati kao vektor redak s
oznakom x = [I01 101. Clanovi ovog vektora su skalari, 0 i I i pripadaju abecedi
simbola. Na taj naEin poistovjeCujemo kodnu rijeE i vektor, pa je i sam blok k6d
K duljine n zapravo podskup skupa svih mogudih vektora tipa
x = [ xi, x?, ...,x,, 1, gdje su xi skalari iz abecede Fz = {O,1), tj. K _c Fzn.
SVOJSTVA HAMMINGOVE UDALJENOSTI: Za kodne rijeCi x,y,z blok
koda K Hamrningova udaljenost ima sljedeCa svojstva:
d(x,y)=Oakoisamoakojex=y;
d(x, y) = d(y,x) za sve x,y E K ;
d(x, y) 5 d(x, z) + d(z, y) za sve x,y, z E K (nejednakost trokuta).
Navedena svojstva Hammingove udaljenosti ilustrirana su na slici (Slika 4.2).
U V O D U TEORIJU INFORMACIJE I KODIRANJE
Slika 4.5: Hammingovo ogranieenje Slika 4.6: Perfektan kdd
HAMMINGOVA MEDA: Ako postoji binarni k8d (n, M, 2t + 1) , onda je
Prethodni se izraz zove Hammingova meda (engl. sphere-packing botmd).
Idealan je sluEaj kad niti jedan vektor duljine n ne ostane izvan ovih, kodnim
rijeCima opisanih kugli:
PERFEKTAN KOD: Binarni (n, M, 2t + 1) k8d koji zadovoljava izraz:
naziva se perfektan k6d.
Perfektan k8d je onaj k6d udaljenosti 21 + 1 za kojeg vrijedi da su sve moguCe
kodne rijeEi u jednoj od kugli radijusa t (Slika 4.6). Ovo je svojstvo vrlo korisno
kada dode do dekodiranja. Koja god kodna rijeE dode u dekoder kanala, dekoder
Ce uspjeti naCi originalnu kodnu rijeE kojoj pripada.
Na primjer, binarni k6d (2t + 1,2,2t + 1) s kodnim rijeEima 000.. .0 i 11 1.. .1 je
trivijalan primjer perfektnog koda. Medutim, postoje i primjeri netrivijalnih
kodova poput binarnog Golayevog (23,12,7) ili ternarnog Golayevog (1 1,6,5)
koda [2], 131. Pronalaienje perfektnih kodova je u srediStu p d n j e moderne
teorije kodiranja.
- 4. ZASTITNO
KODIRANJE
4.1.3. Ekvivalencija kodova
VaBno je uoEiti da k8d prvenstveno odreduju relativni odnosi imedu pozicija
razliEitih kodnih rijeEi. Na primjer, razmotrimo sljedeka dva koda:
[ o o o o o ( 0 0 1 0 0
I&o izgledaju potpuno razliEiti, izmedu njih postoji odredena funkcijska
ovisnost. K6d K2 je dobiven na naEin da su na treCoj poziciji koda KI
zamijenjeni simboli 1 s 0 i 0 s 1. Nakon toga su zamijenjene pozicije 2 i 4 svih
kodnih rijeEi. Slika 4.7 prikazuje Hammingove udaljenosti kodova.
Slika 4.7: Ekvivalencija kodova
UoEavamo da nema razlike u Hammingovim udaljenostima izmedu pojedinih
njeEi kodova KI i K2, a time nema niti razlike u sposobnosti ovih kodova da
otkriju i isprave eventualnu pogredku. OpCenito se moie redi da zamjene
pozicija kodnih rijeEi ne utjeEu na relativne odnose pojedinih kodnih rijeEi u
pogledu Hammingove udaljenosti. .
Permutacija binarnih znamenki oblika
(0 1)
izvrSena na istoj poziciji svih kodnih rijeEi takoder ne mijenja Hammingove
udaljenosti izmedu pojedinih kodnih rijeEi. Stoga su kodovi, koji se mogu dobiti
jedan iz drugoga primjenom permutacije nad sirnbolima iste pozicije kodnih

rijeEi i zamjenom pozicija, ekvivalentni u pogledu sposobnosti otkrivanja i
otklanjanja pogreSaka.
EKVIVALENTNI KODOVI: Dva binarna blok koda su ekvivalentna ukoliko
se jedan iz drugog mogu dobiti uzastopnom prilnjenom sljedeCih postupaka:
(1) postupkoln permutacije simbola nad jednoin ili viSe pozicija koda,
(2) zamjenoln dviju pozicija koda.
I Primjer: Permutacija kodnih rijeCi ekvivalentnih kodova
Promotr~mobinarni k8d
0 1 1 0
0 0 1 1
1 1 0 0 '
I
1 0 0 1
Ukollko se na drugu i treCu pozic~juprimijeni permutacija
I te se medusobno zamijene pozicije 1 i 4, dobiva se k6d:
1
( 1 1 1 1
I
Dobiveni k8d K' se u odnosu na poEetni k6d K razlikuje u samo dvije kodne
rijeEi, ali posjeduje kodnu rijeE 0. Moie se pokazati da je bilo koji k8d
operacijama permutacije moguCe pretvoriti u ekvivalentan k8d koji u sebi sadrii
kodnu rijeE 0 = 000.. .O.
POSTOJANJE KODNE R I J E ~ I0: Svaki binami blok k6d (n,M,d) je ekvi-
valentan kodu (n,M, d ) koji sadrii kodnu rijeE 0 = 000.. .O.
Primjer: Odredivanje najvekeg broja kodnih rijeEi
Ovo svojstvo moie uvelike pomoCi prilikom odredivanja najveCeg broja kodnih
rijeEi nekog koda. Za primjer odredimo koliki je najveki M binamog koda (5, M,
3), tj. A(5, 3). KoristeCi se Hammingovim ograniEenjem, lako je zakljuEiti da e
M 5 5. Medutim, koristeCi se prethodnim svojstvom, moie se zakljuEiti da je u
4. ZASTITNO
KODIRANJE
nekoln ekvivalentnoln kodu s najvekim brojem kodnih rijeEi kodna rijeE
zasigum~00000. BuduCi da je najmanja Harnmingova udaljenost 3, onda moie
postojati samo jedna kodna rijeC koja ima 4 ili 5 jedinica. To slijedi iz Einjenice
da ako bi bile dvije, njihova bi medusobna udaljenost bila manja od 3, jer bi se
razlikovale u najvige jednoj ili dvije pozicije.
Nadalje, kodna rijeE 1= 11111 takoder nije moguCa buduCi da nije inoguCe
formirati niti jednu kodnu rijeE koja bi imala Harnrningovu udaljenost do kodnfi
rijeCi 0 i 1 od najmanje 3 pozicije. Stoga zakljuEujemo da Ce die koda biti Sam0
jedna kodna rijeE s Eetiri jedinice.
Nije InoguCe ilnati kodne rijeEi s jednom ili dvije jedinice, poSto bi udaljenost tih
kodnih rijeEi do kodne rijeEi 0 bila manja od 3. Dakle, kao kandidati za ostale
kodne rijeEi su samo one koje imaju 3 jedinice. Iako takvih kodnih rijeEi ima
&upno deset, potrebno je izabrati one koje su medusobno udaljene za najmanje
3 pozicije. Provjerom svih kombinacija moguCe je zakljuEiti da samo dvije rijeEi
zadovoljavaju ovaj kriterij. Ove dvije kodne rijeCi zajedno s kodnom rijeEi 0 i
jednom kodnom rijeEi s Eetiri jedinice daju konaEan rezultat A(5,3) = 4. Prilnjer
koda (5,4,3) je:
4.1.4. Paritetno kodiranje
Najjednostavnija klasa blok kodova, koja se koristi u praksi, su kodovi koji
koriste paritetno kodiranje. Ovi se kodovi koriste iskljuEivo za otkrivanje
pogreSki u primljenoj kodnoj rijeEi. Ideja paritetnog kodiranja je dodavanje
zalihosnog simbolalbita poruci tako da zbroj jedinica u dobivenoj kodnoj rij&i
bude paran ili neparan. Zalihosni bit, koji se dodaje poruci, naziva se paritetni
bit (engl.parity check). U praksi se koriste dva natina dodavanja paritetnog bita:
parni paritet (engl. even parity) i neparni paritet (engl. odd parity). Kod
parnog pariteta ukupan broj bitova 1 u kodnoj rijeEi mora biti paran broj, a kod
neparnog pariteta neparan broj.
Na primjer, ukoliko se koristi parni paritet, a poruka je 10110, koder kanala na
kraj rijeEi dodaje bit 1 tako da ukupan broj bitova 1 bude paran (Slika 4.8).
Ukoliko prilikom prijenosa kodne rijeEi prijenosnim kanalom dode do jednostru-
ke pogreSke bita, broj bitova 1 neCe biti paran broj i dekoder kanala Ce otkriti
pogreSku prilikom prijenosa.
 UVOD

-
U TEORllU INFORMACIJE 1 KODIRANJE

- Poruka

Kodna rijeE
Paritetni bit
\
-
che.,q. u tom sluEaju vertikalna provjera zalihosti umeCe i paritetni bit Chi Lao
,itetni bit svih horizontalnih paritetnih bitova (Slika 4.9). U slueaju pamog
!uiteta, vrijednost bita Chi se dobiva izrazom:
C,,,=R,+R,+.-.+R , = C,+C,+...+C,,
gdje se zbrajanje provodi u aritmetici modulo 2. Dodavanjem vertikalne provjere
Slika 4.8: Primjer horizontalnog paritetnog kodiranja parnim paritetom zalihosti poveCava se vjerojatnost otkrivanja pogreSke za otprilike dva do Cetiri
velitine u odnosu na koriStenje paritetnog bita za svaku kodnu rijeE PO-
Ukoliko s XI,.. .s;, oznatimo simbole poruke, onda se sebno (horizontalna provjera zalihosti).
paritetni bit R
zbrajanjem aritmetikom modulo 2 na sljedeCi naCin:
R = xl + x, + ...+ x, (pami paritet),
R = x, + x, + .. .+ x, +1 (nepamiparitet).
4.2. Linearno binarni blok kodovi
U praksi se paritetno kodiranje provodi uvodenjem zajednitkih paritetnih bitova Svaku kodnu rijet binamog blok koda K duljine n moguCe je predstaviti
za viSe uzastopnih poruka. S x, oznaEimo j-ti simbol i-te poruke - Slika 4.9. vektorom oblika x = [x,. ..xn], gdje su xi skalari (simboli) iz abecede Fz = (0, 1).
Ukoliko koder kanala paritetno kodira m uzastopnih kodnih pomka, onda se SkraCeno Cemo ovakve vektore nadalje zvati binarnim vektorima. Nad skupom
nakon in-te kodne poruke formira posebna kodna rije? s bitovima C,, .., C,, fi je moguCe definirati operacije zbrajanja i mnoZenja u aritmetici2modulo 2
gdje je svaki bit C, paritetni bit svih m i-tih simbola pomka. Ukoliko se koristi kako je prikazano sljeddom tablicom:
parni paritet, onda se bit Ci dobiva na sljededi natin:

gdje se zbrajanje provodi u aritmetici modulo 2. Ovakav pristup umetanju

paritetnih bitova se naziva vertikalna provjera zalihosti (VRC - engl. vertical
redundancy check).

paritetni bitovi Neutralan element s obzirom na zbrajanje je 0 (0+1=1), a s obzirom na mnoZenje

je 1 (1.1=1), Korisno je primijetiti da je u aritmetici modulo 2 zadovoljena
jednakost -1 = 1 , pa je 1 ujedno i suprotan element s obzirom na zbrajanje.
3 Takoder, element 1 je jedini koji zadovoljava jednakost 1.1-' = 1, pa je tako 1 i
suprotan (inverzan) element s obzirom na mnoienje.
Neka je V(n) skup svih moguCih binamih vektora duljine n. Takvih je 2". Nad
skuporn V(n) je moguCe definirati operacije zbrajanja vektora i mnoienja
vektora skalarom na sljedeti naCin:
x+y=[x,,x2,x3,..., xn]+[y1,y2,y3
...., Y"]'[X~ +Yl,X2 +YI.X3 +Y3>...,X"+Y"].
Slika 4.9: Horizontalna i vertikalna provjera zalihosti
a.x=a.[xl,x2,x,,..., x , ] = [ ~ . x l , a . ~ , a ,...,
~ xa-x,],
3
Ukoliko koder kanala uz vertikalnu provjnu zalihosti vbi i paritebo kodiranje
svake od m poruka posebno, onda se takav pristup naziva horizontalna ili
longitudinalna provjera zalihosti (LRC - engl. longiludnal reukndoncy 'skup Fz s elementima (0,)) i ovako definiranim opaacijama m n o b j a i zbrajanja je algebarska
struktura koja se naziva Galoisovo polje.
 gdje su a,xi, yi skalari iz F2, a x, y vektori iz skupa V(n). Uz ovako definirane
operacije, skup V(n) je vektorski prostor3. Na primjer, zbrajanjem vektora
01 1010 i 101 110 iz V(6) dobivamo kodnu rijeE 110100 na naEin da zbrajamo
biname namenke na istoj poziciji u aritmetici modulo 2 na sljedeCi naEin:
Mnoienje vektora skalarom iz abecede Fz je trivijalno. Ukoliko se vektor x
mnofi skalarom 1, dobiva se ponovno vektor x, a ukoliko se rnnoii skalarom 0,
dobiva se vektor 0:
Binami blok k6d se naziva lineami binami blok k6d ako se zbrajai~jembilo koje
dvije kodne rijeEi (vektora) opet dobiva neka kodna rijeE iz koda ili alto se
T
mnoienjem bilo koje kodne rijeEi skalarom iz abecede opet dobiva kodna rijeE
:I
iz koda. Priinjer lineamog binamog koda je k6d (5, 4, 3) iz prethodnog
Ii potpoglavlja. Definiciju lineamog blok koda mogute je iskazati i formalno na
sljedeCi naEin.
i
LINEARNI BINARNI BLOK KOD: Neka je blok k6d K podskup vektorskog
prostora V(n): K G V(r1). Ako je za sve x , y E K i a E F2 ispunjeno:
x+y~K,
a.x~K,
onda je K linearni binami blok-k6d.
U nastavku teksta lineame biname blok kodove zovemo jednostavno linearni
I blok kodovi ili lineami kodovi.
Zahtjevi iz definicije lineamog blok koda osnovna su svojstva vektorskog
prostora. Bez dokaza iemo ustvrditi da je lineami blok k6d vektorski potprostor
od V(n).Posljedica ove Einjenice je da svaki lineami blok kBd nuino mora imati
kodnu rijeE 0 prema svojstvu vektorskog prostora o postojanju neutralnog
elementa za zbrajanje.
'~ektorskiprostor je skup vektora nad kojitn su definirane operacije zbrajanja vektora i mnoienja
vektora skalarom takve da su zadovoljena svojstva zatvorenosti s obzirom na zbrajanje vektora i
mnoknja sa skalarorn, asocijativnosti, komutativnosti, postojanja neutralnog i suprotnog elementa
s obzirom na zbrajanje, distributivnosti zbrajanja prema mnoienju i distributivnost mnoienja
prema zbrajanju i mnoienja te netrivijalnost mnoienja.
tinearni blok kodovi omoguCuju vrlo jednostavan proratun udaljenosti koda
preko tefine kodnih rijeEi koda.
T E ~ I N AKODNE RIJECI: Teiina kodne rijeEi x koda K je broj pozicija kodne
njeEi na kojima se nalazi simbol 1. Oznaka teiine kodne njeti x je w(x).
~ ~ m m i n g o vudaljenost
a dviju kodnih rijeCi x i y moie se odrediti pomoCu
jednadfbe
d(x,y) = w(x + y).
Dobra je primijetiti da je i zbroj kodnih rijeti x + y neka kodna rijec lin-og
blok koda K. Stoga se traienjem teiina svih kodnih rijeti koda K ujedno
dobivaju sve Hammingove udaljenosti izmedu svih kodnih rijeti. Iz toga slijedi
da je najinanja teiina svih kodilih rijeEi razliEitih od 0 ujedno i udaljenost koda.
UDALJENOST LINEARNOG BLOK KODA: Neka je K linearni blok kad i
neka je w(K) najmanja teiina svih kodnih rijeti razlititih od 0. Tada je
udaljenost koda
d (K) = w(K).
4.2.1. GenerirajuCa matrica
VeC snlo rekli da je linearni blok k6d vektorski potprostor vektorskog prostora
V(n). Ta narn Einjenica omoguCuje da unutar lineamog blok koda zbrajamo i
oduzimnano vektore (kodne rijeEi) i time dobijemo neku kodnu rijet istog koda,
mnoiimo vektore skalarima (tj. mnoiimo kodne rijeEi simbolima abecede),
definiramo skalarni produkt dvaju vektora, definiramo bazu vektorskog potpro-
stora itd.
VeC sama Einjenica da lineami blok k6d ima barn (skup svih lineamo nezavisnih
rijeEi koda) n a t n o narn olakSava posao definiranja nekog koda. Podsjetimo se
da se svi vektori nekog potprostora mogu dobiti kao linearna kombinacija
vektora baze. Dakle, ako k6d K ima k vektora u bazi b,,b, ,. ..,b, (k-dimenzio-
nalni vektorski potprostor), onda se svaka rijet koda moBe zapisati u obliku:
gdje su a, skalari abecede koda. Broj kodnih rijeEi, koje mogu nastati svim
linearnim kombinacijama vektora baze, je toEno 2k.
Iz ovog razloga, lineami blok k8d se ne mora definirati ispisom svih 2k kodnih
rijeEi, nego jednostavno definicijom k vektora baze. Vektori baze Eine tzv.
generirajuku matricu koda.
GENERIRAJUCA MATRICA KODA: Matrica dimenzija k x n Eiji se reci
sastoje od vektora baze koda (n, M , d ) se zove generirajuka matrica.
Smisao uvodenja generirajude matrice je kradenje zapisa linearnog blok koda, te
pojednostavljenje operacija kodiranja i dekodiranja, kako Ce biti objainjeno u
sljededim potpoglavljima.
Primjec Binarni k6d K = (5,4,3)
Binam1 k6d K = (5,4, 3) ima kodne rijeCi
0 0 0 0 0
I = (01 01 1 10 10
1 1 0 1 1
Za bazu se mogu uzeti dvije zadnje kodne rijeCi, poito su linearno nezavisne:
z, = 00 111 t z, = 11011 Sve se kodne rijeEi koda K mogu dobiti kao lineama
kombinacija a . z, + b .z,, gdje su a i b E (0, 1}. Tako je generirajuda matrica
koda K koja ga jedinstveno opisuje
Sada vidimo da se prve dvije kodne rijeEi koda K mogu dobiti kao lineama
kombinacija vektora iz generirajuk matrice G :
Na taj naEin je cijeli k6d definiran svojom generirajukom matricom.
BuduCi da je broj kodnih rijeEi linearnog blok koda odreden brojem vektora baze
(dimenzija koda) k prema jednadfbi M = 2 k , uvodi se i posebna oznaka koda.
OZNAKA LINEARNOG BLOK KODA: Ako je k6d K vektorski k-dimenzio-
nalni potprostor vektorskog prostora V ( n ) , onda k6d K ima oznaku [n, k].
Ukoliko je poznata udaljenost koda d, onda je omaka koda [n, k, dl.
Blok k6d iz prethodnog primjera prema ovoj je oznaci lineami blok k6d [5,2], a
poSto mamo udaljenost koda d(K) = 3, mofemo ga oznaEiti i oznakom [5,2,3].
BuduCi da je broj kodnih r~jeCikoda iz prethodnog primjera M = 2* = 4, k6d
[5,2, 31 je ujedno mogude onaEiti i oznakom (5,4, 3).
4.2.2. Standardni oblik generirajuce matrice
u prethodn~mje potpoglavlju reCeno da su dva blok koda ekvivalentna ukoliko
se jedan iz drugog mogu dobiti postupcima zamjene pozicija (stupaca) i
pemutacije simbola na odredenim pozicijama. Svi se ekvivalentni kodovi mogu
dobiti jedni iz drugih operacijama permutacije i zarnjene pozicija.
~ o linearnih
d blok kodova doslovna primjena ovih dvaju pravila na linearni blok
k13d ne mora nuino dati ekvivalentni k6d koji je ujedno i linearan, Neka je na
pimjer definiran binarni k6d
To je linearan blok-k6d. Izvrkimo li permutaciju nad tredom pozicijom: 0 + 1 ,
1 -+0 , dobivamo ekvivalentni k6d
Dobiveni ekvivalentni k6d Kc je ekvivalentan kodu K, ali nema kodnu rijeE
(vektor) 0 i stoga nije linearan.
Postavlja se pitanje koje je operacije dopuSteno vriiti nad lineamim blok kodom,
da ekvivalentan k6d bude takoder linearan. BuduCi da su redci generirajuke
matrice linearnog koda takoder kodne rijeEi, onda se nad redcima generirajude
matrice mogu izvriiti operacije zamjene redaka i dodavanje jednog retka drugom
retku, a da nova generirajuda matrica daje isti kad.
Poito zamjena stupaca generirajuk rnatrice odgovara zamjeni pozicija kodnih
rijeEi koda, onda se zarnjenom stupaca generirajude matrice dobiva generirajuda
matrica nekog ekvivalentnog koda.
Navedenim operacijama nad redcima i stupcima generirajude matrice dobiva se
generirajuka matrica nekog ekvivalentnog linearnog blok koda. Operacija
pern~utacijesimbola nije dopugtena.
GENERIRAJUCE MATRICE EKVIVALENTNIH LINEARNlH BLOK
KODOVA: Dva ekvivalentna linearna binarna blok koda [n, k], K I i Kz, imaju
generirajuke matrice G Ii & koje se jedna iz druge mogu dobiti sljedeCim
operacijama:
 (1) zamjenom redaka;
(2) dodavanjem jednog retka drugom retku;
(3) zamjenom stupaca.
Dobra je primijetiti da standardni oblik generirajuke matrice nije jedinstven. To
Ova svojstva znatno olakSavaju pronalazak odgovarajukeg ekvivalentn~~ s[ijedi iz Einjenice da je mogube zamijeniti dva stupca matrice A i joS uvijek
linearnog blok koda poSto je navedene operacije potrebno provoditi samo nad imati standardni oblik.
generirajukom matricom. Postoji veliki broj mogudih generirajukih matrica, iako
sve opisuju kodove koji imaju jednaku sposobnost otkrivanja i ispravljanja
pogreSke. Nas zanimaju one generirajuke matrice koje su po svojoj s t ~ k t u r i 4.2.3. Kodiranje linearnim kodovima
najjednostavnije a koje jedinstveno definiraju linearni blok k6d u smislu
njegove sposobnosti da otkrije i ispravi pogregku. ~enerirajukamatrica je matrica Ciji redci odgovaraju bazi vektorskog potpro-
STANDARDNI OBLIK GENERIRAJUCE MATRICE: Generiraju~a stora prostora V(n). Stoga se bilo koja kodna rijet moie dobiti kao linearna
matrica G nekog koda K ima standardni oblik ako ima strukturu G =[I, I A], kombinacija vektora baze. Ukupan broj kodnih rijeEi koda [n, k] je 2k,Sto ujedno
maEi da k6d moie kodirati 2k razlititih poruka. Formiranje zaStitne kodne rijeEi
gdje je I, jedinitna matrica reda k, a A matrica dimenzija k x ( n - k ) . se moie izvrSiti na ilaEin da bitovi poruke budu koeficijenti za linearnu
kolnbinaciju vektora baze.
EGZISTENCIJA STANDARDNOG OBLIKA: Svaka generirajuka matrica G
linearnog blok koda [n, k] moie se operacijama zamjene redaka, zamjene Neka je
stupaca i dodavanja jednog retka drugoin retku svestl na standardni oblik
['k I A]'
Primjer: Standardni oblik generirajute matrice koda K = [5, 2, 31
U prethodnom smo primjeru definirali linearni blok k6d [5, 2 , 31 preko liste
kodnih rijeEi i generirajuke matrice G: generirajuda matrica koda K, gdje su ri vektori baze. Neka je m = [ml mp ... mk]
0 0 0 0 0 bilo koja od 2k poruka. Tada poruci m odgovara totno jedna kodna r i j d x koda
0 0 1 1 1
K = [ 01 01 11 1 0 1 0' ~ = [ 1 I 0 I 1]. K koja je jednaka lineamoj kombinaciji skalara mi i vektora baze ri:

1 1 0 1 1

BuduCi da se radi o linearnom blok kodu, iz prethodnog teorema znamo da Tako se generiranje zaStitne kodne rijeEi x za poruku rn svodi na urnnoiak
zasigurno postoji barem jedan standardni oblik generirajuG matrice. Do jednog vektor retka poruke i generirajude matrice. Sloienost kodiranja bilo koje poruke
od njih moZemo doCi tako da na postojekoj matrici G izvrSimo operaciju je O ( n k).
zamjene drugog i treCeg stupca, a potom zamijenimo prvi i drugi redak.
Dobivamo novu generirajuku matricu Primjer: Kodiranje pomoku generirajuke matrice
Za primjer moiemo uzeti k6d [ 5 , 2 , 31 koji ima sljedeku generimjuku matricu:
0 0 1 1 1 1
G=[
Ova generirajuka matrica je u standardnom obliku poSto ima strukturu [I, ( A]. 1 1 0 1 lb.
Ukoliko matrici G* zamijenimo treCi i Eetvrti stupac, dobivamo jog jednu Koder izvora informacije generira poruku 11. U koderu kanala nastaje zaStitna
matricu u standardnom obliku: kodna rij eE:
UVODU TEORUU INFORMACIJE I KODIRANJE -

Sloienost kodiranja moie se sinanjiti ako se koristi standardni oblik generirajuk

matrice koda. U tom se sluEaju kodiranje poruke m svodi na mnoienje
Dobivena kodna rijeE se sastoji od dva dijela. Prvih k pozicija zauzima sarna
poruka i taj dio kodne rijeEi se zove jednostavno poruka. Ostalih (n - k ) pozicija
je umnoiak m.A. Ovaj dio kodne rijeEi se zove dio za provjeru. On predstavlja
zalihost kodne rijeEi. Sloienost kodiranja bilo koje poruke postaje O(n.k - k 2 ) .
Primjer: Kodiranje pomocu generirajuce matrice u sfandardnom obliku
Pronadimo generirajudu matricu koda koji je ekvivalentan onom iz prethodnog
primjera, a Eija je generirajuka matrica u standardno~nobliku. To moiemo
izvesti tako da jednostavno zamijenimo prvi i tredi stupac matrice G iz
prethodnog primjera. Dobivamo generirajudu matricu:
1 0 0 1 1 1
~ = [ o1 I 1 1J'
gdje su matrice 1, i A:
Neka je poruka 01. Kodiranjem poruke nastaje sljededa kodna rijeE:
Ova se kodna rijeE sastoji od originalne poruke i 3 zalihosna simbola 1 :
~ u d u d ida je udaljenost koda 3, ovaj kM moie otkriti dvostruku pogreSku i
ispraviti jednostruku pogreiku koriitenjem principa dekodiranja najbliiim
susjedom.
~ e k o d e rkanala moie postupiti na naEin da za primljenu kodnu rijeE pronade
kodnu rijeE do koje ima najmanju Hammingow udaljenost i proglasiti je
primljen~mkodnom rijeEi. Naravno, ukoliko je najmanja udaljenost do bilo koje
kodne rijeEi veda od jedan, dekoder ustanovljuje dvostruku ili eventualno
viiestruku pogreiku. Sloienost ovakvog postupka je O(M), gdje je M broj
kodnih rijeEi. Za velike kodove ovaj postupak moie zahtijevati veliko
opteredenje procesora prijarnnika, Sto rezultira skupom i neekonomiEnom
izvedbo~nprijamnog uredaja.
Jedan od postupaka brzog dekodiranja, koji se koristi priliko~ndekodiranja, je
sindromsko dekodiranje o kojem se govori u nastavku ovog poglavlja. Za
shvadanje tog naEina dekodiranja potrebno je uvesti pojmove vektora pogreSke,
razreda, standardnog niza i matrice provjere pariteta.
VEKTOR POGRESKE: Vektor pogreSke e za poslanu kodnu rijeE
x = [ x , x2...x,,] i primljeni vektor y = [y, y, ...y,,] definira se kao zbroj vektora:
e = y + x = [ e , e,...em],
tj, kao vektor razlike izmedu vektora x i y.
Promotrimo nadalje sljededu tablicu:
00000 11100 00111 11011
00001 11101 00110 11010

--
0 11 1 1 .
poluka zalihost
00010
00100
01000
11 110
11000
10100
' 00101
00011
01111
11001
11111
10011
Vidimo da je zalihost kodne rijeEi mogude izraEunati i jednostavnije tako da se 10000 01100 10111 01011
na originalnu poruku zdesna doda rezultat umnoSka [0 11 . A = 11 1.
Ova tablica je fonnirana na naEin da se u prvorn retku nalaze kodne rijeCi koda
(5, 4, 3) = [5, 2, 31. SljedeCih pet redaka je formirano na naEin da se sasvim
4.2.4. Dekodiranje linearnog koda lijevo (u prvom stupcu) nalaze vektori pogreike za sluEaj kada k6d moie
ispraviti pogreiku, dok su ostali Elanovi redaka dobiveni na ndin da je na kodne

I
Promatrajmo ponovno k8d (5,4,3) = [S, 2,3] sa sljedekim kodnim rijeEima: rijdi iz prvog retka dodavan vektor pogreSke retka @mi stupac). Na ovaj su
 I UVOD U TEORlJU lNFORMACllE I KODIRANJE
i ~tandardniniz ne sadrii sve vektore koje dekoder moie primiti. To je posljedica
naEin dobiveni svi vektori koje dekoder mofe primiti u sluEaju kada nastupi
i jedno-struka pogregka. Vaino je primijetiti da su Elanovi prvog stupca takoder
kodne rijeEi koje se mogu pri~nitiuz jednostruku pogreSku, ukoliko je poslana
I, kodna rijeE 00000.
!'
Dobivena se tablica formalno naziva standaiedni niz. Clanovi nekog retka
predstavljaju jedan razred (engl, coset) skupa kodnih rijeti K. Svaki razred koda
K je blok k6d nastao na naEin da je svim kodnim rijeEima koda K dodan neki
vektor pogreSke e. Razredi unutar istog standardnog niza sadrie potpuno
razliEite vektore.
STANDARDNI NIZ: Standardni niz koda K je tablica koja u prvom retku ima
kodne rijeEi koda K, s tim da je prva kodna rijeE 0. U svim ostalim redcima
standardnog niza nalaze se razredi koda K nastali na naEin da su kodnin~rijeEirna
koda K dodavani svi vektori pogreSke e, koje k6d K moie ctkriti i ispraviti.
Prvi stupac standardnog niza sadrii vektore pogregke, koji se jog nazivaju i
reprezentantilna razdreda.
Uzimajuki u obzir pretpostavku da nije nastupila trostmka ili veCa pogreSka nad
simbolima poslane kodne rijeCi, dekoder vrSi dekodiranje na sljededi naEin.
I!
Kada primi vektor x, pokuSava ga pronati u standardnom nizu. Ukoliko ga nije
I pronabao u standardnom nim, otkriva pogreliku, ali je ne moie ispraviti.
Ukoliko dekoder pronade vektor x u i-tom stupcu standardnog niza, ispravlja
1
pogreSku na llaEin da odreduje i-tu kodnu rijeE koda K kao primljenu kodnu
rijeE. ToEnost dekodiranja opisanim postupkom slijedi iz Einjenice da je
primljeni vektor jedini vektor koji je mogao nastati iz dekodirane kodne rijeEi uz
jednostruku pogregku bita. Ovaj je postupak temelj sindromskog dekodiranja.
Primjec Dekodiranje korjstenjern standardnog niza
Promotrimo k6d (5, 4, 3) definiran potpoglavlja. Njegov
standardni niz je:
Pretpostavimo da je koder poslao kodnu rijeE x = [O 0 1 1 11, a da je dekoder
primio vektor y = [0 1 1 1 11. Dekoder pronalazi vektor y u trekem stupcu
standardnog niza, te zakljutuje da se dogodila jednostmka pogreSka i da je
poslana kodna rijeE treha kodna rijeE koda K [0 0 1 1 11.
-- 4. ZAST~TNO
KODIRANJE
ne~erfektnostikoda ( 5 , 4, 3). Dekoder moie primiti i sljedeke vektore koji su u
tablici ispod organizirani na isti naein kao i vektori u standardnom nizu:
Ova su dva retka takoder razredi s reprezentantha [IOOIO] i [10001]. Ukoliko je
primljeni vektor [0 1 1 1 11, dekoder koristi istu logiku kao i za standardni, te
zakljuEuje da je poslana kodna rijeE [0 0 1 I 11.
4.2.5. Matrica provjere pariteta
Opisani postupak dekodiranja pornoku standardnog niza zahtijeva pronalazak
primljene kodne rijeEi u tablici koja moie imati vrlo velike dimenzije, iz Eega
zakljutujeino da je takav postupak izuzetno procesorski zahtjevan, Sto rezultira
neefikasnom i skupom izvedboln dekodera kanala. Jedan natin ubrzavanja
postupka dekodiranja je koriitenje matrice provjere pariteta koda. Kako bismo
objasnili postupak dekodiranja inatricoln provjere pariteta, prethodno morarno
definirati pojain dualnog koda.
Kako je ranije pokazano, generirajuea inatrica G jedinstveno odrduje k6d K.
Kodne rijeEi su lineame kombinacije vektora baze, tj, linearne kombinacije
redaka matrice G . Promotrinlo linearni k6d s oznakom K~ Eije su sve kodne
rijeEi ortogonalne4 na sve kodne rijeEi koda K. Dakle, skalami umnofak svih
vektora kodnih rijeEi iz K i K' jednak je nula. K6d K' se naziva dualni k6d koda
K.
DUALNI K ~ D Neka : su x vektori koda K (x s K ) Skup svih vektora y
vektorskog prostora Y(n),koji su ortogonalni na sve x E K, Eini dualni k6d koda
K i ima oznaku K':
K ~ = { ~ E vI v( x~~)K , y . x = O } ,
gdje je x .y skalami produkt vektora:
I
Ortogonalni su oni vektori Eiji je skalami umnoiak 0, npr. 10 0 0 I 11 i [I1 I 0 01.
151
UVODu TEORIJU MFORMACIJE I KODIRANJE 4. ZASTITNO
KODIRANJE

Primjer: Dualni k6d Ova matrica predstavlja generirajutu matricu dualnog koda i nadalje je
omaEavamo s H. Svi skalarni produkti izmedu svih parova redaka matrica G i H
Proinotrimo lineami binami k6d K sa sljedekim kodnim rijetima i generirajukom
matricom: jednaki su 0, pa zakljuEujemo da generirajuCe matrice koda K i dualnog koda'K
rnoraju zadovoljavati jednadibu
( 2 . ~ ~ ~ 0 .
Dakle, ne samo da je dualni k6d linearan, nego je i njegova dimenzija n - k,
gdje je k dimenzija koda K. Stoga je za provjeru ispravnosti primljene kodne
rijeEi dovoljno skalamo pomnoiiti primljenu kodnu rij& sa svim vektorima
Dualni k6d koda K je k6d ~ ' s asljedekim kodnim rijeEima: generirajuke matrice dualnog koda kojih ima n - k. Provjera ispravnosti primlje-
ne ri-jeEi x se svodi na provjeru jednakosti:

Uz poznatu generirajuku lnatricu H dualnog koda K', provjera ispravnosti

primljene rijeEi svodi sa na jednostavan uinnoiak vektora i matrice.
IzraEunavanje matrice H se u osnovi svodi na rjeSavanje jednadibe

buduki da svi vektori baze koda K moraju biti ortogonalni na vektore baze
dualnog koda K'. Na sreku, postoji iznimno jednostavan naEin raEunanja matrice
H kada je matrica G definirana u standardnom obliku.
Da s e uistinu radi o dualnom kodu moie se provjeriti tako da se skalarno
pomnoie sve kodne rijeEi koda K sa svim vektorima duljine 5 izvan koda K.
Jedino vektori iz k6da K' daju skalarni urnnoiak jednak nuli.
GENERTRAJUCA MATRICA DUALNOG KODA: Neka je G generirajuka
matrica linearnog binarnog koda K u standardnom obliku: r
G =[I, ( A].
Dualni k6d ima sljedeCe korisno svojstvo. Ako je primljena kodna rijet koda K
primljena ispravno, onda njezin umnoiak sa svim rijetima dualnog koda K'
mora biti jednak nuli. Ovo svojstvo moie poslu2iti za ~ r o v j e r uispravnosti
primljene kodne rijeEi. Medutim, broj kodnih rijeEi dualnog koda moie biti
iznimno velik, pa takvo Sto postaje nepraktiEno. Na sreCu, dualni k6d je ujedno i
Generitajuka matrica dualnog koda K'
jednaka je
zadovoljava jednadibu G . H T= 0 i
E
linearan blok k6d te ima svoju generirajuku matricu.
LINEAKNOST DUALNOG KODA: Neka je K linearan blok k6d [n, k]. Primjer: Dekodjranje generirajukom matricom dualnog koda - matricom
provjere pariteta
Dualni k6d K' koda K je linearan blok k6d [n, n - k ] .
Definiran je k6d K = (5,4,3) = [5,2,3] i odgovarajuka generirajuda matrica G
Primjer: Linearnost dualnog koda u standardnom obliku:
U dualnoln kodu iz prethodnog primjera moguke je izabrati tri linearno neovisne 0 0 0 0 0
kodne rijeEi koje Eine bazu:
1 0 1 1 0
0 1 1 0 1
1 1 0 1 1
UVODU TEORIJU MFORMACIJB I KODIRANJE
UoEimo matrice I2 i A u matrici G :
KoristeCi se prethodnim svojstvom zakljuEujeino da generirajuda lnatrica
dualnog koda mora inlati strukturu H = [A' I I,] :
Pretpostavi~noda je na ulazu kodera kanala poruka 11. Mnoienjem poruke s
generirajukom inatricom dobivamo zagtitnu kodnu rijeE [ l l ] . G = [11011].
Primijetimo da se kodna r i j d sastoji od originalne poruke i zalihosnih bitova.
Mnoienjein ove kodne rijeEi s transponiranom matricom matrice H dobivaino
rezultat:
Dobiven je vektor 0 Sto potvrduje da je kodna rijeE ispravna.
Primijetimo da matrica H svojim jedinicama unutar svakog retka zapravo
odreduje pozicije unutar ispravne kodne rijeEi na kojima zbroj vrijednosti unutar
aritmetike modulo 2 mora biti jednak 0. Drugim rijeEima matrica H odreduje
pozicije unutar kodne rijeEi koje pamim paritetom Stiti zalihosni bit. Konkretno,
prvi redak matrice H definira da zbroj vrijednosti siinbola ispravne kodne rijeCi
na pozicijama 1, 2 i 3 mora biti paran. Drugi stupac to definira za pozicije 1 i 4,
a treCi stupac za pozicilje 2 i 5.
Uzmimo sada istu kodnu rijeE, ali uvedimo pogreiku na drugom bitu
(e = [O 1 0 0 01, y = [l 0 0 1 11):
Dobili slno vektor koji nije 0, Sto potvrduje da kodna rijeE nije ispravna, tj.
otkrivena je pogrelka. Zbroj vrijednosti simbola Eije pozicije odreduju prvi
(pozicije 1, 2 i 3) i treki redak (pozicije 2 i 5) matrice H nije paran broj.
vidljivo je da zalihosni bitovi (pozicije 3, 4 i 5) zapravo predstavljaju bitove za
provjeru pariteta za odabrane pozicije unutar originalne poruke. Zbog ovog
svojstva matrica H se naziva matrica provjere pariteta.
MATRICA PROVJERE PARITETA: Neka je H generirajuka matrica dual-
nog koda K'. Matrica H se naziva matrica provjere pariteta (engl. parity-check
matrix) ili paritetna matrica koda K. U svakom retku matrice H jedinice
odreduju pozicije unutar ispravne kodne rijeEi na kojima zbroj vrijednosti
simbola mora biti paran broj.
Ukoliko H ima strukturu:
H =[BII,-, 1,
gdje je B kvadratna matrica, onda je matrica provjere pariteta H u standardnom
obliku.
4.2.6. Sindromsko dekodiranje
Sindromsko dekodiranje je metoda koja nam omogutuje da sloienost dekodira-
nja jedne kodne rijeEi svedemo na razinu O(1). Temelj sindromskog dekodiranja
je vektor koji se doblje mnoienjem primljene kodne rijeEi i transponirane
. . .
matrice ~roviere~ariteta.
SINDROM: Sindrom primljene kodne rijeEi y koda K s matricoin provjere
pariteta H je vektor dobiven umno3kom:
S(y) = y . HT. c
C
Dva sindroma S(y) smo veC izraEunali u prethodnom primjeru. Ukoliko primlje-
na kodna rijeE y pripada kodu K, sindrom je vektor 0. Primijetimo da ukoliko je 6
k6d K = [n, k] , onda je sindrom vektbr redak dimenzije n - k. Sindrom S(y) fi
ima jedno vrlo vaino svojstvo. Promotrimo opet k6d [5, 2, 31. GenerirajuCa
matrica i matrica provjere pariteta ovog koda su:
UVODU TEORIIU INFORMACIJE 1 KODlRANlE
NapiSimo ponovno standardni niz ovog koda za jednostruke pogreSke simbola:
Moiemo uoEiti vaBno svojstvo sindroma, a to je da svi vektori jednog razreda
(retka standardnog niza) ilnaju isti sindrom. To se lnofe provjeriti mnoienjem za
gomji standardni niz. Standardni niz je proSiren stupcem u kojem su zapisani
sindromi pojedinih redakalrazreda. Ovo svojstvo sindroma je kljut brzog
dekodiranja lineamih blok kodova.
SINDROM RAZREDA: Sve kodne rijeei (vektori) koje pripadaju istom razre-
du koda K imaju isti sindrom.
Korisna posljedica ovog svojstva je da je za odredivanje sindroma jednog retka
standardnog niza dovoljno izraEunati sindrom vodeCeg Elana retka - vektora
pogreSke e. Tako dolazimo do zakljuEka da postoji preslikavanje jedan-na-jedan
izmedu vektora pogreSke i sindroma. MoguCe je napisati sljedeCu tablicu
preslikavanja za jednostruke pogreike:
Dekodiranje sada postaje vrlo jednostavno i praktiEno za programsku realizaciju.
Postupak se moie opisati ovako:
izratunaj sindrom S(y) primljene kodne rijeEi y,
iz tablice preslikavanja odredi vektor pogreSke e,
poslana kodna rijet je x = y - e .
Opisani postupak irna odredenih nedostataka. $to ako je primljena kodna r i j d y
koja ima dvostruku pogrezku? Na primjer, sve kodne rijeEi koje imaju vektor
pogreSke e = 0001 1 ili e = 1000 1 irnaju sindrome koji ne pripadaju tablici
preslikavanja:
- 4. ZASTITNO KODIRANJE
Ukoliko sindrom primljene kodne rijeEi ne postoji u tablici preslikavanja, onda
dekoder kanala zakljuEuje da ta kodna rijeE iina dvostruku pogrelku. Medutim,
neke dvostruke pogrdke mogu uzrokovati potpuno krivu interpretaciju kod
dekodera kanala. Na primjer, neka je poslana kodna rijeE x = 10 110 i neka se
dogodila pogreSka na pozicijama 2 i 3. Primljena je kodna rij& y = 11010, a
vektor pogreSke je e = 0 1100. Dekoder izraEunava sindrom
pogleda u tablicu preslikavanja i pogreSno zakljuEuje da je vektor pogreSke
00001. Uzrok ovakvorn ponaSanju nije u samom sindromskom dekodiranju,
nego u principu dekodiranja najbliiim susjedom. K8d je ispravno otkrio
dvostruku pogreSku, ali dekoder nikako ne moie razluEiti izmedu jednostruke i
dvostruke pogrdke. Ovaj problem se u praksi rjeSava dodavanjein joS jednog
paritetnog bita - povedanjem udaljenosti koda za 1.
4.2.7. Vjerojatnost ispravnog dekodiranja i kapacitet
kanala
Problem odredivanja vjerojatnosti ispravnog dekodiranja kodne rijeei razmatrat
Cemo na primjeru binamog simetriEnog kanala prikazanog na slici (Slika 4.10).
Slika 4.10: Binarni simetriEni kanal s vjerojatnoiku pogreSke simbola (bita)p,
SimetriEni kanal ima vjerojatnosti pogregnog prijenosa (inverzije) simbola
p, < % za oba simbola. Za simetritni kanal takoder vrijedi da su dogadaji
pogreSnog prijenosa simboll iste kodne rijeEi u cijelosti neovisni sluEajni
dogadaji. To nam omoguCuje da jednostavno izraEunarno vjerojatnost pojave
pogreSke na k specificiranih pozicija simbola kodne rijeti.
Promatrajrno slutajni dogadaj da je toEno k unaprijed odredenih pozicija simbola
neke kodne rijeEi duljine n pogreSno preneseno, a preostalih n - k ispravno
preneseno. BuduCi da su dogadaji pogreSnog prijenosa simbola nezavisni,
vjerojatnost takvog dogadaja ratunamo kao umnoiak k vjerojatnosti neispravnog
 UVOD U TEORllU MFORMACIJE I KODIRANJE
prijenosa simbola i n- k vjerojatnosti ispravnog prijenosa simbola, Sto daje
vjerojatnost p: (1 - p, r-'
OEigledno je da dogadaj pojave pogreiki nad odredenim simbolima kodne rij&i
odgovara dogadaju pojave odgovarajuieg vektora pogreike e. Stoga se u
nastavku koriste iskljuEivo vjerojatnosti pojave vektora pogreike P(e).
uoi-imo da dobivena vjerojatnost p: (I - pg)'-l predstavlja vjerojatnost pojave
bilo kojeg vektora pogrelke s k jedinica. Na primjer, za k6d [5, 2, 31 vrijedi
sljedeCe:
Jasno, vjerojatnost pojave k-struke pogreSke simbola, bez poznavanja toEne
pozicije pogregki, dobiva se zbrajanjein svih vjerojatnosti konkretnih vektora
pogreSki s k jedinica. Na priinjer, za prethodni primjer koda [5, 2, 31 postoji 5
razlicitih realizacija vektora pogreSke e s jednostrukom pogreikom, i svaka ima
istu vjerojatnost. Stoga je vjerojatnost jednostruke pogreSke siinbola
Postavlja se pitanje kolika je vjerojatnost da je primljena kodna rijei- nakon
I
I
dekodiranja sindromskim dekodiranjem ispravna? Jasno, kodna rijeE Ce biti
II
ispravno dekodirana iskljuEivo ako je vektor pogreike dio standardnog niza.
Stoga je vjerojatnost ispravnog dekodiranja jednaka zbroju vjerojatnosti pojave
i vektora pogreSke koji su dio standardnog niza.
I ProraEun vjerojatnosti pogreSke nakon dekodiranja moie pomodi da odredimo
VJEROJATNOST ISPRAVNOG DEKODIRANJA: Neka je Ni broj vektora
pogreSke s i jedinica koji pripadaju standardnom nizu blok koda K duljine n.
Onda je vjerojatnost P(K) da Ce rijeE dobivena dekodiranjem pomoLu
standardnog niza biti jednaka poslanoj kodnoj rijei-i jednaka:
P(K) = 2N , ~ :(1
r=O
- p,)n-i . KODNA BRZINA ZASTITNOG KODA: Kodna brzina linearnog binarnog
Demonstrirajmo ovaj zakljuEak sljedetim primjerom.
Primjer: Vjerojatnost ispravnog dekodiranja za k8d [5, 2 31:
Za odredivanje vjerojatnosti ispravnog dekodiranja za k6d [5, 2, 31 dovoljno je
ponovno promotriti njegov standardni niz (vidi 0). Vidimo da je No = 1, N1 = 5,
N2=0,N3=0,N~=OiN~=0,paje
4.ZASTITNO KODIRANJE
--
~oristekise vjerojatnoSCu ispravnog dekodiranja, jednostavno nakon dekodi-
ranja pomoiu standardnog niza izraEunavamo i vjerojatnost pogreSke (engl.
woa error rate):
c , ( K ) = 1- P(K) .
UoEimo da vjerojatnost P,(K) pokriva dogadaj kada se u standardnom nizu
uopCe ne moie pronaCi primljena rijeC, pa dekoder kanala u tom slucaju
prijavljuje nemogudnost dekodiranja.
ukoliko je poznata udaljenost koda d(K), onda iz svojstva o sposobnosti koda da
otkrije i ispravi pogreiku slijedi da k6d K moie ispraviti najviie t-struku
~ogreSku,gdje je d(K) > 2t + 1. Stoga zakljuEujemo da se u standardnom nizu
zasigumo nalaze svi vektori pogselke s 0 5 i < t jedinica. Za te kodove vrijedi da
je broj vektora pogreSke s i jedinica u standardnom nizu jednak:
OpCenito, u standardnon~se nizu mogu nalaziti i vektori pogreSke s viie od t
jedinica. Naialost, ne postoji jednostavan naEin izrai-una vrijednosti N, za i > t.
Medutim, ukoliko je k8d K perfektan, onda su sve rijeCi unutar kugli radijusa t,
pa se u standardnoin nizu nalaze iskljuEivo vektori pogreike s t i manje jedinica.
U tom slui-aju je vjerojatnost pogreike perfektnog koda
karakteristike nekog kodnog kanala. Medutim, najviie nas zanima moiemo li,
koristeti odgovarajuki zaititni k6d, postidi ieljenu vjerojatnost pogreike nakon
dekodiranja. Odgovor na to pitanje nam daje Shannonov teorem o kodiranju
[19]. Prije iskaza samog teorema, potrebno je uvesti pojam kodne brzine (engl.
code rate).
blok koda K = [n,k] s oznakom R(K) je omjer:
k
R(K)=-21,
n
gdje je k dimenzija koda, a n duljina koda. Ukoliko generirajuta matrica koda K
ima standardni oblik, onda je R(K) udio korisnih (informacijskih) bitova u
kodnoj rijeEi. BuduCi da je n 2 k, R(K) < 1.
UVOD U TEORllU MFORMAClJE I KODIRANJE
SHANNONOV TEOREM o KODIRANJU ZA BINARNI SIMETRICNI
KANAL: Neka je C(pg) kapacitet binarnog simetritnog kanala s vjerojatnoSCu
pogreSke simbola pg dan izrazom
C(p,) = 1+ pg log, p, + (1 - p,)log,(l - pg) [bit 1 simbol].
Za bilo koji realan broj E > 0 postoji zaStitni k6d [n, k] s kodnom brzinom R(K)
= kln koji ispunjava uvjet R(K) 5 C(p,), a koji Ce za danu vjerojatnost pogreSke
sirnb~lap~nakon dekodiranja imati vjerojatnost pogreSke manju od E, tj.
Teorem o kodiranju nam kaie da za dani binarni simetriCni kana1 s vjerojatnoSCu
pogreSke pguvijek moiemo konstruirati zaStitni kBd Eija Ce vjerojatnost pogregke
nakon dekodiranja PC&) biti po volji mala, dokle god je kodna brzina takvog
koda lnanja od kapaciteta kanala: R(K) < C h ) . Drugim rijetima, dokle god
kodna brzina koda ne prelazi kapacitet kanala, komunikaciju je moguCe realizi-
rati po volji pouzdano. PodmEje u kojem je moguCe konstruirati k6d s
proizvoljno malom pogreSkoin dekodiranja prikazano je na slici (Slika 4.11).
Slika 4.11: Mogute podruzje za konstrukciju zaititnog koda s
proizvoljno rnalorn vjerojatnosti pogreike nakon dekodiranja
Za R(K) > C(pd nije moguCe postiCi po volji malu pogreiku P,(K). Postavlja se
pitanje koliku je najmanju vjerojatnost pogreSke moguke postiCi nakon
dekodiranja ukoliko zaStitni k8d mora imati kodnu brzinu veCu od kapaciteta. U
teoriji infomacije postoji niz manje i viSe uskih granica za P,(K) kada je
R(K) > C h ) koje u obzir uzimaju konstmkcijske vrijednosti samog koda (vidi
[4]). Ovdje Cemo za odredivanje ove granice iskoristiti originalni Shamonov
teorem o kanalu s prisustvom smetnji koji kaie da je kodna brzina R odozgo
ogranicena izrazom:
4. Z A ~ I T NKODIRANJE
O
L
R5
1+P, log, P,+(l-P,)log,(l-pg)'
gdje je C kapacitet kanala, a P, prihvatljiva vjerojatnost pogreSke poruke nakon
dekodiranja. BuduCi da je kodna brzina R odredena kodnom brzinom
Qaliziranog zaStitnog koda R(Q, a P, odgovara vjerojatnosti nakon dekodiranja
promatranim kodom P,(K), slijedi:
OBRAT SHANNONOVOG TEOREMA 0 KODIRANJU: Blok k6d K
duljine n i kodne brzine R(K) uz kapacitet kanala C zadovoljava sljedeCu
nejednakost za vjerojatnost pogreSke nakon dekodiranja:
P,(K)21-L(i+C).
R(K)
Iz ovoga je vidljivo da za R(K) > C&) nije moguCe postidi proizvoljno mali
pew.
Na slici (Slika 4.12) je prikazana skica moguCeg podruEja vrijednosti vjero-
jatnosti pogreSaka nakon dekodiranja za ciljane vrijednosti kodnih brzina koda
[5]. Vidimo da ukoliko kodna brzina prede vrijednost kapaciteta, nije moguCe
postici po volji malu pogreSku nakon dekodiranja, a granicu odreduje izraz za
obrat Shannonovog teorema.
Slika 4.12: Granice ostvarivih vrijednosti kodne brzine za pogodne vrijednosti
vjerojatnosti nakon kodiranja ~Stitnirnkodovima
Iako nam Shannonov teorem o kodiranju kaie da postoje kodovi koji osigura-
vaju po volji malu pogreSku nakon dekodiranja, on nam ne daje algoritam za
stvaranje takvog koda. U opCem je slutaju generiranje zgtitnog koda prepuSteno
dornigljatosti konstruktora. Medutim, postoje klase linearnih blok kodova kod
kojih je moguCe definirati generirajuku matricu prema unaprijed poznatoj
 UVODU TEORIJU lNFORMACiJE 1 KODIRANJE 4. ZAS~TNO
KODIRANJE
/

udaljenosti koda (npr. BCH i Reed-Solomonovi kodovi), Sto moie znatno Tablica 4.2: Mogufi Hammingovi kodovi s pripadajufim udaljenostima
olakSati konstrukciju koda.
z

4.3. Hammingovi kodovi

Hammingov k6d je bilo koji linearni blok k6d Eija matrica provjere pariteta H
ima r redaka, a u stupcima ima sve moguCe vektore dimenzije > 1 osim vektora
re

0. Forrnalno se Hammingov k6d definira na sljedeCi naEin.

HAMMINGOV KOD: Neka je r pozitivan cijeli broj i neka je H matrica
dimenzija r x (2' - 1) Eije stupce saEinjavaju svi vektori dimenzije r razliEiti od
0 iz vektorskog prostora V(r). Matrica H je matrica provjere pariteta
Harnmingovog koda s oznakom Ham(/.).
Pojednostavljeno reEeno, transponirana matrica provjere pariteta Ha~nmingovog
koda Ham(r) ima u redciina binarne ekvivalente cijelih dekadskih brojeva od 1
do 2' - 1 . Primjeri matrica provjere pariteta Ham(3) su:

4.3.1. Kodiranje pomoCu Hammingovog koda

~ 0 0 0 1 1I l k j l O l I O O l r ,
Promatrajmo sljededu inatricu provjere pariteta Ham~ningovogkoda Ham(3) -
Matrica H, je u obliku koji se najEeSde koristi u praksi i omoguCuje jednostavnu [7,4,31:
programsku implementaciju, dok je H, u standardnom obliku.
SVOJSTVA HAMMINGOVIH KODOVA: Neka je Ham(r) binami Hainmin-
gov k6d. Za r 2 2 vrijedi da je Ham(r):
linearanblokk6d[2'-l,2'-l-r], Stupci ove matrice predstavljaju binarne ekvivalente brojeva 1, 2, ..., 7. U
ima najmanju udaljenost 3 (otkriva dvostruku i ispravlja jednostruku opdem sluEaju ovakvu matricu dobivamo tako da se i-ti stupac formira od bitova
pogregku), koji predstavljaju binarni ekvivalent broja i = I, . .., 2'-1, gdje je r broj redaka
matrice provjere pariteta H.
perfektan k6d.
VeC smo rekli da svaki redak matrice provjere pariteta odreduje pozicije simbola
I
D ~ g svojstvo
o je izuzetno zanimljivo. Ono garantira da Hammingov kBd, koji kodne rijeEi Eiji zbroj mora biti paran broj, odnosno jednak 0, u aritmetici
i ima duljinu kodne rijeCi 7 ili veCu, zasigurno moie ispraviti jednostruku modulo 2. Proinatrana matrica H definira sljedede pozicije u kodnoj rijdi Eiji
pogresku, buduki da je L(3 - 1)/2)J= I . Odredivanje udaljenosti Hammingovog zbroj vrijednosti simbola mora biti paran:
koda s proizvoljnim n = 2' - 1 u opCem sluEaju nije jednostavan zadatak i ovaj
problem nije u fokusu ovog poglavlja. Ovdje navodimo samo neke primjcre
Hammingovog koda s udaljenostima vedim ili jednakim 3 (Tablica 4.2).
UVODU TEORIN MFORMACllE I KODIRANJE -

postupak formiranja jedne kodne rijdi za ulaznu poruku 1010 i Hammingov k8d
Vidimo da je matrica H strukturirana tako da se provjera pariteta vrSi u grupama [7, 4, 31 ilustriran je na slici (Slika 4.14). Bit za provjeru pariteta x l dobiven je
od po 1, 2 i 4 uzastopnih bitova, koje su medusobno razmaknute redom 1, 2 i 4 zbrajanjem bitova na pozicijama kodne rijeEi 3, 5 i 7, odnosno pozicijama
bita, a prva grupa uvijek poEinje na l., 2. ili 4, poziciji. poruke 1, 2 i 4: x i = 1 + 0 + 0 = 1. Bit za provjeru pariteta x2 dobiven je
Ovakav naEin rasporeda pozicija za provjeru pariteta je najEeSdi naEin formiranja zbrajanjeln bitova na pozicijama kodne rijeEi 3, 6 i 7, odnosno pozicij&a
kodne rijeti Hammingovog koda. Dodatno se definira da se bitovi za provjem poruke 1, 3 i 4: xz = 1 + 1 + 0 = 0. Bit za provjeru pariteta x 3 dobiven je
pariteta (zalihosni bitovi) postavljaju na pozicije koje odgovaraju potencijama zbrajanjem bitova na pozicijama kodne rijeEi 5, 6 i 7, odnosno pozicijama
broja 2, a bitovi poruke redom izmedu njih. Struktura kodne rijeEi prikazana je poruke2,3 i4:x3=O+ 1 +0=1.DobivenajekodnarijeC1011010.
na slici (Slici 4.13). Sivo su oznatene pozicije paritetnih bitova koji se odrecfuju
prema matnci provjere pariteta.
mo n11 m2 m3 m4 m5 m6 rn7 ma m9 rn~o ~ I m12
I
Poruka:1 0 1 0 0 1 0 1 0 1 0 I I . . .

Slika 4.13: UobiEajeni naEin formiranja kodne rijeEi Hammingovog koda

Slika 4.14: Formiranje kodne rijeEi Hammingovog koda [7,4,3]
U skladu s ovako odabranom strukturom kodne rijeti, moraju biti zadovoljene
opisani' se postupak moie Einiti kompliciranim. Stoga se isplati pronaCi
sljedede jednakosti:
generirajuku matricu koda [7, 4, 31 - G. BuduCi da matrica provjere pariteta ima
3 retka, a duljina kodne rijeEi iznosi 7, slijedi da je dimenzija koda k = 4. To je
ujedno i broj redaka generirajuCe matrice koda G. Broj stupaca generirajuCe
matrice je jednak duljini kodne rijeEi - 7.
o = x 4 + x 5 +x, + x 7 + x,, +XI, +XI, +XI, +...,
Kodna rijeE Hammingovog koda formira se mnoienjem poruke (duljine 4 bita)
s matricom G. Pwi bit kodne rijeEi se formira mnoienjem pomke s prvim
gdje su xi vrijednosti simbola na poziciji i. Grupe bitova su naglagene razmakom, stupcem matrice G, drugi bit mnoienjem poruke s drugim stupcem itd. Pogle-
a vodeCi bitovi ujedno predstavljaju bitove za provjeru pariteta. Ukoliko ih dajmo ponovno sliku (Slika 4.14). Jasno je da se prvi bit formira zbrajanjem l.,
prebacimo s lijeve strane jednakosti dobivamo i eksplicitne izraze za njihovo 2. i 4. bita poruke. Stoga Ce prvi stupac matrice G zasigurno biti [ 110 1IT.
iuahnavanje:
SliCno je i s drugim stupcem. Drugi bit poruke se formira zbrajanjem I., 3. i 4.
bita poruke, pa je drugi stupac [ l o 111'. Tredi je bit kodne rijeEi sam prvi bit
 -
pomke, pa je treCi stupac matrice G zapravo [ 1 0 0 0 I T . Nastavljajudi ovaj
~ostupakdolazimo do generirajuke matrice koda [7,4,3] :
Generirajubu matricu G je iz matrice provjere pariteta W mogude dobiti i
koristeki sljedeki postupak:
1. U matrici H izbrisati sve stupce koji se nalaze na pozicijama s indeksom
jednakiin potenciji broja 2 (pozicije l , 2 , 4 , 8, 16, itd).
2. Dobivenu matricu transponirati.
3. Stupce dobivene matrice smjestiti na pozicije generirajuke matrice G Eiji
indeksi odgovaraju potencijama broja 2.
4. Ostale stupce popuniti redom stupcima jediniEne matrice.
Za matricu H koju razmatramo u ovom potpoglavlju, postupak bi bio sljededi:
Kako bismo potvrdil ispravnosti matrice G, potrebno ju je pomnoBiti s transpo-
niranom matricom provjere pariteta i provjeriti da je rezultat nul-matrica.
Sada se kodiranje svodi na jednostavan urnnoiak poruke i generirajude matrice.
Kodirajmo ponovno pomku 1010 :
~ 1 1 1 0 0 0 0 1
Dobivamo istu poruku kao i prethodnim postupkom.
4.3.2. Dekodiranje Hammingovog koda
~ ~ k o d i r a nHammingovog
je koda postaje iznimno jednostavno ukoliko se koristi
smktura matrice provjere pariteta koja je opisana u prethod~lompotpoglavlju.
Na pri~njer,Hammingov k6d [7,4,3] ima inatricu provjere pariteta:
Ukoliko primljena kodna rijeE y ima pogreSku na i -tom bitu, sindrom S(y) de
biti binarni zapis vrijednosti i. Na primjer, neka primljena kodna rijeE ima
pogreSk~na 5. bitu - kodna rijeE 0000100. Dobiva se sindrom:
a to je upravo binarni zapis broja 5 , , = 101,. Na taj naEin matrica provjere
pariteta omogukuje neposredno preslikavanje sindroma u indeks pozicije na
kojoj je nastupila jednostmka pogreska. Dakle postupak dekodiranja, uz
pretpostavku jedilostruke pogreSke bita, svodi se na sljededi postupak:
izraEunaj sindro~nS(y) primljene kodne rijeEi y,
ako je S(y) # 0, iilvertiraj bit na poziciji koja odgovara decimalnom
ekvivaIentu sindroma.
Naravno, moguCe je koristiti i bilo koju drugu Hammingow matricu provjere
pariteta, medutim onda se mora upotrijebiti opCa procedura dekodiranja sindro-
mom linearnih blok kodova.
Primijetimo da svaka primljena kodna rijeE ima sindrom jedilostruke pogregke,
bez obzira nastupila jednostruka ili dvostruka pogrelka. To je svojstvo
posljedica perfektnosti koda. NaEin rjeSavanja ovog problema je koriStenje
proiirenog Hammingovog koda, Sto izlazi izvan okvira ove knjige.
4.4. CikliCni kodovi
CikliEni kodovi su linearni blok kodovi sa svojstvom da se ciklitnim posmi-
canjem jedne kodne rijeEi uvijek dobiva neka kodna rijeE iz istog cikliEnog koda.
CikliEno posmicanje kodne rijeEi [a,,.l a,,.2 ... a2 al an] je promjena pozicija
simbola u kodnoj rijeEi na naEin da se dobije kodna rijeE [an.z... a2 a1 ao an.l].
kada se radi o posmaku ulijevo, odnosno [aoa,.l a,,.~ ... a2 a l l kada se radi o
 UVOD U TEORIJU INFORMAClJE I KODIRANJE
I,

posmaku udesno. Ovo ga svojstvo Eini izuzetno pogodnim za sklopovnu

implementaciju.

a,-2xn-'+ ...+ a,x2+ a,xl + a,,-,xO t ostatak pri dijeljenju.

~ k usporedimo
o koeficijente polinoma kojeg smo dijelili [an.l an-2... a, ao] s
1,9 Slika 4.15: Ilustracija ciklitnog posmaka ulijevo koeficijentima polinoma nastalog kao ostatak pri dijeljenju [an4,.. a, a, a,,.,],
P v i d i m ~da je ostatak pri dijeljenju zapravo ulijevo posmaknuti poEetni polinom.
CIKLICAN KOD: Blok kBd K je cikliEan k6d ako je: Taka slno utvrdili postupak ciklidnog posmicanja polinoma a(x) reda n - 1 (tj.
linearan blok kad i cikliEne kodne rijedi duljine n) za jedno mjesto ulijevo. U opCem s1ui:aju
postupak za posmicanje za m pozicija ulijevo je:
ako bilo koji ciklidni posmak kodne rijeEi iz K opet daje kodnu rijei: iz
K.
Priroda cikliEnog koda je takva da je kodnu rijeE [a,,., a,.z.. . a2 al a01 korisno
. pomnoii polinom a(x) s xu',
izradunaj ostatak dijeljenja polinomom x" - 1
poistovjetiti s polinomom stupnja n - 1:
Prirnjer: Ciklieni posmak ulijevo
I a = [ a,-,... a, a, a,] e a ( x ) = a,-,x"-' + a , , - , ~ "+- ~...+ a2x2+ a,xl + aoxO,
I1 Promatrajmo k6d duljine n = 3 i kodnu rijei: a = 101 . Polinom koji odgovara
gdje su aiE {0,1), a operacije se provode u aritmetici modulo 2. Npr., kodnu rij&
ovoj kodnoj rijeEi je a(x) = x2 + 1. PomnoZimo ovaj polinom5 s x i ivaEunajmo
a = [I010 I ] poistovjeCujemo s polinomom
ostatak pri dijeljenju s x' - 1:
bl(x)= a(x).x = x3 x, +
I Treba naglasiti da nam polinom a(x) ovdje sluii samo kao povoljnije sredstvo
zapisa kodne rijeEi od vektora simbola. Polinom a(x) ne promatramo kao x3+x :x3-l=l
funkciju Eiji argument x moie poprimiti neku konkretnu vrijednost, nego kao
-x3 +I
sredstvo zapisa kodne rijeEi.
+
x 1 t ostatak pri dijeljenju.
Neka je polinomom a(x) = a,-,xn-' + a , - , ~ " -+~...+ a2x2+ alx' + a,xo opisana
proizvoljna kodna rijeE. Pomnoiimo tu rijeC s x i preoblikujmo je kako slijedi: Ostatak pri dijeljenju b = 01 1 predstavlja kodnu rijeE a koja je cikliEki posmak-
nuta ulijevo za jednu poziciju. Isti postupak rezultira cikliEnim posmakom za sve
rijeEi duljine 3.
PoSto posmicanjem bilo koje kodne rijedi cikliinog koda moramo opet dobiti
kodnu rijeE koda, slijedi da polinomi svih kodnih rijeCi moraju biti u modulo
-
x" 1 aritmetici? Skup svih polinoma F [ x ]= a(x) :a(x)(mod(xn- I)) omaEi-
mo s R,. PoistovjeCujuCi kodne rijeEi s polinomima, cikliEan k6d K je neki

Uzmimo sada dobivenu kodnu rijeE i izraeunajmo ostatak pri dijeljenju ovog
polinoma polinomom x" - 1 u aritmetici modulo 2:
'~olinomnamjemo piPerno od v&eg prema manjem stupnju kako bi njegova struktura odgovarala
znabju bitova kodnih rijeti.
Polinomi u aritmetici modulo Y-I su polinomi koji su dobiveni dijeljenjem polinoma
proizvoljnog stupnja polinomom Y-I, odnosno svi polinomi koji pri dijeljenju s Y-1 za o s W
pri dijeljenju daju same sebe. Oznaka polinoma 4.x)u aritmetici modulo x"-1 je a(x)(mod (2'-I)).
 UVOD U TEORIJU INFORMACIJE I KODIRANIE
- - 4. ZASTITNO
KODIRANIE

GENERIRAJUCI POLINOM CIKLI(?NOG KODA: Polinom najmanjeg pokazali smo da je generiranje cikliEnog koda trivijalno kada su poznati faktori
stupnja cikliEnog koda K zove se generirajuki polinom cikliEnog koda K. polinoina x" - 1 koda duljine n. NajveCi problem je provesti samu faktorizaciju.
Kada je odabran generirajuki polinom ciklitnog koda, odredivanje generirajuke ~ ~ t e m a t i E kliteratura
a obiluje razliEitiln algoritmima za faktorizaciju, no ovdje
matrice G koda postaje trivijalno. ielno jednostavno nabrojati faktorizacije za nekoliko najEeSCe korigtenih duljina
kodnih rijeCi. Prilikom generiranja cikliEnog koda jednostavno treba odabrati
GENERIRAJUCA MATRICA CIKLICNOG KODA: Neka je generiraju~i povoljan generirajuki polinom - Tablica 4.3.
polinom cikliEnog koda K c R, :

g(x) = g,xi + ..+ g 2 ~ 2+SIX+ go Tablica 4.3: Faktorizacije nekih polinoma oblika xn -1 u aritmetici modulo 2

Onda je dimenzija koda k = n - r ,a generirajuca matrica koda je:

-
€5 go 0 0 ..* 0
g1 go 0 ... 0
g, go 0:
. . .. . ..
"

Primjer: GenerirajuCi polinom i generirajuca matrica

Formirajmo cikliCan k6d Eija de duljina kodne rijeEi biti n = 5 . K6d mora biti u
aritmetici modulo x5-1, a generirajuki polinom koda mora biti faktor polinoma
xS-1 koji ima sljedeCu faktorizaciju:

x5-I=(x+1)(x4 + x 3 + x Z + x + 1 ) .

Stoga su moguCi sljededi generirajuti polinomi: go(x) = 1, g,(x) = x + 1,

g, (x) = x4+ x3 + x2 + x + 1 i g, (x) = xS+ 1 . Generirajuki polinomi g,(x) = 1 i
g3(x) = x5 + 1 nam nisu interesantni bududi da go(x) = 1 generira k6d koji ima
sve kodne rij&i iz V(5),a g3(x)= x5 i- 1 generira k6d koji ima samo kodnu rij&
00000. Takoder g, (x) daje k6d dimenzije k = n - r = 5 - 4 = 1 i ima samo jednu Ndalost, ne postoji nikakvo poznato svojstvo cikliEnog koda na osnovu kojeg
kodnu rijeC 11111. bi, uz poznat generirajuki polinom i veliEinu kodne rijeEi, mogli izraEunati
udaljenost koda. Medutim, kod nekih potklasa cikliEnih kodova, poput BCH
Generirajudi polinom g, (x) = x + 1 odreduje kBd dimenzije k = n - r = 5 - 1= 4 kodova i RS kodova, koji su opisani u potpoglavljima 4.5 i 4.6, udaljenost je
t

s generirajucom matricom mogude odrediti iz strukture generirajukg polinoma.

[I 1 0 0 01
4.4.2. Matrica provjere pariteta
Generirajudu matricu cikliEnog koda G moguCe je svesti u standardni oblik te
odrediti matricu provjece pariteta H. Medutim, matricu H je jednostavnije
konstruirati koristeki polinom za provjeru pariteta cikliEnog koda.

POLINOM ZA PROVJERU PARITETA: Neka je K ciklitan k6d duljine n i
diinenzije k [n, k] s generirajukim polinomom g(x). Neka je h(x) polinom koji
zadovoljava jednadibu:
x" - 1= g(x)h(x).
h(x) se zove polinom za provjeru pariteta cikliEnog koda K.
BuduCi da je g(x) polinom stupnja r, onda je h(x) polinom stupnja k = n - r.
Polinoin zaprovjeru pariteta ima sljedeCe vaino svojstvo.
MATFUCA PROVJERE PARITETA CIKLICNOG KODA: Neka je
K c R, cikliEan k6d duljine n i dimenzije k s generirajukiin polinomom g(x) i
polinoinom za provjeru pariteta h(x).
Bilo koji polinom c(x) koda K zadovoljava jednakost c(x) h(x) = 0 .
Ako je polinom za provjeru pariteta
h(x)=hkxk+...+ /f2xZ+h,x+h,,
onda je matrica provjere pariteta koda K
I
Primjec Ciklitan k6d 17, 4, 31
Konstruirajmo cikliEan k6d s duljinom kodne rijeEi n = 7. GenerirajuCi polinom
mora biti stupnja r < 7 te mora faktorizirati polinom x7-1. Iz tablice faktorizacija
(Tablica 4.3) vidimo da je faktorizacija ovog polinoma:
x7-1=(x+1)(x3+x+l)(x3+x2+1).
Na primjer, za generirajuki polinom moiemo odabrati drugi faktor, tj.
g(x) = x3 + x + 1,iz Eega slijedi da je polinom za provjeru pariteta
h(x)=(x7 - l ) / g ( x ) = ~ 4 + ~i2x + l .
BuduCi da je stupanj odabrai~oggenerirajukeg polinoma r = 3, dobivaino da je
dimenzija koda k = n - r = 4. Zakljutujemo da Ce generirajuba matrica imati 4
retka i 7 stupaca, dok Ce matrica provjere pariteta imati 3 retka i 7 stupaca.
KoristeCi se svojstxima o strukturi generirajute matrice i matrice p r o v j e ~
I pariteta dobivamo:
4. ZASTITNO KODIRANJE
MnoZenjem matrica dobivamo nul-matricu G = 0, Sto potvrduje da slno
konstruirali ispravne matrice. Jedino nedostaje udaljenost dobivenog koda.
BuduCi da je dimenzija koda 4, nije teSko ispisati sve kodile rijeEi i pronaCi onu s
najmanjoln teiinom. Kodne rijeEi koje daje matrica G su:
0001011+0010110+0101100+1011000+0110001+1100010+1000101,
0011101+ 011 1010+1110100+1101001+1010011+0100110+1001110,
000000, 1111111.
RijeEi su razdvojene u dva podsk~~pa dobivena posn~icanjein kodilih rijeti
1101000 i 1011100, te kodnih rijeEi 0000000 i 11 11 11 1. Potvrdili sino da
cikliEni posmak bilo koje rijeEi opet daje kodnu rijeE istog koda. Najmanja
teiina svih kodnih rijeEi razliEitih od 0 je 3, 5to je ujedno i teiina svih kodnih
rijeEi nastalih posmicanjem rijeti 1101000. Stoga je udaljenost ovog koda 3 pa
je konstruiran k6d [7,4,3]. Iz svojstava o udaljenosti koda zakljuEujeino da ovaj
k6d moie otkriti dvostruku pogreSku i ispraviti jednostruku pogresku.
4.4.3. lmplementacija kodera i dekodera cikliCnog koda
Kodne rijeEi ostvarene mnoienjem poruke s matricom G imat Ce strukturu u
kojoj su bitovi poruke ispremijesani sa zalihosnim paritetnim bitovima. Ka2e se
da G daje nesistematitan k6d. U praksi je iznimno vaino jednostavno izdvojiti
podatkovne bitove, a ujedno zadriati svu funkcionalnost cikliEnog koda.
NajEeSCe se koristi algoritam kodiranja koji proizvodi k6d u kojem se redom (od
najznacajnijih do najmanje znaEajnih pozicija) prvo nalaze bitovi poruke, a onda
za5titni bitovi. Dio kodne rijeCi u koj.em se nalaze zaStitni bitovi naziva se
ciklirna provjera zalihosti (engl. cyclic redundancy check - CRC) - Slika 4.16.
U nastavku Cemo ovu vrstu cikliEnog koda zvati i CRC k6d.
Kodna njef cikliEnog kodo
Y Y
Podatkovni dio
@oruka )
CikliCna provjera
zalihosti (CRC)
Slika 4.16: Struktura kodne r i j s i sistematirnog ciklirnog koda
UVODU TEORIJU INFORMACIJE I KODIRANJE

Ideja algoritma je sljedeka: neka je d(x) polinom koji opisuje poruku. Neka je
I <
4. ZASTITNO
KODIRANJE

g(x) generirajuki polinom stupnja r. Polinom d(x) moie se pomnoiiti s xr i

podijeliti s g(x) u aritmetici modulo 2, nakon Eega se dobiva polinom q(x) i
ostatak r(x):
r(x) je polinom stupnja manjeg od r. BuduCi da je q(x) E R,, , slijedi da je g(x)
q(x) zasigurno neka kodna rijeE cikliEnog koda. Ta kodna rijeE je u aritmetici
modulo 2 jednaka:
primjer: Formiranje kodne rijec'i ciklitnog koda 17, 41
psomatrajmo cikliEan k6d [7, 41, s generirajukim polinomom g(x) = x' + x + 1.
stupanj generirajudeg polinoma je r = 3, a k = 4. Ulazna kodna rijeE je 1010, tj.
polinom d(x) = x4 + x2. IzvrSimo dijeljenje polinoma d(x). x3 = x6 + x4 polino-
mom g(x) koristeCi samo binarne koeficijente polinoma kako je prikazano na
slici (Slika 4.18).

d(xl

gdje je

Dakle, dobivena ciklitna kodna rijeE sastoji se od umnoSka d(x) .xr i polinoma
r(x). Polinom d(x) predstavlja ulaznu poruku i njegov stupanj je jednak n - r -1.
Mnofenjem s xr pomaknut je ulijevo za r pozicija, tako da u kodnoj rijeEi c(x)
najznatajnije n - r pozicije zauzimaju upravo bitovi poruke.
1 0 1 1
Polinom r(x) je stupnja manjeg od r, te u ukupnoj kodnoj rijeEi r zauzima
najmanje znaEajnih bitova kodne rijeEi - Slika 4.17. Polinom r(x) predstavlja 0 I 1 -ostatak nakon dijc!jenja - ~(x)
cikliEnu redundantnu zaStitu kodne rijeEi. Slika 4.18: Pojednostavljenje dijeljenja polinoma x6+x4 polinomom A? +x + 1
Kodna r i j d ciklitnog koda=
d(x) x' + I{X) Primijetimo da u svakom koraku vodeki (Iijevi) bit predstavlja kvocijent
dijeljenja (podebljani bitovi), te da je stupanj ostatka uvijek za (najmanje) jedan
rnanji od polinoma kojeg dijelimo. VodeCi (podebljani) bit rnnofi generirajuki
polinom i oduzimamo ga od trenutno dijeljenog polinorna. Nastaje ostatak koji
je za jedan stupanj manji. U svakom koraku posudujemo i nulu (strelica) iz
Podatkovni dio= ZaStitni dio=
d(x) x'
poEetnog polinoma. Dijeljenje obavljarno bez preskakanja, dakle i onda kada
g(x) u polinom "ulazi" nula puta.
Slika 4.17: Struktura polinoma kodne rijeti c(x) = d(xW + r(x)
Ostatak pri dijeljenu je 01 1, odnosno polinom x + 1, a to je upravo zalihosni
Dakle, da bismo formirali kodnu rijeE za ulaznu poruku d(x), sve ito treba (CRC) dio kodne rijeEi, pa je kodna rij& cikliEnog koda: 10 1 0 0 11.
napraviti je izraEunati ostatak dijeljenja d(x).xr s generirajukim polinomom Postupak dijeljenja polinoma opisan u prethodnom prirnjeru moie se vrlo
g(x) i ostatak zdesna dodati samoj poruci. jednostavno implementirati p o m o b IogiEkih sklopova i bistabila. Proinatrajmo
vodeCa tri bita dijeljenog polinoma u svakom koraku (Slika 4.19). OznaEimo ih
U praksi se dijeljenje polinoma pojednostavljuje na naEin da se promatraju samo
redom R3, R2 i R1. Oni su posebno nagldeni u desnom dijelu slike.
binarni koeficijenti polinoma. Potrebno je jedino imati u vidu pravilo orijentacije
pisanja binamog ekvivalenta. Dogovorno uzimamo da prvi bit slijeva ima najve-
Cu teiinu, a prvi zdesna najmanju te5inu. Stoga su binarni brojevi ekvivalentni
polinomima na sljedeCi naEin:
UVODU TEORIJU INFORMACIJE I KODIRANJE
Slika 4.19: Algoritam izrarunavanja ostatka pri dijeljenju polinoma
Moieino prilnijetiti vrlo jednostavan algoritam dobivanja trojke u sljededem
koraku iz trojke u prethodnom koraku. Naime, vidimo da R3 u svakom koraku
rnnoti bitove generirajudeg polinoma, pa se od dijeljenog polinoma oduzima ili
0000 ili Sam generirajudi polinom g(x). Bududi da se oduzimanjem uvijek gubi
vodedi Elan (R3- R3. g3= 0), trojku u sljedekem koraku uvijek dobivamo prelna
sljeddim izrazima:
(1) R, = R2 0 (R, . g2
(2) R , = R , @ ( R , . g , )
(3) R, = ulazni bit O (R, .go),
gdje je sljedeCi bit do= 0 ili 0 nastala mnoienjem d(x) s x 3 , a operatorom €5' je
naglaseno zbrajanje u aritmetici modulo 2 - ekskluzivno ili.
IdentiEan postupak se ponavlja u svim koracima sve dok se ne dobije konaEni
ostatak. Zbog toga je mogude izgraditi sklop u kojem je svakom R,, R2 i R3
pridruien jedan bistabil. Sklop je shematski prikazan na slici (Slika 4.20).
Slika 4.20: Shematski prikaz sklopa za izrarunavanje CRC zaStitnog dijela
koda [7,4] s generirajufim polinomom g(x) = w' + x + 1
- 4. ZASTITNOKODIRANJE
Kao Sto se moie vidjeti, ispred bistabila RI i R2 je umetnut sklop koji vrSi
operaciju ekskluzivnog ili izmedu koeficijenta gi i prethodnog bistabila, odnosno
ulaza. Ekskluzivni ili ( 0 ) odgovara zbrajanju u aritrnetici modulo 2. Na ulaz
bistabila R Ldovodi se rezultat operacije ekskluzivnog ili izmedu ulaznog bita i
mnutnog stanja bistabila R3. TO odgovma operaciji R I= ulazni bit 8 &.go, gdje
jego' 1.
~ ~ d n a ktako,
o na ulaz bistabila R2 dovodi se rezultat operacije ekskluzivnog ili
izmedu trenutnog stanja bistabila RI i trenutnog stanja bistabila R3. To odgovara
operaciji R2= RI 0 R3.glrgdje je gl= 1.
Na ulaz bistabila R3 se dovodi jedino trenutno stanje registra R2. Razlog tome je
u Einjenici da je g2 = 0, pa je izraz Rj = R2 0 R3.g2= R2. ZakljuEujemo da se
ekskluzivni ili vrSi samo ispred onih registara Eiji je odgovarajuki koeficijent
generirajudcg polinomo jednak 1. Stoga ovaj sklop obavlja operaciju koja je
opisana slikom (Slika 4.19). Prilnijetimo joS da vodeCi koeficijent polinoma
nema vlastiti sklop za ekskluzivni ili.
Postupak dobivanja ostatka <x) je da se na poEetku u registre RI, R2 i R3 upiSe 0.
Nakon toga se u svakoln koraku (taktu) na ulaz redom dovode bitovi poruke d3,
d2, dl i do, a nakon toga slijede tri nule. Potrebno je naglasiti da se u jednom
koraku (taktu) odvijaju sve tri opisane operacije odjednom.
U opdem sluEaju sklop za generiranje zaStitnog dijela cikliEnog koda s
generirajudim polinomom g(x) = g,xr + ...+ g,x + go , izgleda kako je prikazano
na slici (Slika 4.21). 1 u ovom sluEaju koeficijent gr nema vlastiti sklop za
ekskluzivni ili. ZaStitni dio se formira u bistabilima R,, ..., R, na naEin da se na
poCetku u njih upiiu nule, a nakon toga se na ulaz dovedu svi bitovi poruke
redom dk-,,...,do. Nakon njih se na ulaz dovodi toEno r bitova 0, nakon Eega
se u R,,.. .,R, nalazi zaStitni dio koda.
SIika 4.21: Shematski prikaz sklopa za izrarunavanje CRC zaStitnog dijela
Postavlja se pitanje kako otkriti i eventualno ispraviti pogresku primljene
cikliEne kodne rijeEi. Promatrajmo ponovno k8d s generirajudim polinomom
g(x) = x3 + x + I . Ranije smo utvrdili da je udaljenost koda K = [7,4] d(K) = 3,
tako da ovaj k8d moie ispraviti jednostruku pogresku.
UVOD U TEORlJU INFORMACIJE I KODIRANJE 4. ZASTITNOKODIRANJE

Ukoliko dio primljene kodne rijeEi, koji odgovara samoj poruci (prva Eetiri bita) Tablica 4.4: Sindromi koda [7,4,3j
u dekoderu, ponovno propustimo kroz sklop za kodiranje, ostatak mora biti
jednak zaititnom dijelu ako je poruka primljena bez pogreltke. No, postavlja se
pitanje kako izraEunati sindrom i na osnovu njega odrediti poziciju pogreike.
Cilj je sklop za kodiranje iskoristiti i za dekodiranje. Stoga je potrebno prona6i
naEin izraeunavanja sindroma istim sklopom kao na slici (Slika 4.21). U tu Cemo
svrhu definirati polinom pogreSke e(x), koji ima isti smisao kao i vektor
pogreske. Primljena kodna rijeE y(x) se moie zapisati kao poslana kodna rijeC
c(x) kojoj je dodan polinom pogeike e(x):

Svi polinomi y(x), koji imaju isti e(x), moraju imati isti sindrom pri dekodiranju.
Iako bi se sindrom mogao dobiti rnnoienjem paritetnim polinomom h(x), ovdje
Cemo upotrijebiti neSto drukeiji naEin raEunanja. Promotrimo funkciju

Kao Sto vidimo, razliEiti polinomi pogreSke e(x) generiraju razliEite vrijednosti
gdje je r stupanj generirajudeg polinoma. Evidentno je sljedete: Sb(x)], pa je Slv(x)l definiran izrazom (4.1) zapravo sindrom primljene kodne
rijeri y(x) koda [7,4].
S [ y ( x ) l = x r y ( x ) mod g ( x )
= xr[c(x) + e(x)] mod g ( x ) Treba uoEiti da je izraz koji definira naEin raCunanja sindroma

= xrc(x) mod g(x) + xre(x) mod g ( x )

= S[c(x)] + S[e(x)]. identican izrazu za dobivanje zalihosnog dijela cikliEne kodne rijeei. Dmgim
rijeEima, ukoliko u funkciju sindroma S(x) uvrstimo polinom ulazne pomke d(x),
PokuSajmo izraEunati S[c(x)]. PoSto znamo da se svaka kodna rijeC mo2e dobit Cemo zalihosni dio kodne rijdi r(x). Dakle, sindrom se raeuna na jednak
napisati kao umnohk generirajukeg polinoma i polinoma q(x) E R,, , slijedi: naEin kao i zaStitni dio cikliEne kodne rijeEi. Stoga je logicno iskoristiti isti sklop
i za kodiranje i za dekodiranje.
Kako bi sklop mogao ispraviti pogreiku na naEin da odredi poziciju pogreske,
BuduCi da su obje strane djeljive s g(x) bez ostatka, zasigurno vrijedi: potrebno je dodati dodatne sklopove. Promotrimo ponovno primjer cikliEnog
S[c(x)]= xr .c(x) mod g ( x ) = 0. koda K = [ 7 , 4 , 31. Ukoliko je doglo do pogreSke na Eetvrtom bitu kodne rijeti,
9. ukoliko je vektor pogreSke e(x) = x3., sindrom primljene kodne rijeEi y(x) Ce
Tako dolazimo do zakljutka biti Sb(x)] = S[e(x)]= x2 + 1. U skladu s tim zakljuEujemo da Ce nakon
propuStanja primljene kodne rijeEi y(x) i joS r = 3 nule kroz sklop na slici (Slika
S[y(x)]= S[c(x)]+ S[e(x)]= S[e(x)l,
4.20), u registrima R3, Rz, RI ostati bitovi redom 1 0 1. Dakle, ukoliko dode do
tj. da Sb(x)] za sve kodne rijeEi s istim vektorom pogreSke e(x) daje isti rezultat. pogreSke na trekem bitu kodne rijeEi, logiEki izraz:
Tako za cijeli standardni niz moiemo bez provjere napisati tablicu pridmiivanja
- Tablica 4.4.
mora dati logiEku jedinicu. U skladu s tim na sklop kodera (Slika 4.20)
dodajemo dodatni sklop za otkrivanje pogreike na Eetvrtom bitu (Slika 4.22) i
dobivamo dekoder. Jasno, ovakav dekoder je nepotpun te ga je potrebno nado-
UVOD U TEORUU INFORMACIJE I KODIRANJE - 4. ZASTIRIOKODIRANJE

graditi sklopovima za otkrivanje jednostruke pogreSke na drugim bitovima, kao i odredivanje udaljenosti koda je mukotrpan zadatak. NunleriEkiln eksperi-
sklopovima za otkrivanje viSestrukih pogreSki. rnentirna provedenim u sklopu niza istraiivanja (npr. [ 8 ] )utvrdene su sljedeCe
udaljeno~tiovih kodova - Tablica 4.5.

Tablica 4.5: Udaljenosti ciklifnih kodova koriStenih u standardu IEEE 802.3

n - duljina koda K udaljenost d(K)

-
1 30072n512144 4 1

Slika 4.22: Shematski prikaz sklopa za izrazunavanje sindroma

4.4.4. CikliCan k6d na primjeru CRC-32

CikliEan k6d u obliky u kojem je objaSnjen u prethodnom odjeljku, ima vrlo
Siroku pri~njenuu telekomunikacijama. U mreiama utelneljenim na standardu
Ethe,.net (standardi IEEE 802.3 i Ethernet 11) koristi se CRC k6d s oznakoln
IEEE 802.3 CRC-32, koji ima generirajuki polinom:
Dakle, CRC k8d koji se koristi u lokalniln lnreialna Ethernet moie najma~~je
detektirati trostruku pogreSku bita jednog okvira te otkloniti jednostruku
pogreSku bita. No, CRC k8d ima i svojstva otkla~~janja
snopova pogreSki bita.

g ( x ) = ~ 3 +xZ6
2 +x23 +x22+xI6 +xI2 +xll +xi" + x 8 + x 7 + x 5 + x 4 + x 2 + x + l . Kada se unutar neke kodne rijeEi duljine n dogode pogrelke unutar gl-upe od b
susjednih bitova rijeEi, onda se kaie da se dogodio snop pogreSki duljine b
PoSto g(x) ima stupanj 32, duljina zaltitnog dijela kodne rijeEi je 32, Sto stane u (engl. el-ror burst). Dakle, snop pogregki je niz bitova od prve do posljedlije
toEno Eetiri okteta okvira predvidenog standardom IEEB 802.3 - Slika 4.23. pogrelke. Ukoliko su pogreSke nastupile na poEetku i na kraju kodne rijeei, onda
se definira cikliEan snop pogreSki koji se dobije cikliEni111 posmicanjeln kodne
preambula SFD DA SA UT LLC PDU PAD FCS (CRC)
56 bita 8 bita 48 blta 48 bita 16 bita 0-12000 bita 0-368 blta 32 bita rijeEi.
I \
tnaks. 1200
.,
bits. rnin. 368 birn U osnovi bilo koji cikliEan k6d s generirajukim polinomom stupnja r moie
Kodna rije* koda CRC, maxs. 12144 bita, rnin. 512 bita
detektirati snop pogreSki duljine r ili manje. To znaEi da CRC-32 moie
detektirati snop pogreSki duljine 32 ili manje. Osi~novoga, cikliEan k8d CRC-32
moie detektirati i dvostruke snopove pogreSki duljine b. Dvostruki snopovi
Slika 4.23: Struktura okvira prema standardu IEEE 802.3 pogreSki duljine b se sastoje od dva snopa pogreSki najveCe duljine b.
UoEimo jednu vainu Einjenicu vezanu uz odnos kodera informacije i kodera
CRC Stiti dio okvira koji ne ukljuEuje preambulu i SFD (oznaka poEetka okvira, kanala. Ako razinatramo podatkovni sloj rnreie utemeljene na standardu
engl. Start Frame Delimiter). Zbog ogranieenja na veliEinu okvira koju nameCe Ethernet, onda uoEavamo da postupak formiranja cjelokupnog okvira odgovara
Sam standard, kodna rijeE ima duljinu od 512 bitova do najviSe 12144 bita. funkciji koju u opCem modelu komunikacijskog sustava obavlja koder informa-
Medutim, Sam generirajuki polinom faktorizira polinom x" - 1 , gdje je n = 232, cije. Zapravo, koder infonnacije kao poruku daje cjelokupan ethernetski okvir 11
pa kodna rijeE teoretski moie biti daleko veCa od 12144 bita. kojem jol nije izraEunata cikliEna zagtita. Nakon toga, koder kanala izratunava
Svaka pojedina duljina okvira zapravo odgovara posebnom cikliEnom kodu, pa cikliEnu zaStitu (CRC) i stavlja je na predvideno mjesto. Time cjelokupan okvir
se stoga unutar standarda Ethernet aktivno koristi 11633 razlititih ciklitnih postaje jedna kodna rijeE.
kodova s duljinama n~[512,12144].Ovakvi kodovi se zovu skrakeni cikliEan U opCem s1uEaju koder kanala ne mora zagtititi cjelokupnu poruku, nego samo
kodovi (engl. shortened cyclic codes). onaj njezin dio koji je iz tehniEkih razloga potrebno zaltititi. Primjer je paket
UVODU TEORIJU MFORMACIIE I KODIRANJE
mreinog protokola IP (engl. Internet Prorocol). U zaglavlju paketa IP-a postoji
16-bitna zaStita zaglavlja paketa, iako se kodnorn rijeEi smatra cjelokupan paket.
Stoga u ovom sluEaju koder kanala Stiti samo zaglavlje paketa.
4.5. BCH kodovi
BCH kodovi su klasa cikliEnih kodova za otkrivanje i ispravljanje viSestrukih
pogregki. Kraticu BCH tine prva slova prezimena matematicara koji su neovisno
razvili o w klasu kodova: Bose, Chaudhury i Hocquenghem. Jednako kao i svi
ciklitan kodovi, BCH kodovi imaju generirajudi polinom g(x). No za razliku od
opdih cikliEnih kodova, generirajudi polinomi BCH kodova imaju strukturu koja
oinogukuje da sarnim izborom generirajukeg polinoma znamo i udaljenost koda.
Kako demo vidjeti kasnije, generirajuki polinom BCH koda s udaljenoidu t
moguke je faktorizirati i polinom ima strukturu g(x) = m,(x)m, (x) . m,,-,(x) ,
gdje su m,(x) tzv. minimalni polinomi. Teorija BCH kodova se prvenstveno
bavi konstrukcijom generirajudih polinoma, a za shvadanje postupka dobivanja
generirajukeg polinorna potrebno je poznavanje osnovnih pojmova diskretne
matematike, naroEito pojma minimalnog polinomas, kao osnovnog elementa
generirajukeg polinoma. Koristeki pojrnove iz diskretne matematike u nastavku
de biti objainjen pojain minimalnog polinoma, a potom specifiEnosti samog
BCH koda.
4.5.1. Pojam minimalnog polinoma
Promatrajmo skup svih polinoma Ax) = a 1 j n+ ... + alx + ao, s koeficijentima
a i e {0, 1) i oznaEimo ga s F[x] Neka jefix) ireducibilangpolinom Ax) = f+ x +
1. Moiemo formirati skup polinoma modulojlr), tj. skup svih polinoma koji su
ostaci dijeljenja polinoma iz F[x] polinomomfCx). On se sastoji od elemenata:
gdje je F[x]l/(x) oznaka s h p a . Kaiemo da je F[x]i/(x) generiran polinomom
Ax).
8Citatelji koji posjeduju osnovna znanja iz diskretne matematike mogu preskoEiti sljedeCe
. .- -
notaoalavlie.
'lreducibilan je onaj poiinom koji sc ne moie faktorizirati. Na primjer polinom x 4 + d l je
ireducibilan, dok polinomx3+x2+rti=(xZ+l)(rt-l) nije ireducibik te irna faktore *2+1 i *+I.
- 4. Z A ~ I T N O
KODIRANJE
polinoine u F[x]lf(x) moiemo zbrajati, mnoiiti, potencirati (uvijek s modulom
AX)) i opet dobivamo polinom u skupu F[x]lf(x). Takodn svaki polinom
~ [ x ] l f ( x ) ima svoj suprotan element s obzirom na zbrajanje te inverzan
dement. Na primjer, polinom x3+ x + 1je sam sebi suprotan element, a inverzan
element mu je polinom x2 + 1E F[x]if(x) bududi da je (2+ x + I)($ + 1) mod
Ax) = 1.
operacije zbrajanja i mnoienja polinoma unutar skupa flx]if(x) su asoci-
jativne, komutativne i distributivne. Skup F[x]if(x) uz navedene operacije
~brajanja i mnoienja te navedena svojstva ovih operacija Eini algebarsku
strukturu polja.
polje F[x](f(x) je konaEno, ima 16 elemenata, i kaie se da je red polja
~ [ x ] l f ( x ) jednak 16. Netrivijdan rezultat je da skup F[x]if(x) generiran
ireducibilnim polinomom ffx) uvijek irna strukturu polja, a red polja 2*, gdje je
m stupanj ireducibilnog polinoma. Takva polja zovemo Galoisovim poqima i
nose omaku GF(Z1"). U nagem sktaju oznaka za polje F[x]i/(x) je GF(z~)),pa
&mo u nastavku koristiti i ovu oznaku.
Moie se pokazati da svaki ireducibilan polinomffx) stupnja m dale isti skup
F[x]lf(x). Na primjer, ireducibilni polinomi stupnja 4 su i f,(x) = x4 + x' + 1 i
/,(x) = X' + X' + x2 + x + 1 , Pa s h w v i F[x]if(x), Qx]&(x), flx]if,(x) imaju
iste eleinente i sva tri imaju strukturu polja.
Nula polifloma Ax) u GF(Z') je onaj polinom g(x) E GF(Z~) sa svojstvoin
/[g(x)l mod ffx) = 0. Ax) u GF(Z') ima barem jednu nulu. Trivijalna nula je
e1ernent.x E GF(z'), bududi da je Ax) po moduluffx) jednak 0. Druge nule se
mogu dobiti kvadriranjem ove nule.
Opdenito vrijedi svojstvo g[p(x)'] = g[p(x)p, za bilo koji polinom g(x) Stoga je i
2 nula od Ax), buduki da je /(*I = Ax)' = 0' = 0. Kako nc bismo mijelali
argument polinoma x s nulom x E GFp4) polinoma Ax), nadalje demo nulu
oznaEiti s a E GF(z~), a Elanove pol~a~ ~ ( 2 Cemo 4 ~ ) izraziti preko potenciie
Elana a. Sada motemo r d i da su nule polinomaffx): a , d,d,..., a 2m-l
m stupanj polinomaffx).
,gdje je
Mote re pokazati da sue Elanove polja GF(Z~)motemo izmiti kao ostatke pri
dijeljenju potencije a'polinomomj(a) - Tablica 4.6. Za potencije veCe od I5
koristimo jednakost a' =
 UVOD U TEORIJU JNFORMAClJE I KODIRANJE
- /
4. ZASTIWO
KODIRANJE

Tablica 4.6: Clanovi polja G F ( ~=~F[x]/f(x)

) , f( x )= x4 + x + l
Stoga je svaki od a,..at4 nula jednog od ireducibilnih faktora. Faktor koji je
elementa a ' je ujedno i minimalni polinoln elementa a ' .
Taka je, na primjer, element a'' = a0= I nula polinoma x + I , pa je mo(x) = x +
1. Sam Ax) = ml(x)je faktor odxI5-1, te je minimalan polinom elemenata a , 2,
d i a8. Preostali faktori su takoder minimalni polinomi, a uvrgtavanjem
savlajemo koji a' ima koji mini~nalnipolinom. Tako je na primjer a' nula
fakora x2 + x + l , paje m , ( x ) = x ' + x + ~ .
Cini se da je odredivanje minimalnih polinoma jednostavan postupak. Jedino je
potrebno poznavati faktore od x" - 1 . Medutim, to Eesto nije moguCe znati jer se
u praksi javlja potreba za faktorizacijom polinoma velikog stupnja, npr.
x212 - 1 = x 4294967296 - 1 , U tom se sluEaju koriste razliEiti postupci odredivanja

koeficijenata minimalnih polinoma.

Na pri~njer,minimalan polinom m , ( x ) uvijek moiemo prikazati u obliku:
Sada ~ n o i e ~ nizreCi
o definiciju kljuEnog pojnla potrebnog za konstrukciju BCH
koda.
MINIMALNI POLINOM: Neka je b Elan GF(2"') = F[x]lf(x). Minimalan
buduCi da su as i a'' njegove nule. Iz ovoga vidimo da broj nula minimalnog
polinom ele~nentab E GF(2"')je ireducibilan polinom m(x) najmanjeg moguCeg
polinorna odreduje i njegov stupanj. Mnoienjem dobivamo:
stupnja kojem je b nula u polju GF(2"), tj. m ( b ) = 0 E GF(2"').
m 5 ( x )= x2 + x ( a 5 + a ' O ) + a 5 a ' 0 .
Dakle, minimalan polino~nnekog Elana b polja F[x]lfix) je onaj ireducibilni
polinom najmanjeg mogukeg stupnja za koji vrijedi m ( b ) = 0. Ako prolnatramo Iz tablice (Tablica 4.6) dobivamo da je a 5 + a " =1 i a5a10= 1, Pa
polje F[x]/j(x)generirano polinomom fix) = x4 + x + 1 , onda je fix) ujedno i
zakljuE,ujemo da je
minimalan polinoln svojih nula, a to su a, c?, a4,aa.Kako bislno naglasili ovu
Einjenicu, za minimalan polino~nfix) koji ujedno generira G F ( ~ uvodimo
~) m,(x)=x2+x+1.
oznaku ml(x) =fix). Indeks 1 minimalnog polinoma dolazi od potencije nule Eiji
je on minimalni polinom. Ilustrirajmo joS jednu metodu. Neka je m 3 ( x ) minimalan polinom od P = a 3 .
Njegove nule su i P 2 , P 4 i P 8 . m 3 ( x ) irna Eetiri nule pa zakljuEujemo da je
I Vaino svojstvo nule a je da za GF(2"')vrijedi:
m3( x ) polinom Eetvrtog stupnja oblika: m 1 ( x )= x4 + a,x3 + a,x2 + a , x + a,.
Da bismo izraEunali Eetiri koeficijenta a, E G F ( 2 ) , postavljamo jednadibu:

I Na primjer, u polju G F ( ~=~F[x]lf(x)

) vrijedi:
x" - l = ( ~ - a ) ( x - a ~ ) ( x - a ~ ) ~ . . ( x - a ~ ~ ) .
m,(P) = 0 3 m 3 ( a 3 )= + a I ( a 3 ) '+ a2(a3)'+ a l ( a 3 )+ a , = 0.
BuduCi da je m3(x) ireducibilan, mora biti ispunjeno da je ao=l. KoristeCi
ponovno tablicu (Tablica 4.6), gomju jednadibu moiemo zapisati u obliku:
Vidi~noda polinom xl' -1 ima nule a , ..., ai4,tj. moie se faktorizirati u
polinome stupnja jedan koji imaju nule a, ..., ai4.S druge strane znamo da se
xI5 - 1 mofe faktorizirati u niz ireducibilnih polinoma:
UVODU TEORIJU INFORMACIJE I KODIRANJE

Matrica je dobivena koriitenjein polinoma za provjeru pariteta'' h(x) = x4 + x2 +

Iz ovoga dobivamo sljedeCejednadibe:
1+a,+n2+a,=0 3 a,=1
l+a2=0 3 az=l
l+a,=O 3 a,=l,
Eime je odreden minimalan polinom za elemente a 3 ,a 6 ,a9 i aI2:
m 3 ( x ) = x 4+ x 3 + x 2 + x + l .
To je upravo faktor polinonla xis-1. Tablica 4.7 prikazuje sve polinome polja
F [ x ] l f ( x ) . Primijetimo da su svi faktori polinoma xis-1 minimalni polinomi
barem jednog elementa iz F [ x ] l f ( x ) .
Tablica 4.7: elanovi polja F [ x ] l f ( x ), f ( x ) = x4 + x + 1
x + 1 . Nakon toga je cikliEnim posmakom svih stupaca za jedno mjesto udesno
dobivena jedna ekvivalentna inaEica koda, te su zamijenjeni 1. i 3. redak, te
nakon toga 2. i 3. redak.
Ukoliko se pogleda matrica H, moie se primijetiti da su svi stupci razliciti i da
odgovaraju binamim ekvivalentima brojeva od 1 do 7. H zadovoljava uvjete iz
definicije Hammingovog koda, pa je cikliEan k6d [7, 41 ujedno i Hammingov
k6d [7, 41. U opCem se sluEaju uvijek moZe konstruirati Hammingov k8d koji je
ujedno i cikliEan.
CIKLICAN HAMMINGOV KOD: Neka je g(x) ireducibilan polinom stupnja
r. Matrica provjere pariteta cikliCnog Hammingovog koda je
1
H = 1 a aZ... a'
1.
... a2r-2
gdje je a nula generirajuteg polinoma g(x) u polju F[x]lg(x),a a' i-ta potencija
nule modulo g ( a ) .
Vratirno se kodu [7, 4 , 31 s generirajudim polinomom g ( x ) = x3 + x + l . VaZno
je uoEiti da su stupci matrice H potencije nule a polinoma g(x) modulo g ( a ) .
Na primjer, sedmi stupac je [ l 0 11, a a 6 m o d ( d + & l ) = &+I, ito je upravo
polinomijalni zapis tog stupca.
Neka je y = )I, y . .. y~ ys] primljena kodna rijd, a y(x) = y6 x6 +. ..+ y l x + yo
'

polinom koji ju opisuje. Ovdje smo koeficijente polinoma namjemo uzeli

obrnutirn redoslijedom u odnosu na redoslijed kod cikliEnih polinoma u
prethodnom potpoglavlju, jer olakiava zapis u matematickom aparatu BCH
kodova. Na primjer, ako je primljena kodna rijeE [1011001], onda je

4.5.2. CikliEni Harnmingovi kodovi

PoSto je cikliEan Hammingov k6d linearan, sindrom kodne rij&i je
Za shvaCanje BCH koda de narn posluiiti i pojam cikliEnog Harnmingovog
koda. Prisjetimo se cikliEnog CRC-koda [7, 4, 33 s generirajudom matricom
g ( x ) = x3 + x + 1 . Matrica provjere pariteta ovog koda je:
UVODU TEORIJU MFORMACIJE [ KODIRANJE
Medutim, matricu HT moiemo promatrati i kao vektor stupac potencija nula a
u kojein su elementi i-tog retka koeficijenti polinoma d, pa se ratunailje
sindroma svodi na rnnofenje:
Dakle, kada je inatrica H napisana preko potencija od a , onda se raEunanje
sindroina svodi na uvrStavanje nule a kao argumenta polinoma primljene
kodne rijefi:
Na ovaj se naEin razmatranje sindroma zapravo svodi na operacije s
polinomima, Sto bitno olakSava razmatranje BCH kodova.
Korisno je priinijetiti joS jedno vaino svojstvo matrice H. Ona iina oblik
H = [I I MI . Za matrice provjere pariteta u ovakvom obliku kaiemo da su siste-
matiEne matrice, poSto definiraju kBd u sistematiEnom obliku. To znaCi da je
struktura kodne rijeEi takva da se zaStitni dio nalazi iza same poruke kodera
informacije (Slika 4.16).
4.5.3. Definicija BCH kodova
CikliEni binarni kodovi su klasa kodova koja ima vrlo jednostavnu sklopovsku
impleinentaciju kodera i dekodera. Medutim, odredivanjc udaljenosti cikliEnog
koda je u opCem sluEaju iznimno sloieno, kako je vidljivo iz primjera koda
CRC-32. Binarni BCH k6d je cikliEan k6d Eiji je generirajuki polinom mogute
odabrati na natin da udaljenost koda bude unaprijed poznata. U opCem se
sluEaju BCH k8d mote definirati na sljedeCi naEin.
BINARNI BCH K ~ D BCH : k8d je cikliEan k8d s generirajukim polinomom
g(x) koji ima sljedeCu strukturu:
g(x) = m, (x)m3 (x) ...m,,-, (x).
4. ZASTITNO KODIRANJE
rn,(x) su minimalni polinolni od a ' , i = 1,3,5,. .., 2t - 1, a a E G F ( 2 "' )
polinoin stupnja m-1 i nula polinoma m, (x)u polju GF(2").
posebna klasa BCH kodova za koju je jednostavno ustanoviti udaljenost koda je
klasa primitivnih BCH kodova, kako je definirano sljedetim definicijama.
PRIMITIVNI POLINOM: Neka je m~(x)ireducibilan polinom stupnja m s
koeficijentiina {0, l ) , a a element polja F[x]lml(x) = GF(2'")koji je ujedno i
nula polinoma ml(x). Ukoliko se svi eleinenti polja GF(2'") mogu dobiti kao
ostatak pri dijeljenju a'mod ml(x), onda se kaie da je a priinitivan element
polja GF(2In), a m,(x) primitivan polinom.
PRIMITIVNI BCH K ~ D Neka : je mi(x) primitivan polinom stupnja m, a m,(x)
minilnalan polinom elemenata a ' polja GF(2"), gdje je a nula polinoina ml(x).
BCH k6d s generirajutiln polinomoin
zove se primitivan BCH k6d. Duljina kodne rijeEi je n = 2"'-1. Stupailj
geiierirajuteg polinomag(x) je inanji ili jednak m.t, a dimenzija k > 2'"-1-m.t.
K L J U ~ N OSVOJSTVO PRIMITIVNOG BCH KODA: Prirnitivni binanli
BCH kBd K s duljlnom kodne rijeE1 n = 2"' - 1, gdje je m stupanj pnmitivnog
polinoma nzl(x) i gencrirajukim polinomom
g(x) = m, (x). m3 (x). m,( 4 . . .m2,-, (x)
ima udaljenost koda d(K) 2 2 .t + 1. K6d K moie ispraviti t -struku pogreSku
bita.
U prethbdnom smo odjeljh izraEunali da u polju p o l i n o m a G ~ ( 2 ~ koje
) , je
generirano ireducibilnim polinomom x4+ x + 1, element a ima minimalan poli-
nom m, (x) = x4 + x + 1, a element a3ima minimalan polinom m3(x) = x4+ x3 +
x2+ x + 1. KoristeCi prethodnu definiciju BCH koda dobivamo generirajuti poli-
nom
cikliEnog BCH koda. BuduCi da je ml(x) primitivan polinom, BCH k6d s ovim
generirajutim polinoinom ima mogutnost ispravljanja dvostruke pogreSke
(t = 2).
BuduCi da je BCH kBd cikliEan k8d, bilo koja kodna rijeE mofe se prikazati
umnoSkom
U V O D U TEORIJU MFORMACIJE I KODIRANJE
c(x) je polinom koji zasigumo ima nule a i a 3 ,jer su to nule minimalnih
polinoma koji Eine generirajuci polinom g(x). Stoga zasigumo vrijedi
Kako smo definirali u prethodnom potpoglavlju, ove dvije jednadibe odgovaraju
mnoienju vektora i matrica:
Sto moie biti zapisano i jednom jedinom jednadibom:
Prisjetimo s e da mnoienje vektora kodne rijeEi s matricom, koje daje rezultat 0,
odgovara izraEunu sindroma kodne rijeei. Slijedi da je matrica u prethodnom
izrazu zapravo matrica provjere pariteta BCH koda sa strukturom:
4. ZASTITNO
KODIRANJE
/
Ovim srno definirali BCH k8d koji kao prvi minimalni polinom ima upravo
primitivni polinom polja G F ( 2 4 ) .Naravno, moguCe je odabrati i neke druge
miniinalne polinorne. Mectutim, kada je prvi minimalan polinom ujedno i
prirnitivan polinom polja G F ( z 4 ) ,onda govorirno o primitivnim binamim BCH
kodovima.
Primjer: Konsfrukcija primitivnog BCH koda
Konstruirajrno priinitivni binami BCH k6d sa sposobnoSCu ispravljanja trostruke
pogrelke. Duljiila kodne rijeEi mora biti n = 3 1, a udaljenost koda d ( K )= 5. Da
bismo konstruirali ovakav k8d, potrebno je uoEiti da generirajuCi polinorn
faktorizira polinom x" -1. BuduCi da se radi o primitivnom binamom BCH
kodu, onda je stupanj primitivnog polinoma ml(x), m = 5, poSto mora biti
zadovoljeno 31 = 2"'- 1. Za prirnitivan polinom, koji de ujedno biti i polinom
ml(x), moiemo odabrati bilo koji ireducibilan polinom stupnja 5 , na primjer
m,(x)= x S+ xZ+ 1 . S obzirom da k8d mora biti sposoban ispraviti trostruku
pogreSku ( t = 3 ) , struktura generirajukeg polinoma mora biti:
gdje je m, ( x ) minimalan polinoin elementa a € GF(z5), m,(x) minimalan
polinom od a'€ GF(2') i m,(x) minimalan polinom od a56G F ( ~ ' )BuduCi
.
da znamo polinom ml(x), potrebno je jog odrediti preostala dva minimalna
polinoma.
Neka je m , ( x ) = x ' + a x 4 + b x 3 + c x Z + d r + 1 . BuduCi da q ( x ) ima nulu a 3 , tj.
) (a3)'+ a ( a 3 ) 4+ b(a3)' + c(a3)' + d ( a 3 ) +I modm,(a) = 0, potencije
m 3 ( a 3=
a' racunamo kao ostatak dijeljenja s m,(x)= x' + x2 + 1 . Irnamo pet jednadibi s
Eetiri nepoznanice: a, b, c i d.
 4. ZASTITNO KODlRANJE

x30 + X16 + X I S . XI5 + X ~ ~ + X ' ~ + X ~ + X ~ + X ' + X ~ + X ~ + X ~ + X + ~

= x l S + x 1 1 + x i 0 + x 9 + x 8+ x 3 + x
(ost.) xI4 + x12 + XI0 + x9 + x8 + xS+ x2 + X

Rjegavanjem ovog sustava dobivamo:

4.5.4. Dekodiranje BCH koda
Vratimo se ponovno BCH kodu s generirajukim polinomom:

i je m,(x) primitivan polinoin kojein je primitivni element a upravo

Polinoin ms(x) inoBemo dobiti sliEnim postupkom. No ukoliko znamo faktorizi-
rati polinom x3' -I, onda je minimalan polinom ms(x) onaj faktor za kojeg je
asnula. Faktorizacija polinoina x3' - 1 je:
UvrStavanjein a5 redoin u sve faktore dobivamo da je as nula sljedekeg
polinoina:
KonaEno slijedi da je generirajuki polinom BCH koda:
g(x)=(x5 + x 2 + 1 ) ( x S + x 4+ x 3 + x 2 + 1 ) ( x 5 + x 4 + x 2 + x + l )
=xI5 + X ' ~ + X I ~ + X ~ + X ~ + X+~x S+x3+x2+x+l.
~ u d u k da
nula, onda slijedi da je ovaj BCH k6d primitivan i vrijedi kljuEno svojstvo
primitivnih binarnih BCH kodova. BuduCi da je 3 = 2t-1, slijedi da je t = 2, pa
ovaj BCH k8d zasigurno moie najviSe ispraviti dvostruku pogreSku u kodnoj
rijeEi. Postavlja se pitanje kako pronaii pozicije na kojiina je doglo do pogreske?
Neka je priinljena rijeE ~ ( x=) c(x) + e(x), gdje je e ( x ) polinoin pogreske. Ako
je prilikom prijenosa doglo do pogreSke na pozicijama i ij, onda je
Buduki da je za linearne blok kodove sindrom priinljene kodne rijeEi jednak
sindroinu pogregke, slijedi da je:

Iz generirajukeg polinoma odlnah vidimo da ovaj kBd ima r = 15 zaStitnih

pozicija. BuduCi da smo definirali da je duljina kodne rijeEi n =31, dimenzija
koda je k = n - r = 16. Iz kljuEnog svojstva primitivnog BCH koda znamo da je
udaljenost koda d ( K ) = 5 , pa je konstruiran linearan blok k8d K = [3 1, 16,5].
Dobiveni se sindrom moie podijeliti u dva dijela od po Eetiri bita: S(e) = [s,s,],
Generiranje bilo koje kodne rijeEi vrSi se dodavailjem 15 zaStitnih bitova gdje je
dobivenih kao ostatak prilikom dijeljenja polinoma poruke pomnoienog s xI5 i
generirajukeg polinomti g(x). Na primjer, ako je poruka v(x) = x15 + x + 1 =
[100000000000001 I], dijeljenjem dobivamo:
Ove su dvije jednadgbe dovoljne za izracunavanje pozicija i i j. Zbog
jednostavnosti uvedimo zamjenu a = a t , b =a1 ( i , j E {O,1,2, ...,14)):
UVOD U TEORIJU INFORMACIJE I KODIRANJE 4. ZASTITNOKODIRANJE

s , = a + b , s,=a3+b'.
s3 se moZe rastaviti na sljededi naEin
Slijedi
a i b bi se mogli pronaCi isprobavanjem svih kombinacija a i b, medutim to bi
rezultiralo sloienoldu postupka dekodiranja a n 2 ) , ito moZe biti neprihvatljivo
za implementaciju dekodera. Zbog toga se primjenjuje neito drukEiji pristup.
se redom uvritavaju vrijednosti a-' = aI4,a" ,... , tj. a = l , a , a 2,... . Kada je
pronaden a, onda je a lokacija prve pogreike, a s, - a lokacija druge pogrelke.
Primjec Chienov algoritam
Prornatrajmo BCH k6d [15, 1 I, 131 s generirajudim polinomom g(x) = ml(x) .
m3(x) = (xq + x + 1) . (x4 + x3 + x2 + x + 1). Neka je vektor pogreSke
I,
e = [ 0 0 0 0 10 0 0 0 0 1 0 0 0 0 ti. e(x) = x" + x 4 . KoristeCi polinom za lociranje
~ogreSke~ ( x i) Chienov algoritam, pokuiajmo odrediti lokacije pogreSki i = 4
i j = 10. Prvo iwaCunajmo sindrome koristehi Tablicu 4.6:
s , ( a ) = a l o+ a 4 = a 2 ,
s3(a3)= +,I2 +a12 a".

Ako su a i b polino~nikoji odreduju lokaciju pogrdke, onda jednadiba

Sada moramo odrediti polinom za lociranje pogrezke:

mora imati rjeienja

X = a-1, x, = b-'

Ukoliko se radi o dvostrukoj pogreSki, a-I i b-' su inverzni elementi elemenata

a i b E G F ( ~ ~S )inverznim
. elementima raEunamo jednostavno ako zapamtimo
da je a" = 1 . Na primjer, inverzni element od a' jednak je a" , jer je
= = 1.

Raspisivanjem izraza (4.2) dobivamo sljededu kvadratnu jednadibu: Sada u a(x) uvrStavamo sve vrijednosti ai4do a i dobivamo da a(x) ima
dvije nule:

Dobivene vrijednosti su inverzi od a i b, pa a i b dobivamo na sljedeCi naEin:

Polinom o(x) se zove polinom za lociranje pogreSke i poprima vrijednost 0 za
a-' i b-I . Polinom a(x) detektira i ispravlja pogreSku na sljededi naEin:
ako je s, = 0 i s3 # 0, onda postoje vile od dvije pogreike;
ako je [(s,/s,) + s,'] = 0, onda postoji samo jedna pogreika na lokaciji
-1
s, ;
inaEe postoje dvije pogreSke na lokacijama odredenim s a-' i b-I
Jasno, kvadratnu jednadibu a(x) = 0 nije moguCe rijegiti na standardan alge-
barski naEin. Stoga se primjenjuje tzv. Chienov algoritam pretrdivanja. U ~ ( x )
a = aIs-ll - a 4 = a', b = a15-5 -a
- '0 = a J ,
Sto toEno odreduje lokacije pogreiki.
U opdem sluEaju, kada se dekodira BCH k6d koji je sposoban ispraviti t -struku
pogrelku, koristi se tzv. Berlekampov algoritarn [6] za izracunavanje polinoma
a ( x ) i onda se primjenjuje Chienov algoritarn za lociranje pogregke. Ovakav
pristup osim ito smanjuje slo5enost dekodiranja na O(n) takoder omoguCuje i
. jednostavnu sklopovsku impleinentaciju. Zbog ogranicenog raspona ove knjige,
neCemo govoriti o opdenitoj irnplementaciji dekodera BCH koda.
CikliEni BCH kodovi imaju Siroku primjenu u telekomunikacijama i skladiztenju
podataka. Primjenu nalaze u radiokomunikacijskim sustavima (mobilna tele-
 UVODU TEORIJU MFORMACIJE I KODlRANlE 4. ZASTITNO
KODIRANJE

fonija, mikrovalne veze), tehnologijama digitalne pretplatniEke linije, satelitskim U skladu s definicijon~Reed-Solomon~~og koda, stupanj primitivnog polinoma
komunikacijarna, digitalnoj televiziji te u sustavima za skladigtenje podataka kao je rn = 2. Za dimenziju vektora poruke p izabiremo k = 2, tako da je duljina
Sto su CD i DVD. peruke koja se zagtitno kodira k . rn = 4 bita. Uzmimo na primjer porukup = [ l 0
1 11. U njoj prepoznajemo dvije rijeEi duljine 2 bita: 10 i 11. U okviru polja
G F ( ~ ~poruku
) moiemo napisati preko potencija primitivnog elementa a:
4.6. Reed-Solomonovi kodovi P =[a3,a21,
post0 10 odgovara d , a 11 odgovara G?. Odgovarajudi polinom je
Reed-Solomonovi kodovi (u nastavku RS kodovi) Eine klasu kodova koji se
I temelje na aritmetici konaEnih polja. Konstruiraju se nad poljem polinoma p ( x ) = a 3 + a 2. x .
GF(2") s primitivnim polinomom fix). Kodne rijeEi RS koda su duljine Kodnu rijeE formiramo na sljedeCi naEin:
n = m .2". Originalno se RS k6d definira kroz naEin formiranja kodnih rijeEi iz
poruka na sliedeki naEin. c =[C,,C~J~,C,I
=[p(O),~ ( a )p,( a 2 ) ,p(a3)1,
BINARNI REED-SOLOMONOV K ~ D Neka : je a primitivan element polja gdje su:
polinoma GF(2"') s y = 2" elemenata generiran primitivnim polinomom fix).
p(0)=a3+ a 2 . 0 = a 3 ,
Neka je p = bo, p,, ...,pk- I] vektor duljine k.m koji predstavlja poruku, a p(x) =
pk-1xk-1+ ... + POpripadajuki polinom, gdje su koeficijenti polinoina p i binarne p ( a ) = a l + a 2 . a = a 3+ a 1 =o,
reprezentacije elemenata iz GF(2"'). Kodna rij& RS koda predstavljena p ( a 2 ) = a 3 + a 2 . a 2= a 3 + a 4 = a 3 + a = a 2 ,
vektorom c duljine n = m . q = m - 2'" dobiva se iwaEunom vrijednosti polinoma
p(x) modfix), za sve vrijednosti polja GF(2"'): 0, a , ..., aq-I: P ( a 3 ) = a 3 + a 2 . a 3=a3+ a 5 = a 1 + a 2 = a .
KonaEno je

Svaki Elanp(x) zapisuje se u svojoj binarnoj reprezentaciji i duljine je m bitova. c =[a3,0,a2,a]=[10001101].

Primjec Reed-Solomonov k6d nad poljima GF(Z'~i G F ( ~ )
Prethodnu definiciju Reed-Solomonovog koda najlakSe je shvatiti na primjeru.
Kao trivijalan primjer RS koda promatrajmo RS k6d nad poljem GF(4). Primi-
tivni polinom ovog polja je ireducibilan polinom drugog stupnjafix) = x2+ x + 1.
Clanovi polja iskazani primitivnim elementom a = x su:
Ukupan broj moguCih kodnih rijeEi ovog koda je qk = 4' = 16. Kodne rijeEi su
duljine q - rn = 4 . 2 = 8 bitova. Pregledom svih kodnih rijeEi koje mogu nastati
dobivanio da je najmanja teiina svih kodnih rijeEi razliEitih od nul-kodne rijeEi
3, pa je udaljenost koda d(K) = 3. U notaciji blok kodova radi se o kodu (8, 16,
3).
Ukoliko poveCamo rn s 2 na 3, dobivamo polje GF(8). U tom sluEaju moramo
izabrati primitivni polinom stupnja 8, na primjerfix) = x3 + x + 1. Izaberimo da
je k = 5, tj. da polinom poruke ima stupanj 2. BuduCi da se svaki Elan polja
GF(8) kodira s m = 3 bita, duljina poruke u bitovima je k . rn = 15 bitova. Kodna
rijeE formira se na sljeddi naEin:

iz Eega slijedi da je duljina kodne rijeEi n = q . m = 24. Pri formiranju jedne

konkretne kodne rijeEi moiemo koristiti sljedeCu tablicu elemenata polja GF(8)
s primitivnim polinomom fix) = x3+ x + 1:
Dakle, Elanovi polja su rijeEi duljine 2 bita, gdje je svaka predstavljena
potencijom primitivnog elementa.

Zagtitno kodirajmo poruku p = [I10 010 101 000 0101. Polinomijalni zapis ove
poruke je sljedeCi:
Binarnim zapisivanjem svakog Elanap(d) dobivamo kodnu rijeE:
Reed-Solomonovi kodovi, kako su definirani prethodnom definicijom i ilustri-
rani prethodnim primjerima, su kodovi Eiji su elementi m-bitne rijeEi (engl.
byte), a ne bitovi, kao u sluEaju klasa kodova koje smo ranije prouEavali.
Korisno svojstvo ove klase kodova je da k6d duljine q m-bitnih rijeEi s duljinom
poruke od k m-bitnih rijeEi moie ispraviti t-struku pogreSku gdje je t definiran
jednadibom:
Ovo je ujedno i najbolja moguCa sposobnost koda duljine s danim q i k da
ispravi pogreiku. Ugrubo se moie reCi da RS k6d s r zaititnih m-bitnih rijeCi
moie ispraviti r/2 pogreiki. Vaino je uoCiti da pogreikom smatramo pogreSku u
m-bitnoj rijeEi unutar kodne rijeEi. Kaie se da k6d postiie optimalnu sposobnost
ispravljanja pogregki, pa se RS k6d zove i k6d s maksimalno razdvojenim
udaljenostima (MDS - engl. maximum distance separable).
Moie se pokazati da su Reed-Solomonovi kodovi potklasa BCH kodova, pa se u
praksi najEeSCe razmatraju kao cikliEni kodovi.
CIKLICNI REED-SOLOMONOVI KODOVI: Reed-Solomonovi kodovi su
cikliCni kodovi Eiji je generirajuki polinom
4. ZASTITNOKODIRANJE
gdje je a primitivan element polja GF(2") a r < n, n = 2"-1.
podsjetimo se da je polinom oblika x" -1, n = 2"'-1, uvijek moguCe faktorizirati
konstedi se potencijama priinitivnog elementa a' iz polja GF(n):
Iz ovoga slijedi da polinom g(x) zasigumo dijeli polinom x" - 1 bez ostatka, te
je g(x) generirajuki polinom cikliEnog koda. Na primjer, u polju GF(~')
generiranom polinomom Ax) = x3 + x + 1, potencija a' = a2+ a + 1 je nula
polinoma x7-1. Uvritavanjem polinoma x2+ x + 1 u polinom x7- 1 dobivamo:
Isto je moguCe provjeriti za sve ostale potencije. Stoga je g(x) za odabrani r = 5 i
n = Z3 - 1 = 7 moguke prikazati u obliku:
i predstavlja generirajuki polinom jednog Reed-Solomonovog koda. Ponovno
treba napomenuti da r i n predstavljaju broj m-bitnih rijeEi unutar poruke ili
kodne rijeEi, gdje svaka m-bitna rijeE predstavlja jedan Clan polja GF(2") Moie
se uoEiti da je duljina kodne rijeEi n cikliEnog RS koda za jedan manja od kodne
rijeCi koja se dobije originalnom definicijom RS koda.
Moguke je pokazati da je g(x) generirajuti polinom BCH koda, pa se primje-
njujuCi kljuEno svojstvo BCH koda dolazi do zakljuEka da je udaljenost RS koda
BuduCi da je stupanj polinoma g(x) jednak r, broj zaStitnih m-bitnih rijeEi je r, a
dimenzija je k = 7 - r. Linearan blok kBd s r zdtitnih pozicija moZe imati najve-
Cu udaljenost koda r + 1. Stoga slijedi da je udaljenost koda K s generirajueim
polinomom g(x) toEno
Sto ponovno potvrduje da je klasa RS kodova klasa s maksimalno razdvojenim
udaljenostima.
Kodiranje i dekodiranje s ciklicnim RS kodovima se provodi na isti naEin kao i
k6d binarnih cikliCnih kodova. MoguCe je iskoristiti isti sklop kao i na slici
(Slika 4.21), ali je bistabile potrebno zamijeniti m-bitnim registrima, a logieke
sklopove iskljuEivog ili odgovarajukim m-bitnim sklopovima za zbrajanje.
UVOD U TEORlJU INFORMACIJE I KODIRANJE
Dekodiranje se teinelji na Chienovom algorit~nupretraZivanja koji je posebno
prilagoden za rad u polju GF(2"').
4.7. Konvolucijsko kodiranje
Konvolucijski kodovi (engl, convolutional codes) mogu se promatrati kao
poseban sluEaj linearnih blok kodova [40]. Pored toga oni se razlikuju u dvije
va2ne stavke:
I ) konvolucijski kodovi spadaju u grupu memorijskih kodova, tj. generiranje
n-tog bita u kodnoj rijeti (engl. code word) ovisi ne samo o trenutaEnon1
ulaznom bitu kodera nego i o k prethodnih ulaznih bitova;
2) kodna rijeE kod konvolucijskih kodova moie u svojoj duljini biti beskonatna
jer i izvorna poruka (engl. sozrrce message) moie biti beskonaEna u svojoj
duljini, Sto je u suprotnosti s blok kodovima [41].
Kod ovog tipa kodiranja pojedinatni blok bitova ne predstavlja kodnu rijet.
Kodna rijeE predstavljena je kontinuiranim slijedom bitova i ista nastaje
prolaskom izvorne poruke kroz linearni posmaEni registar s konaEnim brojem
memorijskih stanja - n7 (Slika 4.24).
Slika 4.24: Binarni posmaEni rcgistar s m memorijskih stanja
OpCenito, konvolucijski koder sastoji se od binarnih posmaEnih registara (svaki
registar ukljuEuje rn memorijskih stanja) i digitalnog logiEkog sklopovlja
(binama zbrajala) preko kojeg se definiraju izlazi konvolucijskog kodera (Slika
4.25). Informacijski slijed bitova koji ulazi u koder pomiEe se kroz posmaEne
registre i to k-bita u jednom vremenskom trenutku. Za svaki k-bitni ulazni slijed
dobivamo n izlaznih bitova. Dakle, kodna brzina (engl. code rate) definira se
kao R = Wn, sukladno definiciji kodne brzine za blok kodove.
Svi izlazi iz digitalnog IogiEkog sklopovlja multipleksiraju se u jedan izlaz na
kojem se pojavljuju izlazni kodirani bitovi (kodna rijec)).
- 4. ZASTITNO
KODIRANJE
posmaEni registrar
k n H izlazni kodirani bilovi
Slika 4.25: Shematski prikaz konvolucijskog kodera (k = 3, n = 4, L = 15)
Jedan od vainijih parametara u teoriji konvolucijskih kodova je granitna duoina
(engl. constraint length) konvolucijskog koda, L. Dani parametar odreduje broj
bitova koji utje6u na vrijednost pojedinog izlaza kodera. Za neke od sljedeCih
primjera parametar L raEunat Cemo kao L = m + 1. Treba naglasiti da je ovo
samo jedna od definicija i da se navedeni parametar (L) u literaturi razliEito
definira [3 11. Isto tako, ulazni nekodirani bitovi mogu se u registre konvolu-
cijskog kodera uvoditi serijski ili paralelno (Slika 4.26). Ako se koristi sustav
paralelnih ulaza tada se nekodirani bitovi moraju prvo uvesti u sklop za serijsko-
paralelnu (SF) pretvorbu.
Slika 4.26: Primjer konvolucijskog kodera (k = 2, n = 3):
a) paralelni ulazi i b) serijski ulaz
Tipovi konvolucijskih kodera
Razlikujemo dva tipa konvolucijskih kodera, i to: sistematski i nesistematski.
Sistematski koder dodaje bitove zaStite na nepromijenjene bitove izvorne poruke
(Slika 4.27a). U kodnoj se rijeEi, pored zaStitnih bitova, pojavljuje i izvorna
poruka. Nesistematski koder kodira sve bitove izvorne poruke (Slika 4.27b).
DndcEije reEeno, unutar kodne rijeEi se ne nalazi izvorna poruka. Vidljivo je da,
se Hammingova udaljenost izmedu kodnih rijeEi smanjuje kod sistematskog
kodera obzirom da odbacujemo jedno ili viSe binarnih zbrajala.
UVOD U TEORIJU INFORMACIJE I KODIRANJE

posmaEnog registra, njegov je funkcijski generator 0)4,, 1,

4"=[loo] = [h,,04,, (1) (1'
-.
-

gdje rn u izrazu hi',) predstavlja rn-to memorijsko stanje posrnaEnog registra.

Drugi funkcijski generator (odnosi se na drugi izlaz kodera) spojen je sa
stanjirna 0 i 2. Zbog toga je 4") =[lo I] =[h/,~'h,!~'/z~)] i konaEno
-
4'') = [l 1 11= [h,;)h,:)h,!:']. Kodirani vektori i(') , i('), i(3) (pridruieni izlazirna
kodera 1, 2 i 3) uz poznavanje funkcijskih generatora, izraEunavaju se kao:
Slika 4.27: Sistematski a) i nesistematski b) konvolucijski koder (k = 1, n = 2)
= d * h,('), i(2)= d * q2)
i i(') = d * 4(3)
, gdje d predstavlja infomacijske bito-
ve koji ulaze u koder. Simbol ""'oznaEava binarnu (modul 2) diskretnu
konvoluciju. Nadalje, koristeCi operaciju konvolucije, r-ti (r 1 0) bit j-tog
4.7.1. Generirajuca matrica binarnih konvolucijskih kodiranog vektora odreduje se iz:
kodova
Jedan od naEina opisivanja konvolucijskog koda je preko generirajuke matrice
(engl. generator matrix) koda, na slizan naEin kao kod blok kodova. OpCenito
gledano, generirajuda matrica konvolucijskog koda beskonaEna je iz razloga Sto
ulazni slijed informacijskih bitova moie biti beskonaEan u svojoj duljini. U
praksi se konvolucijski kodovi koriste za kodiranje infomacijskog slijeda
konaCne duljine. Na ovaj naEin iz konvolucijskog koda nastaje blok-kBd. Za
definiranje generirajude matrice, uporabit Cerno prikaz u kojem Cerno specifi-
cirati skup od n vektora (tzv. funkcijskih generatora) i to jedan vektor za svaki
od n izlaza konvolucijskog kodera. Svaki funkcijski generator oznac'ava veze ~zlaz
izrnedu binarnih zbrajala i stanja posmaEnih registara za pojedini izlaz kodera.
Postojanje "1" na nekorn mjestu unutar vektora (npr. i-to mjesto) pokazuje da je ulaz
i-to stanje u posmaEnorn registru spojeno na promatrano binarno zbrajalo, dok (dl
"0" na toj poziciji pokazuje da ne postoji veza izrnedu i-tog stanja i binarnog ...10
zbrajala. Prethodno reEeno objasnit demo na jednom prirnjeru.

Prirnjer: Slika 4.28: Sistematski konvolucijski koder (L = 3, k = 1, n = 3)

Neka je dan binami sisternatski konvolucijski koder s parametrima: L = 3, k = 1 i
n = 3 (Slika 4.28). Primjer: Diskretna binarna konvolucia

Polazno je definirano da su u posmaEnirn registrirna sva stanja postavljena na Neka na ulaz konvolucijskog kodera Eiji su funkcijski generatori /I,(') =[11 I],
"0". Pretpostavimo da je prvi ulazni bit "1". Tada je izlazna sekvenca od 3 bita
[ I l l ] . Neka je drugi bit na ulazu "OM,tada Ce izlazni slijed biti [OOI], a ako je
, odnosno J1,(~'=[101], dolazi inforrnacljski slijed d=[1001100]. Potrebno je

tredi bit "1" izlaz de biti [loo] itd. Nadalje, oznaEimo s h,('),q2) iv' funkcijske
odrediti i(", odnosno i(').
Prvi bit (r = 0) u kodlranom vektoru i(')je
generatore sukladno trima izlazima kodera i jednom ulazu. h,") predstavlja
impulsni odziv j-tog izlaza kodera (1 _< j < n) u odnosu na njegov i-ti ulaz (1 5 i it' =doh,$ +d-,h,~l'+d-,h,~~
=1.1+0.1+0.1=1.
< k). Obzirom da je prvi izlaz kodera spojen izravno na nulto memorijsko stanje
UVOD U TEORllU INFORMACIJE I KODIRANJE 4. ZASTITNO
KODIRANJE

Nadalje,
i ~ ' ) = 0 . 1 + 1 . 1 + 0 . 1 = 1 ,i r =0.1+0.1+1.1=1, i ~ = l . l + 0 . 1 + 0 . 1 = 1 ,
iY)=1.1+1.1+0.1=0, i'"-0.1+1.1+1.1=0, 5 -
i~'=0.1+0.!+1.1=1.

Po istoj analogiji dobivamo da je i'21=[10111111. ~avedimo,na primjer, kako se dobije vrijednost [...100...] za s u prethodnoj
jednakosti. PNO treba provesti mnoknje (IogiEka funkcija I) izmedu informa-
Na multipleksiranom izlazu iz kodera pojavljuje se kodna rijeE (s) i ista se sastoji cijskog vektora d i treCeg stupca matrice G, a potom zbrajanje (logiEka funkcija
od beskonalcnog broja bitova. U ovom primjeru kodna rijeE nastaje multipleksi- EX-ILI) izmedu dobivenih vrijednosti, tj. 0 1 1$0008 111=100.
ranjem triju kodiranih vektora, tj, i''' = [$I' i;" ir' ...], i(2'= [i,(2' ii2)ii2'. ..] i prethodni proralcun vrijedi iskljuEivo uz pretpostavke da su sva stanja
i'" = iy' if' . ..]. Na taj natin dobivamo s = [if1)i,(2'i,(" 4" q' i:]' . ..]. posnlatnog registra u poEetku bila postavljeaa na [OOO] i da informacijski slijed
zavrSava s m nula u cilju brisanja posmaEnih registara. Dakle, ukljuEujuCi dvije
Konatno, generirajuka matrica (G) konvolucijskog koda u potpunosti je "0" u d kodna rijeE s postaje jednaka prethodno proratunatoj.
odredena s funkcijskim generatorima, a njezina dimenzija ovisi o promatranoj Sljedeki primjer predoEava naEin generiranja matrice G za neito s!olcniji oblik
ulaznoj infonnacijskoj poruci (d). Opdenito, generirajuda matrica konvolucij- konvolucijskog kodera.
skog koda je oblika:
Primjer: Konvolucijski koder kodne brzine 213
Potrebno je odrediti kodlranu poruku na izlazu kodera za sluEaj da na njegov
Go G, ... G,,,-I G," s podmatricama G, = . ulaz dolazl pomka d = [I 1 011, gledano s lijeva na desno.
Go . .. G,,,-2 G,,,-, G,,, .
... 'r ill)

( I = O,l,...,m).
ulaz~
s=[l10 010 000 0011
Prazna mjesta unutar matrice G popunjavaju se nulama. d,=[10]

Za dani primjer (k = 1, n = 3) struktura generirajuke matrice je

4y;q,'d...4(" h;;'h(,;,':'.../,,y,l;' .,. ,,m .. .;
4: 1 dt=llll
,,I p)
h(,!h$) ...pi) hy,?) . . ... h,("*,;. ..h?" Slika 4.29: Konvolucijski koder (k = 2, n = 3)
G=
... ...
hjb)hl(,?...h$) h,yI)h(,;)...*,;I ... hy;h:;...q,;"J Za dani konvolucijski koder kodna baina iznosi 213. U ovom koderu 2 bita
- istodobno ulaze u koder, a tri bita se pojavljuju na njegovom izlazu. Obzirom da
Pretpostavimo da na ulaz kodera sa slike (Slika 4.28) dolazi poruka d = [101.] koder ima dva ulaza, dana se poruka dijeli na dvije potporuke i to: d l = [lo] i dz
gledano s lijeva na desno. Generirajuka matrica G poprima oblik: = [l L].

Da bi mogli provesti kodiranje potrebno je odrediti generirajudu matricu koda

(G). Kao prvo odredimo funkcijske generatore:

(I) .
hi1)= [ooo] = [h:;~gl!#;i], g2)= [loo] = [@f~)%:)@f:] 2,1 F?.~]
V )= [011] = [F?,~
dok se odgovarajuka kodna rijeE (s) dobiva iz: i (3)h(])
GenerirajuCa matrica i podmatrice navedene Su niie:
UVODUTEORIJU INFORMACIJE I KODIRANJE 4. ZASTITNOKODIRANJE

ulaz
d(D) -

d(D)

KonaCno, kodiranu poruku dobivamo iz: 1

0
d
0
0

Slika 4.30: Grafirki prikaz proraEuna za $')(D)

Polinomski prikaz konvolucijskih kodova

Ukratko navedimo da postoji i drugi naCin opisivanja konvolucijskih kodova, tj.
preko polinoma. Na primjer, za koder sa slike (Slika 4-28), polinomski prikazi
funkcijskih generatora su:
gdje je D jediniEni operator kainjenja (engl. unit delay operator) koji se odnosi
na posmaeni registar. Postojanje pojedinih stupnjeva polinoma ovisi o tome da li
postoji veza izmedu pojedinog stanja posmaEnog registra i nekog od izlaza
kodera. Jednak polinomski prikaz moie se napraviti za kodirane vektore, na
primjer i('), i(2),..., kodnu rijeE (s), generirajutu matricu (G) itd.
Na primjer, neka na ulaz kodera sa slike (Slika 4.28) dolazi informacijski slijed
bitova d = [ l o l l , gledano s lijeva na desno. Polinomski prikaz navedenog slijeda
je d(D) = 1+ D2 . Kodirani vektori i(" , i(2),iO) (pridruieni izlazima kodera 1,2 i
3) uz poznavanje funkcijskih generatora, izraEunavaju se kao:
i"'(D) = (1 + 0 ' ) .1= I , I + D 2 .1= 1+ D2 , Sto odgovara binarnorn slijedu 101.
Slika 4.30 daje grafiEki prikaz prethodno provedenog proraEuna za i"'(D).
= 1+ D4ili binarno 10001. KonaEno, za J("(D) dobivamo i(3)(D) = (1 + d)
(1 +
D + D ~ ) =... = 1 + D + D 3 + D 4 i l ibinarno 11011.
Napomenimo da na kraj binarnog slijeda od kodiranog vektora i ( ' ) ( ~ )
treba
dodati dvije nule kako bi se njegova duljina uskladila s ostalim kodiranim
vektorima.
Nadalje, polinomski prikaz multipleksiranog izlaza je s(D) = i(')(D3) + Di(')(D3)
+ @1(" (D3) = .,. = 1 + D + D~ + D5 + D6 + Dl' + 0'' + Dl4 ili binarno
1 1100110000 1011. OpCeniti izraz za proraEun multipleksiranog izlaza je: s(D) =
i")(D") + D$~)(D")+ ... + DW'p)(D").Vile o ovome mo2ete naCi u [34] i [26].
4.7.2. GrafiEki prikaz konvolucijskih kodova
U potpoglavlju (4.7) su dane osnovne matematieke formule koje se koriste za
opisivanje konvolucijskih kodova. Isto tako, postoje grafiEki prikazi koji
omogukavaju dobivanje vise informacija o konvolucijskim kodovima. Dakle,
postoje tri grafiCke metode ili tri grafiEka nacina koji se koriste za opisivanje
konvolucijskih kodova [30], i to:
stablasti dijagram (engl. tree diagram);
reietkasti dijagram (engl. trellis diagram);
dijagram stanja (engl. state diagram).
 UVODU TEORlJU MFORMACIJE I KODIRANJE 4. Z ~ S n m KODIRANJE
o
/

Na primjer, stablasti dijagram za konvolucijski koder sa slike (Slika 4.28),

predofen je na slici (Slika 4.3 1). Uz pretpostavku da su sva stanja kodera
postavljena na "OH,iz dijagrama se lako oEitava da je za ulazni bit "0" izlazni
slijed [OOO], i ako je na ulazu kodera "I", izlaz je [ill]. Nadalje, ako je prvi
ulazni bit bio "I", a drugi "O", slijedeca tri izlama bita su [Ool]. KreCuCi se dalje
stablom uoEavamo da ako je treCi ulazni bit "I", izlaz je [loo] itd. Vidimo da nas
svaki pojedinaEni slijed vodi u posebno podstablo, a glavno pravilo je da u
svakom Evoru stabla prelazimo u gornji dio stabla ako je na ulazu kodera "O", a
u donji dio ako je na ulazu kodera " 1". Na ovaj naEin stvaramo put u stablu koji
je odreden ulaznim slijedom. Na primjer, put u stablu, sa slike (Slika 4.3 l), za
ulazni slijed bitova 101 omaEen je isprekidanom crtom.
Slika 4.32: Oznafavanje stanja posmafnog registra (Slika b)
za konvolucijski koder (Slika a)

Aka u stablu oznaEimo svako EvoriSte s jednim od Eetiri tnoguCa stanja

posmaEnog registra (Slika 4.3 1 - oznaEeno u "( )" zagradama), vidjet Cemo da u
--- tr&em koraku u stablu postoje dva EvoriSta s oznakama a, b, c, odnosno d. Lako
(a) "001" uoEavamo da su sva grananja u stablu, koja izlaze iz dvaju Evorova, identiEna
"0 "111" (b) ako generiraju isti izlami slijed i imaju istu oznaku (isto stanje). To znaEi da se
ta dva EvoriSta, koja imaju iste oznake, mogu stopiti u jedno. Ako to
ulaz
A I primijenimo na stablo predoEeno na slici (Slika 4.3 I),dobit Cemo drugi dija-
"000 gram, koji je mnogo sloieniji, i zove se reietkasti dijagram.
"011"
......,,.,,.......... ......
,
(a) "Ill" Slika 4.33 prikazuje reSetkasti dijagrain za ranije opisani konvolucijski koder
1 .BOO,.' i

.
i (b) / (Slika 4.28). Kod crtanja dijagrama, iz razloga preglednosti, uzeto je da puna
i........ .
I
/i.......... ...........(c)
crta predstavlja izlaz za ulazni bit "OM, dok isprekidana crta predstavlja izlaz s
"Ill" "
ulazom " 1".
"010

"110 (b)
(d) izvorna p 0 ~ k a

Slika 4.31: Stablasti dijagram za konvolucijski k6d (kodna brzina 113 i L = 3)

(dl
Q
$1
O

Daljnje kretanje kroz stablo otkriva da se stmktura stabla ponavlja nakon trekeg
koraka. Takvo ponaganje je u skladu s Einjenicom da je granifna duljina koda
I
L = 3. To znaEi da je 3-bitni izlazni slijed u svakom stanju stabla odreden s tre-
nutaEnim ulaznim bitom i dva prethodna ulazna bita, tj. ona dva koja se nalaze u
Slika 4.33: ReSetkasti dijagram za konvolucijski k6d (kln = 113 i L = 3 )
posmafnom registm na mjestima I i 2 Na slici (Slika 4.3 1) je trenutaEni u l m i
bit masno otisnut. Prema tome moiemo re61 da je 3-bitni izlaznl slijed za svaki Neito jednostavniji dijagram od stablastog i regetkastog je dijagram stanja.
ulami bit odreden s ulaznim bitom i s jednim od Eetiri moguCa stanja posmatnog Dijagram stanja je graf s moguCim stanjima kodera, kako je to preddeno na slici
registra (gledano s lijeva na desno) koja Cemo omaEiti s a, b, c i d, tj. a = (OO), (Slika 4.32b), i moguCim prelascima iz jednog stanja u drugo. Slika 4.34
= (Ol), c = (10) i d = (1 1) kako je to predoEeno na slici (Slika 4.32).
prikazuje dijagrarn stanja za konvolucijski koder (Slika 4.28).
!
UVODU TEORIJU INFORMACIJE I KODIRANJE - 4. ZASTITNOKODIRANJE

ProraEun udaljenosti konvolucijskih kodova

Slika 4.34 predoEava dijagram stanja koji Ceino koristiti za prikaz metode
izracunavanja udaljenosti konvolucijskog koda. Vaino je napomenuti da se
prijenosna funkcija izmedu parova stanja (a-e) usmjerenog grafa definira kao
zbroj oznaka svil? putova koji spajaju ta dva stanja.
Kao prvo, uvedimo oznake u grafu, tj. oznatimo grane u dijagramu stanja i to
svaku kao Do=1, Dl, D2ili D~ gdje eksponent od D predstavlja Hammingovu
udaljenost izlaznog slijeda u odnosu na slijed sastavljen iskljdivo od nula.
Zatvorena petlja u Evom a (Slika 4.34) moie se elirninirati zbog toga Sto ne
utjete na svojstva udaljenosti kodnog slijeda. Osim toga, Evor a podijeli se na
dva Cvora: prvi predstavlja ulaz ("a"), a drugi izlaz ("e")dijagralna stanja. Slika
4.35 predstavlja novi dijagram stanja.

Slika 4.34: Dijagram stanja za konvolucijski k6d (kodna brzina 113 i L = 3)

Dijagram nam predoEava da su moguCi prelasci a A a , a A c , b&a,

b A c , c A b , c A d , d&b, d a d , gdje c r & ~
oznacava prelazak iz jednog stanja (npr. iz a u P) ako je na ulazu kodera " 1". Tri
bita prikazana pored svake grane u dijagramu stanja predstavljaju izlazne bitove
za odgovarajuki ulazni bit razdvojen od istih kosom crtom, tj. 11110 oznacava Slika 4.35: Dijagram stanja za konvolucijski k6d (kodna brzina 113 i L = 3)
ulazni bit " 1" i tri izlazna bita [110].
U dijagramu sa slike (Slika 4.35) uvedeno je pet varijabli (X,, ..., Xe) i to po
jedna za svako stanje. Kod odredivanja prijenosne funkcije koristit Cemo metodu
4.7.3. Prijenosna funkcija konvolucijskog koda koja se temelji na rnatriEnom opisu grafa. U tom sluCaju svaka varijabla
predstavlja zbroj oznaka putova koji povezuju ostala stanja u dijagramu s
U ovom potpoglavlju analizirat Cemo performanse konvolucijskih kodova. promatranim stanjem.
Prijenosna funkcija (engl. transfer function) konvolucijskog koda moie sc
iskoristiti za odredivanje udaljenosti koda i performansi kodova u pogledu Prijenosna funkcija koda definirana je kao:
pogreSaka. Prijenosna funkcija definira vem izmedu izlaza i ulaza kodera.
Obzirom da konvolucijski kodovi spadaju u grupu linearnih kodova,
Harnrningova je udaljenost kodnih sljedova, generiranih do nekog stanja u
stablu, u usporedbi sa slijedom sastavljenim iskljuEivo od nula, ista kao da skup Novonastali dijagram stanja (Slika 4.35), koji sadrii ukupno pet stanja zbog
udaljenosti kodnih sljedova trdimo u odnosu prema bilo kojem drugom kodnom dijeljenja stanja a u dva stanja, koristimo kako bi napisali Eetiri jednadibe:
slijedu. U cilju pojednostavljenja daljnjih prorazuna pretpostavit Cemo da je put
sastavljen iskljucivo od nula, odabran kao referentni put koji Cemo koristiti za
odrertivanje performansi konvolucijskih kodova. To je put na vrhu dijagrarna sa
slike (Slika 4.33).
U V O D U TEORUU INFORMACIJE 1 KODIRANJE
razliEitog od puta sastavljenog iskljuEivo od nula i koji se, u nekom vremenskom
trenutku, spaja s putom sastavljenim iskljutivo od nula i pritom se ponovno ne
razdvaja (Slika 4.37). Napomenimo da prije i poslije spajanja pogreSni i ispravni
put imaju isto povekanje metrike puta.
\/
\
pogrebni dogadaji
Slika 4.37: Putovi u regetkastom dijagramu pridruseni kodnim rijetima x 1 x
(dva pogreina dogadaja)
Vjerojatnost pogreinog dekodiranja p(e) uz uvjet da je odaslana kodna rijei: x
moie se proraEunati iz:
gdje je zbroj proiiren na sve moguCe pogreSne dogadaje. Takoder, potrebno je
(
napomenuti da proraEun vjerojatnosti p x + x
*I
ovisi o tipu prijenosnog
kanala, odabranoj modulacijskoj tehnici itd. Detaljan izvod formule (4.5) nalazi
se u [34] i [33].
Primjer: Performanse konvolucijskih kodova na kanalima bez memorije
Ako se u razmatranje uzme kana1 s aditivnim bijelim Gaussovim 5mom
(AWGN, engl. Additive White Gaussian Noise) pokazuje se da je:
gdje je <w) broj kodnih rijeEi udaljenosti w razliEitih od kodne rijeri
sastavljene iskljuEivo od nula, uzetih iz skupa svih kodnih rijeEi (W),koje
imaju Hammingovu udaljenost w, E je srednji iznos energije koji se odaiilje po
iednom signalnom elementu, No je spektralna gusto& snage bijelog Gaussovog
Suma s oiekivanjem nula i varijancbm d.Zapiiimo prijenosnu funkciju (4.4)
konvolucijskog koda kao
- - 4.ZA~'ITNO
KODIRANJE
gdje je v (w) broj kodnih rijeEi udaljenosti w razliEitih od kodne rijeCi sastavlje-
ne iskljuEivo od nula.
pretpostavimo da je poznata prijenosna hnkcija T(D), tada iz izraza (4.6) i (4.7),
tj. iz v(w)DW= V ( W ) ~ - ' " dobivamo
~'~O da je D = e-EtNo. Na ovaj naEin
us W ,IS W
dobili smo ovisnost vjerojatnosti pogresnog dekodiranja o odnosu E/No,ti.
p(e) i ).
Konkretno, za primjer sa slike (Slika 4.35) dobivamo:
p(e) 1 1. e-6E/No+ 2. e-8EINo+ 4. e-'oE/N~
+
Minimalna moguCa udaljenost (dm,,) konvolucijskog koda odreduje. donju
.
granicu vjerojatnosti pogresnog dekodiranja, tj.
4.7.4. Dekodiranje konvolucijskih kodova
Dekoder s tvrdim i mekim odluEivanjem
U cilju 'realizacije pouzdanog kodnog sustava vainu ulogu zauzima odabrana
mjera sliEi?osti izmedu dviju kodnih rijeEi koja se naziva udaljenost koda. Dvije
vaine mjere sliEnosti koje se koriste za odredivanje udaljenosti izmedu dviju
kodnih rijeEi su Harnmingova i euklidska udaljenost koda. Primjena neke od
navedenih mjera koda ovisi o odabranom kodnom sustavu, zahtijevanoj
vjerojatnosti pogregke bita, tipu prijenosnog kanala i vrsti demodulatora,
U praksi se Hammingova udaljenost koda koristi u slutaju prijenosa binarnim
simetritnim kanalom (BSC, engl. binary simmetric channel) u kojem se svaki
simbol promatra zasebno u odnosu na ostale simbole. Kod donoienja odluke o
primIjenom simbolu koristi se se tzv. vdinska odluka Sto je potpuno jednako
rahnanju Harnmingove udaljenosti izmedu primljene kodirane poruke i svih
moguCih poslanih kodnih rijeti. Ovakav tip dekodera naziva se dekoder s tvrdim
odluci'vanjem (engl. hard-decision decoder). Vaino je napomenuti da su kod
prijamnika koji koristi dekoder s tvrdim odluEivanjem demodulator i dekoder
dva odvojena bloka. Prethodno navedeno svojstvo binarnog simetriEnog kanala
mrstava ga u lcategoriju diskretnih kanala bez memorije (engl. discrete

UVODU TEORIJU MFORMAClJE 1 KODIRANJE - -
mernoryless channels). Takoder, navedena definicija za BSC moie se proSiriti
ako se u razmatranje ukljuEi kana1 s aditivnin~bijelim Gaussovirn Sumom. Kada
se prijenos obavlja preko AWGN kanala, tada se kao metrika uzima euklidska
udaljenost. Odluka o primljenom simbolu provodi se uzimajuCi u razmatranje
cijelu kodiianu poruku. U ovom sluEaju dekoder se naziva dekoder s mekim
odlutivanjen~(engl. soft-decision decoder). Takoder, demodulator i dekoder u
prijamniku nisu dva odvojena bloka, nego jedan. Na ovaj se naEin obavlja
izmjena informacija izrnedu deinodulatora i dekodera u cilju smanjenja vjero-
jatnosti pogreSke bita.
Vjerojatnost pogreSne odluke o priinljenom bitu manja je kod dekodera s mekim
odluEivanjem u odnosu na dekoder koji koristi tvrdo odluEivanje. Isto tako,
sloienost sklopovske izvedbe dekodera s mekim odluEivanjem neSto je veda u
odnosu na dekoder s tvrdim odluEivanjein.
Primjer:
Pretpostavimo prijenos binarne infonnacije preko AWGN kanala koristedi
sljedeCi signalni skup. Kada izvoriSte generira "ON,tada se odaSilju tri jednaka
signala s pozitivnirn polaritetom i jedinitniin iznosoin energije (+I, +1, +I), dok
se za sluEaj kada izvoriSte geilerira " 1" odaSilju tri jednaka signala s negativnim
polaritetom i jediniEniin iznosorn energije (-1, -1, -1). Za sluEaj prijamnika s
dekoderom, koji koristi tvrdo odluEivanje, svaki se od signalnih uzoraka
pojedinaEno demodulira, a potoin se, ako vedina od primljenih uzoraka ima
pozitivan polaritet, na izlazu dekodera pojavljuje "0". U suprotnom se na izlazu
dekodera pojavljuje "1". Navedeni postupak, tzv. veCinska odluka, identiean je
odredivanju Hammingove udaljenosti izmedu primljenih signalnih uzoraka i
svih moguCih signalnih sljedova koji se mogu pojaviti na izlazu predajnika.
Potom se uzima onaj kodni slijed koji ima najmanju Hammingovu udaljenost.
Dmgi tip dekodera (meko odlucivanje), nakon Sto je provedena demodulacija,
provodi odluku izmedu + + + i - - - na osnovu euklidske udaljenosti kako je to
objdnjeno u nastavku.
Prepostavimo da su odaslani i primljeni signali x = (+I, +I, +1) odnosno
y = (+OX, -0.1, -0.2). PojedinaEna demodulacija signalnih uzoraka pokazuje da
je, u prirnljenom signalu, veCina signalnih uzoraka negativnog polariteta, Sto nas
navodi na (pogreSan!) zakljuEak da je odaslani simbol "1". Takoder, isti rezultat
dobivamo raEunanjem Hammingove udaljenosti izmedu primljenog signalnog
slijeda i svih moguCih poslanih signalnih slijedova, tj. d, [(+,-,-),(+,+,+)I=2
i d, [(+,-),(-,-)I = 1 . Iz ovoga zakljuEujemo da je odaslani simbol 1.
S druge strane, kvadratitna euklidska udaljenost izmedu primljenih i poslanih
signala je
d: [(+0.8,-0.1,-0.2),(+1,+1,+1)] = (+0.8-1)' + (-0.1 - 1)2+ (-0.2 - 1)2 = 2.69
4. ZA~TITNO
KODIRANJE
$to nas navodi na (ispravnu) odluku, tj. odaslan je simbol "0". ZakljuEujeino da
dekoder s tvrdim odluEivanjem donosi pogreSnu odluku zato Sto nije u
razmatranje ukljuEio Einjenicu da demodulacija drugog i treCeg signalnog uzorka
nije pouzdana jer su njihove vrijednosti bliske nuli.
Mjerenje performansi kodnih sustava
Za procjenu perfonnansi kodnog sustava najEeSCe se uzima funkcijska ovisnost
vjerojatnostipogreJke bita (BER, engl. Bit Error Ratio) naprema odnosu srednje
snage signalaprema srednjoj snazi Suma (SIN, engl. Signal to Noise Ratio). Na
ovaj se naEin dobiva mjerilo koje daje odgovor na tri pitanja: "koji", "kako" i
"koliko mnogo", a koja se odnose na odabir kodnog sustava, strukture kodnog
sustava, odnosno "snage" kodnog sustava. Kao zajedniEka mjera, a koja daje
odgovor na postavljena pitanja, koristi se kodno pojaEanje (CG, engl. coding
gain) koje daje potrebni odnos SIN (definiran kao srednja primljena energija po
bitu Eb u odnosu na jednostranu spektralnu gustoCu snage Surna No), tj. EdNo
potreban da se postigne zahtijevana vjerojatnost pogreSke bita Pb (definiraiza kao
odnos broja pogreSnih bitova u kodiranoj poruci u odnosu na ukupni broj bitova
te kodirane poruke). Kodno pojaeanje, odnosno njegova gornja granica, moie se
matematiEki odrediti iz [44]:
za dekoder s tvrdim odluEivanjem CG 5 IOlog,, [R(t + I)] , i
za dekoder s mekim odluEivanjem CG 51Olog,, [ ~ d, ]
gdje R; t i d owaEavaju kodnu brzinu, broj pogreSaka koje neki kBd moie
ispraviti, odnosno minimalnu udaljenost koda.
Slika 4.38 prikazuje ovisnost vjerojatnosti Pb o omjeru Eb/Noza sustav koji
koristi konvolucijsko kodiranje i za sustav koji ne koristi.
Navedeni se graf rnoie iskoristiti u svrhu kontrole i upravljanja pararnetrima
prijenosnog sustava kao Sto su BER, snaga odaiiljanja, prijenosna brzina itd.
Takoder, analiza praktiEnih sustava kodiranja pokazuje da dekoder s mekiln
odluEivanjem postiie 2 do 3 dB-a bolje perfonnase u prijenosu u odnosu na
dekoder s tvrdim odluEivanjem [43].
UVOD U TEORIJU INFORMACIJE I KODIRANJE
Pb - - - sustav koji koristi konvolucijsko
N kodiranje
-kodiranje
sustav koji ne korisli konvolucijsko
Slika 4.38: BER krivulje za sustav koji koristi konvolucijsko kodiranje
i za sustav koji ga ne koristi
4.7.5. Optimalni Viterbljev algoritam dekodiranja
konvolucijskih kodova
Kod dekodiranja blok kodova koriitenih u kanalima bez memorije uveden je
pojam udaljenosti koda izmectu primljene kodirane poruke i 2' moguCih
odaslanih kodnih rijeEi. Na ovaj naEin, u prijamu, odabiremo kodiranu poruku
koja je gledajuCi na udaljenost koda najblita primljenoj kodnoj rijeEi. Navedeno
pravilo odluEivanja koje zahtijeva izracunavanje 2k udaljenosti ili metrika, kako
Ce se to nazivati u ovom poglavlju, optimalno je u smislu da daje rezultate s
minimalnom vjerojatnoSCu greSke za binarno simetrihi kanal s vjerojatnoBcu
pogreSke bitap,< 0,5 i za kanal s aditivnim bijelim Gaussovim Sumom.
Za razliku od blok kodiranja, kod kojeg kodna rijeE ima stalnu duljinu n,
konvolucijski kBd nema definiranu stalnu duljinu kodne rijeti. Naravno,
konvolucijski k8d moie biti shaken na odredenom stupnju prisiljavajuki ga na
taj naEin da ima stalnu duljinu. Kada je to napravljeno, nekoliko zadnjih bitova
u kodnoj rijeEi ima vrijednost nula u svrhu brisanja svih podataka iz posmaEnog
registra. Na ovaj naEin, bitovi na kraju kodirane poruke ne prenose korisniCku
informaciju, te efikasnost koda pada. Da bismo poveCali kodnu brzinu R, kada je
konvolucijski kBd perioditki shaken, odredeno je da period skraCivanja bude
veliEine nekoliko granienih duljina L. Na ovaj naEin "skraCeniWkonvolucijski
k8d ekvivalentan je dugaCkom blok kodu. U nastavku potpoglavlja pokazat
Cemo da za konvolucijski k6d, Eak i za onaj koji je periodifki skraCen, nije nuino
proraEunavati metrike za sve moguCe grane u stablu u ciGu postizanja
optimalnog dekodiranja. Posluiit Cemo se reietkastim dijagramom predoeenim
na slici (Slika 4.33) koji se odnosi na konvolucijski koder sa slike (Slika 4.28).
4. ZASTITNO
KODIRANJE
Uzmimo u razmatranje dva puta u rdetki koja poEinju u stanju a i ponovno se
"raCaju u to stanje nakon tri prijelaza (3 grane). Neka putovi odgovaraju ulaznim
informacijskim sljedovilna [OOO] i [loo], te neka se prenose kodirane poruke
[000 000 0001 i [ I l l 001 01 I]. OmaEimo prenoiene bitove s {c~,~,j = 1,2, 3 , m
5 1, 2, 3) gdje indeks j oznaEava j-tu granu, a indeks m m-ti bit u grani. Isto
tako, definirajmo izlaz iz demodulatora kao bjm, j = 1,2,3, m = 1,2,3}.
Metrika za j-tu granu i r-ti put kroz reietku definira se kao vjerojatnost pojave
slijeda {yj,, m = 1 , 2, 3 ) na izlazu iz demodulatora uz uvjet da je na r-tom putu
odaslan slijed { c;:, m = 1, 2, 31, tj. pj:' = p(Y,/~j,") za j = 1, 2, 3. ZapisujuCi
vjerojatnosnu funkciju preko logaritma dobivamo: $'
= l o g p ( ~ / ~ I " ' )za
j = 1,2,3. Nadalje, metrika za r-ti put od B grana kroz reietku definirana je kao:
Ki-iterij za odlutivanje izmedu dvije staze kroz reJetku je da se odredi ona koja
irna vedu metriku. To pravilo povedava vjerojatnost prave odlzrke ili diz~kEije
refeno minimizira vjerojatnost pojave pogreike unutar primljenog slijeda
bitova.
Na prilnjer, pretpostavimo da se koristi dekoder s tvrdim odZuEi'vanjem i neka se
na izlazu demodulatora pojavljuje slijed [I01 000 1001. Neka r = 0 oznaEava tri
grane puta sastavljenog iskljuEivo od nula i neka r = 1 oznaeava druge tri grane
puta koji poEinje u stanju a i koji se poklapa s putoin sastavljeni~niskljutivo od
nula nakon tri prijelaza. Metrika za ta dva puta je
ili koristeCi logaritamski zapis prethodno zapisanih jednakosti
U'O' = 6 Iog(1- p) + 3 log p
U"' =5log(l'p)+41ogp'
gdje je p vjerojatnost pogreSke bita.
Ako uzmemo p < 0,5, dobit Cemo da je metrika U(O) veCa od metrike U('). Taj
rezultat poklapa se s razmiiljanjem da Hammingova udaljenost za put sastavljen
iskljuEivo od nula u odnosu na primljeni slijed iznosi d = 3, dok je za put r = 1
Hammingova udaljenost d = 4. Na taj naEin moiemo reCi da je za sluEaj
dekodera s tvrdim odluEivanjem Hammingova udaljenost ekvivaientna metrici
puta. Takoiter, moZemo reCi da je najvjerojatnije [OOO 000 0001 odaslana kodna
rijeE.
Promotriino sada kana1 s aditivnim bijelim Gaussovim Sumom. Neka se u
prijenosu koristi koherentna digitalna fazna modulacija. Ako kodiranu poruku
prenosimo koherentnom digitalnom faznom modulacijom (PSK, engl. Phase-
Shift Keying), izlaz iz demodulatora mateinatitki se moie opisati kao
y , , = 2aE(2cj, - 1) + vj,,,,gdje je vj, pridodani Sum, a konstanta demodulatora i
E energija po svakom prenesenom signalnom elementu [32].
Pretpostavimo da se koristi dekoder s mekim odludi'vanjem. U ovom je sluEaju
izlaz iz deinodulatora stohastiEki opisan funkcijom gustoCe vjerojatnosti, tj.
gdje je c 2 varijanca aditivog Gaussovog Suna. Ako zanemariino izraze koji su ,'
zajednitki za sve metrike grana, tada se inetrika j-te grane r-tog puta inoie
izraEunati iz:
U naSem primjeiu n = 3. Prema tome metrike za dva puta su:
V a h o je napomenuti da dekoder s mekim odluEivanjem umjesto metrike putova
definirane Harnrningovom udaljenosti koristi metriku temeljenu na euklidskoj
udaljenosti [35].
Nakon Sto dekoder proraEuna metrike grana i metrike putova postavlja se pitanje
optimalnog dekodiranja kodiranog informacijskog slijeda. Uzmilno u obzir
prethodno opisana dva puta koji se spajaju u stanju a nakon tri prijelaza.
Naglasimo da Ce bilo koji pojedinaEni put u reSetki, koji proizlazi iz stanja a,
nakon treCeg prijelaza (ili koraka) dodati n o w vrijednost metrikama putova U(O'
i U(". PosljediEno gledano, ako je U'O)>U(" za dano stanje a nakon tri prijelaza,
IliO'
Ce i dalje biti veCe od U("za svaki put koji proizlazi iz stanja a. To znaEi da
se put koji odgovara U(') moie iskljuEiti iz daljnjeg promatranja. Put koji
odgovara metrici do) zove sepreiivjeliput (engl. survivor path). Na isti naEin, a
gledajuti na sve moguCe putove do treCeg prijelaza, jedan od dva puta koji
proizlaze iz stanja b mogCe je eliminirati na temelju dvaju odgovarajukih
metrika. Ovaj se postupak ponavlja za stanja c i d. Kao rezultat, nakon tri
prijelaza nam ostaju Eetiri preiivjela puta od kojih svaki zavrSava u jednom od
&Gri moguCa stanja.
Na primjer, u Eetvrtom prijelazu unutar reletke, jedan od dva puta koji se spajaju
u stanju a proizlazi iz stanja a, dok drugi proizlazi iz stanja b. Posljedica toga bit
Ce da je metrika za prvi put koji se spaja u stanju a jednaka inetrici s prijagnjeg
prijelaza uveCanoj za iznos metrike koja je proporcionalna logaritmu vjero-
jatnosti primljenog slijeda {y4",,m = 1, 2, 3) uvjetovanog odaslanim slijedom
{OOO). Metrika za drugi put koji se spaja u stanju a, a koji proizlazi iz stanja b,
iednaka je inetrici preiivjelog puta u stanju b uveCanoj za iznos metrike koja je
proporcionalna vjerojatnosti primljene sekvence {y,,,,, m = 1, 2, 3) uvjetovane
odaslanom sekvencom [Ol 11.
Dvije metrike za putove, koji se spajaju u stanju a, usporeduju se, te se put
. s manjom metrikom odbacuje. Navedeni postupak ponavlja se za ostala tri
stanja. Na ovaj narin postoje Eetiri puta koja preiive u svakom prijelazu
unutar reietke i Eetiri rnetrike, jedna za svaki preiivjeli put. Prethqdno
opisani algoritam dekodiranja naziva se Viterbijev algoritam [34]. T> je
optimum u smislu da minimizira vjerojatnost pogreSnog dekodiranja cijelog
slijeda informacijskih bitova.
OpCenito gledano, binami konvolucijski koder s k = 1 i graniEnom duljinom
L = m + 1, uz dekodiranje s Viterbijevim algoritmom, ukljuEuje 2"' stanja. Tako-
der, postoji 2'" preiivjelih putova na svakoj razini reSetke i isto toliko metrika -
jedna za svako stanje. Nadalje, binami konvolucijski kBd u kojein k bita
istodobno ulazi u koder i koji se sastoji M (m-bitnih) posmiEnih registara ima
reSetku koja ima 2"' stanja. Vidljivo je da dekodiranje pomoCu Viterbijeva
algoritma, zahtijeva zadriavanje u svakoin stanju 2'"' preiivjelih putova i isto
toliko metrika.
Takoder, broj proraCuna kod dekodiranja na svakom putu povdava se ekspo-
nencijalno s k i m. Eksponencijalno povekanje proraEuna ograniEava uporabu
Viterbijevog algoritma na relativno male m i k. Takoder, tu su i drugi
ograniEavajuCi faktori kao Sto je kaSnjenje koje se pojavljuje pri dekodiranju
duge kodirane poruke i koje je najEeSke preveliko za vekinu praktiEnih primjena,
potom potrebna memoriia za spremanie - ciiele
- duliine
- preiivielog
- - - sliieda
- itd.
Primjer: Viterbijev algoritam dekodiranja
Za objgnjenje dekodiranja konvolucijskih kodova pomodu Viterbijevog algo-
ritma potrebno je koristiti regetkasti dijagram. Pretpostavimo sljedeCi primjer.
Neka je dan konvolucijski koder (L = 3, k = 1, n = 2) kao na slici (Slika 4.39) s
pripadajukim reSetkastim dijagramom (Slika 4.40). Neka na ulaz dekodera, koji
koristi Viterbijev algoritam dekodiranja, dolazi kodna rijeE, tj.:
 Tablica 4.8: Viterbijev algoritam t'j=3)

vI moguki putovi

Slika 4.39: Konvolucijski koder L = 3, k = 1 n = 3

Potrebno je odrediti koji je pwi bit u izvomoj poruci. Takoder, pretpostavka je

da se koristi dekoder s tvrdim odluEival~jem.

korak grananja +

izvorna poruka Za svako od Eetiri stanja odabire se put s najmanjom Hamrningovoin udaljenosti
. p01
i taj put je pretivjeli put za to stanje. Inforrnacije o pretivjelim putovima
spremaju se u memoriju dekodera. U Eetvrtom koraku grananja (j= 4) Viterbijev
se algoritarn ponavlja. Hammingova udaljenost putova ponovno se proraEunava
s primitkom dva nova bita 11. Sve je predotieno u tablici (Tablica 4.9).

Tablica 4.9: Viterbijev algoritam Fa)

Slika 4.40: ReSetkasti dijagram za konvolucijski koder

(L = 3, k = 1, n = 2) sa slike (Slika 4.39) prethodno sadaSnje Hamrningova
, j= stanje stanje uhljenost
I
kodna rijeE= 01 01 00 11
Mi Cemo primjenjivati Viterbijev algoritam slijedno za svaku n o w vrijednost
varijable j, koja predstavlja korak grananja u kodnoj regetki, odabiruCi pritom u
svakom stanju po jedan put i poveCavaju6i njegow mttriku (Hammingova
udaljenost). Ako pretpostavimo da je koder krenuo iz stanja a, tada je iz kodne
reSetke vidljivo da Viterbijev algoritam u potpunosti moie poEeti s radom (sva
stanja su ukIjuEena) od treCeg koraka grananja (i= 3). U treCem koraku grananja
pojavljuje se osam moguCih putova i to po dva za svako stanje (Tablica 4.8). Za
svaki je put dano trenutaeno stanje u kojem isti zavdava; prethodno stanje iz
kojeg se doSlo u saddnje stanje i metrika (izmedu kodne rijeEi i slijeda, koji I I
odgovara putu u reSetkastom dijagramu za dano saddnje stanje) izraZena preko
Hammingove udaljenosti. * - preiivjeli put
-
d d
- 2+1=3*

Prethodno opisani postupak dekodiranja pomoCu Viterbijevog algorihna ponovit
Cemo jog jednom kako bismo bili sigumi da je primjer postao razumljiv. Novi
primljeni par bitova je 10. Cijeli proraEun dan je u tablici (Tablica 4.10).
Tablica 4.10: Viterbijev algoritam (i=5)
I '11
'1
moguii putovi
1 prethodno sadagnje Hammingova
stanje stanje udalienost I
* -proiivjeliptrl
Postavlja se pitanje koliko dug0 algoritam treba ponavljati? Kada treba napraviti
konaEnu odluku o primljenoln slijedu? Kako s e ta odluka donosi? U cilju
smanjenja cijene Viterbijevog dekodera veliEina memorije, u koju se spremaju
preiivjeli putovi, treba biti Sto je moguCe manja. Analize pokazuju da je veliEina
memorije koja je 4 ili 5 puta dulja od graniEne duljine konvolucijskog koda (L)
dostatna u smislu dobivanja performansi koda bliskih optimumu, [30]. Dokazano
je teorijski i kroz simulacije da Ce najstariji bitovi (npr. za j = 1) u preiivjelim
putovirna biti, s velikom vjerojatnoSCu, isti, [30]. Tada je jedan od najjedno-
stavnijih postupaka za izlazni bit, iz dekodera, proglasiti bit koji pripada
najvjerojatnijem putu od svih preiivjelih putova. Dakle, u svakom koraku
grananja, nakon Sto se maju preiivjeli putovi, uzima se onaj put koji ima
najmanju metriku te se na osnovu njega definira izlazni bit dekodera; nakon toga
se najstariji korak grananja od svih preiivjelih putova briSe iz memorije i
algoritam se ponavlja u sljededem koraku grananja uzimajuCi uvijek istu
vrijednost za varijablu L. U n d e m primjeru, put s najmanjom metrikom od svih
preiivjelih putova nakon petog koraka (j = 5) je onaj Eija je Hammingova
udaljenost 2. Ovaj put se koristi u svrhu odredivanja prvog bita u izvomoj poruci
za najstariji korak grananja (j = 1). Uz pretpostavku da smo uzeli L = 5, kao
rjeSenje dobivamo da je to 0. Navedeni postupak dekodiranja ponavlja se za
naredni korak grananja.
4. Z ~ S r n KODIRANJE
o
Za kraj nam ostaje dati jednu vainu napolnenu za Viterbijev dekoder. Postavlja
se pitanje Sto ako u nekom stanju ilna1110 dva puta koja imaju jednaku metriku,
ili drukEije reEeno, na koji Ce n d i n dekoder, u nekom stanju, odabrati jedan od
dva puta s istom metrikom. U takvim prilikama dekoder provodi "bacanje
novtida", tj. odabire sluEajno jedan od dva puta.
4.7.6. Drugi algoritmi dekodiranja konvolucijskih kodova
U ovom potpoglavlju navedeni su drugi algoritmi koji se koriste za dekodiranje
konvolucijskih kodova. Viterbijev algoritain opisan u potpoglavlju (0) predstav-
Ija optimalni algoritam dekodiranja konvolucijskih kodova gledano na najveCu
vjerojatnost ispravnog dekodiranja ulazne kodirane poruke.
Prije otkriCa Viterbijevog algoritma postojalo je nekoliko naEina dekodiranja
konvolucijskih kodova. Najraniji je bio sekvencijalni algoritarn izvomo pred-
stavljen od Wozencrafla [36] i neSto kasnije izmijenjen od Fanoa 1371. Fanoov
sekvencijalni algoritam traEi najvjerojatniji put kroz stablo ili reSetku i to tako da
ispituje put po put. Povedanje, koje se dodaje inetrici svake grane,
proporcionalno je vjerojatnosti primljenog slijeda za tu granu. Vidimo da je ovo
sliEno Viterbijevom dekodiranju s razlikom da se dodaje negativna konstanta
svakoj metrici grane. Vrijednost konstante odreduje se tako da se metrika za
svaki ispravan put prosjdno poveda, dok se metrika za pogreSan put prosjeEno
smanji. Usporedujudi metrike zadanih putova i mijenjanjem @oveCavanjem)
praga, Fanoov algoritam otkriva i odbacuje pogreSne putove.
Algoritam dekodiranja s povuatnom vezom (engl. feedback decoding) [39], kao
zamjena za Viterbijev algoritam, implementira se u koderima koji koriste tvrdo
odluEiv8nje. Algoritam donosi odluku o informacijskom bitu za stanje koje
odgovara j-tom koraku grananja stabla na osnovu proraEuna metrika svih putova
od koraka grananja j do koraka grananja j + t , gdje je t unaprijed odabran
pozitivan cijeli broj. Metrike putova se proraEunavaju u odnosu na primljenu
kodiranu poruku. Odluka o informacijskom bitu (koji je 0 ili 1) ovisi o tome da li
put u stablu (poEinje u koraku grananja j i zavrSava u koraku grananja j + t ) s
minimalnom Hammingovom udaljenosti oodsvihputova ima kao informacijski bit
0 ili 1 u grani koja izlazi iz stanja pridruienog j-tom koraku grananja. Jednom
kad se donese odluka o informacijskom bitu, za j-ti korak grananja, taj dio stabla
se dalje zadrZava i koristi, dok se ostatak stabla odbacuje. U sljedeCem se koraku
promatra korak grananja j + 1, odnosno odreduju se metrike putova koji poEinju
u stanju pridruienom koraku grananja j + 1 i zavsavaju u stanjima pridruienim
koraku grananja j + I + t. Potom se ponovno dio stabla odbacuje, a dio zadriava
itd. Ovo je ukratko opisani algoritam dekodiranja s povratnom vezom.
Vise o algoritmima dekodiranja konvolucijskih kodova moie se naCi u [32].
UVOD U TEDRIIU 'LNFORMACIJE I KODIRANlE
4.8. Turbo kodovi
Turbo kodovi (engl. turbo codes) mogu se promatrati kao podgrupa konvolu-
cijskih kodova. Pojavili su se kao jedna slotena kodna shema koja moie postiCi
performanse prijenosnog sustava, u pogledu vjerojatnosti pogreike bita (BER),
bliskima Shamonovoj granici [42].
Procedura kodiranja zasniva se na paralelnom ulanEavanju nekih klasa sistemat-
skih konvolucijskih kodova nazvanih rekurzivni sistematski konvolucijski (RSC,
engl, recursive systematic convolutional) kodovi. Turbo kodovi mogu se
najbolje opisati nakon definiranja RSC kodova. RSC koder dobiva se koristedi
nesistematski konvolucijski koder u kojem se na njegov ulaz spaja jedan ili vise
njegovih izlaza (tzv. povratna veza). Nakon toga se na dane izlaze izravno spaja
ulaz kodera u cilju dobivanja sistematskog kodera. Slika 4.42 predoEava RSC
koder nastao iz nesistematskog konvolucijskog kodera (Slika 4.4 1).
Slika 4.41: Primjer nesistematskog konvolucijskog kodera (L = 3, k = 1, n = 2)
ulaz
Slika 4.42: RSC koder nastao iz nesistematskog kodera sa slike (Slika 4.41)
Turbo kodovi koriste paralelnu vem najEeSde dvaju jednakih RSC kodera odvo-
jenih sklopom zapreplitanje bitova (engl. interleaver) Eija je namjena mijenjanje
strukture ulaznog infomacijskog slijeda bitova (izvorna poruka) koji dolazi na
ulaz drugog kodera (Slika 4.43).
- 4. ZASTITNO KODIRANJE
Slika 4.43: Turbo koder nastao spajanjem dvaju jednakih RSC kodera
Postojanje sklopa za preplitanje bitova jedan je od glavnih razloga dobrih
svojstava turbo kodova, bududi da isti smanjuje vjerojatnost istodobne pojave
sekvenci na izlazima dvaju RSC kodera Gija je Harnmingova tefina mala.
Navedeno poboljianje poznato je kao pojafanje sklopa za preplitanje bitova
(engl. interleaver gain).
Takoder se izostavljaju sistematski izlazi od dva RSC kodera i ukupni
sistematski izlaz iz turbo kodera uzima se izravno s njegovog uiaza (d). U
stvanloj se izvedbi turbo kodera d i i multipleksiraju u cilju dobivanja kodirane
poruke s. Vaino je napomenuti da povratne veze u turbo koderu predstavljaju
vaian faktor koji definira maksimalno pojaEanje sklopa za preplitanje bitova i
karakteristike koda u pogledu ispravljanja pogreiaka.
Turbo kodovi se obimno koriste u pokretnim sustavima trede generacije (3G)
kao $to su UMTS (engl. Universal Mobile Telecommunication System) i
cdma2000. Takoder, veliku primjenu imaju u satelitskim komunikacijama. Na
kraju, turbo kodovi su poEeli zarnjenjivati konvolucijske kodove u nadovezanim
kodnim sustavima (engl. concatenated coding scheme) koji se koriste u
sustavima za distribuciju video signala (DVB sustavi, engl. Digital Video
Broadcasting).
Zadatak-1: Dan je k6d (k+l, k) s pamim paritetom.
a) IzraEunajte sve kodne rijeEi koda (4,3)!
b) Koje pogreSke moie otkriti ovakav k6d?
c) IzraEunajte vjerojatnost neotkrivenih pogreSaka ( p J , uz uvjet da se pogreike na
jednom bitu pojavljuju s vjerojatnoSCu p,=0,04!
UVODU TEORIJU MFORMACIJE I KODlRANJE 4. ZASTITNOKODIUNJE

Zadatak-2: Dan je binami kBd (6,3) s matricoin A: Zadatak-6: CikliEni kBd (7, k) opisan je generirajukim polinomom g(x) = x4+ x3+ x2 + 1.
a) Odredite generimjuku matricu G=PIA].
b) Odredite kodnu rijeE koja poEinje s [I 101.
c) Nacrtajte cikliEni koder.
a) Da li je slijed [101010] kodna rijet? Zadatak-7: Na slici (Slika 4.44) dan je koder za cikliEni kdd (15, k).

b) Neka je kodna rijeE dana u obliku [XI 11001. Odredite X. a) Odredi generirajuki polinom g(x).

c) Pretpostavimo da je kodna rijet [00111 I] odaslana, a [001101] primljena. Odredite b) Kodirajte slijed 10001001010.
sindrom!
d) IspiSite sve kodne rijeti u ovom kodu.
e) Koji je najlnanji mogudi broj pogreiaka koje jednu kodnu rijeE prevode u drugu.
Zadatak-3: Dvije kodne rijeEi "000" i "1 11" koriste se za prijenos informacija preko
diskretnog binamog simetriEnog kanala u kojem je vjerojatnost pogreSnog prijenosap = Slika 4.44: Ciklirni koder (15, k) u zadatku 7
0,2. Na prijamnoj se strani kod dekodiranja koristi pravilo ~ninimalne udaljenosti.
Odredite vjerojatnost pogreSnog dekodiranja. Takoder, odredite vjerojatnost pogreSnog Zadatak-8: Potrebno je generirati cikliEni kSd (n, k)=(6,2) koristedi jedan od niie
dekodiranja za sluEaj binamog kanala s brisanjem simbola u kojem je vjerojatnost navedenih generirajuiih polinoma:
brisanjap = 0,2.
Zadatak-4: Mjerenjem je utvrdeno da u binamom komunikacijskom kanalu djeluju
smetnje koje mogu uzrokovati pogreSan prijenos od jednog bita u slijedu od najmanje 17
uzastopnih bita. Za zaStitu informacije uporabljen je Ha~nmingovkoder, a duljina
zagtitno kodiranog bloka prilagodena je uvjetilna koji vladaju u kanalu.
Za informaciju zadanu s n7, binarnih elemenata: a) Odredite generirajuiu matricu G=[IIA].
b) NapiSite sve kodne rijeEi za dani cikliEni k8d.
c) Koliko pogreSaka moie ispraviti dani kBd?
d) ~ a c r t a j t ecikliEni koder (6,2) za odabrani polinorng(x).
Zadalak-9: Za konvolucijski koder sa slike (Slika 4.45).
a) Odredite prvi zagtitno kodirani blok.
b) Za koliko de se smanjiti ili povedati kodna brzina ako se zbog promjene u djelovanju
smetnji duljina kodirane poruke postavi na 11 bita?
Zadatak-5: Slijed bita x=[10101010101] ulazi u Hammingov koder (15, 11) i nakon
toga se prenosi prijenosnim kanalom u kojem je vjerojatnost pogreSnog prijenosa bita
pg=2x 10".
a) Odredite generirajudu matricu G .
b) Odredite izlazni slijed iz kodera za dani ulami slijed x.
C)Ako je primljena kodna rijet c=[l1111100000000], odredite koja je rijet poslana. Slika 4.45: Konvolucijski koder u zadacima 9, 10 i 11
d) Odredite vjerojatnost pogregnog dekodiranja ( p d ) na izlazu iz kodera. (a) Skicirajte dijagram stanja navodedi ulazne i izlame bitove na prijelaznim granama
dijagrama.
UVOD U TEORIJU INFORMACIJE I KODIRANJE 4. ZASTITNO KODIRANJE
(b) Odredite kodiranu poruku koja se pojavljuje na izlazu kodera ako se na njegov ulaz
dovede poruka d = [I001 1101001.
Napomena: bitovi poruke d ulaze u koder gledano s lijeva na desno.
(c) Skicirajte reSetkasti dijagram za dani konvolucijski koder.
Zadatak-10: Pozovimo se na zadatak-9.
(a) Neka se u prijenosu dogodi pogreSka u kodiranoj poruci na treCem i sedmom bitu.
KoristeCi Viterbijev algoritam (uzimajuCi u obzir da se koristi dekoder s hrrdim
odluEivanjem) potrebno je odrediti Cetiri preZivjela puta nakon primitka posljednjeg bit8
kodirane poruke. Slika 4.47: Konvolucijski koder u zadatku 14
(b) Odredite preiivjeli put s minimalnom udaljenosti, te na osnow njega odredite
najvjeroj atniju poslanu kodiranu poruku.
Zadatak-11: Odredite prijenosnu funkciju T(D) za konvolucijski koder sa slike (Slika
4.45). Odredite put s minimalnom mogukom udaljensoti (d,,,).
Zadaiak-12: Za konvotucijski koder sa slike (Slika 4.46):
(a) Skicirajte dijagram stanja navodeCi ulazne i izlazne bitove na prijelaznim granama
dijagrama.
(b) Odredite izlazni slijed bitova ako je ulazni slijed d = [I 100101].
Napomena: bitovi poruke d ulaze u koder gledano s lijeva na desno.
(c) Odredite prijenosnu funkciju TD).
(d) Odredite minimalnu mogudu udaljenost koda (dm,).

ulaz

Slika 4.46: Konvolucijski koder u zadatku 12

Zadatak-13: Slucirajte konvolucijski koder (k=2, n=3, L=2) ako su dani njegovi
funkcijski generatori:
h(" = h!' = 4("= [I 11 , hi2)= v)= [O I] i hi2' = [lo] .
Zadatak-14: Dan je konvolucijski koder kao na slici (Slika 4.47).
(a) Skicirajte dijagram stanja za dani koder.
@) Odredite prijenosnu hnkciju T(D, N) i iz iste odredite koliko ima putova udaljenosti
7.
1,

5..Entropijsko
1'
<'

i.
ks
t3. . ,. ., ,.

$5 . .
:@:
p ." d
f.,
::
i
cg;
&
*$;,
-,
.,
,

.
'a-. ,j
.L.n-
?!
>
. 1
b
i,
..-
Ii
i
\\
'A
+1

P
Podjela metoda kompresije
u entropijsko kodira%je
ke,.jzvc@ic- 'i"formacije ~

prefiksni kodovi
5.5. Optimalno kodiranje
5.6. Metode entropijskog kodiranja
5.7. Zadaci
1

- " % - r*p
 5. ENTROPIJSKOKODIRANJE
/

~ ~ t r o p i j s kkodiranje
o ukljuEuje niz metoda kodiranja kojima se vrSi kompresija
(&imanje) poruka bez gubitaka. Prisjetimo se da je kodiranje dodjela kodnih
riJeEi simbolima poruke. Kompresija je kodiranje sa svojstvom smanjenja broja
bitova potrebnih za izraiavanje poruke. Kada je kontekst jasan, pojmovi
kodiranje i kompresija Eesto se koriste kao sinonimi. To je sluCaj u ovom i
iduCem poglavlju, gdje uglavnom koristimo pojam kodiranje, a pritom je jasno
da oba ova poglavlja govore o kompresiji. U opCenitom modelu komuni-
kacijskog sustava kompresija se vrSi u koderu informacije (Slika 5.1), koji lnoie
biti vrlo sloien i ukljuCivati viSe metoda kompresije.

'L--' KOMUNlKAClJSKlSUSTAV

1 Slika 5.1: Kompresija u komunikacijskom sustavu

Ovo poglavlje pruia uvid u osnovna svojstva kompresije, te kiasifikaciju metoda

kompresije s osnovnom podjelom na entropijsko i izvorno kodiranje, te osnovne
klase metoda kodiranja unutar ovih dviju kategorija. Zatim razmatramo svojstva
izvora informacije (stacionamost, ergodienost, izvori s memorijom) i vrste
kodova (singulami, nesingulami, jednoznatno dekodabilni i prefiksni kodovi).
To je podloga koja je neophodna kako bismo na kraju mogli opisati lnetode
entropijskog kodiranja: H u ~ a n o v okodiranje, arihnetiEko kodiranje, metode
zasnovane na rjeeniku i metode skrakivanja niza. Prilikom opisa ovih metoda
dani su primjeri kodiranja, kao i neke poznatije primjene ovih metoda kodiranja.

I1 5.1. Podjela metoda kompresije

Najosnovnija svojstva bilo koje rnetode kompresije su:

1I v d i li se kompresija s gubicima ili bez gubitaka i

omjer kompresije.
Pri kompresiji bez gubitaka se nakon dekodiranja dobivaju potpuno isti simboli
poruke koje smo imali prije kodiranja, bez razlike pa makar i u jednom bitu.
Stoga se ove metode kodiranja nazivaju joS i reverzibilnima. Npr. radioloike se
medicinske snirnke spremaju u najvehj moguhj kvaliteti, jer se moie dogoditi
da Ce neki detalj trebati poveiati. Satelitske se snimke mogu obradivati i
pretraiivati metodama obrade slike, a to ne bi bilo mogude ako je prije toga slika
1

prilagodena ljudskom vidu. Uz prinljere s medicinskim i satelitskim slikama,
najEeSCi svakodnevili prinljeri su tekst i dokumenti.
No, kod nekih drugih vrsta podataka (npr. slika, video, zvuk) moie bit;
prihvatljivo Eak i bitno odstupanje od originalnog signala, bilo zbog toga Sto do
odredene granice ljudski percepcijski sustav ne moie opaziti promjene, bilo
stoga Sto su korisnici u nekim slusajevima spremni prihvatiti niiu kvalitek
dekodiranog signala (npr. besplatna videokonferencija putem interneta). Medode
kompresije kod kojih dekodirana poruka nije potpuno jednaka izvomoj poruci su
metode kompresije s gubicima.
Najvainiji parametar kompresije je omjer kompresije. To je jednostavno omjer
broja bitova koinprimirane i originalne poruke, npr. 1: 10.
U osnovi se metode kompresije dijele u dvije glavne grupe: entropijsko
kodiranje i izvorno kodiranje. Slika 5.2 prikazuje jednu moguCu klasifikaciju
metoda kodiranja. Metode entropijskog kodiranja vrSe kompresiju bez gubitaka i
zasnivaju se iskljuEivo na statistiEkiin svojstvima izvora informacije. Metode
izvornog kodiranja najEeSCe vrSe kompresiju s gubicima, Sto znaEi da se
postupkorn dekodiranja ne moie potpuno toCno rekonstruirati izvorna poruka.
Zasnivaju se na poznavanju svojstava medija koji se kodira (npr. slika, zvuk)
kao i ljudske percepcije pojedinih medija. U praksi se obitno koristi hibridno
kodiranje, kojiin se prvo odredeni medij kodira koristeCi jednu ili vise metoda
izvornog kodiranja, a zatiin se na rezultat tog p ~ o koraka
g primijeni entropijsko
kodiranje (npr. JPEG, MPEG, MP3 i sve ostale poznate metode kodiranja slike i
z w k a rade na ovom osnovnom principu).
1 Kodiranje Y m a n j e ) I
I1 11
Entropijsko kodlranje Irvorna kodiranje ~
i izvornog
~
i1..i.entropijskog)
~ 1
i
~ ~
...................-.i
kodlranje predikcijsko
kodiranje
Podpojasno
kodiranje
Slika 5.2: Klasifikacija metoda kompresije
U ovom se poglavlju bavimo metodama entropijskog kodiranja, a uvod u
izvorno kodiranje nalazi se u poglavlju 6. Svojstva i kodiranje pojedinih medija
(hibridno kodiranje) obradeni su u poglavlju 7. Pritom treba naglasiti da se ova
5. ENTROPIJSKO
KODIRANJE
dva poglavlja moraju shvatiti tek kao uvod u metode kompresije, sa svrhom da
se izloie osnovna naEela, a za viSe je detalja potrebno posegnuti za opseinijom
preglednoin literaturom (npr. [49]) ili za detaljnom literaturom o pojediniin
nletodama i medunarodnim normama za kompresiju (npr. [50] [5 I] [52] [53]).
5.2. Uvod u entropijsko kodiranje
Osnovno naEelo bilo koje metode entropijskog kodiranja je sicrateno zapisati
vigestruko ili Eesto ponavljane simbole ili nizove simbola iz izvorne poruke.
Svim metodama entropijskog kodiranja zajedniEka su sljedeCa svojstva:
temelje se izravno na teoriji informacije;
vrSe kodiranje & gubitaka;
oinjer kompresije ovisi samo o statistiEkim svojstvima izvora
informacije;
poruka se promatra iskljuEivo kao niz sluEajnih vrijednosti;
ne uzimaju se u obzir svojstva medija (za razliku od izvornog
kodiranja).
Dakle, metode entropijskog kodiranja "ne znaju" kodiraju li sliku, zvuk ili tekst.
Poruka se jednostavno promatra kao niz slusajnih vrijednosti koje generira izvor,
a njihovo je pojavljivanje odredeno statistiskim svojstvima izvora, tj.
vjerojatnostima pojavljivanja pojedinih simbola.
Stoga je prije izlaganja pojedinih metoda entropijskog kodiranja potrebno uvesti
osnovna svojstva izvora informacije, te osnovne vrste izvora (stacionarni,
ergodiEki, izvori s memorijom). Nakon toga Cemo dati preciznu definiciju
~kodiranja
i j i uvesti
a osnovne vrste kodova (singularni, nesingularni, jednoznaEno
dekodabilni, prefiksni), te doCi do definicije optimalnog kodiranja. Tek nakon
ovih neophodnih podloga, napokon Cemo stiCi do samih metoda entropijskog
kodiranja, te objasniti Huffmanovo kodiranje, aritmetiEko kodiranje, metode
rjetnika i metode skrativanja niza.
5.3. Karakteristike izvora informacije
U teoriji informacije izvor informacije modeliramo kao stohastiEki proces, tj.
kao niz sluEajnih varijabli X I , Xz,..., X,, ..., X,,od kojih svaka moie poprimiti
vrijednosti iz konaEne abecede {x,, x2, ..., x,). Ovaj je proces karakteriziran
razdiobom zdruienih vjerojatnosti pojavljivanja nekog niza sluEajnih varijabli:
UVODU TEORIIU INFORMACIJE I KODIRANJE
= (XI,X.L,..., xi, ..-,x~))=P(XI, ~ 2 ...,
XI, Xz, ..., X,,...,Xtt) , Xi, .,.> xn),
za bilo koji niz vrijednosti (xl,xz, ...,xi, ..., x,) i za bilo koji 17 EN.
PolazeCi od ovakvog opisa izvora informacije, definirat Cemo dva vaina svojstva
izvora informacije: stacionarnost i ergodiEnost.
Ukoliko je pojava svake varijable neovisna o prethodnim varijablama u nizu,
kdemo da je izvor bezmemorijski. U opkenitom slutaju mogu postojati bilo
kakve ovisnosti medu ovim sluCajnim varijablama, tj. vjerojatnost pojavljivanja
neke varijable mofe ovisiti o tome koje su se varijable pojavljivale prije nje. To
su izvori s memorijom. Izvori s memorijom mogu se opisivati Markovljevim
procesima, te ih nazivamo Markovljevim izvorima. U praktiEnim prilnjenama,
izvori s memorijom su puno EeSCi od bezmemorijskih izvora, tj. obiEno postoji
ovisnost medu uzastopnim simbolima (npr. susjedne toEke u slici, susjedni
uzorci zvuka, znakovi jeziEnog teksta).
5.3.1. Stacionarni izvor
Izvor je stacionaran ako se njegova statistiEka svojstva ne inijenjaju s
vremenom. Svojstvo stacionarnosti matematitki opisujemo ovako:
Dakle, promatramo izvor kao niz sluEajnih varijabli. Unutar tog niza promatra-
mo dva podniza jednake duljine n, pomaknuta jedan od drugog za I mjesta u
nizu. 1Gor je stacionaran ako bilo koja dva takva podniza imaju jednaku
razdiobu vjerojatnosti pojavljivanja sluEajnih varijabli.
Primjer: Stacionarnost izvora informacue
Kao trivijalan primjer stacionarnog izvora, u m i m o izvor koji naizmjence pro-
izvodi simbole A i E:
AEAEAEAEAEAEAEAE...
Ako u svakom koraku izvor dodaje po jedan simbol viSe, dobivamo:
AEAAEEAAAEEEAAAAEEEEAAAAAEEEEE...
OEito je da se statistiCka svojstva ovog izvora stalno rnijenjaju, te ovaj izvor nije
stacionaran.
Primijetimo da izvor moiemo zamisliti kao skup svih moguCih nizova simbola
koje izvor moie proizvesti. Ako je izvor stacionaran, razdioba simbola na bilo
kojem mjestu u ovim nizovima bit Ce jednaka. Promotrimo to na primjeru izvora
koji naizmjence proizvodi simbole A i E, a moie zapoEeti niz s A ili E s
jednakom vjerojatnoitu. Dakle, skup nizova koje ovaj izvor moie proizvesti je:
AEAEAEAEAEAEAEAE...
EAEAEAEAEAEAEAEA...
Bez obzira koje mjesto u ovim nizovima promatramo, u jednom nizu je simbol
A,a na istom mjestu u drugom nizu simbol E.Promatramo li parove uzastopnih
simbola, na bilo kojem mjestu u jednom nizu nalazimo AE, a u drugom nizu EA.
Isto vrijedi i za podnizove od tri, Cetiri ili n simbola.
5.3.2. ErgodiCki izvor
U prethodnom smo primjeru uoCili da izvor moiemo zamisliti kao skup svih
moguCih nizova simbola koje izvor mofe proizvesti, i vidjeli da je za stacionarni
izvor razdioba simbola medu tim nizovima jednaka za bilo koje mjesto u
nizovima. TUrazdiobu nazivamo prosjekom po skupu. Prosjek po skupu za neki
je simbol utestalost pojavljivanja tog simbola na nekom mjestu i u nizu,
promatrano za sve moguke nizove (poito je izvor stacionaran, svejedno je koje
mjesto i u nizu promatramo). Na jednak naEii definiramo i prosjek po skupu za
podniz od dva, tri ili n simbola. U prethodnom primjeru, prosjek po skupu za
simbol A je 0.5, jer se na bilo kojem mjestu u jednom od nizova, koje izvor
moie proizvesti, pojavljuje simbol A, a u drugom nizu E, dakle uEestalost
pojavljivanja simbola A na bilo kojem mjestu je 50%. Na jednak natin moiemo
ustanoviti da je prosjek po skupu za niz simbola AEA isto 0.5.
Uz prosjek po skupu, postoji i prosjek po vremenu za svaki pojedini niz simbola
iz skupa moguCih nizova. Prosjek po vremenu za neki je simbol uEestalost
pojavljivanja tog simbola u odredenom nizu. Na jednak naEin definiramo prosjek
po vremenu i za par simbola, podniz od tri, Cetiri ili n simbola.
Izvor je ergodiEan ako je stacionaran i ako za svaki simbol, i za svaki podniz od
n simbola, vrijedi da je prosjek po skupu jednak prosjeku po vremenu.
Primjec Ergodienost izvora
Zamishmo izvor koji u 1/3 sluEajeva poEinje niz simbolom A, u 113 sluEajeva
s~mbolomB i u 113 sluEajeva simbolom E.Ako je poEw s A ili B,beskonaCno
naizmjence ponavlja ova dva simbola. Ako je poCeo s E, beskonaEno ponavlja
samo E.Skup nizova koje ovaj izvor moie proizvesti izgleda ovako:
Niz 1: ABABABABABABAB ...
Niz 2: BABABABABABABA...
.
Niz 3 : EEEEEEEEEEEEEE..
[JVOD U TW)RIJU MFORMACIJE I KODIRANTE

Prosjeci po skupu i po vremenu za ovaj izvor prikazani su u tablici (Tablica 5.1).
Ovaj je izvor stacionaran, tj. svojstva mu se ne mijenjaju u vremenu. Medutim,
nije ergodiEan jer su prosjeci po skupu i po vremenu razliEiti. Ukoliko se napravi
sliEna tablica za izvor iz prethodnog primjera (poEinje jednako vjerojatno s A ili
E, i nastavlja naimjeniEno), lako se vidi da je taj izvor ergodifan.
ErgodiEnost je vain0 svojstvo jer ono znaEi da Ce bilo koji niz, koji izvor
proizvede, imati ista statistiEka svojstva, te da se ta svojstva ne mijenjaju u
vremenu (tj. unutar niza). Ovo svojstvo uvelike pojednostavljuje razmatranja o
kodiranju poruka proizvedenih takvirn izvorima. Metode entropijskog kodi-
ranja pretpostavljaju ergodiEnost izvora.
MoZen~oodinah uoEiti da stvarni izvori infomacije (npr. Eovjek kao izvor go-
vornog signala ili teksta, kamera koja proizvodi dike...) ne zadovoljavaju defini-
ciju ergodiEnosti, pa ni stacionarnosti. Na primjer, signal govora bitno mijenja
statistitka svojstva kako u vremenu (zbog karakteristika zvuEnih i bezvuEnih
glasova) tako i inedu razliEitim govorniciina (zbog razliEitih karakteristika gla-
sa). Medutiin, uz odredene aproksiinacije stvarni su izvori infonnacija dovoljno
bliski ovim svojstvima da se na njih mogu primijeniti metode nastale prou-
Eavanjein idealnih ergodiEkih izvora, tj. odgovarajutih rnateinatiEkih modela.
Tablica 5.1: Prosjeci po vremenu i po skupu za izvor iz prethodnog primjera
~ k digitaliziranu
o sliku proinatrarno kao niz toEaka, a boju svake toEke
tumaEimo kao jedan simbol, opet primjekujemo relativno duge nizove istih ili
sliEnih sirnbola koji odgovaraju povriini nekog jednobojnog predmeta u slici. Na
rubovima predmeta u slici dolazi do skokova u vrijednosti boje, no takvi skokovi
su relativno rijetki u odnosu na cijelu povrSinu slike, pa se moie r&i da je
vjerojatnost velike promjene vrijednosti boje izmedu susjednih toEaka mala.
Markovljevi inforrnacijski izvori
Izvori s memorijom Eesto se inogu opisati pomoCu Markovljevih procesa i takve
izvore nazivamo Markovljevim izvorima. Markovljev proces opisan je stanjima i
vjerojatnostiina prijelaza iz jednog stanja u drugo. Pri prijelazu iz jednog stanja u
drugo moie se generirati simbol, i na taj naEin Markovljev izvor proizvodi niz
simbola. UobiEajeno je Markovljeve procese prikazivati grafom stanja i
prijelaza.
Primjer: Markovljev izvor
Slika 5.3 prikazuje jedan Markovljev proces u obliku grafa stanja i prijelaza.
Cvorovi grafa predstavljaju stanja: A, B, C i D. Strelice prikazuju moguCe
prijelaze medu stanjiina. Uz svaku je strelicu naznaEen simbol koji ovaj izvor
generira pri torn prijelazu (x, y, z, u...), kao i vjerojatnost prijelaza. Tam0 gdje ne

I I Prosjek po
I Prosjek po
I
Sirnbol wemenu za niz 1 vrcmenu ra niz 2 vremenu i a niz 3
I Pmsjek po s h p u
postoji strelica izmedu dva stanja, vjerojatnost prijelaza je 0. Tako npr. nelna
prijelaza iz stanja B u stanje A. Proces zapoEinje iz nekog stanja, npr. A. U
svakom koraku proces prelazi u sljedeCe stanje prema vjerojatnostima prijelaza i
pritom generira simbol. Na primjer, ako je proces krenuo iz stanja A, u prvom je
koraku vjerojatnost prijelaza u stanje B 0.1, a ponovo u stanje A 0.9. Recimo da
je proces ponovo preSao u stanje A. Pritom je generiran simbol x. Proces se
nastavlja na isti naEin.

5.3.3. lzvori s memorijom

Za razliku od bezmemorijskih izvora, kod izvora s memorijom je vjerojatnost
pojavljivanja simbola ovisna o jednom ili viSe simbola koji su se prethodno
pojavili. To znaEi da postoje nizovi simbola koji su vjerojatniji od drugih.
VeCina prirodnih izvora ima karakteristike izvora s memorijom. Na primjer, ako
tekst na nekom jeziku promatramo kao niz slova (simbola), onda se neke rijeEi -
nizovi simbola - pojavljuju EeSCe, druge rjede, a postoje i nizovi simbola koji ne
1; 0.9
odgovaraju rijeEima u jeziku te je njihova vjerojatnost pojavljivanja zanemariva.
Ako promatramo prirodni govor kao niz digitaliziranih uzoraka amplitude Slika 5.3: Markovljev proces prikazan grafom stanja i prijelaza
zvuEnog signala, npr. s 8000 uzoraka u sekundi, naiCi Cemo na dugaEke nizove
niskih vrijednosti amplitude koje odgovaraju tiSinama izmedu rijeEi ili reEenica.

UVODU TEORIJU INFORMACIJE 1 KODIRANJE -
Primjec Binarni Markovljev izvor s memorijom od dva simbola
Slika 5.4 prikazuje Markovljev proces sliEan prethodnom prirnjeru. Razlika je u
tome da ovdje svako stanje prikazuje dva prethodna simbola, a simboli koji se
generiraju su 0 i 1 (izvor je binarni). Ukoliko je stanje 00 (prethodna dva
simbola su OO), prijelaz u stanje 01 generira simbol 1, tako da trenutno stanje
opet predstavlja dva zadnja generirana simboIa, sada 01. Vidimo da "memorija"
Markovljevog procesa poEiva u stanjima.
U ovom su primjem velike vjerojatnosti ponovnog generiranja istog simbola, te
Ce ovakav proces najviie vremena biti u stanju 00 iIi 11, a ostaIa dva stanja
pojavljivat Ce se rjede. Tipitan niz simbola koje bi ovakav izvor generirao
izgledao bi ovako:
00000000000000001111ll111111111111000011111111111000001111111111
11 I....
Slika 5.4: Graf stanja Markovljevog izvora
0 informacijskim svojstvima Markovljevih izvora podrobnije se moie proEitati
u [20], str.53.
5.4. Vrste kodova: nesingularni, jednoznaeni i
prefiksni kodovi
U poglavlju 2.3 definirali smo kodiranje kao postupak dodjeljivanja kodnih rijki
(kodova) simbolima poruke. Simboli poruke su iz skupa elementamih simbola
X = (XI,x2,..., x,,...J,,}. Kodiranje je preslikavanje iz skupa simbola X u skup
kodnih rijeEi D*, gdje se svaka kodna rijeE sastoji od konaCnog broja simbola iz
abecede od d simbola. Dakle, kodiranje je postupak kojim se svakom simbolu Xi
5. ENTROPIJSKO
KODIRANJE
dodjeljuje kodna rijeE C(xi), a pritom je svaka kodna rijeE C(xi) konaEan niz
simbola iz abecede od d simbola:
c ( x i ) E D*, D = {a,,a2,..., a,},
gdje je D abeceda od d simbola a D* skup svih konatnih nizova simbola iz
abecede D.
U praktiEnim primjenama u podrutju informacijskih i komunikacijskih
tehnologija, abeceda D je gotovo uvijek binarna, tj. d = 2, a D = (0,l). Stoga je
u praksi izlaz iz kodera (kodirana poruka) najEeSCe niz binarnih znamenki 0 i 1.
Takav se niz Eesto naziva struja bitova (engl. bitstream).
ProsjeCna duljina kodne rijeCi
Duljina pojedine kodne rijeci C(xi) je broj simbola koji Eine tu kodnu rijeE i
oznaEavamo je s [(xi) ili skraCeno li. ProsjeEna duljina kodne rijeEi, L, za neki
k6d izraEunava se tako da se zbroje duljine kodnih rijeEi za svaki siinbol I(xi),
pornnoBene s vjerojatnoSCu pojavljivanja tog simbola,p(xi) ili skraCenop,.
Promotrimo neku poruku od N siinbola. Za dugatke poruke, kada je N velik,
oEekivani broj pojavljivanja simbola s,a time i njegove kodne rijeEi C(xi),
proporcionalan je vjerojatnosti pojavljivanja pi i inosi Npi. Kada se oEekivani
broj pojavljivanja svake kodne rijeEi pomnoii s duljinom te kodne rijeEi, i to
zbroji po svim kodnim rijecima, dobivamo da je oEekivani ukupni broj simbola u
kodiranoj poruci NL. Vidimo da prosjeEna duljina kodne rijeCi direktno daje
oEekivanu duljinu kodirane poruke. Stoga je prosjecna duljina kodne rijeEi dobra
mjera efikasnosti koda. Radi jednostavnosti je i kratko nazivarno "prosjeEna
duljina k6da".
Primjec Kodiranje 1
Promotrimo ponovo jednostavan primjer kodiranja iz poglavlja 2.3.1. (str. 25).
Pretpostavimo izvor koji proizvodi simbole iz skupa X = {I, 2, 3, 4) s
vjerojatnostima koje daje Tablica 2.1.
Za k8d u treCem stupcu tablice (Tablica 2.1.) u ranijem smo prirnjeru izraEunali
(str. 25) prosjeEnu duljinu kodne rijeEi L = 1.75 bit/simbol i pokazali da je ona
upravo jednaka entropiji, Sto maEi da ne postoji k6d s manjom prosjeEnom
duljinom kodne rijdi.
u v 0 ~T~~~~~ ~ J F O R M A C ~ IJ KODIRANE
E

Ovaj primjer ujedno zorno pokamje isplativost uporabe kodnih rijeEi razlititih
b t i r i rimbola mogio bi se na najjednostavniji natin kodirati kodnim
rijedima 00, 01, 10 i 11, dakle koristeCi dva bita PO simbolu. Vidljivo je da se
isplali upomjebiti dute kodne rijeEi za simbole koji se pojavljuju rjede i na taj
natin smanjiti prosjetnu duljinu kodne rijeEi s 2 na 1.75 bita po simbolu.

Primjer: Kodiranje 2
Pretpostavimo izvor koji proizvodi simbole iz skupa X = { I , 2, 3) s vjerojatno-
stima koje daje Tablica 5.2.
Tablica 5.2: Primjer kodiranja
Slika 5.5: Vrste kodova

5.4.1. Nesingularni kodovi

KBd je nesingularan ako svakom simbolu dodjeljuje drukEiju kodnu rijeE:
xi # x, =3C(x,)# C(xj).
Nesingulamost koda ne predstavlja garanciju da je k6d jednoznaEno dekodabi-
Moielno izraEunati entropiju ovakvog izvora, te prosjetnu duljinu kodne rijeci
lan, tj. da se svaki niz kodnih rijeEi moie jednoznaeno dekodirati.
za k6d prikazan u tablici:

H(X)= -xP,
,=I
1
logp, =-log- = 1.58 [biUsimbol],
3
Vidimo da je u ovom sluEaju prosjeEna duljina kodne rijeEi veCa od entropije, no
jol uvijek je bimo manja nego u sluEaju uporabe kodnih rijeEi jednake duljine,
jer bi u tom sluEaju bilo neophodno upotrijebiti 2 bit/simbol.
Definicija kodiranja ne postavlja ograniEenja na naEin dodjele kodnih rijeti. Na
primjer, dodjeljivanje jedne te isle kodne rijeEi (npr. "1") svakom simbolu
peruke, Eime se za bilo koju izvomu p o r u h dobiva kodirana poruka jednakog
oblika ("1 11111I..."), jedan je moguki oblik kodiranja. Jasno je da ovakvo
kodiranje nije korisno u praksi. Stoga definiramo odredena svojstva koja kodove
Pine pmktiEno prim~enjivima.Dodavanjem dodatnih svojstava kodovi se klasifi-
eiraju u vrste kodova koje SU sve suteniji podshpovi svih kodova (Slika 5.5).
Taka su nesingulami kodovi p o d s h p svih kodova; jednoznaEno dekodabilni
kodovi su podskup nesingulamih kodova s nekim dodatnim svojstvima, a
prefiksni kodovi su podskup jednoznaEno dekodabilnih.
Primjer: Nesingularni k6d
Promotrimo na primjer abecedu od tri simbola, A, B i C, kodiranu kodnim
njeEima C(A) = 0, C(B) = 01 i C(C) = 1. Ove su tri kodne rijeEi razlitite, dakle
k6d je nesingularan. Medutim, nizove kodirane ovakvim kodom ne moiemo
jednoznatno dekodirati. Na primjer, niz simbola "ABC"kodirao bi se u kodiranu
pomku "0011". U pokuiaju dekodiranja, nemoguke je odrediti je li izvorna
poruka bila "ABC" ili "AACC". Problem je u tome Sto ne znamo kako pravilno
razdvojiti kodne rijeti. Ovom problemu moglo bi se doskoEiti na taj naEin da se
nekim specijalnim simbolom razdvajaju kodne rijeCi, no uporaba specijalnog
simbola iza svake kodne rijeEi bila bi vrlo neutinkovita. Na sreCu, postoje vrste
kodova koje ovaj problem rjeSavaju na elegantniji naEin.
5.4.2. JednoznaCno dekodabilni kodovi
Prisjetimo se da k6d predstavlja preslikavanje simbola u kodne rijedi. ProSirenje
koda je preslikavanje iz nizova simbola u nizove kodnih rijedi, tako da se svaki
sirnbol u nizu kodira u jednu kodnu rijeE:
UVODU TEORlJU INFORMACIJE I KODIRANJE
KOD
,C ( x ) Primjer: Vrste kodova

x1x2...x,, PROSIRENIKOD +
C ( x , x,... x,) = C(x,)C(x,)...C(x,).
ProSirenje k6da moiemo shvatiti kao k6d definiran na probirenoj abecedi, gdje
su elementi progirene abecede svi moguCi nizovi osnovnih simbola. Definicija
proSirenog koda potrebna je da bismo definirali jednomaCno dekodabilne
kodove.
K6d je jednoznatno dekodabilan ako je njegovo proSirenje nesingularno.
Ovime smo zapravo definirali da je k6d jednoznaEno dekodabilan ukoliko za
bilo koje dvije razliEite poruke proizvodi dvije razliEite kodirane poruke. Takav
je k6d uvijek lnoguke jednoznaEno dekodirati.
Primjer: JednoznaCno dekodabilni k6d
Vratimo se prethodnom prirnjeru s abecedoln od tri simbola, A, B i C. Uzmimo
kad s kodnim rijeEima C(A) = 0 , C ( B ) = 01 i C(C) = 011. Nizove kodirane
ovakvim kodom moiemo uvijek jednoznatno dekodirati. Na primjer, niz
simbola "ABC" kodirao bi se u kodiranu poruku "001011". Ova je poruka
jednoznatna, tj. ne moie se dekodirati nikako druktije nego kao "ABC".
Medutirn, bitno je primijetiti da je neophodno imati Citavu poruku da bi se ona
mogla jednoznatno dekodirati. U trenutku primanja prva tri simbola "001" ne
mofemo biti sigumi da ih treba dekodirati kao "AB",jer ako je idufi simbol I,
dobili bismo "OOll", tj. "AC". Dakle, ovakve kodove ne moiemo uvijek
dekodirati trenutno, prije primanja idudih kodnih rijeci.
Tablica 5.3 daje primjere svih navedenih vrsta kodova za abecedu od Cetiri
simbola. Zadnja tri reda u tablici prikazuju kako bi svaki k6d kodirao niz
simbola "1234", kako bi se dobivena kodirana poruka dekodirala, te kako bi se
dekodiralo pwih 6 simbola kodirane poruke. Primjer singularnog koda daje iste
kodne rijeEi za sva Eetiri simbola, kodira "1234" kao "0000" i jasno je da je to
nemoguCe jednoznaEno dekodirati. Nesingulami k&I pridruhje razliEite kodne
rijeEi svakom simbolu, no to je joS uvijek nedovoljno za jednoznaEno
dekodiranje - kodirana poruka "001001 10" moie se dekodirati na nekoliko
razliEitih naEina, npr. "1 1434", "13 134", itd. JednoznaCno se dekodabiini k6d
moie jednoznaeno dekodirati kada je na raspolaganju Eitava poruka, no pri
dekodiranju prvih 6 simbola ne znamo radi li se o nizu 123 ili 124 sve dok ne
stigne sljede6i simbol. Napokon, prefiksni kM moiemo jednomatno dekodirati
nakon svake kodne rijeEi.
Tablica 5.3: Primjer raznih vrsta kodova
I -

5.4.3. Prefiksni kodovi

Prefiksni kBd je k6d u kojem niti jedna kodna rijeE nije prefiks neke dmge kodne
rijeCi. Time se rjeSava problem iz prethodnog primjera i postiie se svojstvo da se
svaka kodna rijeE moEe trenutno dekodirati bez znanja iduCe kodne rijeEi. Stoga
se ovi kodovi nazivaju i trenutni. Ovo korisno svojstvo ivavna je posljedica
definicije prefksnog koda. U trenutku kada prepoznamo jednu kodnu rijeE,
znamo da ona nije prefiks niti jedne druge, dakle nemoguCe je da bi bilo koji
iduCi simbol zajedno s dekodiranom kodnom rijeEi tvorio neku drugu kodnu
rijeE. Prema tome, dekodiranje kodne rijeEi je trenutno i konaEno.
Ukoliko ponovo promotrimo prethodni primjer, vidimo da je upravo Einjenica da
su kodne rijeEi jedna drugoj prefiks (0 je prefiks od 01, a 01 od 01 1) w o k
nemogufnosti da dekodiramo trenutno. U trenutku kada primimo "0 1" ne znarno
je li to kodna rijeE 0 1 ili tek poEetak kodne rijeEi 0 1 1. Kod prefiksnih se kodova
ovo ne moie dogoditi jer po samoj definiciji kodna rij& ne moie bit; poEetak
neke druge kodne rijeti.
UVODU TEORllU MFORMACllE I KODIRANJE
5.5. Optimalno kodiranje
Iz dosadahjib razinatranja vidimo da su za praktiEnu primjenu podobni
prefiksni kodovi. PokuSajino razmotriti kolike su minimalne duljine kodnih
rijeti potrebne da bi se konstruirao prefiksni k6d, i kakve bi te duljine trebale biti
da se postigne optimalno kodiranje za neki izvor, tj. da se poruke s tog izvora
kodiraju najmanjirn mogudirn brojem bitova. Da bismo odgovorili na ova pitanja
prvo uvodimo teorern o n~inirnalnim duljinaina kodnih rijeEi potrebnim za
konstruiranje prefiksnog koda, pornatog kao Kraftova nejednakost, a zatim
postavljarno opCeniti uvjet optimalnosti koda, iz Eega proizlazi prosjeEna duljina
kodne rijeEi koja se moie postiCi optimalnim kodom.
5.5.1. Kraftova nejednakost
Za svaki prefiksni k6d s abecedom od d simbola (baza k6da) i duljinama kodnih
rijeEi t,, l2 ti, ..., l,,vrijedi:
g d - " 51
i=l
i obrnuto, za bilo koji skup duljina kodnih rijeEi li koje zadovoljavaju ovu
nejednakost, postoji prefiksni k6d s takvim duljinama kodnih rijeCi.
Ovaj se teorern naziva Kraftova nejednakost i odreduje minimalne duljine
kodnih rijeCi potrebne da bi se konstruirao prefiksni k6d. Dokaz ovog teorema
moie se pronaCi u [8], poglavlje 5.2, str. 82.
Primieri: Kraffova nejednakost
Promotrimo prethodni primjer prefiksnog koda za Eetiri simbola. Kodne rijeEi su
{O, 10, 110, 1111, dakle njihove duljine su 1, 2, 3, 3. Abeceda kojom gradimo
kodne rijeti je binama, tj, d = 2. Vidimo da je ispunjena Kraftova nejednakost:
PoHto je u ovom sluEaju zbroj upravo jednak 1, svaki pokuHaj skrabivanja koda,
dakle skrativanja jedne od kodnih rijeEi, poveCao bi vrijednost zbroja iznad 1,
Eime Kraftova neiednakost ne bi bila zadovoljena. To znaEi da je nemoguk
pronadi prefiksni C6d s kraCim kodnim rijeEima.
Kao diugi primjer, zamislimo da traiimo k6d za tri simbola, tj. trebamo tri
kodne rijeEi. I dalje koristimo binarnu abecedu za kodne rijeEi. Krafiovu
nejednakost inoiemo zadovoljiti na sljeddi naEin:
Iz toga proizlazi da inora postojati prefiksni k6d s duljinama kodnih rijdi 1,2,2.
U ovom primjeru moiemo lako i pronaCi takve kodove: {O, 10,11} i { I , 01,OO).
Kao i u prethodnom primjeru, ne moiemo pronaCi kraCi prefiksni k6d - svaki
~ o k u S a jskrakivanja rezultira nezadovoljavanjem Kraftove nejednakosti Eime
k6d viSe nije prefiksni, na primjer {O, 1, 11).
5.5.2. Optimalni kodovi
Krafiova nejednakost postavlja uvjet na duljine kodnih rijeEi koje su poh-ebne da
se konstruira prefiksni k6d, dakle k6d koji se moie trenutno i jednoznaEno
dekodirati. Medutim, za odredeni skup simbola moie postojati veCi broj kodova
koji zadovoljavaju Kraftovu nejednakost. U prethodnom primjeru kodirali smo
Eetiri simbola kodnim rijeEima (0, 10, 110, 111); druga moguCnost dodjele
kodnih rijeEi bila bi npr. (1 11, 0, 10, 110). Ova dva koda, kao i niz drugih,
ispravni su prefiksni kodovi. Postavlja se pitanje kako pronaCi optiinalan k6d.
Jasno je da ielimo da k8d bude Sto kraCi. Prema tome, optimalan k6d je
prefiksni k6d s najmanjom moguCom prosjeEnom duljinom kodne rijeCi. Dakle,
optimalne duljine kodnih rijeEi li* su takve da minimiziraju prosjeCnu duljinu
kodne rijeEi, a pritom zadovoljavaju Kraftovu nejednakost:
[
min L = x p i l ,
:i ] uz uvjet Cd-''
,:i
1.
Postupak rjeiavanja ovog optimizacijskog problema moie se pronaCi u [8],
poglavlje 5.3, str 85, a ovdje Cemo dati samo rjeknje za optimalne duljine
kodnih rijeEi I,':
Medutim, ovo rjeSenje zanemaruje ogranieenje da I, moraju biti cijeli brojevi, tj.
direktnom primjenom ovog rjeSenja u opeenitom slucaju dobivamo duljine
kodnih rijeEi koje nisu cijeli brojevi, te ih ne mo2emo upotrijebiti. Samo Ce u
idealnom sluEaju "dobro rasporedenih" vjerojatnosti sve vrijednosti log pi biti
cijeli brojevi, te Ce biti moguCe konstruirati kM s prosjdnom duljinom kodne
rijeEi jednakom entropiji. U opCenitom sluEaju, prosjdna duljina kodne rijeEi
moie biti veda ili jednaka entropiji. Time se pokazuje znaEaj entropije kao
 granice kompresije bez gubitaka, kao Sto je veC naznateno u uvodnom poglavlju. od svih navedenih metoda, a korisne su kada se unutar poruke javljaju dugi
NemoguCe je kodirati informaciju manjim brojem bitova od njezine entropije, tj. n i z ~jednakih
~i simbola.

Kada duljine kodnih rijeEi ne bi morale biti cijeli brojevi, moglo bi se uvijek
postiCi L = H. Zbog ograniEenja na cjelobrojne duljine kodnih rijeEi, ne moie se
uvijek postiCi taj minimum, ali moie se postiCi prosjeEna duljina unutar entropije
1 1
od jednog bita. Za optimalne kodove prosjeEna duljina kodne rijeEi veda je od
1 entropije za maksimalno jedan bit, i time dobivamo kriterij po kojem se odr&uje
I da je neki k6d optimalan:
H(X)cL<H(X)+I. (3.1)
5.6.1. Shannon-Fanoovo kodiranje
shannon-Fanoovo kodiranje [65]jedna je od prvih metoda kodiranja utemeljenih
na teoriji informacije. PoSto ova metoda ne daje uvijek optimalan kod, u praksi
se vrlo rijetko koristi, no zanimljiva je kao uvod u kodiranje zbog svoje
jednostavnosti. Shannon-Fanoovo kodiranje zasniva se na sljededim ieljenim
svojstvima k6da:

I Efikasnost koda definira se kao omjer entropije i prosjeQe duljine kodne rijeEi:
(1) niti jedna kodna rijeE ne smije biti prefiks neke druge kodne rijeEi;
(2) ielimo da se u kodiranim porukarna simboli 0 i 1 pojavljuju s podjednakom
& H(X)
= -----
L
,,
,
vjerojatno9Cu.
~ahtjev(1) je zapravo definicija prefiksnog k6da. Ako je ispunjen zahtjev (2),
tada Ce entropija tako kodiranih poruka biti blim maksimuma, jer se maksirnalna
entropija postiie ravnomjemom razdiobom vjerojatnosti pojavljivanja siinbola.
Ako se nule i jedinice u poruci pojavljuju s jednakom vjerojatnoidu, tada svaka
5.6. Metode entropijskog kodiranja binarna znamenka poruke nosi u prosjeku jedan bit informacije, Sto je teoretski
! maksimum koji se moie postiCi.
Nakon uvoda u kodiranje, kompresiju, svojstva izvora i kodova, napokon Shannon-Fanoova metoda kodiranja ispunjava zahtjeve (1) i (2) na sljededi
moiemo uvesti osnovne metode entropijskog kodiranja: naein:
Shannon-Fanoovo kodiranje Simboli abecede posloie se po padajukim vjerojatnostima pojavljivanja. Zatim
Huffmanovo kodiranje; se simboli podijele u dvije grupe, tako da zbroj vjerojatnosti pojavljivanja
AritmetiCko kodiranje; simbola jedne i druge grupe bude podjednak. Simbolima jedne grupe dodijeli se
kao poEetak kodne rijeEi znamenka 0, a simbolima druge gmpe znamenka 1.
Metode rjeEnika (LZ77, LZ78, LZW); '
Postupak se zatim ponavlja unutar svake grupe, dok se gNpe ne svedu na po
Metode skraCivanja niza (potiskivanje nula i slijedno kodiranje). jedan simbol. Postupak je prikazan sljededim primjerom.
1 Ovo su osnovne metode i koriste se unutar brojnih sloienijih algoritama i norm.
Primjec Shannon-Fanoovo kodiranje

i Ovo nije iscrpni pregled svih metoda entropijskog kodiranja. Odabrane su one
koje se vi5.e koriste u praktiEnim primjenama. Izuzetak je Shannon-Fanoovo
kodiranje koje se uglavnom ne koristi u praksi, ali predstavlja jedan od koraka u
Kodiraju se simboli xi Eije su vjerojatnosti pojavljivanjap(xi) prikazane u tablici.
Tablica 5.4 prikazuje korake kodiranja i raultirajude kodne rueEi za svaki
simbol.
razvoju metoda kodiranja, a uvrgteno je u sadriaj jer svojom jednostavno5.C~
olakSava razumijevanje osnovnih princ~pakodiranja. Huffmanovo kodiranje je
relativno jednostavna i Eesto korigtena metoda pronalaienja optimalnog koda uz
poznate vjerojatnosti pojavljivanja simbola. AritmetiEko kodiranje pretvara
Eitavu poruku u jednu kodnu rijeE; znatno je sloienije ali opCenito moie postiki
bolje rezultate od Huffmanovog. Metode rjeEnika imaju prednost da
vjerojatnosti pojavljivanja simbola ne moraju biti unaprijed poznate, a pogotovo
su pogodne za izvore s memorijom. Metode skradivanja niza su najjednosta~lue
UVODU TEORIJU INFORMAClJE I KODIRANJE
Tablica 5.4: Primjer Shanon-Fanoovog kodiranja
U prvom su koraku simboli podijeljeni u dvije grupe - prva dva simbola u
jednoj, a ostalih Sest u dmgoj grupi. Podjela je naznaEena podebljanoln crtom u
tablici. Simbolima prve grupe dodijeljena je znamenka 0, a drugoj gmpi 1. U
drugom se koraku postupak ponavlja za svaku od podgrupa nastalih u prvom
koraku. Nakon dmgog koraka simboli x, i xz tvore grupe od po jednog simbola,
te se ne mogu dalje dijeliti i za njih postupak prestaje. Za ostale simbole
postupak se ponavlja.
Promotrimo ponovo korak 2. Nakon ovog koraka simboli xl i x2 imaju gotove
kodne rijeEi od po dvije binarne znamenke, a ostali simboli u iduCim koracima
dobivaju dodatne mamenke. PoSto su simboli xl i x2 u prvom koraku dobili
znamenku 0, a svi ostali simboli znamenku 1, kodne rijeEi simbola x i i x2 ne
mogu biti prefiks niti jednoj drugoj kodnoj rijeEi, te je ispunjen uvjet (1). Uvjet
(2) je ispunjen na taj naEin da se simboli dijele u grupe s jednakom vjerojatnoiku
pojavljivanja.
Moie se izraEunati entropija izvora koji proizvodi simbole xi s vjerojatnostima
pojavljivanja p(xi): H = 2.75 bitlsimbol. ProsjeEna duljina kodne rijeEi za k6d u
primjem je L = 2.75 bitlsimbol i jednaka je entropiji. Prema tome, ovaj k6d je
optimalan (uvjet (3.1)) i ima efikasnost 1 - ne moie postojati efikasniji k6d.
Prethodni primjer predstavlja idealan sluEaj za Shannon-Fanoovo kodiranje, gdje
je u svakom koraku mogute simbole podijeliti u grupe s upravo jednakim
vjerojatnostima pojavljivanja. U stvarnim slutajevima to najEesCe nije tako, te
-.
5. ENTROPIJSKO
KODIRANJE
Shannon-Fanoovo kodiranje ne postiie tako dobre rezultate, niti je dobiveni k6d
uvijek optimalan.
5.6.2. Huffmanovo kodiranje
Ovaj poznati algoritain kodiranja dobio je ime po svom autoru D. A. Huffmanu
[54]. PojedinaEni simboli kodiraju se kodnim rijeEima promjenjive duljine,
ovisno o vjerojatnostima njihova pojavljivanja. Vaino je napomenuti da te
vjerojatnosti moraju biti unaprijed pomate da bi se mogao konstruirati k6d.
Huffmanovim kodiranjem dobiva se optimalan k6d, dakle k6d s najmanjom
mogudoln prosjetnom duljinom kodne rijeti, unutar entropije od jednog bita.
Huffinanovo kodiranje zasniva se na sljedeCiin teoremiina:
(1) U optimalnom kodu, simboli s veCom vjerojatno8t.u pojavljivanja ne m o p
iinati duie kodne rijeEi od onih s manjom vjerojatnoSCu.
(2) U optimalnom kodu, dva simbola s najmanjim vjerojatnostima pojavljivanja
iinaju kodne rijeEi jednake duljine (vrijedi za prefiksni k6d). .
Istinitost teoreina (1) je oEigledna: ukoliko bi bilo obmuto, prosjeEna bi duljina
kodne rijeEi bila veCa, pa k8d ne bi bio optimalan.
Teorem (2) je manje otigledan, no moie se jednostavno dokazati. Zamislimo
obmuto, da postoji optimalan, prefiksni k6d u kojem dvije kodne rijeEi s
najmanjim vjerojatnostima pojavljivanja nemaju istu duljinu. Recimo da kodna
rijeE A ilna k bitova vige od kodne rijefi B. PoSto se radi o prefiksnom kodu, B
sigurno nije prefiks od A. Dakle, ako s kodne rijeti A maknemo zadnjih k
bitova, A i B Ce joS uvijek biti razliEiti. Istovremeno, poSto ostale kodne rijeti ne
mogu biti duie od novog skrakenog A Cjer imaju veCe vjerojatnosti pojavlji-
vanja, dakle u optimalnom kodu moraju biti ha&), nema opasnosti da skraCena
kodna rijeE A bude prefiks neke druge kodne rijelci. Prema tome, novj k6d sa
skraCenom kodnom rijeEi A je ispravan prefiksni k6d, a pritom mu je prosjetna
duljina kodne rijeEi manja nego kod poEetnog koda s razliEitim duljinama
kodnih rijeti A i B. Iz ovog razmatranja vidimo da ne postoji optimalan k6d kod
kojeg dvije najmanje vjerojatne kodne rijeti nemaju istu duljinu, tj. da vrijedi
tvrdnja (2).
Ishod dodjeljivanja kraCih kodnih rijeEi vjerojatnijim simbolima je saietiji zapis
(npr. tipiean tekst se saiima za 45%).
Postupak stvaranja koda (Tablica 5.5) proizlazi iz upravo navedenih svojstava
(1) i (2) optimalnih kodova. Pronademo dva simbola s najmanjirn vjerojatnosti-
ma. BuduCi da oni moraju imati kodne rijeEi jednake duljine, moiemo ih
konstruirati tako da jedan zavrbava s nulom, a dmgi s jedinicom. To zapisujemo,
kombiniramo ova dva simbola u jedan nadsimbol (dakle zbrojimo im vjerojatno-
 UVOD U TEORIJU INFORMACIJE I KODIRANJE 5. ENTROPIJSKO
KODIRANJE

I
I sti) 1 ponovimo postupak. Oviin postupkom raCvanja dobivamo binarno stablo;
I povratkom kroz to stablo oEitamo kodove za sve simbole. Na taj se naEin dobiva
tablica kodnih rijeEi za sve simbole. Kako bi dekoder mogao dekodirati,
1

potrebna mu je ista tablica kodnih rijeEi. Dekoder moie tu tablicu konstruirati

1I
I 1 kao i koder, na upravo opisani naEin; pritom je neophodno da i na dekoderu
! budu poznate vjerojatnosti pojavljivanja simbola.
i Slika 5.6: Primjer Huffmanovog kodiranja
Ij 1'
Tablica 5.5: Postupak Huffmanovog kodiranja

postupak zatim ponavljamo na slnanjenom skupu od tri potietna siinbola i jednog

#

'ii
I
1
nadsimbola. Najmanje vjerojatnosti pojavljivanja sada irnaju simboli A i D.
Pridruiujemo im grane stabla, simbole 1 i 0, te stvaramo novi nadsimbol.
! :

1
:

I
i Slika 5.7: Primjer Huffmanovog kodiranja
I
Prirnjer: Huffrnanovo kodiranje Sada je ostao simbol B i dva nadsimbola; ta dva nadsimbola ujedno imaju i
Postupak Huffmanovog kodiranja najlakSe je shvatiti na primjeru. Zamislimo najmanje vjerojatnosti, te na njiina ponavljarno postupak.
izvor koji proizvodi poruke od simbola iz skupa {A, B, C, D, E} s
vjerojatnostima pojavljivanja p(A) = 0.16, p(B) = 0.51, p(C) = 0.09, p(D) = 0.13,
p(E) = 0.1 1. Ukoliko bismo koristili jednoliki k6d, dakle kodne rijeCi jednakih
duljina, lnorali bismo upotrijebiti tri bita (s dva bita moiemo stvoriti samo 2' = 4
kodne rijeCi, a ima pet simbola), dakle prosjeEna duljina kodne rijeEi bila bi 3
bita po simbolu. Uvrstimo li vjerojatnosti pojavljivanja u standardni izraz za
entropiju, mozemo izraEunati da je entropija ovakvog izvora 1.96 bita po
simbolu. Znamo da je entropija ujedno i donja granica za prosjehu duljinu
koda. OEigIedno je da bi navedeno kodiranje kodnim rijeeima jednakih duljina Slika 5.8: Primjer Huffmanovog kodiranja
bilo priliEno neuEinkovito. Stoga Cemo upotrijebiti Huffmanov algoritam i
Sada se skup smanjio na samo dva nadsimbola, te njima dodjeljujemo simbole 1
pronaCi optimalan k6d.
i 0 i stapamo ih u jedan nadsimbol, Cime je ponavljanje dovdeno. Nakon toga
Simbole pwo sortiramo po padajuCim vjerojatnostima. Dva simbola s najmanjim preostaje joS proEitati kodne rijeEi za svaki simbol kreCuCi od vrha stabla, dakle s
vjerojatnostima pojavljivanja su E i C. Njima dodjeljujemo simbole 1 i 0, desna na lijevo. Na lijevoj strani slike (Slika 5.9) naznaEeni su kodovi koje tako
kombiniramo ih u jedan nadsimbol. Uz simbole E i C gradimo po jednu granu dobivamo. PrimjeCujemo da je simbol B kodiran pomoCu najkraCe kodne rijeEi,
buduCeg stabla i na te grane zapisujemo simbole 1 i 0 koje smo im dodijelili. Na s'to bismo i oEekivali jer ima najveku vjerojatnost.
raEvanju tih dvaju grana zapisujemo zbroj vjerojatnosti simbola E i C, 0.20, St0
predstavlja novonastali nadsimbol. Sve ove korake prikazuje Slika 5.6.

Slika 5.9: Primjer Huffmanovog kodiranja
Poznatom formulom izraEunavamo prosjeEnu duljinu kodne rijeEi za ovako
nastao Huffmanov k8d:
~ = ~ ~ =(0.09+0.11+0.13+0.16)~3+0.51~1=1.98
, l , , [biffsimbol],
.VEX
gdje je su x simboli, p, je vjerojatnost pojavljivanja simbola x , a I, duljina kodne
rijeEi za simbol x. Vidimo da je prosjeEna duljina kodne rijeti za ovaj k6d vrlo
blim prethodno izraEunate entropije H = 1.96 biffsimbol. BuduCi da znamo da je
entropija apsolutna granica kompresije bez gubitaka, zakljuEujemo da je ovaj
k6d dobar. Ujedno, buduCi da je 1.96 < 1.98 < 1.96 + 1, ovaj k8d zadovoljava
uvjet (3.1), dakle optimalan je.
Svojstva Huffmanovog kodiranja
Huffmanovo kodiranje daje idealan rezultat u sluEaju da su vjerojatnosti
pojavljivanja simbola rasporedene u obliku 112, 1/4, ..., 1/2", 112" (npr. (112, 114,
1/41 ili (112, 1/4, 118, 1/81). Za takav raspored vjerojatnosti prosjeEna duljina
Huffmanovog koda jednaka je entropiji. Jasno je da u stvarnim primjenama to
obiEno nije sluEaj, te remltat ovisi o vjerojatnostiina pojavljivanja simbola.
Prednost Huffmanovog kodiranja je u tome Sto uz vrlo jednostavnu izvedbu
postife dobre rezultate kodiranja, pogotovo ako su vjerojatnosti pojavljivanja
simbola povoljno rasporedene. Nedostatak je Sto vjerojatnosti pojavljivanja
moraju biti poznate, i Einjenica da se za razdiobu vjerojatnosti, koja jako odstupa
od idealne, dobivaju vrlo loli kodovi. Promotrimo to na primjeru.
Primjer: Huffmanovo kodiranje uz nepovoljnu razdiobu vjerojatnosti
Tablica 5.6 predstavlja skup simbola kod kojeg je razdioba vjerojatnosti vrlo
nepovoljna za Huffmanovo kodiranje. Jedna od vjerojatnosti je izrazito velika, te
je stoga entropija vrlo mala (velika vjerojatnost pojave jednog simbola znaEi da
nema pun0 neizvjesnosti). Ona iznosi 0.335 bitlsimbol. Pojavljuju se dugaEki
nizovi simbola a,, no s Huffmanovim kodiranjem nema naEina da se oni saimu,
jer za svaki simbol treba utroliti barem jedan bit. S Huffmanovim kodiranjem ne
mofemo dobiti manje od 1 bittsimbol. U ovom sluEaju, Huffmanovim kodira-
njem dobivamo 1.05 bittsimbol, Sto je Eak 213% viSe od entropije, dakle vrlo
lose. Primijetimo da je, teoretski gledano, Huffmanovo kodiranje i u ovom
sluEaju optiinalno - prosjeEna duljina kodne rijeEi je unutar 1 bittsirnbol od
entropije. Problem je u tome Sto je entropija daleko ispod 1 bittsimbol, pa je
povedanje za 0.7 15 bittsimbol relativno veliko.
Tablica 5.6: Primjer razdiobe vjerojatnosti nepovoljne za Huffmanovo kodiranje
4
Simbol Vjerojatnost Kodna rijeC
ProSireni Huffmanov k8d
U prethodnom bi primjeru tipiEna poruka iinala pun0 ponavljanja istog simbola
a,iizgledala bi nakon kodiranja otprilike ovako:
Intuitivno se mote naslutiti da mora postojati inoguCnost kodiranja ovakvih
poruka s manje od jednog bita po simbolu. S druge strane, Huffmanovo je
kodiranje optimalno, Sto bi znaEilo da ne postoji kad s manjom prosjeEilom
duljinom kodne rijeEi, tj. da ne postoji bolji k8d od Huffmanovog. To je zaista
tako, ukoliko se driimo pravila da se svaki simbol zapisuje kao jedna kodna
rijeE. Medutim, ako uzmemo vise simbola odjednom i kodiramo ih kao jednu
kodnu rijer, moiemo dobiti bolji rezultat.
ProSireni Huffmanov k6d dobivaino na taj naEin da stvorimo novi skup simbola
kao skup svih moguCih kombinacija od po m osnovnih simbola. Za svaku
kombinaciju osnovnih simbola dobivamo vjerojatnost pojavljivanja mnoknjem
vjerojatnosti osnovnih simbola. Na taj naEin dobivamo novi skup simbola i
njihovih vjerojatnosti pojavljivanja. Ako je osnovni skup imao n simbola, novi
Ce se skup sastojati od nmsimbola. Promotrimo to na primjeru.
Primjer: ProSireni Huffmanov kdd
Stvaramo novu jablicu simbola kombiniranjem osnovnih simbola. U ovom
slutaju, to su sve moguCe kombinacije od po dva osnovna simbola (rn = 2), a
poSto je osnovnih simbola bilo 3 dobivarno 3' = 9 novih simbola: alal, a~az,...,
a3a3. Vjerojatnosti pojavljivanja ovakvih proSirenih simbola prikazane su u
Tablici 5.7. Ovime se razdioba vjerojatnosti poboljSava i Huffmanovo kodira-nje
daje bolji rezultat. ProsjeEna duljina kodne rijeEi dobivene Huffmanovim
postupkom za progirene simbole je 1.222 biffsimbol, no svakim od novih
UVODU TEORIJU MFORMACIJE 1 KODIRANJE
sitnbola kodirali smo dva osnovna silnbola pa ovu vrijednost dijelimo s dva da
dobijemo broj bitova po osnovnoln simbolu koji moiemo usporediti s prethod.
nim rezultatom. Vidimo da je tako dobivena prosjeEna duljina koda 0.611
bit/simbol, Sto je bitno manje od prosjecne duljine za osnovni Huffmanov k6d.
Ovaj nas je primjer dove0 do vrlo vainog zakljuEka: ~Einkovitijeje kodirati
poruku u blokovima simbola. Uzlnemo li veCe blokove, npr. od po tri, Eetiri i]i
viSe simbola, dobili bismo jog bolje rezultate. Mebutim, da bismo generirali
Huffmanov k6d za blokove duljine m, potrebno je generirati sve moguCe
sljedove duljine m i njihove kodne rijeCi, a znamo da ih ima n"'. Dakle, broj
generiranih kodova raste eksponencijalno te vrlo brzo dolazimo do granica
praktiEne upotrebljivosti ovakvog postupka.
Tablica 5.7: ProSireni Huffmanov k6d
Primjene Huffmanovog kodiranja
Huffmanovo se kodiranje Eesto primjenjuje kao komponenta unutar sloienijih
algoritama kompresije, kao Sto su npr, neke norme za prijenos podataka
telefaksom, te norma za kodiranje nepomiEne slike P E G .
5.6.3. AritmetiEko kodiranje
AritmetiEko kodiranje tretira Eitavu poruku kao jedan simbol i preslikava je na
jednu vnjednost iz intervala [0, 1). PoSto ovaj interval sadrii b e s k o n a h broj
realnih vrijednosti, oEekujemo da je bilo kojoj poruci moguCe jednomaEn0
dodijeliti jedan broj iz tog intervala. Premda se naznaka osnovne ideje na kojoj
se zasniva aritmetiEko kodiranje pojavljuje joS 1948. g. u Shannonovom izvor-
5. ENTROPIJSKO
KODIRANJE
nom Elanku, potpuni algoritam za aritmetiCko kodiranje objavili su neovisno
jedan od drugog 1976. g. autori R. Pasco i J.J. Rissanen [55] [56] [49]. Algoritmi
primjenjivi u praksi pojavljuju se nest0 kasnije [57].
vratimo se trenutak na prethodni primjer proiirenog Huffmanovog kodiranja.
vidjeli smo da je kodiranje ~Einkovitijekada se simboli kombiniraju u blokove,
a svaki blok kodira jednim simbolom. Sto su blokovi duii, to je kodiranje
u~inkovitije.Krajnost, i teoretski najuEinkovitiji sluEaj, je da cijelu p o m h koju
2eIim0 kodirati pretvorimo u jednu jedinu kodnu rijeC. No ako bismo to pokuSali
izvesti progirenim Huffmanovim kodiranjem, morali bismo generirati i sve dmge
kombinacije simbola jednake duljine, Sto je u praksi vrlo teSko. AritmetiEko
kodiranje je naEin da se Citava poruka kodira u jednu, dugaEku kodnu rijeh koja
je zapravo realan broj iz intervala [O, 1).
Postupak kodiranja
Teoretski postupak aritmetiEkog kodiranja prikmje Slika 5.10, uz pretpostavku
da kodiramo poruke koje se sastoje od simbola iz osnovne abecede od n simbola,
te da su poznate vjerojatnosti pojavljivanja simbola iz abecede. Koraci u
postuph kodiranja su:
AritmetiEko kodiranje preslikava Eitavu poruku, proizvoljno dugaEku, na jedan
interval realnih brojeva izmedu 0 i 1. Ovaj je interval opisan jednim brojem iz
intervala koji je predstavljen u binamom obliku, i to je konaEni k M za Eitavu
poruku. Sa svakim novim simbolom u slijedu, interval s kojirn radimo se
smanjuje, no uvijek je jednoznaCno odreden prethodnim simbolima u nizu.
y UVODu TEORIIU INFORMACUE I KODIRANJE - 5. ENTROPIJSKO
KODIRANJE
i
r
9.. H ....................1. 0

i poEetni interval [0, 1)

podinterval [L, H)
.........
............. ~.2:27::-:;:F:;:w.::.~::.1:>::!::ii::.?:.:':::::jj::[
,/................L'
L :................. 7
....................
H: ................. ...1 .
7 ...................... H XXX - 114
Kodna rijek
(binarno)
0.01
. ' L"
L' ~::::::Lf::S:SC:S:I:~i'I:X:Si'.]
H" .......... .:......,..:
-\

....................... H'
podinterval [L', H') 8127
Slika 5.10: Postupak aritmetitkog kodiranja XXY 318 0.11
12/27
Primjer: Aritrnetjcko kodiranje
Krenimo od jednostavnog primjera za poruku koja se sastoji od samo dva
simbola (Slika 5.11).
Blo koji broj
iz intervata rnofe Kodna rijeE
Poruka duljine 2 posluiiti kao (binamo)
O kodna rijeE

114 0.01
O T I Slika 5.12: Aritmetitko kodiranje poruke od tri simbola

Promotriino isti priinjer proSiren na slijed od 3 simbola (Slika 5.12). Napravljena

je jog jedna podjela na podintervale. Treba naglasiti da su u prinljeru pokazane
sve mogude poruke od 3 sitnbola. U stvamom sluEaju, ielimo kodirati samo
jednu poruku, te ne radimo sve podjele na podintervale, nego samo u intervalu
koji nas zanima, sljedeCi slijed simbola iz poruke. Na primnjer, ielirno li kodirati
poruku XYY, napraviti Cemo tri podjele prikazane podebljanim crtama.

Slika 5.11: Aritmetitko kodiranje poruke sastavljene od dva simbola Postupak dekodiranja
Postupak dekodiranja sliEan je postupku kodiranja:
Abeceda se sastoji od simbola X i Y s vjerojatnostima pojavljivanja 213 i ID.
Mogude poruke od dva simbola su XX, XY, YX i YY. Recimo da ielimo
kodirati poruku XX. U prvom koraku dijelimo interval [0, 1) prema vjero-
jatnostima pojavljivanja simbola iz abecede: 213 i 113. Nakon Sto kodiramo
poruku XX, prvi simbol je X, pa demo sada njemu pripadajuCi podinterval [0,
213) ponovo podijeliti prema vjerojatnostima abecede i tako dobiti novi skup
podintervala 10,419) i [419, 619). Pogto je naS drugi simbol X, odabiremo iz ovog
novog skupa njemu pripadajudi podinterval [O, 419). Time smo zavrSili kodiranje
poruke XX, i ona je jednoznaCno opisana podintervalom [O, 419). Uzimamo
jedan broj iz ovog podintervala u binarnom obliku - 01 - i to je k6d za poruku
XX. Slika prikamje podjelu na podintervale i za druge moguCe poruke od dva
simbola. Da smo htjeli kodirati npr. YY stigli bismo u zadnji podinterval i dobili
k6d0.1111.
UVODu TEORIJU INFORMACIJE I KODIRANJE
Primijet~moda korak 6. postavlja problem - kako znamo kada je kraj poruke? Iz
s m o g koda to zapravo ne moiemo znati, jer bismo korake 3-5 mogli ponavljati
u beskonaEnost stvarajudi sve manji i inanji podinterval oko kodiranog broja.
Ovaj se problem moie rijegiti tako da u abecedu dodamo poseban simbol za kraj
poruke, ili tako da se dekoderu dojavi duljina poruke.
Primjer: Dekodiranje aritmetieki kodirane poruke
Pretpostavimo ponovo abecedu od dva simbola X i Y s vjerojatnostima
pojavljivanja 2/3 i 113. Pretpostavimo da je duljina poruke tri simbola, i da je
primljen k6d 1111. To odgovara binarnom broju 0.1 111, ti. 15/16. Postupak
dekodiranja ilustrira Slika 5.13.
Interval [0, 1) se prvo dijeli na podintervale [O, 213) i [2/3, 1). Kodirani broj
I lmplementacija
15/16 je u drugom podintervalu, pa zapisujemo prvi simbol Y, a njega dijelimo
ponovo po vjerojatnostima ~ojavljivanjana nove podintervale [2/3, 819) i [8/9,
1). Kodirani broj je u podintervalu [8/9,I), dakle drugi simbol je Y, a ovaj
podinterval ponovo dijelimo. Dobivamo nove podintervale [8/9, 26/27) i [26/27,
1). Kodirani broj 15/16 nalazi se u prvom od ta dva podintervala, pa zapisujemo
prvi simbol X. Time srno dobili tri simbola i dekodirana poruka je YYX.
II
Slika 5.13: Primjer dekodiranja aritmetirki kodirane poruke
Odabir koda
Prilikom kodiranja, bilo koja vrijednost iz odabranog podintervala u potpun~sti
definira podinterval, a time i kodiranu poruku. Postavlja se pitanje koju vrijed-
I
nost iz dobivenog podintervala odabrati kao karakteristiznu vrijednost, tj. kodnu
rijeE. Moie se pokazati [49] da je poruku x moguke jednoznazno kodirati tako da
'
- 5. ENTROPUSKO
KODIRANJE
se uzme neka vrijednost iz podintervala dobivenog za poruku x opisanim
postupkom, da se ta vrijednost zapiSe u binamom obliku, te da se iz takvog
zapisa uzme prvih l(x) binamih znamenki, gdje je I(x):
- -
I
Z(x) = log-
P:x) I+ 1 [bit],
gdje je P(x) duljina promatranog podintervala. Moie se pokazati i da se na
ovakav naEin dobiva prefiksni k6d, tj. da k6d za bilo koji podinterval nije prefiks
koda za neki drugi podinterval.
Dosad opisani algontam sluti iskljuEivo za teoretsko shvadanje principa
aritmetitkog kodiranja. U praksi bi ovaj algoritam bio neupotrebljiv iz sasvim
praktihih razloga. Prvo, u veCini sluEajeva potpuno je neprihvatljivo Eekati do
kraja poruke da bi se ona kodirala te je potrebno modificirati postupak tako da
moie kodirati poruku simbol po simbol, Sto je preduvjet za bilo kakvu komuni-
kaciju u stvamom vremenu (npr. telefonski razgovor, TV prijenos itd.). Druga
pote9koCa kod prikazanog algoritma je ta 9to rahnala prikazuju realne brojeve u
notaciji s pomiEnim zarezom koja ima ogranitenu preciznost. VeC nakon
relativno malog broja podjela na podintervale dolazi do potrebe za realnim
brojevima s vedom preciznoSdu (brojem decimala) nego Sto to podriava zapis na
raEunalu. Dodatno, operacije s realnim brojevima (tj. brojeviina s pomitnim
zarezom) u opdenitom sluEaju zahtijevaju vise procesorskog vremena nego
operacije s cijelim brojevima. Iz ovih razloga bilo je neophodno pronadi
algoritam kodiranja koji:
'koristi operacije sa cijelim brojevima;
koristi prikaz s fiksnim brojem bitova;
proizvodi simbole koda tijekom postupka kodiranja, a ne tek na kraju.
PraktiEna implementacija antmetickog kodiranja koja zadovoljava ove uvjete
zasniva se na renormalizaciji intervala. Osnova postupka je potpuno jednaka
dosad opisanorn algoritmu - i dalje se osnovni interval dijeli na podintervale koji
odgovaraju simbolima poruke. Za prikaz intervala, tj. njegove gornje i donje
granice, koristi se fiksni broj znamenki. Prikazuju se samo znamenke desno od
decimalnog zareza. Prilikom podjele na podintervale, dogada se da u prikazu
gornje i donje granice jedna ili vile pwih znamenki budu jednake. Kada se to
dogodi, dakle kada je prvih n znamenki u prikazu gornje i donje granice jednako,
interval se renormalizira, tj.:
Prvih n znamenki se Salje na izlaz kodera;
Znamenke se pomiEu ulijevo za jedno rnjesto;
 5. ENTROPIJSKO
UVOD U TEORIJU MFORMAClJE I KODIRANJE
- KODIRANJE

Desno se dodaje znamenka: 0 na donju, 1 na gornju granicu intervala (uz Tablica 5.8: Primjer aritmetifkog kodiranja
pretpostavku da koristimo binarne znamenke; ukoliko se koristi npr.
decimalni sustav, dodaje se 0 i 9).

11 Prirnjer: AritmetiEko kodiranje s renormalizacijom intervak

Abeceda od koje se sastavlja poruka i vjerojatnosti pojavljivanja simbola dane su
u sljedekoj tablici.

RAZMAK 1/10

Premda se u praksi koristi binami sustav za kodiranje, za ilustraciju u primjeru

bolje sluii decimalni sustav, pa Cemo ga koristiti u ovom primjeru. Kodiranje
radi na potpuno istom principu i u binarnom sustaw. Tablica 5.8 prikazuje slijed
koraka kodiranja poruke sastavljene od simbola iz navedene abecede. Poruka
koju kodiramo je: "BILL GATES".
Drugi red tablice prikazuje kodiranje prvog simbola, "B". Prema tablici 1,
osnovni interval za simbol "B" je [0.2, 0.3). Now gornju i donju granicu
promatranag intervala (redak 2 u tablici) dobivamo tako da podijelimo potetni
interval proporcionalno u odnosu na osnovni interval kodiranog simbola, tj.:
D, = D + L.Do ; G, = D + L.Go ; gdje su:
D,, G, : donja i gornja granica novog intervala (u ovom sluEaju 29999,
20000), Nakon ovog koraka prva znamenka gornje i donje granice intervala je 2. Daljnim
D, G : donja i gornja granica poEetnog intervala (u ovom sluEaju 99999, podjelama intervala on se moie samo suiavati, Eime se potetna znamenka neCe
00000), promijeniti. Stoga je moiemo maknuti i poslati na izlaz kodera. To je korak
Do, Go : donja i gomja granica osnovnog intervala (u ovom slueaju 0.2, renormalizacije (redak 3 u tablici). S poEetka gornje i donje granice intervala
0.3), uklonjena je znamenka dva i stavljena na izlaz; pritom su sve znamenke u donjoj
i gornjoj granici pomaknute ulijevo, a na desnu stranu je dodana nova znamenka.
L: duljina poEetnog intervala (u ovom slutaju 100000). Za gornju je granicu nova znamenka 9, a za donju 0. U nastavku se postupak
UVODU TEORIJU INFORMACIJE I KODIRANJE - 5. ENTROP~JSKO
ponavlja, a na kraju je potrebno jog dovrSiti kodnu rijeE tako da se nakon obrade
svih simbola joS izbace zavrSne znamenke bilo iz gomje, bilo iz donje
vrijednosti.
Usporedba Huffrnanovog i aritmetiEkog kodiranja
Tablica 5.9 daje usporedbu osnovnih svojstava Huffmanovog i aritmetitkog
kodiranja. Bitna razlika je u tome Sto aritrnetiEko kodiranje Eitavu poruku kodira
kao jednu kodnu rijeE, Cime se mogu dobiti bolji remltati nego Huffmanovim
kodiranjem, gdje se svaki simbol kodira kao zasebna kodna rijeE. Razlika u
efikasnosti izmedu ova dva postupka biti de tim izraienija, Sto je veCe odstupa-
nje razdiobe vjerojatnosti simbola od idealne razdiobe za Huffmanov postupak.
Medutim, izvedba aritmetitkog kodiranja bitno je sloienija i zahtjevnija od
Huffmanovog.
Tablica 5.9: Usporedba Huffmanovog i aritmetiekog kodiranja
Primjene aritmetiekog kodiranja
AritmetiCko s e kodiranje vrlo Eesto koristi unutar raznih sloienijih postupaka i
normi za kodiranje. Primjeri ukljutuju kodiranje slike (norma JPEG), gdje se
aritmetiEko kodiranje moie koristiti kao dio postupka kodiranja; kodiranje
dokumenata normom JBIG (skr. od engl. Joint Bi-level Image Processing
Group); te kodiranje animacije ljudskog lica i tijela unutar norme MPEG-4
(specifikacija "Face and Body Animation").
5.6.4. Metode rjeenika
Dosad prikazani algoritmi kodiranja ne uzimaju u obzir posebna svojstva izvora
s memonjom. Kod izvora s memorijom, vjerojatnost pojave simbola ovisi o
jednom ili viSe prethodnih simbola poruke. Iz toga proizlazi da se neki nizovi
KODIRANJE
simbola pojavljuju EeSCe nego drugi. Na primjer, uzmemo li tekst iz neke knjige,
neki nizovi slova Ce se pojavljivati vrlo Eesto jer predstavljaju uwijeiene rijeEi
(npr. ako, ili, ...), a neki nizovi slova se vjerojatno nikada nede pojaviti jer ne
predstavljaju rijeEi (npr. "arkhz" i sl.). I u drugim vrstalna izvora s memorijom
neki se nizovi simbola pojavljuju EeSCe. Algoritmi kodiranja metodama rjeEnika
uzimaju kao ulaz nizove simbola ("rijeci") promjenjive duljine i kodiraju ih
kodnim rijeEima stalne duljine iz rjeEnika. Osnovni se princip moie donekle
ilustrirati uporabom kratica u pisanom tekstu - npr. piSemo "npr." umjesto "na
primjer" i time skradujemo tekst.
OEito je da koder i dekoder moraju imati isti rjeEnik, kako bi dekoder mogao
protumaciti kodne rijeEi i zamijeniti ih rijeCima iz rjecnika. RjeCnik moie biti
statican ukoliko unaprijed znamo karakteristike poruka koje Cemo kodirati, tj.
ako su nam poznate najueestalije rijeEi. Medutim, daleko je efikasnije dinarniCki
graditi rjeEnik te ga nadogradivati nadolazeeim simbolima, Eime se rjeEnik
automatski prilagodava karakteristikana izvora. Pritom vjerojatnosti pojavlji-
vanja simbola ne moraju biti poznate, Sto je velika prednost u odnosu na
Huffmanovo i aritmetiEko kodiranje. Zbog ovog se svojstva ovi koderi nazivaju i
univerzalnima. Sve metode, koje se koriste, u praksi rade s dinamiEkiin,
prilagodljivim rjecnikom.
Izvomi rad u podruEju kodiranja metodama rjeEnika napravili su Ziv i Leinpel
sedamdesetih godina, nakon ERga je nastao niz poboljSanja. Dat Cemo kratak
prikaz prvih algoritama - LZ77 i LZ78, te neSto detaljniji prikaz algoritma
LZW.
Algoritam LZ77
Algoritam LZ77 [58] kao rjeEnik koristi tzv. posmiEni prozor (engl. search
.bufSer), koji se sastoji od N zadnjih (veC kodiranih) simbola poruke koja se
kodira. Prozor za kodiranje (engl. look-ahead bufer) je niz iduCih simbola koje
treba kodirati. U svakom koraku kodiranja se unutar posmiCnog prozora traii
najduii moguki niz znakova koji je jednak nizu znakova na poEetku prozora za
kodiranje. Taj niz znakova se kodira kao uredena trojka (pomak, duljina,
sljedeki-simbol), gdje pomak oznaEava broj simbola od kraja posmiEnog prozora
do pronadenog niza, duljina je duljina pronadenog niza, a sljededi-simbol je
simbol koji dolazi u prozoru za kodiranje neposredno nakon pronadenog niza.
Ako se u posmiCnom prozoru uopCe ne moie pronaCi niz makova s poEetka
prozora za kodiranje, tj. Eak niti prvi simbol za kodiranje ne postoji u
posmiEnom prozoru, tada su pomak i duljina 0, a sljedeki-simbol je prvi simbol
u prozoru za kodiranje. U idudem koraku posmiEni prozor i prozor za kodiranje
pomiEu se prema naprijed za (duljina + 1) tako da posmiEni prozor obuhvati sve
vet kodirane simbole, a prozor za kodiranje iduCe simbole koje treba kodirati.
UVODU TEORIJU INFORMACIJE I KODIRANJE
Nedostatak ovog algoritma je taj Sto pamti samo nizove simbola unutar posmi-
Enog prozora, tj. memorija je relativno "kratka". Da bi bila postignuta kompre.
sija, poruka mora sadriavati ponovljne nizove simbola unutar duljine posmiEnog
prozora. U najgorem slufaju, ako je izvor perioditan, a period mu je samo malo
duii od duljine posmiEnog prozora, kodiranje je izuzetno loge jer se nikada ne
uspije uhvatiti ponovljeni niz simbola.
Odabirom veCe duljine posmiEnog prozora poveCava se memorija, te se m&e
postis bolje kodiranje, no to ujedno rezultira i poveCanjem vremena potrebnog
za pretrdivanje posmiEnog prozora, pa time i usporavanjem postupka. Red
veliEine posmiEnog prozora u praktiEnoj uporabi je oko 2000 simbola.
Prirnjec Kodiranle algoritmom LZ77
Pretpostavimo da kodiramo poruku cabracadabrarrarrad. U ovom primjeru
koristimo posmiEni prozor duljine 7 simbola i prozor za kodiranje duljine 6
simbola (ove veliEine su daleko lnanje od praktiEno upotrebljivih i sluie samo za
ilustraciju). Pretpostavimo da je pwi dio pomke vek kodiran, ukljuEivo sve do
pwog simbola d. SljedeCi simbol za kodiranje je a. Slika 5.14 prikamje trenutnu
situaciju.
..............................................
brarrlarrad
..............................................
+
duljina = 4
+ nadolazetem nizu simbola za kodiranje. Indeks mofe biti 0 ako nadolazekeg
Slika 5.14: Primjer kodiranja algoritmom LZ77, korak i
PosmiEni prozor naznaEen je punim okvirom, a prozor za kodiranje iscrtkanim.
U prozoru za kodiranje nalazi se niz simbola abrarr. Traieki ove simbole u
posmiEnom prozoru, najdulji niz koji moiemo pronaCi je abra na poEetku
posmiEnog prozora. Ovaj niz je od kraja posmiEnog prozora udaljen za 7 sirnbo-
-
la, i to je pomak. Duljina pronadenog niza je 4, a sljedeCi simbol je r. Dakle, na
izlaz kodera odlazi triplet (7,4, r).
duljina = 5
Slika 5.15: Primjer kodiranja LZ77, korak i+l
Slika 5.15 prikazuje iduki korak. Prozor za kodiranje sadrii niz rarrad, te taj niz
traiimo u posmitnom prozoru. Na kraju posmiEnog prozora nalazimo niz rar od
tri simbola. Medutim, nastavkom u prozor za kodiranje moiemo produiiti ovaj
-
niz na 5 simbola: rarra. Na izlaz kodera odlazi pomak 3, duljina 5 i
sljedeCi-sim bol d.
promotriino Sto se dogada prilikom dekodiranja. Pretpostavimo da na dekoderu
ve6 imamo dekodiran poEetak poruke: cabracad. Na ulaz dekodera stiie triplet
(7,4, r). Dakle, s pozicije 7 znakova unatrag uzimaju se 4 simbola: abra. Nakon
toga se dodaje sljedeCi simbol r, te se dobiva ukupna dosad dekodirana poruka
cabracadabrar. Nakon toga se s ulaza dekodera uEitava triplet (3, 5, d).
pomiEemo se za tri simbola unatrag, te uzimamo prva tri simbola rar. Post0 je
dutina 5, potrebno je uzeti ukupno 5 simbola, pa bi se na prvi pogled ~noglo
zakljutiti da dva siinbola nedostaju. Medutim, upravo se dekodirani simboli rar
odmah nadovezuju na dosad dekodiranu poruku, te se od njih uzimaju pma dva i
ukupno se dobivaju dekodirani sirnboli rarra. Na to se dodaje joS sljedeCi simbol
d, te je ukupna dekodirana poruka cab~*acadabrarrarrad.
LZ78 i LZW
Za razliku od LZ77, algoritain LZ78 [59] uinjesto posmiEnog prozora uvodi
rjecnik, tj. zasebni memorijski prostor u koji se spremaju ponavljane rjeEi
(nizovi simbola). LZ78 kreke s praznim rjeEnikoln i gradi rjeEnik tijekom
kodiranja. RjeEnik je poredana lista rijefi, tj. nizova simbola. RijeE iz rjetnika se
dohvaka pomoCu indeksa, tj. rednog broja rijeEi u rjeEniku. U svakoj se iteraciji
(7,4~)
kodiranja na izlaz kodera Salju dva podatka: illdeks u rjeEnik i k6d sljedekeg
sirnbola. Indeks u rjeEnik je redni broj najduie rijeEi u rjeEniku koja je jednaka
simbola nema u jeEniku. K6d sljedekeg simbola pojedinatno kodira simbol koji
slijedi nakon rijeEi pronadene u rjefniku. Tijekom kodiranja rjeEnik se nadopu-
njava novim rijeEima.
Algoritam LZW [60] je poboljSanje u odnosu na LZ78. Ova metoda kreCe s
poEetnim rjeEnikom koji sadrii sve osnovne simbole iz abecede, Eime se
izbjegava potreba slanja koda sljedeCeg simbola i Salje se samo indeks u rjeEnik.
RjeEnik se nadopunjava na sliEan naEin kao kod kbda LZ78. Izvomi algoritam
LZW koristi rjeEnik s 4 kB rijeEi, s tim da su pwih 256 rijeEi standardni ASCII
kodovi.
Algoritam LZW prikazan je pseudokodom u tablici (Tablica 5.10). Na poEetku
(3,5,d) radna rijeE poprima vrijednost pwog simbola poruke koja se kodira. Zatim se
ponavljaju sljedeke operacije sve dok se ne dode do kraja poruke:
s ulaza se uzima sljedeCi simbol poruke;
radna rijeE progirena s tim novim simbolom daje novu rijeE; ako ova
nova rijeE postoji u rjeEniku, onda ona postaje radna rijeC;
1 UVODU TEORIJU INFORMACIJE I KODlRANJE
i --C
ako nova rijeE nije u rjeEniku, ona se dodaje u rjeEnik, a na izlaz kodera
se Salje k6d za radilu rijeE; simbol dobiven s ulaza sada postaje radna
rijeE.
Tablica 5.10: Pseudok8d za LZW kodiranje
3 . NoviSimbol = s l j e d e C i simbol s a u l a z a
011 u rjecni
7. I Z L A Z : kBd zaRadnaRijeE
10. ENDIF
1. END WHILE
Primjec Kodiranje algoritmom LZW
U ovom je primjeru poruka na ulam sastavljena iz abecede koju sacinjavaju tri
simbola: (A, B, C}. Tablica 5.1 1 prikazuje poruku, uz naznaku rednog broja
(mjesta) svakog simbola u poruci radi lakSeg praCenja postupka. Tablica 5.12.
prikamje sadriaj rjeEnika na poEetku izvodenja postupka. Tablica 5.13 prikazuje
I postupak kodiranja u koracima. Za svaki je korak prikazan novi sadriaj rjeEnika
dodan u tom koraku, te izlaz iz kodera u tom koraku.
Tablica 5.11: Primjer LZW kodiranja; poruka koja se kodira
5. ENTROPIJSKO
KODIRANJE
Tablica 5.12: Primjer LZW kodiranja; potetni rjetnik
Tablica 5.13: Primjer LZW kodiranja; koraci u postupku kodiranja
Na poEetku postupka (redak I u pseudokodu) radna rijeC postaje pwi simbol s
ulaza, A. Zatim postupak ulazi u petlju koja se ponavlja (redak 2-11 u
pseudokodu). Tablica prikazuje Sto se dogada u svakom koraku ove petlje. U 1.
koraku nalazimo se na mjestu 1 u poruci. SljedeCi simbol je B, dakle B postaje
NoviSimbol (redak 3 u pseudokodu). Nova rijeE je RadnaRijeE + NoviSimbol, tj.
AB. Provjerom (redak 4 u pseudokodu) se ustanovi da AB ne postoji u rjetniku,
te se prelazi na redak 7 pseudokoda: na izlaz kodera se Salje k6d za radnu rijeE
A, a to je (1) kao Sto se vidi iz poEetnog rjeEnika. Zatim se (redak 8 u
pseudokodu) nova rijeE AB dodaje u rjgnik na sljedeCe slobodno mjesto, mjesto
(4). Napokon (redak 9 u pseudokodu), radna rijd postaje B.
U 2. se koraku nalazimo na mjestu 2 u poruci. Novi simbol je B. Nova rijeE je
RadnaRijeE + NoviSimbol, tj. BB, Sto ne postoji u rjeEniku te se prelazi na redak
7 pseudokoda i ponavljaju se iste operacije kao i u prvom koraku. TreCi korak
odvija se na isti natin.
U 4. koraku nalazimo se na mjestu 4 u poruci, a radna rijeE je A. Nova rijeE je
RadnaRijec' + NoviSimbol, tj. AB, a to postoji u rjeEniku, i to na mjestu (4).
Stoga prelazirno na redak 5 u pseudokodu i radna rijeE postaje AB. Petlja se
nastavlja u retku 3 pseudokoda uEitavanjem novog simbola A. Nova rijeE je sada
RadnaRije~+NoviSimbol,tj. ABA, Sto ne postoji u jeEniku te se prelazi na redak
UVODU TEORIJU INFORMACIJE I KODIRANJE
- -
Niz o d 8 ponavljanja simbola C zamijenjen je samo jednim simbolom C,
zastavicom ! koja naznaEuje ponavljanje i brojem ponavljanja, u ovom sluEaju 8,
Primijetimo d a niz FFF nije zalnijenjen sa F!3 jer se time ne bi postigla nikakva
uiteda. U ovom primjeru zamjena se dakle isplati za ponavljanje 4 ili viSe
znakova. Moielno primijetiti d a granica isplativosti ovisi i o tome koliko
simbola j e potrebno za kodiranje broja ponavljanja. U ovom primjeru koristi se
samo jedan simbol, Eime se ne bi moglo izraziti viSe od 9 ponavljanja.
Primjene metoda skracivanja niza
Metode skrakivanja niza se primjenjuju u sklopu sloienijih algoritama, npr. u
normi JPEG za kodiranje slike. N a slijednom kodiranju bila je zasnovana i prva
generacija telefaksa.
5.7. Zadaci
Zadafak-1: Markovljevo izvoriSte definirano matricom prijelaznih vjerojatnosti (Pjl,)
generira simbole iz skupa simbola X = {a, b, c ) .
a) Optimalno kodirajte binamim kodom (Huffman!) sve parove simbola.
b) Odredite srednju duljinu kodne rijeEi.
c) Provjerite je li zadovoljena Krafiova nejednakost za dobiveni skup kodnih rijeEi.
Zadatak-2: Slijed simbola s vjerojatnostima (u %) pojavljivanja i8.1, 11.3, 8.6, 6, 9.8,
8.5, 3.1, 13.5, 6.3, 6, 9.1, 9.7) kodirajte dibitima (kvatemamim simbolima) tako da
srednja duljina kodne rijeEi bude rninirnalna. Izracunajte srednju duljinu kodne rijeEi
(u dibitima) i efikasnost koda. Odredite za koliko se smanji ili poveCa efikasnost koda
ovim kodiranjem u odnosu na kodiranje istog skupa simbola binamim kodom.
Zadafak-3: Dan je skup simbola sa sljedetim vjerojatnostima pojavljivanja:
Optimalno kodirajte dani skup simbola binamim kodom tako da je srednja duljina kodne
rijeEi minimalna (Huffman!). Odredite koliko mora biti trajanje binamih simbola "0" i
5. ENTRoPIJSKO KODIRANJE
"1" tako da je prosjeEan broj simbola koje se prenesu komunikacijskim kanalom u jednoj
sekundi 400.
Zadatak-4: Mirna digitalizirana slika s bojama A, B, C, ... , M opisana je tablicom:
xi- boja, - frekvencija pojavljivanja pojedine boje
a) Odredite optimalni binami k6d za danu sliku (Huffman!).
b) Odredite vrijeme potrebno za prijenos optimalno kodirane slike izmedu dva raEunala
koja su povezana modemskom vezom 33600 bids.
Zadatak-5: Mirna digitalizirana slika zadana je histogramom:
Optimalno kodiranje slike (?luffman, binarni k6d) provedeno je tako da je srednja
duljina kodne rijeEi minimalna i niti jedna kodna komploksija nije dulja od Eetiri bita.
Odredite vrijeme potrebno za prijenos optimalno kodirane slike izmedu dva ratunala
koja su povezana modemskom vezom (56000 bids).
Zadatak-6: Neka je dano diskretno bezmemorijsko izvoritte koje generira simbole xi,
i = 1, ..., 4. Nad danim skupom simbola provedeno je optimalno kodiranje kako je to
predoEeno u tablici (Tablica 5.15). Generirana su Eetiri razliEita koda.
a) Provjerite je li zadovoljena Kraftova nejednakost za svaki kbd?
b) Koje se od navedenih kodnih kompleksija mogu jednomacno dekodirati, a koje ne i
zaito?
Tablica 5.15
Zadatak-'I: Neka je dana slucajna varijabla X s m jednako vjerojatnih ishoda. Odredite
za koje vrijednosti varijable m je srednja duljina kodne rijeEi (L) jednaka entropiji H(X).
Napomena: Kodiranje je provedeno Huffmanovim kodom.
277
UVODU TEORIJU MFORMACIJE I KODIRANJE
-
Zadalak-8: SluEajna varijabla X poprima sljedede vrijednosti {XI, x2, ..., x,)
vjerojatnostima pojavljivanja {1/2, 1 / 2 ~...,
, 112").Neka n+m.
a) Provedite Huffmanovo kodiranje nad danim skupom simbola.
b) Usporedite srednju duljinu kodne rijeEi (L) s entropijom skupa simbola X.
Zadatak-9: Dan je skup simbola X = (s, w, i, m, -) s vjerojatnostima p~javljivanj~
p-= O.l,p,= 0 . 1 , ~=~0.2, , p w = 0.1, p,= 0.5. Optimalno kodirajte poruku "swiss-miss"
koristedi aritrnetiEko kodiranje.
Zadatak-10: Dan je skup simbola X = (1, 2, 3 ) s vjerojatnostima pojavljivanja p, = 0.8,
pz= 0.02 ip, = 0.18. Dekodirajte primljenu kodiranu poruku 0.772352 duljine 4 simbola
koja je kodirana aritmetiEkim kodom.
Zadatak-11: Koristedi algoritam LZ77 kodirajte poruku abaabbabaacaacabb uziinajudi
pritom da je maksimalna duljina posmiEnog prozora i prozora za kodiranje 6, odnosno 5

6.
simbola.
Zadatak-12: Uzi~najudipolazni rjeEnik D, gdje jk D[O] = A, D[1] = B, D[2] = C i
D[3]= D, kodirajte poruku BABAABAAA koristedi algoritam LZW. lzvorno
:::! kodiranje
t $." i

Zadatak-13: Uzimajudi polazni jeEnik D, gdje je D[O] = a, D[1] = b i D[2] = c, ,.I ti

7-
dekodirajte kodiranu poruku 0 0 1 4 0 2 5 0 koristedi algoritam LZW.
*%9*.
Zadatak-Il: Uzimajudi polami rjeEnik D, gdje je D[1]= r, D[2]= a, D[3]= b, D[4]= o i
D[5]= w, dekodirajte kodiranu poruku 5 2 3 3 2 1 6 8 10 12 9 1 1 7 16 5 4 4 1 1 21 23 4 1, \J " 4',%
koristedi algoritam LZW.
Zadatak-15: Uzimajudi polazni rjeEnik D, gdje je D[1] = a i D[2]= b, kodirajte poruku
'%\5

k,
42
ababababaaaab koristedi algoritam LZW. Dekodirajte kodiranu sekvencu koristedi isti
polazni rjeEnik
4
i u diskretnoh 1

m sustavu ')
incipi kompresije pri izvornom kodiranju
novne metode izvornog'kodiranja

-*?.A*, + A . .
Izvorno kodiranje (engl. source coding) je Sirok skup raznovrsnih metoda
kodiranja koje najkSCe vrge kompresiju s gubicima. Za razliku od metoda
entropijskog kodiranja, ove metode ne koriste samo statistiEka svojstva izvora,
nego promatraju i semantiku izvora, tj. posebna svojstva pojedinih medijskih
sadriaja koji se kodiraju (npr. zvuk, slika, tekst, video). Nije npr, isto kodirarno
li sliku ili govor. Premda i jedan i drugi medij moiemo nakon digitaliziranja
promatrati kao niz simbola, u jednom sluEaju ti simboli predstavljaju uzastopne
uzorke amplitude zvuEnog signala, a u drugom uzastopne uzorke boje u slici. Pri
entropijskom se kodiranju ne koristi ovo znanje, nego se i jedan i drugi niz
kodiraju iskljuIcivo prema statistiekim svojstvima. Metode izvomog kodiranja
uzimaju ovo znanje u obzir i koriste ga za prilagodbu postupka i postizanje bolje
kompresije.
Metode izvornog kodiranja koriste i poznavanje karakteristika ljudske percepcije
pojedinih lnedija za ostvarivanje bolje kompresije uz minimalno zapaianje
pogres'ke.
Pri izvornom kodiranju omjer kompresije ovisi o sadriaju. Na primjer, za
kodiranje videa Eesto se koristi pretpostavka da razlike izmedu dvije slike u
video slijedu nisu velike. Ukoliko takvu metodu primijenimo na video koji je
relativno statican (npr. Icitanje vijesti na televiziji) omjer kompresije Ce biti puno
bolji nego za video u kojem ima pun0 promjena (npr, glazbeni spot s brzim
promjenama kadrova).
Metode izvomog kodiranja koriste se u sklopu hibridnih metoda za kodiranje
pojedinih medija. Pritom se obiIcno PI-vo vrSi izvomo kodiranje, Eesto kombina-
cijom dviju ili viSe osnovnih metoda, a rezultat tog kodiranja se zatim kodira
entropijski. Neke metode hibridnog kodiranja opisane su u poglavlju 7.

6.1. Analogni mediji u diskretnom

komunikacijskom sustavu
U dosadaSnjim smo razmatranjima promatrali model diskretnog komunikacij-
skog sustava u sklopu kojeg je poruka niz simbola iz konaEne abecede. I metode
izvornog kodiranja rade s takvim porukarna, medutim one dodatno uzimaju u
obzir Einjenicu da niz simbola poruke predstavlja zapis nekog medija, npr. zvuka
ili slike. Stoga je za razmatranje rnetoda izvomog kodiranja neophodno dati
kratki uvod o prikazu analognih medija u diskretnom komunikacijskom sustavu.
Premda medijski sadriaji mogu nastati i izravno u digitalnom obliku (npr..
raEunalna grafika, sinteza govora ili glazbe), veCina ih nastaje analogno-digital-
nom pretvorbom izvornog, analognog signala. Tako se, na primjer, zvuk, koji je
UVODU TEORIJU INFORMACIJE I KODIRANJE
izvomo kontinuirani analogni signal - funkcija promjene intenziteta zvuka u
vrelnenu - pretvara u niz simbola koji su zapravo diskretni uzorci intenziteta
zvuka u diskretnim vremenskim intervalima.
Prilikoin prijama poruke potrebno je poiuku digitalno-analognom pretvorbom
pretvoriti u analogni signal koji se moie na odgovarajuki naEin reproducirati,
npr. pomoCu zvuEnika za zvuk, ekrana za sliku. Slika 6.1 prikazuje diskretni
komunikacijski sustav s analogno-digitalnom ( N D ) i digitalno-analognom
(D/A) pretvorbom.
Slika 6.1: Analogni mediji u diskretnom komunikacijskom sustavu
Slika 6.2 prikazuje put od izvornog analognog signala do njegovog digitalnog
zapisa, tj. poruke koja ulazi u diskretni komunikacijski sustav. Prvi korak je
uzorkovanje, prilikom kojeg se signal, koji je veC odgovarajuCim uredajima i
sklopovljem pretvoren u elektriEni signal, pretvara u niz digitalnih uzoraka
Uzorci se uzimaju periodiEki. $to je viSe uzoraka uzeto, dakle Sto je veCa
frekvencija uzorkovanja A,, to Ce uzorkovani signal vjernije prikazivati origi-
nalni. P o n a t je Nyquistov kriterij koji kaie da frekvencija uzorkovanja mora
biti barem dvostn~koveCa od maksimalne frekvencije signala B. U protivnom se
osnovni oblik signala gubi, a pojavljuje se preklapanje spektralnih pojaseva (vidi
poglavlje 3.3).
izvomi signal - uzorkovanje f,
Nyquistov kriterij:
- kvantizacija - poruka
...
(0,20, 38, 55.73 )
Slika 6.2: Analogno digitalna pretvorba
Nakon uzorkovanja slijedi kvantizacija, odnosno svrstavanje ili zaokruiivanje
uzoraka na jednu od predvidenih diskretnih razina. Sto je manje razina
kvantizacije, to Ce opseg podataka nakon kvantizacije biti manji, ali Ce odstu-
panje, koje nastaje kvantizacijom, biti veCe. Ovakvom analogno-digitalnom
6 . IZVORNO
KODIRANJE
pretvorbom medijski se sadriaj pretvara u poruku koja se inoie prenositi
diskretnim komunikacijskim sustavima kakve smo razinatrali u prethodnim
poglavljima. Prilikom ravnatranja metoda izvornog kodiranja, koje slijedi u
n a s t a ~ kovog
~ poglavlja, vaino je zapamtiti da one uziinaju u obzir porijeklo
peruke od analognog medijskog sadriaja.
6.2. Principi kompresije pri izvornom
kodiranju
Kompresija podataka metodama izvornog kodiranja zasniva se na uklanjanju
zalihosti (redundancije) i irelevantnosti iz podataka.
Vaino je r~agiasitida su podaci i informacija dva bitno razliEita pojma. Pojarn gl
"podatak" ili "podaci" sinonim je za p o ~ k u- nlz simbola iz neke abecede. ~8
Podaci, tj. p o ~ k e ,mogu saddavati inforrnaciju, a koliEina inforrnacije u ?{
Zalihost ili redundancija je nepotrebno ponavljanje podataka. Razlikujemo tri
vrste redundancije u podacima: vremensku, prostornu i spektralnu. Vremenska
se zalihost sastoji od korelacije uzastopnih simbola u vremenskom slijedu. Na
primjer, pri kodiranju zvuka uzastopni uzorci bit Ce slitni. Prostorna se zalihost
odnosi na sliEnost uzastopnih elemenata u prostoru, npr. boja uzastopnih totaka
u digitaliziranoj slici. Spektralna zalihost potite od korelacije spektralnih
komponenti medija, npr. sliEnosti medu komponentama boje u slici prikazanoj
pomoCu sustava osnovnih boja (npr. RGB - crvena, zelena i plava).
Irelevantnost je pojava dijela podataka koji nisu vaini pa ih se moie odbaciti, a
da se pritom zadrii teljena razina kvalitete podataka. Tu se zapravo postavlja
pitanje Sto uopCe znaEi rekonstruirati podatke postupkom dekodiranja dovoljno
dobro? PoSto je obiEno krajnji korisnik podataka Eovjek, u velikom broju
sluEajeva dovoljno dobro znati "dovoljno dobro da Eovjek svojim osjetilima ne
moie primijetiti razliku od originalnih podataka". Dakle nepotrebno je kodirati
one dijelove informacije koje ljudska osjetila ne mogu primijetiti. OCiti primjeri
su raspon frekvencija ljudskog sluha ili minimalna razlika boje koju oko moie
razluEiti, a postoje i pun0 sloieniji naEini da se svojstva ljudskog osjetilnog
sustava iskoriste za kompresiju podataka bez primjetnog gubitka kvalitete.
Dodatna se kompresija mote postiCi i spuStanjem tratene razine kvalitete repro-
dukcije, Eime se dozvoljavaju veCi gubici. Za neke je primjene to prihvatljivo.
UVODU TEORIJU INFORMACIJE I KODIRANJE
Valja napomenuti da se ograniEenja ljudskog osjetilnog sustava ne mogu uvijek
koristiti. Na primjer, ako Ce se podaci obradivati ratunalom, onda ovo ne bi
imalo smisla. Tako se npr. satelitske snimke mogu pretraiivati metodama abrade
slike. Ako je prije toga slika prilagodena ljudskom vidu Eime su izgubljeni
odredeni detalji, rezultati obrade slike bili bi loliji.
6.3. Osnovne metode izvornog kodiranja
Metode izvomog kodiranja Eije Cemo osnovne principe ukratko prikazati u ovom
poglavlju su:
kvantizacija,
poduzorkovanje,
transformacijsko kodiranje,
diferencijalno (predikcijsko) kodiranje,
potpojasno kodiranje,
kodiranje zasnovano na modelu.
Zajedno s metodama entropijskog kodiranja iz prethodnog poglavlja, ovo su
osnovni blokovi od kojih se grade sloteni hibridni koderi za pojedine vrste
medijskih sadriaja. Tako, na primjer, tipitni koder za video koristi transforma-
cijsko i diferencijalno kodiranje, kvantizaciju, poduzorkovanje i barem jednu od
metoda entropijskog kodiranja. 0 hibridnim Ce koderima za pojedine vrste
medija biti viSe rijeEi u poglavlju 7. Slika 5.2 daje okvirni pregled osnovnih
metoda kompresije, ukljuEujuCi i metode izvomog kodiranja.
-
cijoin ne moie dobiti originalna ulazna vrijednost, nego jedna karakteristitna
vrijednost (razina kvantizacije) za svaki interval.
Vidjeli smo da se kvantizacija vrSi kao dio analogno-digitalne pretvorbe
(poglavlje 3.3.6 i Slika 6.2), gdje se svaki uzorak signala pretvara u jednu
diskretnu vrijednost. Pri analogno-digitalnoj pretvorbi do kvantizacije dolazi
jednostavno zato Sto sklop koji vrSi pretvorbu nuino ima konaEan broj bitova
kojima moie zapisati digitalnu vrijednost uzorka. Na primjer, ako se radi s 8
bitova, onda imamo 256 razina kvantizacije.
Analogno-digitalna pretvorba je jednostavan potetni primjer, no kvantizacija se
vrSi i na veC digitaliziranim pomkama i predstavlja izuzetno korisnu metodu
kompresije.
Pretpostavimo na prirnjer da je zvuEni signal digitaliziran sa 16 bitova po
uzorku, dakle svaki uzorak je prikazan jednom od 216 = 65536 razina. Dodatnom
kvantizacijom n~oiemosvaki uzorak svesti na samo 256 razina. Na primjer, to
moiemo jednostavno postiCi tako da vrijednost uzorka podijelimo s 256 i
zaokrutimo na najblifi cijeli broj. Time smo svaki uzorak opisali s 8 umjesto 16
bitova, i postigli saiimanje podataka na polovicu.
U svojoj osnovi, kvantizacija je vrlo jednostavan postupak, no varijacije
osnovnog postupka mogu izuzetno utjecati na rezultate kompresije. Ulaz u
kvantizator mogu biti skalame vrijednosti ili vektori, pa govorimo o skalarnoj i
vektorskoj kvantizaciji.

6.3.1. Kvantizacija
Kvantizacija je aproksimacija nekog signala pomoCu konaEnog skupa kodnih
rijeEi (kodova). Pritom je raspon moguCih ulaznih vrijednosti signala podijeljen
u kvantizacijske intervale, te se sve vrijednosti, koje padaju u jedan interval,
kodiraju kodom tog intervala (Slika 6.3). Prilikom dekodiranja se k6d svakog
intervala dekodira kao karakteristitna vrijednost tog intervala. Ta karakteristitna
vrijednost naziva se razina ili stupanj kvantizacije. Moiemo reCi da se svaka
ulazna vrijednost svodi na najbliiu razinu kvantizacije. U osnovi je postupak
sliEan zaokruiivanju realnih na cijele brojeve. PoSto svaki interval moie
sadrZavati viSe mogutih ulaznih vnjednosti koje se sve svode na jedan k a ,
jasno je da kvantizacija nije reverzibilan postupak, tj. inverznom se kvantiza-
Slikn 6.3: Osnovni princip kvantizacije
UVOD U TEORIJU INFORMACIJE I KODIRANJE
PogreSka kvantizacije (kvantizacijski Sum)
Kvantizacija uvijek unosi pogreSku. Ta se pogreSka naziva pogreSka k ~ a n t i z a c i j ~
ili kvantizacijski Sum i za svaki je uzorak jednaka razlici izmedu originalnog
uzorka i razine kvantizacije na koju je uzorak sveden. Prilikom dekodiranja se
kodna rijeE intervala dekodira kao njegova razina kvantizacije. Slika 6.4
prikazuje originalne uzorke signala (lijevo) i rekonstruirane uzorke dobivene
nakon izvrSene kvantizacije i inverzne kvantizacije (desno). Iscrtkane linije su
razine kvantizacije. Vidi se kako su svi uzorci svedeni na najbliiu razinu
kvantizacije, i kako to uvokuje pogregke. Kvantizacijski Sum je detaljnije
obraden u poglavlju 3.3.6.
pogreSka
kvantizacije
Slika 6.4: Pogreska kvantizacije
Linearna i nelinearna kvantizacija
Ako su svi kvantizacijski intervali jednaki, kvantizacija je linearna. Ovo je
najjednostavniji sluEaj kvantizacije. Medutim, linearna kvantizacija nije uvijek i
najbolje rjeSenje. Ako znamo da neko podruEje vrijednosti signala ima veCu
vjerojatnost pojavljivanja, onda ima smisla u tom podrutju guSCe rasporediti
intervale kvantizacije. Na taj se naEin u prosjeku smanjuje pogreSka kvantiza-
cije, jer Ce upravo one vrijednosti koje se najEeSCe pojavljuju biti bliie razinama
kvantizacije i tako imati manju pogreSku.
Slika 6.5 predoEava razliku izmedu linearne i nelinearne kvantizacije. Kvantiza-
cija je postupak koji preslikava ulaznu vrijednost uzorka na izlaznu vrijednost -
kodnu rijeE Na ovim je slikama kvantizacija prikazana grafom funkcije. Na
apscisi su ulazne vrijednosti uzorka, a na ordinati kodne rijeEi. Na apscisi su
okomitim crtama naznaEeni kvantizacijski intervali. Graf naznaEen debelom
crtom je hnkcija kvantizacije. Funkcija kvantizacije ima karakteristizan
stepeniEasti oblik jer svaki interval preslikava u samo jednu izlaznu vrijednost.
uz funkciju kvantizacije je tankom crtom naznaten karakteristiEni oblik
funkcije, koji je u sluEaju a) jasno linearan.
lspod grafova su ilustrirane dvije moguCe razdiobe ulaznih vrijednosti na taj
naEin da je jedan broj uzoraka nacrtan na intervalu mogukih ulaznih vrijednosti.
IJ s1uEaju 1 su sve ulame vrijednosti jednako vjerojatne. U sluEaju 2 je veCa
vjerojatnost pojavljivanja manjih vrijednosti, i vidimo guSCi raspored uzoraka u
tom podruEju. Usporedimo rezultate linearne i nelinearne kvantizacije za jedan i
u slutaju jednolike razdiobe ulaznih vnjednosti, kod linearne su kvantizacije
vrijednosti jednoliko rasporedene po intervalima; svaki interval u prosjeku
dobiva jednak broj uzoraka; maksimalna pogreSka koja se moZe pojaviti za bilo
koji uzorak je pola duljine intervala. Kod nelinearne kvantizacije vidimo da
o ~ r i l i k epola uzoraka pada u najveCi interval. Zbog veliCine intervala ovi uzorci
imaju relativno veliku kvantizacijsku pogreSku (sjetiino se da Ce prilikom
inverzne kvantizacije svi ovi uzorci biti svedeni na jednu vrijednost, na polovici
intervala). Ova pogreSka je pun0 veCa nego u slutaju linearne kvantizacije. Jasno
je da Ce uzorci, koji padaju u manje intervale, ilnati manju pogregku. Medutim,
broj uzoraka, koji padaju u najmai~jeintervale relativno je mali, te Ce ukupno
gledajuki veCi broj uzoraka imati veCu pogreSku pri nelinearnoj kvantizaciji nego
pri linearnoj. Dakle, linearna kvantizacija je u ovom sluEaju povoljnija.
a) Linearna kvantizacija b) Nelinearna kvantizaclja
izlaz (kbd)
I
1) Jednollka
raspodjela ulaza wf
ulazna
vrijednost
.
..-..
,
...................................................................................................................................
2) NeJednolika
.
ulazna
wijedmst
raspodjela ulara
Slika 6.5: Linearna i nelinearna kvantizacija
Medutim, ako je razdioba ulaznih vrijednosti nelinearna, a kvantizacijski su
intervali rasporedeni tako da ih ima najviSe upravo tamo gdje pada i najviSe
uzoraka, situacija je sasvim drukEija. Sada pri nelinearnoj kvantizaciji najveCi
broj uzoraka pada u male intervale, te Ce imati malu pogregku, a neznatan broj
uzoraka pada u velike intervale i donosi veliku pogrelku. U prosjeku Ce pogre-
Ska kvantizacije biti znatno manja nego uporabom linearne kvantizacije gdje
 6 . IZVORNO KODIRANJE

vidimo da veCina uzoraka pada u prva dva intervala, a ti su intervali znatno veti i = 3 : y3=(1,3)
od intervala u nelineamoj kvantizaciji. i = 4 : y4=(1,4)
ZakljuEak je da je poieljno prilagoditi raspored kvantizacijskih intervala Signal se rastavlja u dvodimenzionalne vektore. Svaki se vektor usporeduje s
razdiobi ulaznih vrijednosti, tako da su intervali manji (a samim time i pogreika) kodnim vektorima u kodnoj tablici, uzima se najbliii vektor iz tablice (prema
u podruEjima u kojima se oEekuje veti broj uzoraka ulaza. euklidskoj distanci) te se na izlaz kodera Halje njegov indeks. Prilikom
dekodiranja ne dobivamo viie originalni niz simbola, nego niz sastavljen samo
Vektorska kvantizacija od vektora iz kodne tablice. Pritom unosimo pogreiku kvantizacije (Slika 6.7).
U razmatranjima metoda entropijskog kodiranja veC smo zapaziIi da je efikasnije Poruka:
kodirati blokove simbola nego pojedinaEne simbole. Ova je Einjenica motivacija Kndirano 3 2
za vektorsku kvantizaciju. U postupku vektorske kvantizacije se simboli peruke Dekodirana poruka:
prvo grupiraju u blokove - vektore - od po n simbola. Ti vektori mogu npr. biti 0 0 1 3 2 1
nizovi od po n uzastopnih uzoraka zvuEnog signala, ili svjetline n susjednih PogreSka kvantizacije:
toEaka u slici. Ovi n-dimenzionalni vektori predstavljaju ulaz u koder koji vrii 0 - 1 - 1 0 0 1
kvantizaciju. U koderu i u dekoderu postoji jednaka kodna tablica. Kodna Slika 6.7: Primjer: 2D vektorske kvantizacija
tablica se sastoji od liste n-dimenzionalnih vektora koji se zovu kodni vektori, te
liste njima pripadajukih indeksa, tako da svaki kodni vektor ima pripadajuti Prirnjer: Vektorska kvantizacija slike
indeks.
Slika 6.6 ilustrira postupak vektorske kvantizacije. U postupku kodiranja se
svaki ulazni vektor usporeduje s kodnim vektorima u kodnoj tablici i pronalazi
se kodni vektor najsliEniji ulaznom vektoru. Indeks pronadenog kodnog vektora

--
je izlaz kodera. U postupku dekodiranja se iz kodne tablice uzima kodni vektor
koji odgovara primljenom indeksu. Na ovaj je naEin svaki ulazni vektor aproksi-
miran najbliiim kodnim vektorom iz tablice.
KODER DEKODER

Slika 6.8: Vektorska kvantizacija slike - izvorna slika

Promotrimo primjer cmo-bijele slike. Slika se sastoji od tdaka, gdje svaka toEka
Slika 6.6: Vektorska kvantizacija ima vrijednost imedu 0 i 255 koja oznaiiava svjetlinu toEke: 0 je cmo, 255 bijelo,
a svi tonovi sivoga su rasporedeni izmedu ove dvije vrijednosti. Slika 6.8 lijevo
Prirnjer: 2 0 vekforska kvantizacija prikazuje izvornu sliku. Radi se o slici Lena, ponatom primjeru slike koji se
Eesto koristi za testiranje metoda kompresije jer sadfii raznolike elemente kao
Promotrimo primjer vektorske kvantizacije u dvije dimenzije (n = 2). Kodna ito su jednolike plohe, plohe s polaganom promjenom svjetline, oStre konture i
tablica izgleda ovako su kodni vektori, a i su njihovi indeksi): podruEja sa sitnim detaljima. Prikaiirno ovu sliku na drukEiji naEin (Slika 6.8
i = l : yl=(O,O) demo). Uzmimo sve parove svjetlina susjednih t o w u slici. To su 2D vektori
oblika (s,, s2) gdje su s, i sz vrijednosti svjetline susjednih t h k a . Ucrtajmo sve
i = 2 : y2=(2,1) ovakve parove (st, s2) u dvodimenzionalni koordinatni sustav i dobivamo sliku
UVODU TEORIN INFORMACIJE I KODIRANJE
desno. Vidimo da su toEke najguSCe grupirane oko pravca sl= s2. TOje zato Sto
sc svjetlina u slici mijenja relativno sporo, pa su svjetline susjednih totaka dike
najEeSCe sliEne.
Pogledajlno Sto se dogada kada vrijednosti svjetline u slici kvantiziramo.
Pretpostavimo prvo da radiino linearnu skalarnu kvantizaciju. Za primjer
uzmiino Eetiri razine kvantizacije: 32, 96, 160, 224 (ovo je naravno premalo u
praksi, ali dobro za ilustraciju). Dakle, svaka vrijednost svjetline se svodi na
jednu od ove Eetiri razine (Slika 6.9 lijevo). Velike toEke u slici su kombinacije
vrijednosti koje parovi svjetlina susjednih toEaka slike mogu poprimiti
kvantizacijom. Kvadrat oko svake velike toEke je podruEje iz kojeg Ce se sve
toEke kvantizacijom svesti u tu toEku. To je efekt skalame kvantizacije, koja je
ovdje zapravo prikazana kao vektorska kvantizacija, a velike toEke su kodni
vektori. Kada je prikazan na ovaj naEin, vidi se da je efikasnost ovog postupka
vrlo loSa: neke kombinacije razina kvantizacije uopCe se ne koriste, dok u
najguSCim podruEjima imamo vrlo malo kvantizacijskih toEaka, a time i veliku
pogreSku kvantizacije.
Slika 6.9 desno prikazuje joS jedan ~noguCi naCin vektorske kvantizacije.
Upotrijebljen je jednak broj kodnih vektora (16) prikazanih velikim tockama,
medutim oni su postavljeni tako da su najgulCe rasporedeni tam0 gdje je
najpotrebnije, tj. tam0 gdje ima najviSe totaka iz slike. Oko kodnih vektora
(velike toEke) postavljene su Celije (sive crte) tako da se sve toeke iz Celije
kvantiziraju u kodni vektor u sredini Celije. Vidimo da je uz ovakav raspored
Celija prosjeEan razmak od bilo kojeg para svjetlina do njegovog kodnog vektora
- a to je upravo pogreSka kvantizacije - bitno manji nego uz linearnu skalarnu
kvantizaciju jer su manje Celije rasporedene tam0 gdje ima najvile parova
svjetline.
Slika 6.9: Skalarna (lijevo) i vektorska (desno) kvantizacija
Vidimo da prelaskom s kvantiziranja pojedine toEke na kvantiziranje parova
totaka dobivamo bolje rezultate. Ako uzmemo grupe od po tri toEke, tj. radimo
-- - 6. IZVORNO KODIRANJE
3D vektorsku kvantizaciju, rezultat Ce biti jog bolji. Postupak je potpuno
analogan. PoveCavajuCi dimenziju vektora kvantizacije (dakle uzimajuki 4, 5 i
viSe totaka) moiemo i dalje dobivati sve bolje i bolje rezultate. Medutim, postoji
granica jer za veCe grupe toEaka pada vjerojatnost da budu sliEne, tj. da se dobro
grupiraju za kvantizaciju. U praksi se za sliku pokamje da su 4 dimenzije dobar
izbor, dok za neke druge primjene (npr. kodiranje zvuka) koristimo i 40-50
dimenzija.
Iz ovog primjera je oEito da odabir kodnih vektora izuzetno utjeEe na rezultat
vektorske kvantizacije. U ovom 2D primjeru odabir kodnih vektora relativno je
jednostavan jer se ulazni vektori @arovi svjetlina) mogu vizualno prikazati, te iz
takvog prikaza jasno vidimo gdje treba postaviti vile kodnih vektora. Medutim,
ovakav pristup je nemoguC viSedimenzionalnom vektorskom kvantizacijom, te je
u svrhu odabira kodnih vektora razvijen niz analitiEkih metoda ([49], str 266-
308).
6.3.2. Poduzorkovanje
Poduzorkovanje je objalnjeno u poglavlju 3.3.5, a ovdje slijedi osvrt na
poduzorkovanje kao metodu kompresije. Poduzorkovanje je postupak smanji-
vanja fiekvencije uzorkovanja, tj. broja uzoraka. Kod zvuka je to broj uzoraka
zvuka u sekundi; kod dike se radi o rezoluciji slike, tj. broju uzoraka u
horizontalnom i vertikalnom smjeru. Osnovna frekvencija uzorkovanja je odre-
dena sklopom za A/D pretvorbu kod signala koji su izvomo u analognom obliku,
a kod sadriaja nastalih izvorno u digitalnom obliku ona ovisi o naEinu nastajanja
sadriaja.
Smanjivkjem frekvencije uzorkovanja direktno se smanjuje broj uzoraka
signala i time postiie kompresija. Tako poduzorkovanje faktorom 2 direktno
saiima podatke na pola, jer se uzima samo svaki drugi uzorak. Ovo je vrlo
jednostavan naEin kompresije podataka, no jasno je da moie unijeti znatne
pogrelke. Osnovni kriterij za odredivanje mogude razine poduzorkovanja bez
unosenja pogreSke je Nyquistov teoremt konaEna frekvencija uzorkovanja mora
biti barem dvostruko veCa od maksimalne frekvencije izvomog signala. U tom
se sluEaju signal moie rekonstruirati bez pogrelke.
Poduzorkovanje se Eesto vrSi i s manjom frekvencijom uzorkovanja nego Sto
dopuSta Nyquistov teorem, te se pritom svjesno unosi pogrelka. Pritom se
obiEno u obzir uzimaju ograniEenja ljudskog percepcijskog sustava, kao i
posebnosti pojedine primjene. Tako se, na primjer, u telefoniji zvuk moie
poduzorkovati frekvencijom 8000 Hz (uzoraka u sekundi), 6to je sasvim
dovoljno za razumijevanje govora. Medutim, poduzorkovanje glazbe frekvenci-
jom 8000 Hz unijelo bi veliko smanjenje percipirane kvalitete zvuka i sasvim je
neprihvatljivo (za usporedbu, frekvencija uzorkovanja koriltena pri snimanju i
 UVODU TEORIJU MFORMACIIE I KODIRANJE
-----
reprodukciji CD-a je 44.1 kHz). Poznat je i primjer poduzorkovanja kompone.
nata boje u slici veCim faktoroln (manjim brojem uzoraka) nego komponente
svjetline, ito poeiva na Einjenici da je ljudsko oko osjetljivije na svjetlinu nego
na boju (vise detalja u poglavlju 7.3).
Ako poduzorkovanje rezultira manjom frekvencijom od one izraEunate
Nyquistovim kriterijern, potrebno je pnje poduzorkovanja ni~kopropusni~
filtrom ukloniti frekvencije vige od J2, gdje je f konaEna frekvencija
uzorkovanja, jer bi u protivnom doilo do preklapanja frekvencijskih pojaseva
(poglavlje 3.3).

6.3.3. Transformacijsko kodiranje
Prilikom transformacijskog kodiranja poruka sc pretvara (transformira - otuda
ime) u neki dmgi oblik koji je pogodniji za kompresiju. Na primjer, Eesto se
podaci prebacuju iz vremenske u frekvencijsku dornenu. Pritom sama trans-
formacija ne vrii kompresiju, i najEeiCe je reverzibilna, tj. inverznom se
transformacijom poruka moie vratiti u izvorni oblik bez gubitaka. Kompresija
nastupa nakon transformacije, i to najEeSde kvantizacijom ili odbacivanjem
dijela podataka. Transformacija pretvara podatke u takav oblik da se znatan dio
Slika 6.10 prikazuje iste podatke u obliku toEaka u koordinatnom sustavy gdje
je svaki par teiine i visine nanesen u koordinatni sustav kao jedna toEka; na
apscisi su vrijednosti teiine a na ordinati visine. Vidimo da su t d k e gmpirane
oko pravca XI = 2.5 XQzbog toga Sto postoji korelacija izmedu t e i i e i visine -
visi ljudi su obiEno i teii. Ovaj pravac oko kojeg su grupirani podaci zatvara s
apscisorn kut 0, koji u ovom sluEaju iznosi otprilike 68 stupnjeva.
no.

-
210.
podataka mote ili odbaciti, ili kvantizirati uz velik stupanj kompresije. Na taj 200. I'
r

naEin transfonnacija omoguCuje kompresiju, prernda je izravno ne vrsi. 190- ,

,
180-
170- . /,
Primjer: Princip transformacijskog kodiranja 160.
150. , *
Promotrimo skup ulaznih podataka koji se sastoji od parova tetina i visina 140.
130.
osoba. Parovi ulaznih podataka su zadani u tablici (Tablica 6.1). Svaki par teiine 120. ,
,.
r 7 110- ,
1W-
(xo) i visine (xi) rnoiemo prikazati kao vektor: X= 90 - ,
80. ,
70 -
60 - ,
Tablica 6.1: Ulazni podaci 50. ,
40. 1
,
1 T E ~ I N A(x,)I VISINA(X,) I 10.

Slika 6.10: Ulazni podaci prikazani grafitki

IzvrSimo transformaciju na takav n k i n da se toCke grafa zarotiraju za kut 0.To

motem0 napraviti tako da vektore X pomnoiimo matricom rotacije A, pri Eernu
dobivamo nove parove vrijednosti, vektore O:
UVODU TEORIJU WFORMACIJE I KODIRANJE
O = AX,
Tablica i slika (Tablica 6.2, Slika 6.1 1) prikamju novonastale parove vrijednosti.
Vidimo da je varijacija vrijednosti 0, vrlo mala, tj. toEke su rasporedene oko
apscise.
Tablica 6.2: Transformirani podaci
Primijetimo da je ova transformacija reverzibilna: mnoienjein inverznom
matricom A^' moiemo bez pogreske rekonstruirati izvorne podatke:
x = A-I@.
Moiemo primijetiti i Cinjenicu da samom transformacijorn nije postignuta
kompresija - podaci se i dalje sastoje od jednakog broja parova vrijednosti.
Slika 6.11: Transformirani podaci prikazani grafirki
Kompresija s e postiZe u sljedekem koraku, na taj naEin da se sve vrijednosti 8,
izjednaEe s nulom, tj. odbace. Na taj smo naCin efektivno odbacili pola podataka
i postigli omjer kompresije 1:2. Kada ovako nastale podatke @arove {8,,,0))
inverzno transformiramo rnnogenjem inverznom matricom A-', dobivamo po-
datke vrlo sliEne izvornim podacima (Tablica 6.3). To je moguCe zato 6to je
- 6. IZVORNO KODIRANJE
informacija transformacijom koncentrirana u koinponente OD, a komponente 0,
sadrie vrlo malo infonnacije te ih moiemo odbaciti uz relativno malu pogregku.
Tablica 6.3: Usporedba izvornih i rekonstruiranih podataka
Primjer: Fourierova transformacija slike
Princip transformacijskog kodiranja moie se izvrsno pokazati transformacijom
slike u frekvencijsku domenu uporabom diskretne Fourierove transformacije
(DFT, od engl. Discrete Fourier Transform) (Slika 6.12). Izvoma slika (gore
lijevo) se dvodimenzionalnom diskretnom Fourierovo~ntransformacijom (2D
DFT) pretvara u ffekvencijske komponente (gore desno), na taj naEin da se slika
interpretira kao funkcija dviju varijabli I =Ax,y), gdje su x i y koordinate toEke u
slici, a I vrijednost svjetline u toj toEki. Na funkciju f primjenjuje se diskrema
Fourierova transformacija. Ovo je korak transformacije.
Primijetimo da je transfonnacija reverzibilna, jer se inverznom diskretno~n
Fourierovom transformacijom moie ponovo dobiti izvoma slika. Ujedno,
primijetimo da transformacijom nije doblo do kompresije. Izvorna slika sastoji se
od 330x330 t&ka, od kojih je svaka prikazana pomoCu 8 bitova u kojima je
sadriana svjetlina toEke (0 - 255). Na slici se jasno vidi da nakon transformacije
UVODU TEORIJU MFORMACIIE 1 KODlRANJE
---.
imamo jednak broj (330x330) frekvencijskih komponenti, od kojih je svaka
zastupljena jednim 8-bitnim faktorom. Ove faktore prikazuje slika gore
Dakle, za izvornu sliku i sliku nakon transformacije potreban je jednak broj
bitova. Medutim, transformirani oblik omoguCuje kompresiju u ~ l j e d . & ~
koraku. Na slici gore lijevo dobro se vidi kako su najjaEe zastupljene niie
frekvencijske komponente - one u sredini grafa. ViSe frekvencijske komponente
- one na periferiji grafa - imaju znatno manje faktore. GrafiEki se to vidi iZ
koncentracije tamnijih toEaka (veCi faktori) po sredini grafa. Sto bi se dogodilo
kada bismo viSe frekvencijske kolnponente jednostavno odbacili? To prikazuju
slike u donjem redu. Dolje desno je slika u frekvencijskoj domeni, uz odbaEene
viSe frekvencijske komponente. Kada se takva slika prebaci natrag u prostomu
domenu koriStenjeln inverzne diskretne Fourierove transformacije (2D IDFT),
dobije se slika dolje lijevo. Vidimo da je ova slika vrlo sliEna izvornoj slici.
Razlika je u tome Sto su u rekonstuiranoj slici detalji poneSto zamukeni, Sto je
posljedica nestanka vigih frekvencijskih komponenti. Medutim, slika je vrlo
prepoznatljiva, a postignut je relativno velik omjer kompresije, jasno vidljiv iz
male povriine upotrijebljenih podataka u slici dolje desno.
Slika 6.12: Fourierova transformacija dike
Transformacijsko kodiranje je sastavni dio norme za kodiranje slike P E G
@oglavlje 7.3), kao i svih vainijih postupaka kodiranja videa (poglavlje 7.4).
,'? I? 5 m, 2,-:th GI?$'% 7 5 , G iJAi
s$ h%&:i&&:*m%J>
>
rekvenclje u slicl :1,
pojam frekvencije u slici prolzlazl rz poirnanja slike kao funkcije dviju varijabli $6
P
I = f (x, y), gdje su x i y koord~natetoEke u slicl, a I vrijednost svjetline u toj
tofki. Funkcija f s e moie prikazati pornodu frekvencijskih komponenti kao Sto $4
,le prikazano u prethodnorn prirnjeru Frekvencijske kornponente izravno ovise %
o prornjenarna svjetline slike. Iz ovakvog promatranja jasno je da podruEja
naglih prornjena svjetline slike donose visoke frekvencije, te slike s pun0
takvih podruEja irnaju jaEe izraiene vise frekvencijske kornponente. Karakte-
ristiEna podrufja visok~hfrekvencija su oStri bridovl (npr. rub SeSira u slici iz
prethodnog prirnjera) i podrutija slike s a sitnirn detaljirna (npr. ukras s
resicarna koji visi s a SeSira). Podrufja niskih frekvencija su ona u kojima je
svjetlina u slici jednol~Enaili s e sporo rnijenja, kao npr. pozadina u slici iz
prirnjera, povrSina rarnena ili povrSina Sesira. OpCenito, u vedini slika
dominiraju podrueja niskih frekvencija Jer su brze prornjene relativno rijetke. 4e
Detaljnije o informacijskim
+ - . . - svojstvirna slika u poglavlju 7.3.
-r*p<.Yp +" .- 06 ,a>>
, > -.FJ *;>**."r>J,, L * *
A \v 4
f'
*.\%*,. 3,
6.3.4. Diferencijalno (predikcijsko) kodiranje
Diferencijalno kodiranje koristi pretpostavku da se signal relativno malo mijenja
od uzorka do uzorka, tj. da postoji korelacija medu susjednim uzorcima. Ona
moie postojati u vrelnenu (npr. za susjedne uzorke zvutnog signala) ili u
prostoru (npr. za susjedne totke slike). Korelacija medu uzorcima se koristi da bi
se vrijednost svakog uzorka predvidjela iz jednog ili viSe prethodnih uzoraka.
Kodira se razlika izmedu stvarnog i predvidenog uzorka. Niz takvih razlika
naziva se signal razlike. Naravno, predvidena vrijednost Eesto neCe biti jednaka
stvarnoj, no zbog korelacije susjednih uzoraka razlika najEeSCe neCe biti velika.
Stoga signal razlike ima manji raspon vrijednosti i manje se mijenja od izvornog
signala, pa ga se moie bolje kodirati. Zbog uporabe predvidanja bredikcije),
diferencijalni se koderi nazivaju joS i predikcijski.
Primjer: Signal razlike
Predvidanje trenutaEnih uzorka iz prethodnih se uzoraka moie na najjedno-
stavniji naEin izvriiti tako da se pretpostavi da je svaki uzorak jednak
prethodnom uzorku. Signal razlike se time svodi na razliku medu susjednim
uzorcima. Slika 6.13 prikazuje primjer jednostavnog sinusnog signala @una
crta) i signala razlike, dakle razlike medu susjednim uzorcima izvornog signala
(isprekidana crta). Pretpostavljeno je da je signal uzorkovan frekvencijom od 30
uzoraka po jednoj periodi sinusoide. Izvorni signal ima raspon od -1 do I.
Pretpostavimo da ga kvantiziramo s Eetiri razine kvantizacije. Duljina.
kvantizacijskog intervala biti Ce 0.5, dakle imat Cemo pogreSke kvantizacije u
rasponu od -0.25 do 0.25. Signal razlike medutim ima raspon samo [-0.2, 0.21.
Kodiranjem signala razlike uz isti broj razina kvantizacije, pogreSka se k r d e u
UVODU TEORIJU MFORMAClJE I KODlRANJE
rasponu [-0.05,
-
0.051 pa zakljutiujemo da je bolje kodirati signal razlike nego
izvorni signal.
Slika 6.13: Signal razlike
Primjer: Diferencijalno kodiranje slike
Slika 6.14 prikazuje izvoinu sliku i njezin histogram. Histogram prikazuje
utiestalost pojavljivanja odredenih vrijednosti svjetline u slici. Vrijednosti boje
se kreCu u rasponu od 0 (cmo) do 255 (bijelo); izmedu ovih vrijednosti su sve
razine sivoga. Za svaku vrijednost boje (apscisa), histogramom je prikazan broj
toEaka u slici koje iinaju upravo tu vrijednost boje (ordinata). Vidimo da su
~Eestalostipojavljivanja raznih vrijednosti boje relativno podjednako rasporede-
ne, tj. nema izrazitih inaksimuma. Zbog toga je entropija ovog signala relativno
visoka, i entropijskim kodiranjem ne moiemo postiCi bolje kodiranje od 7 bita
po toEki.
Slika 6.14: lzvorna slika i njezin histogram
6. Izvomo KODIRANJE
-
Slika 6.15 lijevo prikazuje signal razlike uz jedan stupanj predvidanja, dakle
jednostavnu razliku vrijednosti susjednih totaka u slici. Ovom jednostavnom
operacijom dobili smo signal u kojem se neke vrijednosti otito pojavljuju
izuzetno tiesto (velike sive povrSine na slici), a sve ostale rijetko. To se joS bolje
vidi iz histograms ovako nastale slike (Slika 6.15 desno). Gotovo sve vrijednosti
nalaze se u intervalu [-50, 501, s najveCom koncentracijoin vrijednosti oko nule.
Ovakav nejednoliki raspored pojavljivanja smanjuje entropiju, te dobivamo 2.6
bita po toEki. Jednostavnim oduzimanjem susjednih vrijednosti znatno je sma-
njena entropija i time omogukena kompresija ove slike entropijskim kodiranjem,
dakle bez gubitaka.
Slika 6.15: Signal razlike i njegov histogram
Osnovni postupak diferencijalnog kodiranja
Radi boljeg Ce shvakanja prvo biti prikazan primitivni postupak diferencijalnog
kodiranja. Razmatranjem i razradom primitivnog postupka doCi Cemo do
osnovnog postupka diferencijalnog kodiranja.
Primitivni postupak diferencijalnog kodiranja sastoji se u tome da se od svakog
uzorka oduzima vrijednost prethodnog uzorka, te se takav signal razlike ialje na
izlaz kodera. Na dekoderu se signal relike dodaje na prethodni uzorak i tako se
dobiva dekodirani uzorak. Slika 6.16 prikazuje primitivni diferencijalni koder i
dekoder.
KODER DEKODER
T+Y-
Slika 6.16: Primitivni postupak diferencijalnog kodiranja
UVOD
U TEORIJU MFORMACIJE I KODIRANJE 6. IZVORNO KODIRANJE

Blok A je blok kainjenja za jedan korak u nizu - kada je na ulazu ovog bloka x,,, primijetimo da je nastala razlika izmedu rekonstruiranog i izvornog signala,
na izlazu je x,,.~.Koder dakle oduzima od svakog uzorka prethodni uzorak i tako pogreSka {E,,} :
stvara signal razlike: 0.2 -0.3 -0.8 -2.1 -2 -2.6 -1.8 -2.2.
pogrelka u poEetku ima relativno male vrijednosti, a onda sve v e k i veCe.
Dekoder dodaje primljeni signal razlike na vrijednost iz prethodnog koraka, te pogledajmo zalto se to dogada. Nakon kvantizacije (Q), te inverzne kvantizacije
tako rekonstruira izvorni uzorak: (Q-I) na dekoderu, rekonstruirani signal razlike je zbroj izvornog signala razlike i
kvantizacijske pogreSke q,:
x',, =d,,+xl,_, =x,-x,-, +XI,-, =xn.

Primijetimo da ovo vrijedi samo uz pretpostavku da u prijenosu izmedu kodera i

dekodera nije bilo smetnji, tj. da je xn.l = x',.,. Promotrimo Sto se dogada u Prva dva koraka dekodiranja izgledaju ovako:
koderu i dekoderu ako je ulazni niz simbola {xn} ovakav: d l = x, - x,,
6.2 9.7 13.2 5.9 8 7.4 4.2 1.8. d', =dl +ql
Signal razlike {d,} tada je: x', = d ' , + x , = d , + q , + x o = x , - x o + q , + x ~ = x , + q ,
6.2 3.5 3.5 -7.3 2.1 -0.6 -3.2 -2.4. d2 = x2 - xI

Rekonstruirani niz { x ,}' je: d', = d , +q2

x ' , = d l , + x ' , = d , +q, + x , + q , = x 2 - x l +q2 + X I + q , = x 2 + q 1 + q ,

Vidimo da je izvorni niz rekonstruiran bez pogrelke. Iz ovoga se inoie dalje zakljuditi: x', = x,, + xq,
n

k-1
Da bi se ostvarila kompresija, signal razlike ielimo kvantizirati. Slika 6.17
prikazuje dodatak kvantizacije u postupak kodiranja. Vidimo da se pogrelke kvantizacije zbrajaju, i Sto smo dalje u nizu koji se
kodira, to je veca ukupna pogreSka. Razlog ovakvog nepoieljnog ponaSanja je u
KODER DEKODER tome Sto koder stvara signal razlike oduzimajudi stvarnu vrijednost prethodnog
uzorka x,.,, a dekoder koristi rekonstruiranu, pogreSnu vrijednost prethodnog
uzorka x',-, .
Ovaj se problem rjeSava tako da se u sklopu kodera izvrlava postupak
dekodiranja, te se u proraEunu signala razlike koristi rekonstruirana vrijednost
prethodnog uzorka x',,.~. Slika 6.18 prikazuje ovako konstruirani koder i
dekoder.
Slika 6.17: Primitivni postupak diferencijalnog kodiranja uz dodatak kvantiiacije
KODER DEKODER
Pretpostavimo da se koristi kvantizator sa sedam razina kvantizacije, i to: - 6 , 4 ,
-2, 0, 2, 4, 6. Nakon kvantizacije i inverzne kvantizacije, rekonstruirani signal
razlike {dl,) je:
644-6204-2.
Rekonstruirani signal {x',} se dobiva zbrajanjem rekonstruiranog signala razlike
i prethodnog uzorka rekonstruiranog signala i izgleda ovako:
i- .- .......-
.
' ...........- 1
6 10 14 8 10 10 6 4. Slika 6.18: Izbjegavanje akumulacije kvandizncijske pogrdke
UVOD U TEORlJU INFORMACIlE I KODIRANJE
Unutar kodera je iscrtkaniin okvirom obiljeien dio koji u potpunosti replicira
dekoder. Signal razlike je dakle:
Pogledajmo kako se sada ponaSa dekoder. Prva dva koraka dekodiranja izgledaju
ovako:
d l =x, -x,
d', = d l +q,
x', = d l , + x , = d l +ql +x, = x 1 -x,+q, +x, = x I +ql
d2 =x2 -xtI
d', =d2 +q2
x', =dl,+x', =d,+q,+x', =x,-xt,+q2+x', =% +q,
OpCenito, u n-tom koraku dekodiranja dobivaino:
Vidiino da se pogreSka kvantizacije viSe ne akumulira. To se vidi i iz brojEanih
rezultata kodiranja niza iz primjera:
Signal razlike {d',,) je: 6 4 4 -6 0 0 -4 -2.
Rekonstruirani signal {x',,) je: 6 10 14 8 8 8 4 2.
PogreSka je: 0.2 -0.3 -0.8 -2.1 0 -0.6 0.2 -0.2.
Osnovni postupak diferencijalnog kodiranja razlikuje se od dosad opisanog
postupka u dodatku prediktora umjesto bloka zadrSke (Slika 6.19). Postupak
time postaje optenitiji. Prediktor je funkcija koja iz jednog ili vise prethodnih
uzoraka nastoji Sto bolje predvidjeti trenutni uzorak, tj. izraEunati njegovu
predvidenu vrijednost x,P:
NajEeSCe je prediktor lineama funkcija prethodnih uzoraka, Sto se naziva
lineamom predikcijom:
Cilj diferencijalnog kodiranja je da signal razlike bude Sto manji, i upravo je tu
smisao predikcije: Sto je predikcija bolja, to je predvidena vrijednost bliia
stvamoj vrijednosti, a time signal razlike manji. Vidimo da je dosad opisani
postupak, s blokom kagnjenja, jednostavno specijalni sluEaj lineame predikcije
kada je k = 1 i a, = 1. Napomenimo joS da se parametri prediktora i kvantizatora
mogu podeSavati i tijekom samog kodiranja tako da se bolje prilagode
6. IZVORNOKODIRANJE
nadoIazeCim podacima. U tom slutaju govorimo o adaptivnoj predikclji odnosno
kvantizaciji.
KODER DEKODER
L. ......- * - - -- .-.-.-.
--:
Slika 6.19: Osnovni posh~pakdiferencijalnog kodiranja
6.3.5. Potpojasno kodiranje
Potpojasno kodiranje se zasniva na razdvajanju signala na frekvencijske
komponente. Na primjer, u signalu koji prikazuje slika (Slika 6.20) moie se
pored visokofrekventnih oscilacija vidjeti i komponenta polagane promjene, tj.
niske frekvencije (iscrtkana crta). Razdvajanje na frekvencijske pojaseve vrSi se
uporabom skupine filtara, Eime se uinjesto jednog signala dobiva niz signala, od
kojih svaki odgovara jednom frekvencijskom pojasu. Svaki od ovih signala ima
drukEije karakteristike, a razliEite su i njihove vafnosti s obzirom na ljudsku
percepciju. Ti signali se kodiraju svaki zasebno, te se nakon dekodiranja ponovo
skupinom filtara slafu natrag u jedinstveni signal. S obzirom na relativne
vainosti pojedinih frekvencijskih pojaseva, oni se kodiraju s manje ili viSe
bitova, uvodeCi pritom viSe ili manje gubitaka. Odredivanje ovih relativnih
vainosti, odnosno odluka o tome kojem frekvencijskom pojasu dati viSe bitova
za kodiranje, mofe biti vrlo slofeno jer se zasniva na modelu ljudske percepcije
krajnjeg signala. Pritom se za pojedine frekvencijske pojaseve mogu koristiti i
razlitite metode kodiranja, tako da se za svaki frekvencijski pojas odabere
metoda koja najbolje odgovara karakteristikama signala u tom pojasu.
Slika 6.20: Potpojasno kodiranje - osnovni princip
UVODU TEORIJU MFORMACIJE I KODIRANJE
Na principu potpojasnog kodiranja rade percepcijski koderi zvuka kao it0 je
popularni MP3 boglavlje 7.2),te koder slike JPEG 2000 (poglavlje 7.3).

Primjec Potpojasno kodiranje

Kodiramo niz {x,} sljedekih vrijednosti:
10 14 10 12 14 8 14 12 10 8 10 12.
Vidimo da u ovom nizu postoji relativno jaka korelacija medu susjednim
vrijednostima, te zakljuEujemo da bi diferencijalno kodiranje dalo dobre
rezultate. Signal razlike (razlika medu susjednim vrijednostima) izgleda ovako:
10 4 4 2 2 -6 6 -2 -2 -2 2 2.
Ako zanemarimo prvu razliku u nizu (u stvarnom sluEaju kodiranja oEekujemo
pun0 duie nizove, pa utjecaj poEetne vrijednosti na ~Einkovitostkodiranja
moiemo zaneinariti), minimalna i maksimalna vrijednost su -6 i 6. Ukupan
dinamiEki raspon - raspon od najmanje do najveCe vrijednosti - iznosi dakle 12.
Ako pretpostavimo da svaki simbol u nizu kodirarno s m bitova, imamo na
raspolaganju M = 2"' razina kvantizacije. DinarniEki se raspon dijeli na M
intervala, te je duljina kvantizacijskog intervala A = 12lM. Iz toga proizlazi
maksimalna moguCa pogreika kvantizacije, koja je jednaka polovici kvantiza-
cijskog intervala, dakle A12 = 6/M. Ova Ce vrijednost poslufiti za usporedbu s
postupkom jednostavnog potpojasnog kodiranja koji slijedi.
Rastavimo niz {x,) na dva nova niza Cv,) i {z,). Niz Cy,) je prosjek susjednih
vrijednosti, tj, niskofrekvencijska komponenta:
{z,) je razlika susjednih vrijednosti, tj. visokofrekvencijska komponenta:
Izrazi za yn i z, predstavljaju jednostavni niskopropusni (y,) i visokopropusni (z,,)
filtar.
Primijetimo odmah da se iz nizova Cv,) i {z,) moie bez gubitaka rekonstruirati
niz {x,):
Slika 6.21 prikamje grafiEki nizove {x,,), Cv,) i {zn). PrimjeCujemo da je niz
Cv,) "gladi" od niza {x,), tj. sporije se mijenja. To naEi da je v d a korelacija
medu susjednim vrijednostima u ovom nizu, te oEekujemo da Ce takav niz biti
pogodniji za diferencijalno kodiranje nego originalni niz {x,) .
Slika 6.21: Potpojasno kodiranje - primjer
Pogledajmo dakle kako bi se diferencijalno kodirao niz b,). Niz izgleda ovako:
10 12 12 11 13 11 1 1 13 1 1 1 0 9 11.
Signal razlike za ovaj niz je:
Ako ponovo zanemarimo prvu razliku u nizu, minimalna i maksimalna vri-
jednost su -2 i 2. Ukupan dinamiEki raspon je dakle 4. Uz Mrazina kvantizacije,
duljina kvantizacijskog intervala je A = 4lM. Iz toga proizlazi maksimalna
moguCa pogreSka kvantizacije A12 = 2lM.
Razmotrlmo jog i kodiranje niza {z,). Niz izgleda ovako:
0 2 - 2 1 1 - 3 3 -1 -1 -1 1 1 .
Signal razlike bi imao veCu varijaciju od samog niza, stoga ne koristimo
diferencijalno kodiranje nego direktno kvantiziramo. Minimalna i maksimalna
vrijednost u nizu su -3 i 3. Ukupan dinamiEki raspon je dakle 6. Uz M razina
kvantizacije, duljina kvantizacijskog iritervala je A = 6lM. Iz toga proizlazi
maksimalna moyCa pogreika kvantizacije N 2 = 3lM.
Vidimo da uz jednak broj bitova ova tri niza moiemo kodirati uz bitno razliEitu
maksimalnu pogreiku kvantizacije:
za niz {x,) + 6lM;
za niz 01,)+ 2lM;
za niz {z,) + 31M
Maksimalna pogreika kvantizacije je znatno manja za izvedene nizove Cv,) i
{z,) nego za izvomi niz {x,), te moiemo zakljuEiti da je rastavljanjem izvornog
 UVOD U TEORIJU MFORMACIJE I KODIRANJE
niza na frekvencijske komponente postignuto bolje kodiranje. Jedini je problem
u tome it0 naizgled treba kodirati dvostruko viSe simbola, jer umjesto jednog
niza kodiramo dva. Mebutim, lako se moie pokazati da zapravo nije potrebno
kodirati Eitave nizove ly,) i {z"), nego samo svaki drugi Elan iz jednog i drugog
niza. To je inoguCe stoga Sto se iz jednog para y, i z, mogu rekonstruirati dvije
susjedne vrijednosti iz niza {x,):
Dakle, kodiranjem svakog drugog Elana nizova Cv,) i {z,) moie se u potpunosti
rekonstruirati niz {x,,}. Jednostavnom se provjerom moie vidjeti da nizovi
sastavljeni od svakog drugog Elana iz b,,) i {z,,} pri kodiranju daju jednake
maksimalne pogregke kao i Eitavi nizovi.
Ovakviin smo dakle postupkom potpojasnog kodiranja kodirali izvomi niz uz
isti broj bitova kao kod diferencijalnog kodiranja, a pritom smo postigli bitno
inanju pogreiku.
6.3.6. Kodiranje zasnovano na modelu
Sve dosad prikazane inetode kodiraju uzorke izvomog signala na razne naEine.
Kodiranje zasnovano na modelu unosi radikalno drukEiju ideju. Ako moiemo
postaviti dobar model imora podataka, i taj model opisati malim brojem
parametara, tada je dovoljno kodirati takve parainetre, te pomoCu njih i modela
izvora u dekoderu sintetizirati podatke vrlo sliEne izvomim podacima. Pritom se
uopCe ne prenose saini uzorci podataka ni u kakvom obliku, i tu je bitna razlika
izmedu kodera zasnovanih na modelu i svih prethodno opisanih naEina
kodiranja.
Najpoznatiji priinjer ovakvih kodera su koderi govora zasnovani na modelu, koji
ima imzetno iiroku primjenu u mobilnoj telefoniji (GSM, od engl. Global
System for Mobile Cornn~unications).Ovi koderi analiziraju signal govora i iz
njega dobivaju parametre modela govomog trakta. Na dekoderu se ovi parametri
primjenjuju na model govomog trakta i tako se sintetizira govor. 0 koderima
govora zasnovanim na modelu vise Ce rijeEi biti u poglavlju 7.2. U kategoriju
kodera zasnovanih na modelu moiemo ubrojiti i fraktalno kodiranje slike
(poglavlje 7.3),kod kojeg se slika predstavlja modelom.
Primjer: Videoprikaz ljudskog lica
Kao primjer koji vrlo dobro ilustrira princip kodiranja zasnovanog na modelu
prikazat Cemo kodiranje videa ljudskog lica zasnovano na modelu.
Slika 6.22: Kodiranje videa lica zasnovano na modelu - koder
Pretpostavimo da ielimo kodirati video (niz slika) Eiji je glavni sadrbj ljudsko
lice u pokretu, kao npr. govomik u televizijskiln vijestima. Analizom prirodnog
lica u videu moie se doCi do pokreta dijelova lica, te iste pokrete primijeniti na
model lica. Upravo to je osnova kodiranja fasnovanog na modelu. Umjesto
uzoraka videa, kodiraju se parametri za anilnaciju modela lica, te se taj model na
dekoderu koristi za sintem videa. Iz niza slika se analizom izvlaEe parametri
animacije i oni se kodiraju (Slika 6.22). Parametri animacije opisuju pokrete svih
dijelova lica - npr. podizanje o b ~ (posebno
a lijeva i desna obrva), otvaranje i
okret oEiju, otvorenost i oblik usana, otvaranje vilice itd. Medunarodna norma
MPEG-4 normira 68 parametara kojima se mogu opisati pokreti lica [53]. Kako
bi lice bilo prepoznatljivo, na poEetku postupka se uzima osnovni oblik lica i tzv.
tekstura (slika lica), no oni se u principu prenose samo jednom.
Na dekoderu postoji trodimenzionalni model lica koji se prilagodava obliku i
teksturi primljenoj s kodera tako da lice bude sliEno izvomom licu. Zatim se
parametri animacije primjenjuju na taj model tako da se p o W u dijelovi modela
(obrve, oEi, usne itd,) te se time sintetiziraju pokreti lica (Slika 6.23). Na ovaj se
naEin dobiva video lica u pokretu uz prenoSenje daleko manje koliEine podataka
nego u sluEaju prenoienja uzoraka slike. Da bismo stekli dojam o tome kolika se
kompresija pritom vrii, zamislimo originalni video u rezoluciji 640 x 480 toEa-
ka, dakle ukupno 307.200 toEaka. Svaka od ovih toEaka prikazana je s 24 bita.
Pri kodiranju zasnovanom na modelu, uz pretpostavku da koristimo spomenute
parametre animacije lica defmirane normom MPEG-4, radimo s ukupno 68
parametara. Radi jednostavnosti, uzmimo da se svaki od ovih pararnetara kodira
s 24 bita, kao i jedna toEka slike (u stvarnosti je za parametre potrebno znatno
manje bitova). Ovakvim grubim proraEunom moiemo procijeniti kompresiju na
(307.200168) : I , tj. otprilike 4500 : 1. Za usporedbu, dandnji koderi videa
(poglavlje 7.4) postiiu kompresiju reda veliEine 100 : 1.
UVODU TEORllU MFORMACIJE 1 KODIRANIE

i t

-
Oblik Tekstura

Slika 6.23: Kodiranje videa lica zasnovano na modelu - dekoder

Jasno je da se ovakav stupanj kompresije plaCa znatnim nedostacima. NajoEitiji

je nedostatak uska specijalizacija ovog postupka za video koji sadrii ljudsko
lice. To znaEi da je ovakav postupak koristan samo za prirnjene u kojima je lice
dominantan element, npr. videokonferencija. JoS veCi nedostatak, a vjerojatno i
razlog da se zasad ovakve metode ne koriste u Siroj praksi, je Einjenica da je
trenutno jog uvijek nemoguke postiki analizu videa koja bi davala animacijske
parametre zadovoljavajuCe kvalitete u stvarnim uvjetima primjene. Naime,
analizirati pokrete opCenitog ljuskog lica (razni oblici lica, razne boje koie, kose
i oEiju, moguCe naoEale, brada, brkovi, itd.) u uvjetima stvame primjene (kamera
srednje kvalitete, proizvoljno osvjetljenje) izuzetno je teiak zadatak i danaSnji
algoritmi jog uvijek unose dosta pogregaka.
Iz ovog se primjera moie naslutiti da su algoritrni kodiranja zasnovani na
modelu sloieniji za implementaciju, te zahtijevaju viie procesorskog vremena
od dosad opisanih algoritama izvomog kodiranja.

1 7.3. Slika
7.4 Video
1 7. ~NFORMACIJSKASVOJSTVA I PRINCIPI KODIRANJA MEDIJA

U ovom se poglavlju razmatraju informacijska svojstva pojedinih medija - jezik,

&, slika, video - te principi njihovog kodiranja. Okvirno su prikazani i
pojedini vainiji koderi, tj. norme za kodiranje pojedinih medija.

Komunikacija medu ljudima se najEeSke odvija na jednom od prirodnih jezika,

npr. hrvatskom ili engleskom (rijeE "prirodni" koristilno kako bismo naglasili
razliku od npr. programskih jezika kao Sto su Java ili C*). Prirodni jezik je
osnovno sredstvo prijenosa informacije medu Ijudima. Stoga je logitno zapitati
se koliko informacije se u prosjeku prenosi svakim simbolom jezika - kolika je
entropija prirodnog jezika? Raz~notritidemo ovo pitai~jena primjeru hrvatskog i
engleskog jezika.
Osnovni simbol ovih jezika u pisanom obliku je jedno slovo abecede. U
sljedekim proraEunima koristimo hrvatsku abecedu s 27 slova, ukljuEujuCi
razmak". Najjednostavnija ideja za procjenu entropije bila bi uvrStavanje broja
slova u izraz za entropiju izvora koji generira Njednako vjerojatnih siinbola:
H = log N = log 27 = 4,755 [bitlslovo].
Odmah je jasno da ovakvim proratunom radimo grubu pogrelku. Znamo da
pojave pojedinih slova u jeziku nisu jednako vjerojatne. Stoga je dobivena
vrijednost tek gruba procjena, a stvarna entropija je sigumo manja.
Vjerojatnosti pojavljivanja slova u jeziku mogu se relativno jednostavno procije-
niti brojanjem pojava pojedinih slova u uzorku teksta. Dobivamo relativne
frekvencije pojavljivanja pojedinih slova u obradenom uzorku teksta na taj naEin
da broj pojavljivanja svakog slova podijelimo s ukupnim brojem slova u uzorku.
Ako je uzorak dovoljno velik i raznovrstan da bi bio reprezentativan za neki
jezik, dobivene relativne fiekvencije pojavljivanja slova su vrlo dobra aproksi-
macija za vjerojatnosti pojavljivanja pojedinih slova u tekstu pisanom na proma-
tranom jeziku. Za hrvatski jezik ovaki procijenjene vjerojatnosti daje Tablica
7.1.

I Ovako procijenjene vjemjatnosti mogu se uvntiti u izraz za entropiju:

1
I1~apomena: proradun entropije hrvatskog jaika preuzetje iz [66],gdje je koriStcna telegrafska
abeceda koja umjesto "d"koristi "dj".Pritoln su razmatrani samo pojedinadni makovi, dakle "dj",
"&,"lj"i "nj"nisu ubrojeni kao posebna slova).
UVODU TEORIJU INFORMACIJE I KODIRANJE
Tablica 7.1: Relativne frekvencije pojavljivanja slova u hrvatskom jeziku
Vidimo da se poznavanjem relativnih frekvencija pojavljivanja slova procjena
entropije smanjila.
JoS bolju procjenu entropije jezika dobivamo ako uzmemo u obzir korelaciiu
medu susjednim slovima u tekstu. Intuitivno je jasno da takva korelacija postoji,
npr. iza suglasnika vjerojatno dolazi samoglasnik; iza slova "mu mala je
vjerojatnost pojave slova "p" itd. Time je smanjena neodredenost u odnosu M
prethodni model s nezavisnim pojavama slova, pa Ce 'procijenjena entropija biti
manja. Ako uzmemo u obzir po dva susjedna slova, procijenimo vjerojatnosti
pojavljivanja svih moguCih parova slova na sliEan naEin kao Sto je procijenjena
pojava pojedinih slova, te prema tim vjerojatnostima odredimo entropiju,
dobivamo za hrvatski jezik 3.59 bitklovo. Uzmemo li u obzir po tri susjedna
slova, dobivamo 3.1 bit/slovo.
ProSirivanje ove logike na sve veCi broj uzastopnih slova donosi poteSkoCe s
procjenom vjerojatnosti pojavljivanja takvih nizova slova jer broj moguCih
kombinacija raste eksponencijalno. Na sreCu, postoji elegantnije rjegenje koje
poEiva na Einjenici da se jezik sastoji od rijeEi, te se kao os~ovnisimbol jezika
moie umjesto slova uzeti rijeE. Postoje naEini da se na jednostavan ndin
aproksimira vjerojatnost pojave pojedinih rijeEi u jeziku. Jedna takva
aproksimacija je tzv. Zipfov zakon [64]. Ako rijeEi jezika poredamo po
padajuCim vjerojatnostima pojavljivanja, te svaku rijeE oznaEimo njezinim
rednim brojem u takvom poretku, tad; vjerojatnost pojavljivanja p, za svaku
rijei: n dobivamo Zipfovim zakonom:
7. ~NFORMACIJSKASVOJSTVA I PRMCIPI KODlRANJA MEDIJA
-
gdje je P konstanta. Ako jezik ima R rijeEi, onda prosjeEni sadriaj informacije
PO
R
rijeEi dobivamo kao: I , = -xp,,
n-1
logp,, [bit/rijeE].
Preostaje joS da dobivenu vrijednost podijelimo s prosjdnim brojem slova u
jednoj rijeEi, te dobivamo novu procjenu entropije u jedinicama [bitlslovo]. Za
engleski jezik, ova procjena iznosi 1.66 bit/slovo.
SlijedeCi dosadaSnje razmiiljanje o entropiji jezika, mogla bi se joS upotrijebiti i
korelacija medu susjednim rijdima, te dobiti joS bolja procjena entropije jezika.
Na ovoj razini promatranja, neodredenost smanjuju i pravila gramatike jezika
koja uvjetuju odredene pravilnosti u sljedovima rijeEi. Shannon je pokugao uzeti
u obzir i ove faktore te procijenio entropiju engleskog jezika na 0,6 - 1,3
bitlslovo.
Iz ovih razmatranja proizlazi da bi bilo moguCe konstruirati efikasne metode
kodiranja kojima bi se tekst pisan prirodnim jezikom zapisivao koristeki manje
od 2 bita po slovu. Cak i jednostavnim uzimanjem u obzir vjerojatnosti
pojavljivanja pojedinih slova moglo bi se npr. Huffmanovim kodiranjem postiCi
blizu 4.2 bita po slovu - znatno bolje od npr. klasiEnog ASCII koda s 8 bita po
slovu.
Postavlja se pitanje zbog Eega se ovakve metode u praksi ne koriste. Razlozi su
dvojaki. Prvi razlog je neisplativost. PostojeCe se tehnologije spremanja i
prijenosa informacije sve viSe okreCu zahtjevnijim primjenama - zvuk, slika,
video - te tekst Eak i uz neefikasno kodiranje ne predstavlja veliko opteredenje i
jednostavno se ne isplati unositi komplikacije za postizanje relativno male
uStede (primijetimo da to u 19. stoljeCu nije bio sluEaj, te je poznati Morseov
kod zasnovan upravo na poznavanju vjerojatnosti pojavljivanja pojedinih slova u
tekstu).
Drugi vaian Eimbenik koji uvjetuje naEine kodiranja jezika je potreba za
univerzalnim naEinom prikaza teksta, dakle kodom koji moie prikazati tekst na
bilo kojem jeziku, s bilo kojim skupom slova ili simbola koji se u svijetu koriste.
Bilo koja metoda efikasnog kodiranja zasnovana na poznavanju karakteristika
jezika nuino bi bila specifiEna za pojedini jezik, Sto je u direktnoj suprotnosti s
potrebom za univerzalnoSCu (primijetimo da je Morseov k8d modeliran prema
vjerojatnostima slova u engleskom jeziku, te je manje efikasan ili Eak teSko
upotrebljiv za druge jezike, pogotovo one koji imaju bitno drukEiju abecedu ili
znakovlje od engleskog).
Upravo zbog potrebe za univerzalnim prikazom nastao je, nakon dugogodiSnje
uporabe 8-bitnog ASCII koda, k6d Unicode [67] za kodiranje teksta. Unicode
moie prikazivati svaki simbol sa 16 bitova, a sadrii znakove iz veCine svjetskih
pisama.
UVODU TEORlJU PJFORMACIJE I KODIRANJE
7.2. Zvuk
7.2.1. Fizikalne osnove zvuka
Zvuk je longitudinalni val titranja Eestica zraka. Longitudinalni val je val kod
kojeg je smjer titranja Eestica paralelan sa smjerom Birenja vala, odnosno
prijenosa energije. Izvor zvuka stvara titranje Eestica zraka, tj. promjene tlaka.
Ovo se titranje Siri zrakom brzinom od pribliino 340 m/s (brzina se mijenja
ovisno o temperaturi i nadinorskoj visini).
Kada se val proSiri do ljudskog uha, lokalno titranje tlaka uzrokuje titranje
bubnjita, pa preko njega ostalih struktura uha, dakle srednje uho s Eekitem i
nakovnjem i napokon unutamje uho u kojem se nalazi puinica.
Puinica ima viSe od 10000 "detektora" osjetljivih na razne frekvencije. Oni
pretvaraju zvuk u iivEane signale.
Svojstva zvuka moBemo promatrati u vremenskoj ili u frekvencijskoj domeni. U
vremenskoj domeni promatramo valni oblik, a u frekvencijskoj spektar. U
vreinenskoj su doineni vatni parainetri amplituda, faza i frekvencija (Slika 7.1).
Slika 7.1: Zvuk kao promjena tlaka zraka u vremenu:
gornji dio slike ilustrira Eestice zraka
Zvukovi poput ovoga na slici (Slika 7. I), sa samo jednom frekvencijom, vrlo su
rijetki u prirodi. Stoga se promatra frekvencijski spektar zvuEnog signala, koji
prikamje amplitude signala prema njegovim sastavnim frekvencijama.
KarakteristiEan je harmoniEni spektar u kojem se pojavljuju harmonici, tj.
vigekratnici osnovne frekvencije, kao Sto se vidi na slici (Slika 7.2). Kontinuirani
spektar je karakteristican za neperiodiEne zvukove (buka, Sum, bezvuEni glasovi
u govom), tj. tu ne postoje jasno istaknute pojedine frekvencije kao kod
harmoniEnog spektra. Posebno je zanimljiv spektar govomog signala. Naime,
govorni trakt proizvodi odredene frekvencije koje karakteriziraju pojedine
glasove. Te se rezonantne frekvencije govornog trakta nazivaju formanti. Tako
na primjer glas "a" ima formante F1 na 660 Hz, F2 na 1700 Hz i F3 na 2400 HZ;
7. INFORMACIJSKASVOJSTVA I PRINCIPI KODIRANJA MEDIJA
glas "e" ima formante F1 na 530 Hz, F2 na 1850 Hz i F3 na 2500 Hz; glas "u"
irna formante F1 na 300 Hz, F2 na 870 Hz i F3 na 2250 Hz.
FREKVENCIJA(kHz)
Slika 7.2: HarmoniEni spektar
7.2.2. Percepcija zvuka
FiziEki gledano, zvuk je u vremenskoj domeni karakteriziran frekvencijom,
amplitudom i fazom. Percepcijski, ono Sto Ijudsko osjetilo sluha primjetuje su
visina i glasnoka zvuka. Ove osjetilne mjere vezane su uz fizikalne mjere, ali ne
linearno nego logaritamski. Time je omoguCena ljudska percepcija vrlo Sirokog
raspona frekvencija i amplituda zwkova koji se pojavljuju u prirodi.
Kada se radi o frekvenciji, jednake rastute korake frekvencije primjeCujemo kao
sve manje i manje korake rasta visine zvuka. Tako se razlika izmedu zvuka
frekvencije 100 i 200 Hz Eini dosta veiika, a razliku od 10000 do 10100 Hz
vjerojatno ne bismo uop6e primijetili. Visina zvuka mo2e se izraziti pomoku tzv.
Me1 skale. To je logaritamska skala koja i d a v a odnos bilo koje frekvencije
zvuka u odnosu na referentnu frekvenciju. Referentna frekvencija Me1 skale je
takva da ton od 1000 Hz odgovara 1000 mela. Ljudsko Eujno podruEje je od 20
Hz do 20 kHz.
$to se tiEe glasnote, ona ovisi o arnplitudi (A) zvuEnog signala, odnosno
amplitudi titranja tlaka zraka. Amplitudi je proporcionalan intenzitet zvuka (0,
dakle snaga po jedinici povrline. GlasinoCa se mjeri u dB, Sto je logaritamska
1 skala u odnosu na referentni intenzitet. Referentni intenzitet je granica Eujnosti.
Dakle,
,
DinamiEki raspon ljudskog sluha je 120 dB, od granice Eujnosti na 0 dB do
granice bola na 120 d B Ovaj raspon prikamje Tablica 7.2.
1 h o r i zvuka su prirodni ili sintetiEki. Prirodni izvori su uvijek analogni. To su
npr. ljudski glas, glasanje iivotinja, glazbeni instrumenti, te ostali prirodni
 - 7. INFORMACIJSKA SVOJSTVA 1 PRINCIPI KODIRANJA MEDIJA

zvukovi kao Sto su Sum mora, vjetar, gmljavina, itd. SintetiEki izvori zvuka sU kod bezvutnog glasa ne moiemo ustanoviti nikakvu pravilnost signala, dok kod
elektronitki te su Eesto direktno dostupni u digitalnom obliku. Primjeri sU zvuEnog uoEavamo jasnu perioditnost. To je zbog toga Sto kod zvuEnog glass
sintetizatori glazbe i sinteza govora. titraju glasnice i stvaraju periodiean signal.

Tablica 7.2: Dinamirki raspon ljudskog sluha

1 granica ~ u z s t i I o ~ B ? I . I O w/m2)
-~~ I
Sapat
uredska buka I 50 dB

ozljeda bubnjita 130 dB

- -

7.2.3. Karakteristike govornog signala idol

o iw M ~io 100 IIH o IO( 488 Y tn lor
bezvuEni suglasnik "s" zvuEni suglasnik "n"
Govor ima neke posebnosti u odnosu na druge zvukove, s obzirom na to kako
nastaje i kako ga percipiramo. Upravo te posebnosti mogu se iskoristiti za Slika 7.3: Vremenska analiza govora
kompresiju govora.
Govor nastaje prolaskom zraka kroz govome organe koji formiraju zvuk. Kod Frekvencijska analiza govora
zvuEnih glasova, kao m, n, a, glasnice titraju i stvaraju odredene frekvencije Ako isti govor prebacimo u frekvencijsku domenu, npr. Fourierovom transfor-
zvuka. Kod bezvuEnih, kao s, i, h, nema titranja glasnica, samo Sum zraka kroz macijom, dobivamo spektar frekvencija za pojedini segment. Slika 7.4 prikazuje
organe. Ovo se moie osjetiti prislanjanjem prstiju na grlo tijekom izgovaranja takav spektar za odsjeEak od 30 ms tijekom kojih je izgovaran bezvuCni
zvuEnog i bezvutnog glasa. Ljudi mogu proizvesti glasove od 60 Hz do 8 kHz, s suglasnik "s". Ni u frekvencijskoj se domeni ne primjekuju neke pravilnosti ili
dinamiEkim rasponom od 40 dB. karakteristiene frekvencije govornog signala.
$to se tiEe sluganja, prijamnik govora su ljudski sluSni organi. Cujno podruEje
im je od 20 Hz do 20 kHz, a dinamiCki raspon je 120 dB. Najvainije frekvencije
za razumljivost govora su u intervalu od 2 do 5 kHz (neki izvori navode neSto
drukEiji raspon, jer pojam "najvahije frekvencije" nije precizan). Postoje tzv.
individualne varijacije. Na primjer, iene su osjetljivije na vise frekvencije od
mugkaraca, a osjetljivost na visoke frekvencije opknito se smanjuje s godinama
starosti.
Slika 7.4: Spektar zvurnog signala za bezvurni suglasnik "s"

Vremenska analiza govora Spektar za odsjebk od 30 ms u kojem je izgovaran zvuEni suglasnik "n" bitno je
razlitit. Na slici (Slika 7.5) se jasno uotavaju karakteristitne frekvencije - to su
Slika 7.3 daje primjer vremenske analize jednog kratkog segmenta govora. veC spomenuti formanti koji karakteriziraju pojedine zvuEne glasove.
Iscrtane su amplitude signala u vremenu. Izgovorena je engleska rijet "seven".
Moiemo vidjeti bitne razlike izmedu bezvutnog suglasnika "s" i zvuEnog
suglasnika "n". PNO, amplituda je nekoliko puta manja za bezvutni glas. Drugo,
UVOD U TEORIJU INFORMACIJE I KODlRANJE 7. INFORMACIJSKASVOJSTVA I PRINCIPl KODIRANJA MEDIJA

Eujnosti za Eitav raspon frekvencija ljudskog sluha. Prikazana je osnovna

krivulja granice Eujnosti u uvjetima tiSine, a drugom je krivuljom prikazan efekt
maskirajukeg zvuEnog signala od 1000 Hz na susjedne frekvencije. Vidljivo je
kako se u okolini maskirajukeg signala povekava prag Eujnosti. Ovo je simuitano
maskiranje. Efekt maskiranja se javlja i malo prije i poslije trajanja maskirajukeg
zvuka (red veliEine 50 ms): to je vremensko maskiranje.
~ l i k a7.5: Spektar zvuEnog signala za zvuEni suglasnik "nu
GLASNOCA [dB]

Model govora u vremenu 1 Maskirajuci zvuk 1 kHz

Govor ima zanimljivo svojstvo da sadrii relativno pun0 tisine. ProsjeEno Q
intervali govora traju 0.8-1.2 s, a izmedu njih su intervali tisine koji prosjeEno
Granica tujnosti u Mini
traju 1-1.6 s. Ovakvo pondanje 1noZ;ese modelirati jednostavnim Markovljevim
lancem u kontinuiranom vremenu (Slika 7.6). Ukoliko je trenutno stanje
Granica Eujnosli uz
"govor", vjerojatnost prijelaza u stanje "tiSina" je A, a vjerojatnost ostanka u
stanju "govor" je 1-1. SliEno je i za tiginu, s vrijednoSku vjerojatnosti prijelaza
p. Uporabom ovakvog modela moie se simulirati vremenski slijed tiSina i
govora. 20 --
10 --
0 --
I I I I I I I I ,
0.02 0.05 0.1 0.1 0.5 1 2 5 10 20 FREKVENC'JA(kHz'
FREKVENCIJA

Slika 7.7: Maskiranje zvuka

Slika 7.6: Model govora i tisine

Govomi signal je nestacionaran, tj. svojstva mu se bitno mijenjaju u vremenu.
Sjetimo se prikaza zvuCnog i bezvuCnog glasa u vremenskoj i frekvencijskoj
domeni, te razlika u amplitudnim i frekvencijskim karakteristikama tih segme-
nata zvuka, medusobno razmaknutih manje od sekunde. Medutim, ako se
promatra vrlo mali vremenski interval govomog signala, unutar tog se intervala
svojstva mijenjaju dovoljno malo da signal u tom intervalu moiemo za potrebe
kodiranja tretirati kao stacionaran. Stoga se Eesto zvutni signaI dijeli u intervale,
tzv. okvire, obiEno od 20-30 ms, te se svaki takav okvir zvuka kodira zasebno.
Zbog toga se javlja algoritamsko kagnjenje kod prijenosa govora, jer se paket
moie poslati tek kada je obraden Citav okvir.
Maskiranje zvuka
Maskiranje je pojava vezana uz ljudsku percepciju zvuka. Maskiranje znaEi da
zvuk na nekoj frekvenciji prikriva (maskira) slabije zvukove na toj i okolnim
fiekvecijama. Maskiranje ilustrira Slika 7.7. Na slici se vidi krivulja praga
7.2.4. Osnove kodiranja zvuka
Primjena svojstava i percepcije zvuka na kodiranje
U govomom se signalu CeSCe pojavljuju uzorci manjih amplituda. Takvo svoj-
stvo govornog signala omogukava koriStenje kvantizatora s nelineamom
karakteristikom, tako da se viSe razina hantizacije dodjeljuje podruEju manjih
amplituda signala.
U zwEnom signalu postoji izrazita vremenska redundancija, odnosno visoka
korelacija (slitnost) izmedu uzastopnih uzoraka i uzastopnih okvira zvuka. Ovo
svojstvo moie se dobro iskoristiti diferencijalnim kodiranjem (poglavlje 6.3.4).
Proces nastajanja govora je priliEno dobro poznat i moie se simulirati na
raEunalu modelom ljudskih govornih organa. Tada se viSe ne kodiraju uzorci
signala, nego se uzorci analiziraju kako bi se iz njih i m k i i parametri govornog
modela. Ti se parametri kodiraju i Salju dekoderu, gdje se govor rekonstmira
(sintetizira) pomoku parametara na temelju modela. PoSto su parametri modela
UVOD U TEONJU INFORMACIJE I KODIRANJE
puno kompaktniji od sarnih uzoraka zvuka, ovim se postupkom postiie vrlo
visoki stupanj kompresije.
Efekt maskiranja koristi se u kodiranju zvuka uporabom potpojasnog kodiranja
(poglavlje 6.3.5), tako da se signal dijeli u frekvencijske pojaseve, te se svaki od
njih kodira uz veCu ili manju kvantizaciju (dakle manje ili vise bitova) uzirnajudi
u obzir model percepcije zvuka. Ovaj je postupak detaljnije opisan u poglavlju
7.2.7.
Kriteriji usporedbe kodera
Na triis'tu postoji veliki broj razliCitih kodera, a novi se i dalje razvijaju. Vaino
je mati po kojim se kriterijima oni rnogu usporedivati, a isto tako i procijeniti
koji su od ovih kriterija bitni za pojedinu primjenu. Na primjer, za rnobilnu je
telefoniju najvainija brzina, jednostavnost izvedbe dekodera i razumljivost go-
vora; za CD je najvahiji kriterij kvaliteta zvuka. VeCina ovdje navedenih
kriterija zapravo vrijedi i za kodere drugih medija.
Brzina kodera (engl. bit rate) se mjeri u bit/s i izraiava broj bitova
potreban za kodiranje jedne sekunde zvuEnog signala.
Za kvalitetu postoje objektivna mjerenja, kao $to su izobliEenje u
odnosu na originalni signal, te odnos signalhum (engl. Signal to Noise
Ratio - SNR). No, kao Sto smo veC vidjeli, ljudski sluh ne osjeCa zvuk
na isti naEin kao mjerni instrumenti, te su Eesto vainija subjektivna
mjerila.
KaSnjenje se javlja na koderu i na dekoderu, jer i jedan i drugi postupak
traje neko vrijerne. U viSemedijskoj aplikaciji svi rnediji moraju biti
sinkronizirani, a kdnjenje to oteiava, odnosno svi se rnoraju ravnati
prema najsporijem. VeCe kaSnjenje je isto tako neugodno pri
dvosmjernoj telefonskoj komunikaciji, jer se teSko postiie
sinkronizacija medu sugovornicima.
Obzirom na strukturu struje bitova, ona mo2e biti rnanje ili viSe otporna
na gubitke. Na primjer, diferencijalni koder, koji bi u svakorn koraku
slao samo razliku signala od prethodnog, akumulirao bi grdku nastalu
gubitkom svakog osnovnog bloka, te se nikada ne bi oporavio.
Otpomost na gubitke je u suprotnosti sa zahtjevom za male brzine: Sto
je brzina manja, veCi je utjecaj izgubljenog niza paketa, jer su
informacije sabijenije i time osjetljivije.
Bitan kriterij za kodere zvuka je jesu li prirnjenjivi samo na govor ili na
opCeniti zvuk.
Napokon, sloienost i cijena izvedbe su vrlo vaini kriteriji u konkretnoj
primjeni.
7. INFORMACIJSKASVOJSTVA I PRINClPl KODIRANJA MEDIJA
Subjektivna mjerila kvalitete kodera
PoSto je krajnji cilj kodiranja i dekodiranja rekonstruirati zvuk, a krajnji korisnik
tog zvuka je Eovjek, najvainiji kriterij kvalitete je subjektivna ocjena.
Subjektivni testovi se rade na veCern broju ispitanika, te se rezultati statistiEki
obraduju. Za tu svrhu postoje standardizirani obrasci za ocjenu kvalitete zvuka.
MOS (od engl. Mean Opinion Score) [69] traii od ispitanika ocjenu u
apsolutnorn smislu, a DMOS (od engl. Degradation MOS) relativno u odnosu na
referentni zvuk. Za govor se koristi i procjena napora razumijevanja. Za
razumljivost se mogu korisiti i testovi s parovirna rijeCi koje sliEno zvuEe. Sto
ispitanik napravi manje gres'aka, to je koder bolji. Tablica 7.3 prikazuje skale
koje se koriste za subjektivna rnjerenja kvalitete kodera zvuka.
Tablica 7.3: Subjektivna mjerila kvalitete kodera zvuka
Procjena napora
Ocjena MOS DMOS razumijevanja
- --
1
1 5 1 izvrsno I neEujno pogodanje 1 bez napora 1
1 4 1 dobro I Eujno pogorSanje, ali ne srneta I bezposebnog napora 1
neprepoznatljivo bez
izraieno pogodanje,jako smeta izrazitog napora
Novije metode temelje se na ocjeni subjektivne kvalitete objektivnim mjerilima
(PESQ, engl. Perceptual evaluation of speech quality, ITU-T P.862).
7.2.5. Koderi govora
Osnovna podjela kodera govora je ria kodere valnog oblika, koji izravno
kodiraju uzorke zvuka, te kodere zasnovane na rnodelu, koji kodiraju parametre
zvuka koji Ce se koristiti za sintem govora pomoCu odgovarajukeg modela.
Osnovni koder valnog oblika koristi jednostavno kodiranje uzoraka zvuka uz
nelinearnu kvantizaciju koja iskorigtava Einjenicu da se rnanje amplitude zvuka
vis'e pojavljuju. Diferencijalni koder uz to koristi joS i vrernensku redundanciju
signala, tj. sliEnost rnedu uzastopnim uzorcima. Ovi su koderi prvotno razvijeni
za fiksnu telefoniju, a kasnije doradeni i za mobilnu telefoniju. Karakterizira ih
dobra kvaliteta, no i relativno velike brzine prijenosa koje su potrebne.
 7. INFORMACIJSKA SVOJSTVA I PRlNClPl KODIRANJA MEDlJA

Koderi zasnovani na modelu koriste model govornog trakta koji koristi odredenu Nedostaci PCM kodera su:
pobudu za sintezu govora, a parametri modela pritom odreduju kako se ta 64 kbitls je relativno velika brzina,
pobuda pretvara u zvuk. Ovi koderi se uglavnom dijele po vrstama pobude. u
Sirokoj su uporabi u mobilnoj telefoniji (GSM). nerna mehanizma za kontrolu i ispravljanje pogreSaka.

Hibridni koderi su kombinacija kodera valnog oblika i kodera zasnovanih na

modelu. Kao karakteristitni primjeri kodera valnog oblika, u narednim
poglavljima ukratko biti prikazani PCM koder (direktno kodiranje uzoraka) i
ADPCM diferencijalni koder. Nakon toga slijedi pregled principa kodera govora
zasnovanih na modelu, neSto detaljniji prikaz LPC kodera i kratak osvrt na
CELP koder.

p;~
61
pobuda
Slika 7.8: Klasifikacija kodera govora

Slika 7.9: Funkcija kvantizacije za PCM koder

PCM
PCM ili impulsno-kodna modulacija je vrlo stari standard, veC desetljeiima u
uporabi u telefonskoj mreii. PCM definira preporuka ITU-T G. 711 Pulse Code
Modulation for voice frequencies (PC@. Postupak je vrlo jednostavan i
ukljutuje samo kvantizaciju po odredenom nelinearnom zakonu. Kvantizacijom
se postiie optimalan zapis signala, s obzirom na to da je za manje vrijednosti
potrebno viSe razina kvantizacije. Tako kvantizirane vrijednosti se izravno zapi-
suju, tj. nema neke dodatne kompresije. Zvuk se uzorkuje s 8 kHz, a uzorci se
kvantiziraju s 8 bitova (256 razina).
Nelinearna kvantizacija provodi s e po logaritamskoj karakteristici prema
A-zakonu (Europa) ili p-zakonu (SAD, Japan). Funkcija kvantizacije prikazana
je grafom na slici (Slika 7.9). Prednosti PCM-a su:
jednostavnost,
visoka kvaliteta (MOS 4.3),
malo kainjenje.
ADPCM
ADPCM je definiran u preporuci ITU-T G.726 Adaptive Differential Pulse Code
Modulation (ADPCM) koja sadrBi zastarjelu preporuku G.721 (Sto je bio
originalni standard). ProSiren je preporukom ITU-T G.727 5-, 4-, 3- and 2 bits
per sample embedded Adaptive Differential Pulse Code Modulation (ADPCM).
ADPCM je adaptivni diferencijalni koder. Osnovni princip diferencijalnog
kodiranja objaSnjen je u poglavlju 6.3.4. Adaptivni diferencijalni koder ima joS
dodatno svojstvo da su kvantizacija i predikcija adaptivne, tj. da se razine
kvantizacije i koeficijenti predikcije prilagdavaju signalu (Slika 7.10). Koristi
se prilagodba "prema natrag" (engl. backward adaptation), Sto znaEi da se
vrijednosti parametara, koji se adaptiraju, raEunaju s obzirom na signal s izlaza
kodera iz prethodnih koraka. U obrnutom sluEaju (engl. forward adaptation),
gdje bi se pararnetri adaptirali prema ulazu kodera, bilo bi potrebno parametre
dodatno slati dekoderu, jer on nema dostup signalu s ulaza kodera, te ne bi
 7 . INFORMACIJSKA
SVOJSTVA 1 PRINClPl KODIRANJA MEDlJA
I1 proizvodnju signala, parametri modela bit Ce po obimu daleko (i do viSe redova
mogao izvrSiti adaptaciju. U ADPCM-u se koristi metoda adaptacije kvantizacije
zasnovana na posljednjem kvantiziranom signalu, sliEna poznatoj Jayantovoj veliEine) kompaktniji od izvornog signala. Razlog popularnosti ove vrste kodera
adaptaciji. upravo za govor leii u tome Sto je model proizvodnje govora, tj. ljudskog
govornog trakta, dobro poznat i razraden.
KODER DEKODER ' Signal govora se dijeli na okvire. Svaki okvir se analizira te se procjenjuju
parametri modela za pojedini okvir. Ti se parametri prenose dekoderu, koji ih
ubacuje u model govornog trakta i simulacijom generira signal govora, koji je
dakle potpuno sintetiziran. Sami uzorci signala se uopCe ne prenose.
I
Prve generacije kodera govora zasnovanih na modelu (npr. LPC-10) nisu jog
1 imali visoku kvalitetu te je primjena bila ograniEena. Noviji koderi (npr. CELP)
Q - fiksna ~ ladapt~vna
i kvantizacija 1 postiiu dobru kvalitetu na malim brzinama te su u Sirokoj uporabi (npr. GSM).
d - signal razlike Q-l - inverzna kvantizacija
d'- kvantizirani signal razlike p - lineama predikcija (fiksni ili
x ' - rekonstritirani signal
p - predvideni signal
adaptivni koeficijenti
A - postupci adaptacije
' Kernpelen Farkas Lovag (1734-1804) dizajnirao je "govorni stroj" na taj naan i
da je govornl trakt simuliran pomoCu fleksibilne cijevi, Ciji je oblik operater ;,
Slika 7.10: ADPCM koder - osnovna shema mogao kontrolirati. To je prvi zabiijeieni pokuSaj umjetne proizvodnje govora. ',
Ovis~loo broju bitova za kodiranje grelke, postiiu se brzine od 40 kbitls (5 bita), Homer Dudley je u Bell Labs 1939, godine prikazao tzv. "channel vocoder" *
32 kbitfs (4 bita), 24 kbit/s (3 bita), 16 kbit/s (2 bita).
Obzirom da se signal ne dijeli na okvire, nema algoritarnskog kainjenja. Druga
I (od engl. voice coder); model govornog trakta s filtrirna. Ovaj je model bio
: preteCa danasnjirn koderima govora zasnovanirn na rnodelu i postavio je !'
prednost je Sto se modemski i faks signali mogu prenositi bez izobIiCenja (Sto
nije sluEaj s koderima zasnovanim na modelu).
Jedan nedostatak je relativno velika brzina; kao Sto Cemo uskoro vidjeti u Ljudski govorni organi
poglavlju o koderima zasnovanima na modelu; za govor se mogu postiki pun0 Ljudski govorni organi su skup organa koji koristimo za proizvodnju zvuka pri
manje brzine. Diferencijalni koderi imaju i problem osjetljivosti na pogreSke. govoru. Proizvodnja glasa poEinje istiskivanjem zraka kroz duSnik, na kraju
PoSto se Salju razlike signala, greSka koja jednom nastane ne ispravlja se kojega se nalaze glasnice, tj. glasne fice. Titranjem pod utjecajem struje zraka
sljedeCim signalom, makar je on ispravan, nego se akurnulira. Stoga je u glasnice proizvode zvuk odredene frekvencije. Covjek moie svjesno utjecati na
praktiboj primjeni s vremena na vrijeme potrebno poslati referentni signal, tj. tu frekvenciju, odnosno ton. Isto tako moiemo glasnice i iskljueiti, odnosno
apsolutnu vrijednost, inare bi se akumulacijom greSke u potpunosti izgubio sprijetiiti njihovo titranje. Tu nastaje vaina podjela glasova na zvuEne, kod kojih
signal. glasnice titraju, i bezvuEne, kod kojih ne tihaju te se zapravo proizvodi Sum, a ne
ton (vidjeli smo to u vremenskoj i frekvencijskoj analizi govomog signala).
ADPCM nalazi primjenu u DECT (od engl. Digital European Cordless
Telephony) normi za beiiEne telefone, ISDN aplikacijama i telekonferencijskim Nastali se zvuk dalje formira u grlu, te usnoj i nosnoj Supljini. Ovaj se dio (sve
aplikacijama. nakon glasnica) obiEno naziva govorni (vokalni) trakt. U usnoj Supljini na njega
joS utjekmo poloiajem i pokretima jezika, vilice i usana.

7.2.6. Koderi zasnovani na modelu Model proizvodnje govora

Koderi zasnovani na modelu (engl. model-based coding) koriste princip analize i PoSto je model govornih organa detaljno prouEavan i poznat, moiemo ga
sinteze. Umjesto da prenosimo same uzorke signala, koder i dekoder imaju isti simulirati i na ratiunalu. Slika 7.1 1 a) prikamje blok dijagram ljudskih govomih
model za proizvodnju signala iz parametara modela, te se prenose sarno ti organa, na kojem se vidi sve Sto smo dosad objasnili na bazi anatomske slike.
parametri. Ukoliko je model dobro razraden, te dobro sirnulira prirodnu Zvuk se stvara potiskom zraka iz pluCa; prolaskom preko glasnica postaje
 UVODU TEORIJU INFORMACIJE I KODIRANE 7. INFoRMACIJSKA SVOJSTVA I PRlNClPI KODIRANJA MEDIJA

periodhi signal ako glasnice titraju, odnosno ostaje slihn Sumu ako one ne
titraju; u usnoj i nosnoj Supljini vrSi se dodatna artikulacija i time dobivamo
govor.
Slika 7.11 b) prikazuje osnovnu ideju za simulaciju govornih organa na raEuna-
lu. Prirodni govomi organi simuliraju se odgovarajukim, relativno jednostavnim
modelima, a njihov skup daje model ukupnog sloienog sustava za proizvodnju
govora. Pritom se modelom upravlja skupom parametara koji su uglavnom u
izravnoj vezi sa stvamim parametrima govora, Sto je izuzetno vain0 jer 6emo ih
morati procijeniti analizom prirodnog zvuka. Svaki od parametara zasebno je
relativno jednostavan, a njihov skup Eini sloienu cjelinu koja karakterizira govor
u datom trenutku, odnosno u kratkom vremenskom okviru.
Napokon, govomi trakt, odnosno artikulacija u grlu, nosnoj i usnoj Supljini
sirnulira se linearnim filtrom promjenjivih parametara, gdje ovi parametri simu-
liraju konfiguracije organa. Parametri nemaju direktnu vezu s npr. polofajem
jezika, no njihov skup moie dobro karakterizirati utjecaj govomog trakta na
zvuk. Slika 7.12 prikazuje blok dijagram takvog filtra. Filtar karakterizira skup
parametara bi.
govor

I
I ZVUCNA
POBUDA
~ PERIO~ICNI
E2tAc

TLAK GUSNICE ARTI-

linearni filtar Y,, = C~,Y,,-,
i=l
+x,,
ZRAKA KULACIJA
Slika 7.12: Govorni trakt modeliran kao linearni filtar s koeficijentima bi
POBUDA

Koder LPC
Pogledajmo konkretni primjer kodera LPC (engl. Linear Predictive Coding),
jednog od prvih kodera govora zasnovanih na modelu. U svakom vremenskom
okviru od 22.5 ms odreduju se sljede6i parametri:
frekvencija pobude (6 bita),
, jaCina pobude (5 bita),
zvuCnilbezvuEni glas (1 bit),
koeficijenti filtra (42 bita za 10 koeficijenata).

I POBUDA
Za kodiranje svakog od ovih parametara potreban je broj bitova namaEen u
zagradarna. Ukupan broj bitova za jedan vremenski okvir je dakle 54. PoSto
Slika 7.11: a) blok dijagram ljudskih govornih organa; jedna sekunda sadrii 1000122.5 = 44.444 okvira, brzina je 2.4 kbitls.
b) simulacija govornih organa u dekoderu
Slika 7.13 shematski prikazuje dekoder, tj. model govornih organa.
PluCa se simuliraju jednostavnim parametrom energije koja iz njih izlazi, a koja
je ekvivalentna pritisku zraka koji stvaramo da bismo dobili jaEi ili slabiji glas.
Ljudsko se upravljanje glasnicama sirnulira dvama parametrima. Prvi je odluka o
zwEnom ili bezvuCnom glasu, koja odgovara napinjanju ili nenapinjanju glasni-
ca. Drugi parametar je osnovna frekvencija. Ovaj se parametar koristi samo za glasovi pulsa u,!
zwEne glasove i odgovara frekvenciji titranja glasnica.
Slika 7.13: LPC dekoder
UVOD U TEORIN INFORMACIE I KODlRANlE
LPC dekoder koristi generator Suma za bezvuEne, te generator periodicnog
pulsnog signala za m E n e glasove. Jedna od ovih pobuda, u ovisnosti o tome da
li je trenutni glas zvuEni ili bezvuEni, dolazi na filtar govornog trakta te se time
sintetizira govor. Centralni problem LPG kodera, kao i drugih kodera ZaSnovanih
na modelu, je procjena pararnetara modela. Ukoliko je procjena loSa, rezultat ne
moie biti dobar.
Najteie je odrediti frekvenciju pobude. To mora biti karakteristicna frekvencija
signala unutar okvira, no signal nije Eist periodiEan signal, a okvir je vrlo kratak,
pa je analiza oteiana. Stoga se koristi tzv. funkcija AMDF (od engl. Average
Magnitude Difference Function). AMDF (Slika 7.14) izraEunava prosjek razlika
signala u zvuEnom okviru udaljenih za neki period P. Minimum se dobije kada
je P upravo karakteristitan period signala. Potrebno je proracunati vrijednosl
AMDF za razne mogude vrijednosti perioda P i odabrati minimum. MoguCi
periodi P su za ljudski govor ograniEeni granicama frekvencija koje Eovjek moie
proizvesti, pa je time podruEje pretrage suieno.
Slika 7.14: Funkcija AMDF odredivanje karakteristirne frekvencije uzorka zvuka
JaEina pobude se raEuna kao korijen srednje vrijednosti kvadrata signala.
Odluka o tome da li je u datom okviru glas zvuEni ili bezvuEni takoder se moie
donijeti pomoCu funkcije AMDF. Naime, po3to signal nema karakteristitnu
frekvenciju, funkcija AMDF neCe pokazati jasne minimume. Uz to, amplituda
signala za bezvuEne glasove znatno je manja nego za zvuEne pa se i po tome
mogu razlikovati (Slika 7.3).
Koeficijenti filtra raEunaju se tako da se iz formule filtra dobije jednadtba za
prosjeEnu kvadratnu pogreSku unutar okvira zvuka, derivira se da se dobije
minimum, te iz toga izlazi sustav jednadibi iz kojega se dobiju koeficijenti.
Koder CELP
Koder CELP (od engl. Code Excited Linear Prediciton) je naprednija generacija
kodera zasnovanih na modelu. Osnovni princip je isti, no uvedena su bitna
poboljSanja te se postiie puno bolja kvaliteta zvuka. Osnovna je razlika u tome
Sto se umjesto pulsnog signala za pobudu koriste raznovrsni signali pobude iz
unaprijed predvidenog skupa moguCih pobuda. Time se postiie bolji model
govora, jer ni pobuda koja dolazi iz glasnica nije Eisti signal jedne frekvencije.
7. INFORMACIJSKA SVOJSTVA I PRlNCIPl KODIRANJA MEDIIA
Dekoder ostaje vrlo sliEan, osim Sto se za pobudu koristi jedna od mogudih
pobuda iz skupa. Da bi to bilo moguke, koder mora dekoderu u svakom okviru
uz sve ostale parametre poslati i k6d za signal pobude koji u datom okviru treba
koristiti. Ovaj k6d je jednostavno indeks u tablici pobuda.
Sam koder mom, uz ostale parametre, odabrati i jednu od mogudih pobuda. Za to
se koristi princip analize sintezom. Postupak prikazuje Slika 7.15. Na koderu se
simulira sinteza koja Ce se vrSiti u dekoderu, rezultat se usporeduje s ulaznim
signalom, te se pogreika minimizira, odnosno bira se pobuda s najmanjom
pogreikom.
linearni filtar
percepcijska
skup moguCih
Slika 7.15: Odabir pobude u CELP koderu
7.2.7. Koderi zvuka u frekvencijskoj domeni
Ovi koderi nisu ograniEeni samo na govor, nego pokazuju dobra svojstva za bilo
kakve zvukove, npr. glazbu. Koriste potpojasno kodiranje, odnosno podjelu na
frekvencijske potpojaseve prije kodiranja te efekt maskiranja.
Kao Sto je objainjeno u uvodnom dijelu o svojstvirna zvuka, efekt maskiranja
odnosi se na pojavu kada uz jaki signal na nekoj frekvenciji uho ne moie Euti
slabiji signal na bliskoj frekvenciji. Osim u zadanom trenutku, maskiranje ima
utjecaj i u vremenu prije i poslije trajanja maskirajukeg signala. Slika 7.16
prikazuje maskiranje zvuka u vremenu. To je proSirenje ilustracije maskiranja na
Slici 7.7 tako da je prikazana vremenska promjena krivulje praga Eujnosti.
Krivulja prikazuje prag Eujnosti za pojedine frekvencije, te njegovu promjenu u
vremenu. Vidimo da maskirajuki ton podiie prag Eujnosti za fiekvencije oko
sebe, i to ne samo za vrijeme trajanja maskirajukeg tona, nego i malo prije i
poslije. Maskiranje moie nastupiti do 20 ms prije nastupa maskirajukeg signala,
i trajati do 200 ms nakon njegovog prestanka.
UVOD U TEORlJU INFORMACIJE I KODIRANJE 7. INFORMAClJSWi SVOJSIVA 1 PRMCIPI KODIRANJA MEDUA

level (dBj MPEG Audio Layer 3 - MP3 koder

t
intenzitet [dB] '
rnaskiraiuei ton /Ivriierne [sl
Slika 7.16: Maskiranje zvuka u vremenu
Osnovni percepcijski koder
Koder i dekoder prikazani su na slici (Slika 7.17). Zbirkoin filtara za analizu
signal se dijeli u N potpojasnih signala (npr. 32 za MPEG audio). Svaki se
potpojas posebno kvantizira. Percepcijski (psihoakustiEki) model odreduje
koliko se bitova dodjeljuje svakom potpojasu. USteda se ostvaruje dodjelji-
vanjem manjeg broja bitova onim potpojasevima za koje se vidi da de biti
maskirani, tj. da ih ionako neCemo dobro Euti, pa na njih nema smisla troSiti
pun0 bitova. Ova operacija ponavlja se za svaki okvir (osnovni segment) audio
signala, npr. 384 uzorka / 1 152 uzorka za MPEG Layer 1 / 2.
Primjer konkretnog percepcijskog kodera je koder MP3, Sto je skradeno od
I'MPEG Audio Layer 3". Slika 7.18 (preuzeta iz [61]) prikazuje shemu MP3
kodera. U MP3 koderu mogu se jasno prepoznati elementi osnovnog
percepcijskog kodera. Podjela na potpojaseve vSi se u dva koraka - prvi u 32
potpojaseva, zatim joS svaki potpojas u 18 finijih potpojaseva za ukupno njih
576. Kvantizacija ukljuEuje iterativno podeSavanje parametara dok se ne po-
stigne ieljeni rezultat. Ovo se podeSavanje vrSi u dvije kontrolne petlje,,od kojih
vanjska podeiava faktore kvantizacije za pojedine potpojaseve dok se ne
postigne ieljena razina smetnje, a unutarnja podeSava globalni faktor pojabnja
utjeEuCi time na kvantizacijske faktore da se ukupna koliEina bitova smanji na
ieljenu razinu. Ovaj koder radi brzinama od 8 kbitls do 160 kbitts i
frekvencijama uzorkovanja od 16 kHz do 48 kHz. Moie raditi s konstantnom
brzinom kodiranja ili s promjenjivom brzinom kodiranja (engl. Constant Bit
Rate, CBR i Variable Bit Rate, VBR).
Coded
Audio Signal
32 kb~tls

G-
Prilikom dekodiranja se koristi zbirka filtera za sintezu kojima se potpojasni Psycllo-
signali ponovo sloie u jedinstveni signal. acotlstic
Model

Shema kodera

Slika 7.18: MP3 koder

Zbirka filtara Entropijsko
audio struje bitova struja bitova
I
.
1 Percepciiski 1 1 7.3. Slika
( psihokustii) -
model I -

Digitalna slika moie biti slika iz stvarnog svijeta prenesena u digitalni oblik
Shema dekodera digitalnom kamerom, optiEkim EitaEem (engl. scanner) ili na neki drugi naEin; ili
to moie biti slika stvorena pomoCu ratunala, kao Sto su, na primjer, vektorska
grafika, slika nastala raEunalnom grafikom, grafovi i razne vrste vizualizacije,
lnverzna itd.
kvantizacija
Slika moie biti i jedinica unutar animiranog filma ili videa. U tom sluEaju
Slika 7.17: Osnovni percepcijski koder postoje efikasnije metode kodiranja od onih koje se upotrebljavaju za zasebnu
sliku. 0 kodiranju videa vise Ce rijeEi biti u nastavku.
normalizirana) i stoga u uvjeti~naslabe svjetlosti primjeCujemo samo svjetlinu - 7.3.2. RaEunalni prikaz slike
tako nam u polurnraku sve izgleda sivo.
U ratunalnom prikazu, slika je matrica tohka u kojoj je svaka
karakterizirana svojom bojom. ToEka u slici naziva se gto dolazi o~
engleskog picture element, tj. element slike. Rezolucija slike je dimenzija
matrice XxY, npr 640x480. Dubina slike je broj bita koji se koristi za opis boje
svakog piksela d [bit/piksel].

Slika 7.21: Normalizirana osjetljivost funjifa i Stapifa Slika 7.23: Primjeri raznih vrijednosti dubine slike i palcteboja
u ovisnosti o valnoj duljini svjetlosti koja je time omogufena

Raspored EunjiCa i StapiCa po mreinici prikazuje Slika 7.22 preuzeta i adaptirana

iz [62]. NajveCa koncentracija EunjiCa je u podmEju na mreinici koje se na
latinskom jeziku naziva fovea centralis, te je stoga to podruqe najogtrijeg vida.
Zbog toga vidimo ogtro samo u sredini vidnog polja, a sa strane je slika mutna.

Osnovni modeli boje za sliku

Dva osnovna modela boje su RGB (red, green, blue) i CMY (cyan, magenta,
yellow). U svakom od ovih modela boja se prikazuje bo kombinacija triju
komponenti boje. Kod RGB modela to su crvena, zelena i komponenta, a
70 M) S O M JO X) IO 0 10 70 X) rO H , M ) ? O 80 90 kod CMY svijetlomodra, ruiiEasta i iuta. Ove se tri komponentekombiniraju uz
FOVEA I'[
HOR. OTKLON
pomoC teiinskih faktora koji se obiEno izraiavaju brojevba rasponu 0-255 ili
Slika 7.22: Raspored gustofe EunjiCa i Stapifa po mrcinici realnim brojevima 0-1. Tako se bilo koja boja moie prikazati kao
trodimenzionalni vektor ovih teiina, npr. u RGB sustavu boja je [255,0,
Medutim, to ne ometa percepciju jer su oEi stalno u pokretu i usredotoEuju se na 01, zelena [O, 255, 01 itd. RGB su zbrojive boje, a CMy oduzimljive. Model
mjesto u koje Eovjek trenutno gleda, te se na taj naEin slika upotpunjuje i stvara zbrojivih boja se koristi za sluEajeve kada se svjetlost emitin, te se komponente
se dojam potpune percepcije okoline, premda u stvari u bilo kojem trenutku zbrajaju; njihovim zbrajanjem dobivamo sve v& svjetlosti. zbrajanjem
oStro vidimo samo jedan dio o h i e n j a . U podmEju fovea centralis nema StapiCa. maksimuma svih triju komponenti dobivamo bijelu boju. T~ je s]uEaj
To je razlog da noCu bolje vidimo malo sa strane nego u sredini vidnog polja raEunalnim i dmgim zaslonima. Model oduzimljivih boja dobra prikazuje
(najveCa koncentracija StapiCa je otprilike 20" od toEke najogtrijeg vida). situaciju pign~enta(boje) na papim, gdje svaka komponenb djeluje kao fdtar i
UVODU TEORIJU INFORMACIJE I KODIRANJE
oduziina dio spektra iz bijele svjetlosti. Dodavanjem komponenti boje
oduzimamo sve vise iz bijele svjetlosit, te ako kombiniramo maksimum sve tri
komponente oduzeli smo Eitav spektar i dobivamo cmo. Slika 7.24 prikazuje
zbrajanje zbrojivih boja i oduzimanje oduzimljivih boja.
~UTA
PLAVA
SVlJETLOMOD
lDRAELrn
CRVENA UBlCASTA
LJUBICASTA cRvEw
PLAVA 2UTA
Slika 7.24: Zbrojive boje (lijevo) i oduzimljive boje (desno)
7.3.3. Kodiranje slike
Kodiranje slike moie se vriiti s gubicima ili bez gubitaka. Kodiranje bez
gubitaka zasniva se na statistiEkim karakteristikama slike i metodama entro-
pijskog kodiranja. Primjeri poznatih formata u kojima se vrii kompresija slike
bez gubitaka ukljuEuju GIF (od engl. Graphics Interchange Format) koji koristi
LZW kodiranje, PNG (od engl. Portable Network Graphics) koji koristi
kombinaciju Huffmanovog kodiranja i LZ77 kodiranja poznatu pod imenom
DEFLATE, te TIFF (od engl. Tagged Image File Format) koji ukljuEuje izbor
raznih metoda kompresije, izmedu ostalih LZW, slijedno kodiranje i DEFLATE.
Kodiranje s gubicima moie se koristiti karakteristikama ljudskog vida i postici
pun0 veCi omjer kompresije od kodiranja bez gubitaka, a da pritom pogreSka
ostane neprimjetna ili vrlo teSko primjetna za Ijudsko oko. Uvodenjem jog veCih
omjera kompresije dolazi se do vidljivih pogreiaka u slici.
Za kodiranje s gubicima koriste se hibridne metode kodiranja koje se sastoje od
jedne ili viSe metoda izvornog i entropijskog kodiranja. Kao primjer prikazat
Cemo normu JPEG koja koristi transformacijsko kodiranje, slijedno kodiranje i
Huffinanovo kodiranje (mofe se umjesto njega koristiti aritrnetiEko, no rijetko se
koristi). Uz JPEG, u poglavlju 7.3.5 ukratko Cemo opisati i noviju normu JPEG
2000 te dati usporedbu tih dviju normi. Premda fraktalno kodiranje nije zaiivjelo
u praksi, radi prikaza radikalno drukEijeg pristupa, poglavlje 7.3.6 daje kratki
pregled ovog naCina kodiranja. Primjer diferencijalnog kodiranja slike prikazan
je u poglavlju 6.3.4 o izvomom kodiranju.
7. INFORMACIJSKA SVOJSTVA I PRlNCIPI KODIRANJA MEDIJA
7.3.4. JPEG
JPEG je jedan od najpopulamijih formata za zapis slike. Ime JPEG dolazi od
engl. Joint Photographic Experts Group. To je ime radne skupine unutar
medunarodne organizacije za norme IS0 koja je izradila normu JPEG. JPEG je
usvojen 1994 g. kao medunarodna norma I S 0 10918-1.
Princip rada JPEG kodera prikazan na I D prirnjeru
JPEG koder se zasniva na diskretnoj kosinusnoj transformaciji blokova slike.
Slika se dijeli na blokove veliEine 8x8 pihela. Svaki blok se transformira
diskretnom kosinusnom transformacijom, te se koeficijenti dobiveni takvom
transformacijom kvantiziraju i entropijski kodiraju. Prije prikaza ukupne sheine
JPEG kodera, pokazat Cemo osnovnu ideju na pojedilostavljenom priinjeru
jednodimenzionalne "slike" od 8 piksela.
Diskretna kosinusna transformacija (DCT) je centralni dio JPEG kodera. Za
sliku se koristi dvodimenzionalna DCT, no jednostavnije je objasniti principe na
jednodimenzionalnom primjeru. Promatramo dakle jednodimenzionalnu sliku,
odnosno vektor od N piksela. Za piksel na mjestu x, p(x) oznaEava razinu sive
boje predstavljenu s 8 bita (0 - bijelo, 255 - cmo).
DCT transformacijom prebacujemo sliku u frekvencijsku domenu, odnosno
izraiavamo je kao zbroj osnovnih DCT funkcija za rame frekvencije, svaka sa
svojim koeficijentom teiine SV). Promatranu sliku moiemo prikazati kao zbroj
osnovnih DCT funkcija s odrdenim teiinama:
Pritom su osnovne DCT funkcije definirane kao:
Slika 7.25 prikmje osnovne DCT funkcije za sluEaj sa 16 piksela (N = 16).
Jasno se uoEava porast frekvencije od funkcije DCTo koja je konstanta, preko
sljedeCih nekoliko funkcija koje pokazuju prvo blagu pa onda sve veCu
valovitost, do funkcije DCTISkoja najviie titra. Teiinskim zbrojem ovakvih N
funkcija prema jednadibi (7.1) moie se bez pogreike opisati bilo koji vektor od
N vrijednosti p(x), gdje je 0 < x < N.
 -
UVOD U TEORIJU INFORMACIJE I KODIRANJE 7. INFORMACIJSKA
SVOJSTVA I PRINClPl KODIRANJA MEDIJA
- -

DCT, . .. .. ........ .... .. - .- .- .- . - . . prije primjene DCT radi se posmak razina, tj. od svih vrijednosti u vektoru
DCTl . .... .... :
- .-...-...-.- oduzimamo vrijednost 128 kako bi vrijednosti bile simetriEne u odnosu na 0
DCT, (interval od -128 do 127) i tako dobivamo vektorp':
DCT3
DCT,
p'(x)=[112 82 52 22 -8 -38 4 8 -981.
DCT5 Koeficijente S(f) racunamo prema izrazu (7.4) i dobivamo:
DCT,
DCT, Sy) = [19.89 193.27 0 20.20 0 6.03 0 1.521.
DCT, p Primijetimo da je ova transformacija reverzibilna, tj. uvrStavanjem koeficijenata
DCTg Sy) u izraz (7.1) (uz koriStenje (7.2) i (7.3)) dobivamo natragpr(x) bez pogrelke.
DCTol-
DCT1-, SljedeCi je korak zaokruZivanje koeficijenata Sf)) na cijele brojeve:
DCT12- . . . .. .. - . . - - - Sty)=[20 193 0 20 0 6 0 21.
DC-T
,,
DC-T
,l . .. - . - . . . Za provjeru, izvriimo inverznu transformaciju (izraz (7.1)) na zaokruienim vri-
DC-T
,, jednostima Sy). Dobivamo:
P'(X)= [111.89 81.86 52.29 21.86 -7.71 -38.15 -67.72 -97.751.
Nakon zaokruiivanja na cijele brojeve i obrnutog posmaka razine dobivamo:
SIika 7.25: Osnovne DCT funkcije za N - 16 p"(x) = [240 210 180 150 120 90 60 301 =p(x).
ZaSto se odabiru baS osnovne kosinusne funkcije za transformaciju slike u Vidimo da je transformacija reverzibilna, dakle inverznom transformacijom
frekvencijsku domenu? One imaju nekoliko svojstava koje ih tine pogodniin za dobivamo originalne vrijednosti p(x). Zbog zaokruiivanja koeficijenata na cijele
to. Osnovno je da se bilo koja slika moie na ovaj naEin prikazati, tj. za bilo koju brojeve moie nastati mala pogreSka, no u ovom konkretnom primjeru do nje nije
kombiilaciju od N piksela moie se naCi skup od N koeficijenata teiine do9lo.
kosinusnih funkcija kojime Ce se ona u potpunosti toEno opisati. Pritom je ovaj
skup minimalan, dakle svih N funkcija je potrebno za cjelovitost, odnosno s Ako promotrimo koeficijente Srf)), moierno uoEiti da su prva Eetiri koeficijenta
manje od N funkcija ne bismo mogli precizno prikazati sve moguCe kombinacije pun0 ve6a od drugih. Dakle, utjecaj niiih frekvencijskih komponenti je puno
piksela. Ovo proizlazi iz Einjenice da se niti jedna DCT funkcija ne mote veCi od, utjecaja viSih. Pogledajmo Sto bi se dogodilo da viSe fiekvencijske
predstaviti zbrojem bilo koje kombinacije ostalih DCT funkcija. DCT funkcije komponente potpuno odbacimo, te izraEunamo sliku koju dobivamo ovakvim
su jedinstvene, tj. niti jedan drugi skup kosinusnih funkcija osim onih koje su u novim koeficijentima. Dakle, iz Sr(f) odbacujemo Eetiri koeficijenta za viSe
razmjeru s koristenim, ne moie se koristiti za opis bilo koje kombinacije od N frekvencijske komponente tako da ih postavimo na nulu:
piksela.
Koeficijenti Sy) mogu se izraEunati na sljededi naEin: Kada izvrSimo inverznu transformaciju na ovakvim koeficijentima, dobivamo:
N-l
(2x + l )f ~ p"(x) = 2238 213 179 148 122 91 57 321.
Ove se vrijednosti malo razlikuju od izvornih vrijednosti p(x), no te su razlike
minimalne. Ako vizualiziramo slike p(x) i p"(x) (Slika 7.26), vidimo da su
razlike u svjetlini toEaka minimalne, te ih prostim okom ne primjetujemo.
Primjer: DCT transformacija slike od 8 piksela
Iz prethodnog primjera vidimo da su frekvencijske komponente na niiim
Promatramo konkretan primjer slike od N = 8 piksela: frekvencijama izrdenije od onih na viSim frekvencijama, te prva Eetiri
koeficijenta u primjeru opisuju gotovo cijelu sliku. OpCenito, moZemo reCi da
p(x) = [240 210 180 150 120 90 60 301. visoke frekvencije izraiavaju sitne detalje u slici, te oStre rubove. Doprinos
UVOD U TEORlJU INFORMACIJE I KODIRANJE
-
Elanova na viSiln frekvencijama je mali kada su razlike susjednih piksela
relativno male, dakle kada slika ne sadrii pun0 detalja niti oStrih rubova.
Moiemo primijetiti da veCina prirodnih slika sadrii relativno malo podmtja s
detaljima i oStrim rubovima, Sto znaEi da, sliEno kao u prethodnom primjeru,
koeficijenti viSih frekvencija Eesto nemaju veliku ulogu. Na toj se tinjenici
zasniva JPEG kompresija.
Slika 7.26: lzvorna slikap(x) (gore) i slikapU(x)dobivena inverznom DCT
transformacijom uz odbacivanje koeficijenata viSih frekvencija (dolje)
7 . INFORMACIJSKASVOJSTVA I PRINCIPI KODIRANJA MEDlJA
Korak 1: priprema slike
U priprenlnom se koraku slika dijeli na blokove, te se pritom nadopunjavaju
rubni blokovi tako da dobivamo niz blokova veliEine 8x8 toEaka.
Korak 2: transformacija
U drugom se koraku svaki blok slike transformira u blok od 64 DCT koeficijenta
S.
DCT funkcije u 2D dobivaju se rnnoienjem 1D DCT funkcija za svaku od dvije
varijable. Slika 7.28 prikazuje 2D DCT funkcije. To su osnovni DCT blokovi.
Jasno se uoEava gornji Iijevi blok frekvencije 0, oko kojeg se vide blokovi niskih
frekvencija. Prema dolje se uoEava porast vertikalne frekvencije, a na desno
horizontalne.

JPEG koder
Nakon uvoda u princip rada JPEG kodera prikazanog na primjem 1D slike,
pogledajrno kako se taj princip konkretno primjenjuje u JPEG koderu. Slika 7.27
prikazuje blok shemu JPEG kodera. Kodiranje je podijeljeno u Eetiri koraka:
1. priprema slike;
2. transformacija;
3. kvantzacija;
4. kompresija bez gubitaka.

,,
korakc 2.obrada
konk: :
i: 3. korak:
kvantizacija
i 4. korak:
j, kompresija
j
j
pripreme slike i
i (transformacija) i j bezgubitaka i

Koder zasnovan na DCT-u

Slika 7.28: Osnovni DCT blokovi @CT funkcije)
blokovi izvorne DCT i ;~v$htitaf$:
:+!s..o.%S:.L..$ ..:
C.. Kompresija . . komprimirani
slike 8 x 8 pixela ; :, -.L.4,1T.: .:::;.;.. j bez gubitaka : blokovi 8 x 8 Jednako kao i u 1D primjeru, bilo koja se slika rezolucije NxN moie izraziti kao
teZinski zbroj osnovnih DCT funkcija prikazanih na Slici 7.28:

Slika 7.28 prikazuje DCT blokove veliEine 8x8 (N = 8). Dakle, bilo koji blok
slike veliEine 8x8 piksela moie se prema izrazu (7.5) izraziti kao teiinski zbroj
ovakvih DCT blokova. Dakle, DCT transformacija vrSi preslikavanje niza vri-
jednosti piksela u niz koeficijenata teiine osnovnih DCT blokova. DCT
Slika 7.27: Blok sherna JPEG kodera
koeficijenti se za svaki blok 8x8 piksela raeunaju prema formuli:
 UVOD U TEORIJU INFORMACIJE I KODIRANJE
Jednako kao Sto smo u 1D primjeru pretvorili niz od 8 toEaka u niz od 8
koeficijenata teiine DCT funkcija, ovdje pretvaramo blok od 64 toCke (piksela)
u 64 koeficijenta teiine S. Kad ovim koeficijentima pomnoiimo osnovne DCT
blokove prikazane na prethodnoj slici prema izram ( 7 . 9 , dobivamo izvornu
sliku.
Primjer: DCT transformacija bloka slike od 8x8 piksela
Slika 7.29 prikazuje izvorni blok slike od 8 x 8 piksela (lijevo) kao matricu
vrijednosti boje p(x,y). Na desnoj strani slike prikazana je matrica DCT koefici-
jenata S(u,v) izraCunatih prema izrazu (7.6).
Na izvornoj slici moBemo primijetiti relativnu slitnost medu susjednim toEkama,
odnosno relativno slabu promjenu. Iz toga mogemo zakljuCiti da su u slici
dominantne niske frekvencije. U bloku DCT koeficijenata to se jasno i vidi.
Daleko je najveCi prvi koeficijent, koji odgovara frekvenciji 0, te opisuje srednju
vrijednost slike. Ovaj koeficijent naziva se DC komponenta, a svi ostali AC
komponente. PrimjeCuje~no i to da koeficijenti desno i dolje u matrici -
koeficijenti viSih frekvencija - imaju izrazito niske vrijednosti, Sto je posljedica
i
!
malog prisustva visokih frekvencija (detalja) u bloku.
Najbija vrijednost S(0, 0) Niske vrijednosti
IzvoriSna matrica p(x, y) DCT rnatrica S(u, V )
1 Slika 7.29: DCT transformacija btoka slike od 8x8 piksela
Korak 3: kvantizacija
Kvantizacija se vrSi tako da se svaki koeficijent dijeli s kvantizacijskim
faktorom, te zaokruiuje na cijeli broj. Kvantizacijom nastaje kvantizirana DCT
matrica K. Kvantizacijski faktori su zapisani u matrici Q (Slika 7.30 lijevo), te
se operacija moie zapisati formulom:
K (u,v) = round (2:::) 1%
-= + 0.51
Kvantizacijaska matrica O(u,v )
Slika 7.30: ~vantizacijskamatrica i rezultat kvantizacije
to je kvantizacijski faktor za pojedini koeficijent veCi, koeficijent Ce se viSe
koinprimirati, ali Ce i pogreSka usljed kvantizacije biti veCa. Matrica Q mora biti
odabrana tako da kvantizacija rezultira visokom kompresijom, ali bez
prinljetnog gubitka kvalitete. JPEG norma ne odrebuje, ali preporutuje skup
kvantizacijskih matrica Q . U primjeru vidimo da se za viSe frekvencije koriste
veCi faktori kvantizacije. Vidimo da su u konkretnom primjeru sve vrijednosti
osim gomje lijeve Cetvrtine koeficijenata kvantizacijom svedene na nulu.
Korak 4: kompresija bez gubitaka
Sjetimo se da prvi DCT koeficijent (DC komponenta) izraiava prosjetnu
vrijednost bloka, Eime zapravo nosi najviSe informacija o bloku koji predstavlja.
Ukoliko slika ne sadrii izuzetno velike promjene, moie se pretpostaviti (i to
vrijedi za veCinu slika) da se prosjeEne vrijednosti blokova neCe jako mijenjati,
te da Ce DC komponente susjednih blokova biti sliEne. Stoga se koristi
diferencijalno kodiranje koje moie efikasno kodirati slijed sliEnih vrijednosti.
Diferencijalno se kodira niz DC komponenata svih blokova (Slika 7.31).
Preostaje joS kodirati AC komponentu, tj. sve ostale koeficijente.
blok i -1
u
blok i blok i + I
Slika 7.31: Kodiranje DC komponente (koeficijenta S(0,O))
VeC smo primijetili da su veCe vrijednosti u matrici grupirane gore lijevo, a dolje
i desno nalazimo uglavnom nule. Stoga JPEG norma predvida slaganje preosta-
lih vrijednosti u matrici K po finearnom cik-cak redoslijedu (Slika 7.32).
UVOD U TEORIJU INFORMAClJE 7. INFORMACIJSKASVOJSTVA I PRlNClPl KODIRANJA MEDIJA
1 KODIRANJE
-
Ovakviin redoslijedom grupiraju se nule, te se dobiva niz koeficijenata koji
izgleda ovako:

To se moie iskoristiti varijantom slijednog kodiranja, na taj naEin da se umjesto

Eitavog niza nula na kraj jednostavno doda poseban k6d za kraj bloka (EOB =
end of block):
Nakon ovakvog zapisa svih blokova u slici s lijeva na desno i odozgo prema
dolje, slijedi entropijsko kodiranje. NajEeSCe se upotrebljava Huffmanovo kodi-
ranje. Norma JPEG predvida i mogutnost aritmetitkog kodiranja, no zbog v e k
se sloienosti u praksi to rijetko koristi.
39-32 1 1 0 0 0 0 0 - 1 EOB
Slika 7.33: Primjer slike kodirane JPEG koderom uz omjer kompresije 1:16.
lzvorna slika (lijevo) zauzima 256 kb, a slika nakon kompresije (desno) 16 kb.

7.3.5. JPEG 2000

Kodiranje valiCima (engl. wavelet coding) je novija metoda kompresije slike,
razvijena potetkom devedesetih godina proSlog stoljeCa te uvedena u meduna-
rodnu normu "JPEG 2000" godine 2001. Zasniva se na potpojasnom kodiranju,
Eija je osnovna ideja da se frekvencijske komponente manje vainosti kodiraju
manjim brojem bitova.
Slika 7.32: Linearni cik-cak redoslijed slaganja vrijednosti matrice K

Svojstva JPEG kodera

Slika 7.33 prikazuje primjer JPEG kodiranja uz faktor kompresije 1:16, odnosno
prikaz slike sa 0.5 bita po pikselu.Vidimo da je golim okom teSko primijetiti
razliku izmedu originalne slike (lijevo) i slike dobivene nakon kompresije JPEG
koderom (desno).
OpCenito, JPEG postiie odliEnu kvalitetu slike do 0.25 bitlpiksel. Pritom se
odnos kvalitete i kompresije moie regulirati pomoCu kvantizacijske matrice.
NajveCi nedostatak je to Sto pri veCim faktorima kompresije blokovi u slici
postaju jasno vidljivi.
Slika 7.34: Princip kodiranja valitima

Slika se iterativno dijeli u prostorno-frekvencijske komponente koriStenjem

visokopropusnih i niskopropusnih filtara, i to u horizontalnom i vertikalnom
smjeru, te se u jednoj iteraciji jedna slika podijeli na iSetiri podslike (Slika 7.34).
Gornja lijeva podslika sadrii visoke fiekvencije u horizontalnom i vertikalnom
smjeru. Donja desna slika sadrZi niske frekvencije u oba smjera Gornja desna
slika sadrZi visoke frekvencije u vertikalnom smjeru, a niske u horizontalnom, a
donja lijeva obrnuto. Visokopropusni filtar u horizontalnom smjeru rezultira
isticanjem vertikalnih kontura, kao sto se vidi u donjoj lijevoj komponenti.
Prilikom kodiranja koristi se manje bitova za komponente s manje energije, gdje
se energija definira kao prosjek kvadrata amplitude.
Usporedba JPEG - JPEG 2000
Kodiranje valiCima karakterizira vrlo visoka kompresija. Stoga JPEG 2000 u
prosjeku postiie 25-30% manju veliEinu kodirane slike od starije norme JPEG.
Dodatno povoljno svojstvo norme JPEG 2000 u odnosu na JPEG je Sto nema
blok efekta. Pri veCirn se stupnjevima kompresije umjesto blokova karakle-
ristitnih za JPEG gubici manifestiraju kao zamuCenost slike, jer nedostaju vise
frekvencijske komponente, tj. detalji i oStri rubovi. Ovakva je zan~uCenostza
ljudsko oko prirodnija i prihvatljivija od blokova, jer je zamukenost, za razliku
od blokova, pojava koja se mote javiti i u prirodnom vidu. JPEG 2000 podriava
veCi dina~niEkiraspon, do 32 bita po pikselu. Pritom je JPEG 2000 manje sloien
za implementaciju. JPEG 2000 omoguCava progresivno slanje podataka uz
postupno poboljianje kvalitete slike. Na taj naEin se prilikom uCitavanja puteln
mreie prvo dobije grubi izgled slike, za Sto nije potrebno puno podataka, a onda
sve finiji i finiji detalji. Ovo je prednost u praktiEnoj uporabi jer poboljSava
subjektivnu kvalitetu usluge. Takoder je mogude pod~uEjainteresa unutar slike
(Region-of-Interest, ROI) kodirati boljom kvalitetom, odnosno bez gubitaka.
Slika 7.35 prikazuje sliku kodiranu koderima JPEG i JPEG 2000 uz isti stupanj
kompresije 1:64. Kod JPEG-a se jasno uoEavaju blokovi 11 slici, dok je desna
slika (JPEG 2000) zamutena, ali bitno bolje kvalitete od lijeve.
Slika 7.35: Usporedba dike kodirane koderom JPEG (lijevo) L JPEG 2000 (desno)
uz jednaki omjer kompresije 1:64
7.3.6. Fraktalno kodiranje
Fraktalno kodiranje koristi princip analize i sinteze. Urnjesto kodiranja samih
podataka, kodiraju se parametri neke funkcije koja Ce generirati te podatke.
Stoga fraktalno kodiranje moiemo svrstati u skupinu kodera zasnovanih na
modelu. PoteSkoda je u tome Sto je teSko pronaCi model za opCenitu sliku,
odnosno funkciju koja je opisuje.
Fraktalno se kodiranje zasniva na samosliEnosti, dakle na pretpostavci da su
razliEiti dijelovi slike medusobno sliEni, odnosno da se razlikuju sarno u
relativno jednostavnoj transformaciji (npr. rotacija, translacija, uvekanje). Na
primjer, na slici neke zgrade ponavljaju se vrlo sliEni prozori; na slici Sume su
oblici stabala medusobno sliEni, itd. Pretpostavka je da se ovo svojstvo moie
iskoristiti za prikaz slike pomoCu fraktala, koji pokazuju slitna svojstva.
k j e E fiaktal uveo je matematiEar Benoit Mandelbrot i prvi puta ga spominje
1975. godine. TeSko je pronaCi preciznu definiciju fraktala, no moiemo reci da
su fraktali frapentirani, nepravilni geometrijski objekti koji pokazuju svojstvo
samoslitnosti. Cesto su stvoreni rekurzivnim ponavljanjem odredene funkcije.
Ponavljanjem iteracije moiemo dobiti proizvoljnu razinu detalja. Fraktali su
moida najpoznatiji upravo po fantastiEnim slikama koje se pomoCu njih mogu
proizvesti, no zbog njihovog svojstva samosliEnost'1 nastala je ideja primjene i u
kodiranje slike.
Funkcija s fiksnom toCkom
PraktiEna implementacija ideje fraktalnog kodiranja zasniva se na funkciji s
fiksnom tdkom. Funkcija s fiksnom toEkom je funkcija za koju vrijedi F(x) = x
za toErro jednu vrijednost xo.
Uzmimo kao primjer fuunkciju F(x) = ar + b. Za a = 0.5 i b = 1, fiksna toEka je
xo = 2. PoEevSi od bilo koje poEetne vrijednosti x, iteracijom (ponovnim
uvrStavanjem dobivene vrijednosti u funkciju F(x)) Cemo uvijek stiCi do xo = 2.
Ako koder i dekoder unaprijed znaju.oblik funkcije, npr. F(x) = ar + b, tada
vrijednost fiksne toEke xo moiemo kodirati parametrima funkcije a i b. Kada
dekoder primi ove parametre, pomoCu njih moZe odrediti fiksnu toEku funkcije,
xo. Jasno je da u ovom primjeru to nema praktiEnog smisla, jer smo jednu
vrijednost (no) kodirali pomoCu dvije vrijednosti (a i b). Da bi ovaj princip imao
smisla, potrebno je da fiksna toEka bude skup vrijednosti, a da su parametri
funkcije bitno manji od tog skupa.
To je upravo sluiSaj sa slikom. Slika je skup toEaka, tj, matrica vrijednosti boje 1
Eije dimenzije su rezolucija slike. Ako je moguCe pronaCi funkciju s fiksnom
toEkom F(I) = I, i ako se parametri funkcije F mogu prikazati manjim brojem
bita nego sama slika I, postiie se kompresija.
UVODU TEORlJU INFORMACIJE I KODlRANJE
R - blokovi
D - blokovi
Slika 7.36: Praktirna izvedba fraktalnog kodiranja
Prikazati Cemo prvu prakticnu izvedbu fraktalnog kodiranja [63].Slika se dijeli
na tzv, blokove R i D. Blokovi R uniformno pokrivaju cijelu sliku, dakle njihov
zbirje Eitava slika I:
Blokovi D su vedi, mogu biti bilo gdje unutar slike i ne pokrivaju je.
Za svaki blok R, pronalazi se jedan blok D, te hnkcija f koja transformira blok
D u blok R. Zbog otekivane samosliEnosti, oEekuje se da Ce biti moguCe pronaCi
neki blok D u slici koji je dovoljno sliEan bloku R da se u njega moie relativno
lako transfonnirati. Skup svih ovih funkcija definira Eitavu sliku:
Ufk = ~ + ~ ( f ) = i .
k
Skup svih funkcijah zajedno Eini funkciju s fiksnom toEkom, Eija je fiksna toEka
upravo Eitava slika, odnosno njezina aproksimacija I , jer funkcije f ne daju
apsolutno toEne blokove R, nego njihove aproksimacije. Funkcije f ukljuEuju
rotacije, zrcaljenje, translacije i promjenu veliEine.
Svojstva fraktalnog kodiranja
Prije svega, fraktalno je kodiranje slofeno, znatno slofenije od dosad opisanih
metoda kodiranja. Omjer kompresije, koji se postiie vrlo je neujednaEen i varira
od 1:4 do 1:100. Omjer kompresije ovisi o svakoj pojedinoj slici. Ako slika
pokamje izrazita svojstva samosliEnosti, fraktalno kodiranje moie dati izvrsne
rezultate. U suprotnom su rezultati vrlo 105.
Od fraktalnog kodiranja se puno oEekivalo, te je Eak bilo predlagano i kao
osnova za normu JPEG 2000. Medutim, trenutno druge metode pokazuju bolja
svojstva u praksi te se fraktalno kodiranje praktiEno ne koristi.
7.INFORMACIJSKASVOJSTVA I PRTNCIPI KODIRANJA MEDIJA
7.4. Video
Video se sastoji od niza nepomicnih slika (tzv. okvira), prikazanih dovoljno brzo
jedna za drugom da se dobije dojam neprekinutog gibanja. Frekvencija promjene
slike (engl. frame rate) izraiena je brojem okvira u sekundi (engl. frames per
second, fps). Opaiamo gibanje kao neprekinuto ako je frekvencija promjene
slike barem 15 Ips. Za video se najEeS& koristi 25 ili 30 fis. Za posebne
primjene, npr. 3D simulacija leta, koriste se i vide frekvencije, npr. 60 ili 75fis.
Kod videa u digitalnom obliku, svaki je okvir digitalna nepomiEna slika.
NajEeSCe primjene su digitalna televizija i film (npr. DVD), videotelefonija i
videokonferencija, video za prikaz na intemetskim stranicama, a u vrijeme
pisanja ove knjige operatori telekorna i proizvodaEi opreme predvidaju Siroku
primjenu videa na pokretnim uredajima. Ove psimjene postavljaju razliEite
zahtjeve na kodiranje videa.
Video telefonija/konferencijasu simetrizne primjene, tj svaka strana ima koder i
dekoder. Stoga su koder i dekoder podjednake slofenosti. Za ovu pri~njenu
izuzetno je vaino smanjiti kahjenje, jer je ono vrlo neugodno pri razgovoru.
Digitalna televizija i pohrana filma su asimetritne primjene. Kodira se jednom a
dekodira puno puta. Isplati se dakle razvoj sloienog i skupog kodera, dok
dekoder treba biti dto jednostavniji i jeftiniji.
Video preko intemeta i pokretnih mreia koristi se za viSemedijske sadriaje na
internetskim stranicama, dostavu viSemedijskih usluga pokretnim korisnicima i
druge primjene. Bitno je podriati male brzine prijenosa i ostvariti dobru
otpomost na pogregke u prijenosu.
7.4.1. Modeli boje i formati za video
NajEeSCi nazin prikaza boje na raEunalu je RGB model spomenut u poglavlju o
nepomiCnoj slici. No, za video su nastale drukEije norme od onih za nepomiEnu
digitalnu sliku zbog toga Sto su prve norme razvijene za cmo-bijelu televiziju.
Kad je uvedena boja, bilo je potrebno saEuvati kompatibilnost sa starim
sustavom. Stoga su odabrani modeli koji odvajaju svjetlinu od boje, kako bi se
svjetlina sama za sebe mogla interpretirati na cmo-bijelim sustavima.
~ a b l i c a7.5 prikamje dva poznata modela boje za video i n s i n na koji se
njihove komponente raEunaju iz RGB modela. YUV model dolazi iz PAL norme
za analogni video, a YIQ iz NTSC norme. U oba modela Y komponenta izrdava
svjetlinu (engl. luminance) i moie se iz RGB modela izraEunati teiinskim
zbrajanjem komponenata, pri Eemu su teiinski faktori odredeni iskustveno i vrlo
UVODU TEORIJU RJFORMACIJE I KODIRANJE
su s l i ~ n iza sve norme. Ostale dvije komponente izraiavaju boju (engl.
chrominance) i takoder se raEunaju iz komponenata RGB.
Tablica 7.5: YUV i YIQ modeli boje za video
I = 0.60R - 0.28G - 0.32B,
Odvajanje boje i svjetline daje joS jednu vainu prednost, kao Sto je veC
spomenuto u poglavlju o poduzorkovanju. PoSto je ljudsko oko osjetljivije na
svjetlinu, boju moiemo uzorkovati manjom rezolucijom. Rezolucija se obitno
smanjuje dva puta (smanjenje samo horizontalno) ili 4 puta (smanjenje hori-
zontalno i vertikalno). Slika 7.37 prikazuje tri modela uzorkovanja boje za
video. Prikazan je blok od 4x4 piksela. Izvorno se svaki piksel sastoji od tri
komponente: svjetline Y i dvije komponente boje U i V. Slika lijevo prikazuje
pun0 uzorkovanje, gdje se za svaki piksel uzimaju sve tri komponente. Ovaj
model se naziva 4:4:4. U sredini je model 4:2:2 kod kojega se uzimaju svjetline
za svaki piksel, ali se poduzorkovanjem odbacuju vrijednosti boje za svaki drugi
piksel u svalcom redu. Kod modela 4:2:0 prikazanog na slici desno, od svakog
bloka 2x2 piksela uzima se samo po jedna vrijednost komponenata boje U i V.
Slika 7.37: Modeli uzorkovanja boje za video
Formati za digitalni video
Tablica 7.6 prikazuje najvainije formate slike za digitalni video, njihove
rezolucije i omjere Sirine i visine (engl. aspect ratio).
Tablica 7.6: Najpoznatiji formati slike za digitalni video
Primjec Video konferencija niske kvalitete
Video je daleko ilajobimniji od svih tipova podataka s kojima se susreCemo u
viSemedijskim komunikacijama. Pretpostavimo da Selimo ostvariti video-
konferenciju koristeCi se jednim ISDN kanalom (64 kbids). IzraEunajmo
prijenosnu brzinu potrebnu za nekomprimirani CIF i QCIF (Quarter CIF -
Eetvrtina CIF fonnata slike) video uz standardnu frekvenciju osvjeiavanja dike
30fps:
CIF: Y ( 3 5 2 ~288); Cb, Cr (176x44);
QCIF: Y (I76x 144); Cb, Cr (88x 72);
Za prijenos nekomprimiranog videa CIF formata potrebno je dakle 36.4 MbiUs.
To je ekvivalent 570 ISDN kanala po 64 kit%. Smanjimo li rezoluciju na QCIF,
Sto je zaista sitno, joS uvijek je potrebno 9.124 MbiUs. Ukoliko smanjimo
frekvenciju na samo 10 okvira u sekundi, Sto je apsolutni minimum za postizanje
koliko-toliko upotrebljive videokonferencije, dolazimo na 3.041 MbiUs. Da
bismo doSli na razinu od 64 kbit/s, potrebna je kompresija 47.5:l.
Primjec Film televizijske kvalitete
izraEunajm0 kolitinu podataka za nekomprimirani video uz format 640x480
piksela, 24-bitnu boju i 30 fps, Sto odgovara kvaliteti televizijske slike po NTSC
format..
UVODU TEORIIU MFORMACIJE I KODlRANJE 7. INFORMACIJSKASVOJSTVA I PRMCIPI KODIRANJA MEDIJA

Jedan okvir uz rezoluciju 640x480 predstavlja 307 200 piksela. Uz 24 biVpiksel
to iznosi 7.372.800 bita. Uz 30 fps, dolazimo do 221.184.000 biVs. To je
pribliino 27 MB za jednu sekundu nekomprimiranog videa, tj. oko 99 GB za
jedan sat videa. Uz kompresiju 100:l jedan sat videa svodi se na 990 MB.
diferencijalno kodiranje. PoSto je kompenzirana slika sliena trenutnoj slici,
signal razlike se bitno smanjuje u odnosu na diferencijalno kodiranje bez
kompenzacije gibanja. Vektori pomaka se zasebno kodiraju i Salju dekoderu jer
su neophodni u postupku dekodiranja kako bi se i u dekoderu mogla izvrSiti
kompenzacija gibanja.

7.4.2. Postupak kompresije videa

Kompresija videa zasniva se na postojanju redundancije u podacima. U sluEaju
videa, postoji prostoma i vremenska redundancija. Prostorna se redundancija
javlja unutar jednog okvira slike, te se uklanja kao i kod nepomiene slike;
najEeSCe se koristi transformacijsko kodiranje. Vremenska redundancija se
pojavljuje izmedu susjednih okvira u videu, a uklanja se diferencijalnirn
kodiranjem. No, pomaci u slici od jednog do drugog okvira Eine diferencijalno
kodiranje neefikasnim. To se rjeSava kompenzacijom gibanja (engl. motion Slika 7.39: Princip kompenzacije gibanja; lijevo je slika n-1, desno slika n
compensation), Sto je jedna od najvainijih komponenti kodera videa.
Slika 7.40 prikazuje primjer kompenzacije gibanja na dvje~na uzastopniin
slikama iz stvamog videozapisa. Na okviru n su prikazani i vektori pomaka.
Kompenzacija gibanja Pozadina slike je u pokretu zbog toga Sto se pomiEe kamera. To se vidi iz
Slika 7.38 ilustrira problem koji se pojavljuje kod diferencijalnog kodiranja slike horizontalno postavljenih vektora pomaka. Jahae se zbog pokreta jahanja pomiCe
bez kompenzacije gibanja. Na pwi pogled, slike n i n - 1 izgledaju zaista sliEno. vertikalno, a poSto ga kamera prati, horizontalna je komponenta njegovog
Jedina razlika je pomak lica udesno i trokuta ulijevo. Ljudski vid uoEava oEite gibanja unutar okvira slike manja nego u sluEaju pozadine.
sliCnosti, a razliku primjekujemo samo malo pailjivijim pogledom. No, dok
ljudsko oko uoEava ovu oCitu slithost, diferencijalni koder jednostavno oduzima
vrijednosti boje piksel po piksel. Ovakvom naivnom obradom dobili bismo
signal razlike u kojelnu ima viSe informacije nego u originaInoj slici, dakle
ovakva "kompresija" se ne isplati.
SLlKA ml SUKA n RAZLlKA

Slika 7.38: Problem diferencijalnog kodiranja slike bez kompenzacije gibanja
Ovaj se problem rjeSava postupkom kompenzacije gibanja, Ciji osnovni princip
prikazuje Slika 7.39. Slika je podijeljena na blokove. Za svaki blok u slici traii
se najsliEniji blok u prethodnoj slici. Razlika poloiaja (u pikselima) izmedu ova
dva bloka naziva se vektor pomaka. Vektori pomaka ratunaju se za sve blokove
u slici. Dobiveni vektori pomaka koriste se za pomicanje blokova prethodne
slike. Tako se dobiva kompenzirana slika, i na kompenziranoj se slici vrSi
- -
Slika 7.40: Primjer kompenzacije gibanja: vektori pomaka
Slika 7.41 prikazuje signal razlike diferencijalnog kodera za ovaj primjer. Na
lijevoj je strani signal razlike kakav bi se dobio diferencijalnim kodiranjem bez
kompenzacije gibanja. To je jednostavno razlika boje piksela izmedu okvira n i
n - I . Vidimo da je ta razlika znatna Na slici desno vidi se signal razlike uz
primjenu kompenzacije gibanja. To je razlika boja piksela u slici n u odnosu na
modificiranu sliku n - 1, gdje je slika n - 1 modificirana na taj naEin da su
UVODU TEORIJU MFORMACIJE I KODlRANJE 7. INFORMACIJSKASVOJSTVA I PRMCIPI KODIRANJA MEDIJA

blokovi slike pomaknuti za vektore pomaka. Slika n - l modificirana poinoCu vremenskog koraka (prediktor - blok P), raEuna se razlika izmedu izvorne i
vektora pomaka vrlo je sliEna slici n, i vidimo da je razlika puno manja. OCito je predvidene slike, te se ova razlika kvantizira i entropijski kodira.
da signal razlike nakon kompenzacije gibanja (slika desno) sadrii manje
informacija od signala razlike bez kompenzacije gibanja (slika lijevo) te se moie
bolje kodirati.

Slika 7.43: Hibndno kodiranje videa: diferencijalni koder

Slika 7.44 prikazuje osnovnu verziju hibridnog kodiranja videa, kombinacijom

diferencijalnog i transformacijskog kodiranja. Ovo moierno zamisliti kao obican
diferei~cijalnikoder, uz to Sto se signal razlike kodira transformacijskim kode-
rom, dakle ubacuje se korak transformacije. Ovime se dobiva bolja kompresija
Slika 7.41: Signal razlike sa (desno) i bez (lijevo) kompenzacije gibanja signala razlike. Kako bi se moglo vrSiti predvidanje, potrebno je ubaciti inverznu
transformaciju prije prediktora P.
Osnovni princip kodiranja videa
Kodiranje videa se zasniva na kombinaciji nekoliko metoda, dakle radi se o
hibridnom kodiranju. Osnovni princip kodiranja videa moie se saieti na sljedeCi
naEin:
Kodiranje videa je diferencijalno kodiranje slika s kompenziranim
gibanjem, te transformacijsko kodiranje signala razlike.
Ovaj je princip osnova najvainijih normi za kodiranje videa, a njihove su razlike
u detaljima izvedbe. Promotrimo korak po korak kako se pojedine metode
kodiranja uklapaju u ukupno hibridno kodiranje videa.
Krenimo od transformacijskog kodiranja (Slika 7.42). Blokovi slike se
transformiraju DCT transformacijom (blok T), koeficijenti se kvantiziraju (blok Slika 7.44: Hibridno kodiranje videa:.transformacijski i diferencijalni koder,
Q) i entropijski kodiraju (blok VLC). VLC (engl. Variable Length Coder) je joS bez kompenzacije gibanja
jedno ime za entropijsko kodiranje, poSto se ono zasniva na dodjeli kodova
raznih duljina simbolima. U prethodnoj slici nedostaje joS kompenzacija gibanja. Slika 7.45 prikazuje
potpuni hibridni koder videa. Vektori pomaka se razunaju procjenom gibanja
(blok ME - motion estimation). Vektori pomaka se prosljeduju prediktoru, koji
T Q VLC ih koristi kako bi izvrSio odgovarajuCu kompenzaciju gibanja, tj. pomake na
prethodnoj slici, te na osnovu tako dobivene kompenzirane slike konstruirao
Slika 7.42: Hibridno kodiranje videa: transformacijski koder predvidenu sliku. U blok za procjenu gibanja ulazi prethodna i trenutna slika, te
se raEunaju vektori pomaka medu njima. Vektori pomaka Ce se morati koristiti i
Druga vafna kolnponenta hibridnog kodera videa je diferencijalni koder (Slika
7.43). VrSi se predvidanje slike na bazi dekodirane slike iz prethodnog
UVOD U TEORUU INFORMACIIE I KODIRANJE
na dekoderu; stoga se i oni entropijski kodiraju i ukljuEuju u izlaznu struju
bitova.
VLC
TQ: Transfomacija
+ kvantizacija
Slika 7.45: Hibridno kodiranje videa: potpuna slika
7.4.3. Evolucija normi za kodiranje videa
Slika 7.46 prikazuje norme za kodiranje videa rasporedene prema vreinenu
nastanka. NaznaEene godine treba uzeti kao okvimu naznaku, jer je nastajanje
normi dugotrajan i kontinuiran proces, tako da se rad na ramim normama obiEno
inedusobno preklapa. Tako je, na primjer, rad na normi MPEG-4 poEeo vet
1993. godine, dok je MPEG-2 joS bio u dovrsavanju. Dvije glavne struje u
nastajanju video normi dolaze od Medunarodne Telekomunikacijske Unije
(International Telecommunication Union, ITU), te od skupine MPEG (engl.
Motion Picture Expert Group) unutar Medunarodne organizacije za normizaciju
(engl. International Organization for Standardization, ISO). Ove dvije skupine
posljednjih godina formiraju i zajedniEku radnu skupinu pod nazivom Joint
Video Team (JVT) koja donosi zajedniEku specifikaciju koja se po ITU
imenovanju naziva H.264, a po MPEG imenovanju MPEG-4 Part 10 ili
Advanced Video Coding (AVC). H.264IAVC se u trenutku pisanja ove knjige
smatra najnaprednijom normom za kodiranje videa.
H.264 1MPEG-4
H.261 MPEG-1 MPEG-2 H.263 MPEG-4 Part 10 (AVC)
(25 str.) (250 sa.1
Slika 7.46: Evolucija normi za kodiranje videa
7. INFORMACIJSKA
SVOJSTVA 1PRINCIPI KODIRANJA MEDIJA
Valja napomenuti da norme specificiraju samo sintaksu struje bitova, te njezinu
semantiku, tj. naEin na koji dekoder mora interpretirati struju bitova i iz nje
stvoriti sliku. Standardi ne specificiraju n&in rada kodera. Tu je ostavljena
sloboda proizvoctaEima, te postoje velike razlike u kvaliteti i performansama
raznih kodera kompatibilnih s istom normom.
Sve norme slijede osnovni princip kodiranja koji smo prethodno prikazali.
Mectutim, unutar tog osnovnog principa dolazi do evolucije i razrade detalja i to
na svim dijelovirna kodera:
strategija predikcije (1, P, B okvirilblokovi),
veliEina blokova (kompenzacija gibanja, DCT),
veliEina vektora pomaka,
preciznost vektora pomaka,
hijerarhijska podjela slika na jedinice i njihovo pakiranje u struju
bitova.
Takvom evolucijom doglo je do ogromnog napretka u kompresiji, uz velik porast
sloienosti specifikacija i kodera. Tako se npr. specifikacija H.261 sastoji od
svega 25 stranica teksta, dok je specifikacija H.264lAVC dosegla Eitavih 250
stranica. Pritom osnovni princip kodiranja ostaje isti kao i kod najjednostavnije
norme, dakle radi se o evoluciji a ne o revoluciji.
U sljededem dijelu ovog poglavlja promotrit Cemo vrlo okvimo navedene
aspekte videokodera i njihovu evoluciju od ranih normi pa do danas.
Strategija predikcije (I, P, B okvirilblokovi)
PoSto d'iferencijalno kodiranje akumulira pogrdku, potrebno je dekoderu s
vremena na vrijeme poslati potpunu, ispravnu sliku. Stoga veC prve norme uvode
dvije vrste okvira (slika): I-okvire koji su kodirani kao sarnostalna slika, te P-
okvire koji su kodirani koristenjem predikcije i kompenzacije gibanja u odnosu
na prethodni okvir. Ova se ideja kasnije proSimje, jer je uoEeno da se mogu
postiCi bolji rezultati ako se kao referentne slike za predikciju koriste i prethodna
i iduCa slika. Za neke dijelove slike mogu se pronaCi sliEni blokovi u prethodnoj,
a za neke u sljedeCoj slici. To je ideja B-okvira. Ova se ideja kasnije jog
proSiruje na vigestruke referentne slike.
Slika 7.47 prikazuje strategiju kodiranja I- i P-okvirima kakvu koristi norma
H-261 (slika je pojednostavljena - u stvarnosti je broj P-okvira izmdu svaka
dva I-okvira veCi). I-okviri ("I" dolazi od Zntra, dakle kodiranje unutar okvira)
kodiraju se samo transformacijskim dijelom kodera, te nisu ovisni o prethodnim
okvirima. P-okviri (prediicijski, nazivaju se i "inter-kodirani" jer se kodira
razlika izrnedu dvaju okvira) su predikcijski kodirani u odnosu na prethodni
okvir i ne mogu se dekodirati prije dekodiranja prethodnih okvira. Ovisnost
svakog P-okvira o prethodnom okviru naznatena je na slici (Slika 7.47)
strelicama.

Slika 7.48: I-, P- i B-okviri

B-okvir se izratunava na temelju prethodnog i sljedeteg I ili P okvira, tako da

Slika 7.47: 1- i P-okviri oni moraju biti poslani dekoderu prije B-okvira. Stoga je redoslijed slanja i
dekodiranja okvira drukEiji od redoslijeda prikaza. Pogledajmo to na primjeru. U
Jasno je da su I-okviri veCi (u smislu broja bitova) od P-okvira. Kornbinacijom nizu okvira za prikaz pojavljuju se I, P i B okviri naznatenim redoslijedorn:
I- i P-okvira postiie se kompromis medu raznim zahtjevima koji se postavljaju
na kodiranje videa:
Vrsta okvira: I B B P B B P B B I B B P
-

P-okviri daju bolju kornpresiju; Brojokvira: 1 2 3 4 5 6 7 8 9 10 I1 12 13

okviri daju moguCnost izravnog pristupa (kada bi se koristili sarno P- -- -

okviri, bilo bi neophodno dekodirati video od sarnog poCetka kako bi se

Kodirane se slike ne Salju u njihovom prirodnom vrernensko~nslijedu, nego se
doSlo do neke vremenske totke);
uvijek I ili P okvir Salje prije B okvira. Redoslijed slanja i dekodiranja izgleda
okviri omoguCavaju oporavak od pogreSaka, koje bi se inaCe ovako:
akumulirale diferencijalnim kodiranjem.
U MPEG normarna, kao i u normi H-263 pojavljuje se tri vrste slika - uz vet
poznate I- i P-okvire, dodani su jog i B-okviri ("B" je skraCeno od bi-
directional). B-okvir je dvosmjemo predikcijski kodiran, dakle u odnosu na
prethodni i sljedeCi I- ili P-okvir. Za svaki se rnakroblok (makroblok je dio slike,
obiEno 16x16 piksela) unutar okvira moie koristiti predikcija unaprijed - Time se omogutuje dekodiranje B okvira, za koje je potreban idudi I iIi P okvir.
referenca na prethodni okvir - ili pak predikcija unatrag - referenca na iduCi
- -
Jasno je da se time uvodi odredeno kaSnjenje jer se ne rnoie kodirati npr. okvir
okvir. Za makroblokove koji se mogu pronati u prethodnom okviru (npr. br. 2 sve do pojave okvira br. 4. Medutim, ~Einkovitostkompresije se ovirn
predrneti koji se pomiEu, pozadina slike), koristi se predikcija unaprijed. No, postupkom uvelike poveCava. TipiEni omjeri veliCina su I = 3P = 5B, dakle
neki makroblokovi su novi, dakle nema ih u prethodnoj slici. Primjer je pozadina I-okvir je u prosjeku tri puta veti od P-okvira, a pet puta veki od B-okvira.
otkrivena pomakom nekog objekta u prednjem planu na slici. Vrlo je vjerojatno
da Ce takvi makroblokovi biti vidljivi i u sljedeCoj slici, te se vrSi predikcija VeliEina blokova (kompenzacija gibanja, DCT)
unatrag, u odnosu na iduCu sliku. PoSto se za neke rnakroblokove koristi
predikcija unaprijed, a za neke unatrag, ovaj se postupak naziva dvosmjerna Izbor veliEine blokova na kojima se vrii kompenzacija gibanja, odnosno DCT
predikcija, uz reference iz prethodnog i iduCeg okvira. Biranjem odgovarajute transformacija, direktno utjeEe na rezultate kodiranja. Manji blokovi daju bolju
predikcije za svaki makroblok unutar slike postiie se pun0 bolja kompresija, jer preciznost, a time i bolju kvalitetu kodiranja. Medutim, pri koriStenju manjih
se na ovaj naEin mogu pronaCi rnnogi blokovi za koje to prije nije bilo mogute. blokova potrebno je viSe ratunanja Sto u starijim koderima jednostavno nije bilo
mogute. Noviji standardi dozvoljavaju koriitenje manjih blokova. VeliEine
Slika 7.48 prikazuje tipiEan redoslijed I-, P- i B-okvira u slijedu okvira videa. blokova za pojedine norme daje Tablica 7.7. Kod normi koje dozvoljavaju
Strelice prikazuju medusobnu ovisnost okvira. Vidimo da je svaki I-okvir razlitite veliEine naznatena je najmanja.
nezavisan, svaki P-okvir ovisi o prethodnom I- ili P-okviru, a svaki R-okvir 0
dva najbliia I- ili P-okvira.
 7. INFORMACIJSKASVOJSTVA I PRINCIPI KODIRANJA MEDIJA

Tablica 7.7: Velitina blokova u nekim normama za kodiranje videa interpolacijom se ivaEunaju vrijednosti svjetline "polu-piksela". Prilikom
pretraiivanja, blok u promatranom okviru se sada usporeduje i s ovako nastalom
novom slikom s interpoliranim polupikselima iz referentnog okvira. Kao rezultat
VeliEina bloka za DCT se dobiva vektor pomaka s preciznoSCu od pola piksela.
$ VeliCina bloka za kornpenzaciju gibanja 16x16 / 8x8 I 4x4 1/ Pola piksela

VeliEina vektora pomaka

VeliEina vektora pomaka odreduje povriinu pretrage za sliEnim blokom pri
kompenzaciji gibanja. VeCi dozvoljeni vektor pomaka, tj. veCa povriina
pretraiivanja, daje veCu vjerojatnost pronalaienja sliznog bloka te u principu
remltira boljom kompenzacijom gibanja. Ako je dozvoljena veliEina vektora
pomaka premala, moguCe je da se uslijed brzog gibanja blok pomakne u odnosu
na prethodnu sliku viSe nego Sto se moie prikazati vektorom pomaka, te se takav
blok ne moie koristiti u kompenzaciji gibanja. VeCim se vektorom pomaka ovaj
problem izbjegava. Medutim, veCi dozvoljeni vektor pomaka maEi i veCu
povrSinu pretrage slike. Pretraga slike je raEunalno intenzivna operacija, te se Slika 7.49: Interpolacija totaka slike za kompenzaciju gibanja
s preciznoitu od pola piksela
poveCavanjem povrSine pretrage postavlja problem zahtjevnosti izvodenja (to je
pogotovo bio problem u vrijeme nastajanja ranijih normi; napretkom raEunalnog
sklopovlja taj je problem manje izraien). Ujedno, postoje i granice iznad kojih Hijerarhijska podjela slika na jedinice i njihovo pakiranje u
se ne isplati poveCavati vektor pomaka i povriinu pretrage iz tog razloga Sto u struju bitova
veCini sluEajeva u slici ne dolazi do izuzetno velikih pomaka - jednostavno
rehno, malo je vjerojatno da Ce predrnet, koji je u slici n bio u donjem lijevorn U svim normama za kodiranje videa slika je hijerarhuski podijeljena na sve
kutu slike, u slici n + 1 preskoEiti u gomji desni kut. U praksi se koriste vektori manje i manje jedinice. Kao primjer prikazat Cemo hijererhiju slike u normi
pomaka od 16 do 32 piksela. H.261 (Slika 7.50).

Preciznost vektora pomaka

ToEke u slici imaju konaEnu veliEinu koja nije zanemariva. Ako pratimo neki
predrnet u nizu video slika, predmet se ne mora iz jedne slike pomaknuti u
s1jedeCu za cijeli broj toEaka, nego njegov pomak moie biti npr. veliEine 3.5
piksela u slici.
Kako bi se poboljiala kompenzacija gibanja, koristi se metoda raEunanja vektora I I I
CIF
pomaka na pola piksela. Ovo se postiie na taj naEin da se u referentnoj slici
(dakle, u onoj u kojoj traiimo najsliEniji blok), umjetno stvore dodatne toEke na Hiierarhiia u H.261:
B = 8 x 8 pixela
poloiajima i m e d u postojeCih toEaka. Vrijednost svjetline za dodatne t&ke M B = ~ ~ B ( Y ) + ~ x B ( c ~ ~ c ~ )
generira se interpolacijom iz susjednih toEaka. Tako dobivamo referentnu sliku G 0 B = 3 ~ 1 ME
1
veCe rezolucije, te u njoj traiimo najslitniji blok. U novijim se standardima QCIF = 3 x GOB
(MPEG-4, H.264lAVC) koristi i preciznost na Eetvrtinu piksela. Slika 7.50: Hijererhijska podjela slike u normi H.261
Slika 7.49 prikazuje postupak dodavanja dodatnih toEaka za postizwie
preciznosti od pola piksela. Iz poznatih vrijednosti svjetline piksela
UVODU TEORIJU INFORMACIJE 1 KODlRANJE 7. INPoRMACIJSKA
SVOJSTVA I PRINCIPl KODIRANJA MEDlJA

Najniia jedinica slike je blok, koji se sastoji od 8x8 piksela, svaki piksel ima 8
bitova. Blok (B) moie sadriavati podatke o svjetlini (Y) ili boji (Cb i Cr). Boja
je poduzorkovana, tako da na svaka 4 bloka svjetline dolaze samo dva bloka
boje. Ovaj skup od 4 bloka svjetline i dva bloka boje naziva se makroblok (MB).
Makroblok opisuje dio slike od 16x16 toEaka. Makroblokovi tvore skupine
blokova (engl. Group of Blocks, GOB), s 3x 11 makroblokova za jednu skupinu.
Slika QCIF fotmata sadrii tri skupine blokova.
Primjene s najviiim brzinama su HDTV i DVD, koji pruiaju najbolju kvalitetu
videa. Digitalna televizija koristi srednje brzine, a ispod nje po brzini je video
CD.
Na niskim brzinama nalazimo videotelefoniju, videokonferenciju i strujanje
videa putem interneta, a na vrlo niskim brzinama trebala bi raditi pokretna
videotelefonija.

Struja bitova fonnirana je hijerarhijski prema podjeli slike na jedinice. Prije Norme se dijele na otvorene i vlasniCke. Otvorene norme izdaju medunarodna
svake jedinice podataka dolazi zaglavlje s podacima koji vrijede za Eitavu tijela, njihova specifikacija je otvorena svima, a isto tako i implementacija i
jedinicu. Na primjer, u zaglavlju slike se naznaEava radi li se o I- ili P-okvim. U komercijalno korigtenje standarda su dozvoljeni svima pod razurnnim uvjetima.
zaglavlju skupine blokova daje se kvantizacijski faktor za cijelu skupinu Od otvorenih normi za video najpoznatije su preporuke ITU-T H.261 i H.263 i
blokova, no on se joS moie podeSavati i u zaglavljima makroblokova. Ovakvom to za primjene u videokonferenciji i videotelefoniji, te niz MPEG normi pod
strukturom postiie se efikasno spremanje slike u slijed bitova. okriljem ISO. Prve MPEG norrne su bile specifiEne za odredena podruEja brzina,
a najnovije norme MPEG-4, te MPEG-4 AVCfH.264 ukljuEuju kodere za
praktiCno sve brzine zanimljive za danaSnje primjene.
Pregled normi za kodiranje videa prema namjeni
VlasniCki formati za zapis videa (na slici su tri najpoznatija) su uglavnom u
Slika 7.51 prikazuje primjene i norme za kodiranje videa rasporedene prema podruEju niskih brzina i Cesto se koriste za video na internetu, ali i za dmge
brzini prijenosa. Brzine do 60 kbit/s smatraju se vrlo niskima, do 1.5 Mbitls primjene. Specifikacije vlasniEkih fomata nisu javno objavljene, a njihova
niskima, od 1.5 Mbitls srednjima, a oko 20 Mbit/s poEinju visoke brzine. implementacija i komercijalno koriitenje regulirani su uvjetima vlasnika.
Strujanje videa na internet
Pokretna Videokonferencija HDN
vldeotelefonija ISDN Video CD Digitalna N DVD
videotelefonija
PSTN
videotelefonija
I I I I
8 16 64 384 1.5 5 20

Vrlo niske brzine Niske brzine Srednje brzine Visoke brzine

------<--y'
Realvideo
(Real Networks)
Windows Media 1 otvoreni format1
vlasnitki formati
(Microsoft)
QuickTime
(Apple) , i
Slika 7.51: Norme za kodiranje videa i njihove namjene
 -w - rl"v.' " "

8.4. RjeSenja zadataka (Entropijsko kodiranje)

 8. RJESENJAZADATAKA

8.1. RjeSenja zadataka (Osnovni pojmovi

teorije informacije)

Zadatak-2: Matrica uvjetnih vjerojatnosti prijelaza u kanalu pCv,lxi), iznosi

p ( y , X )= [
Ip
0
]
Radi lakode zapisa uvedno sljededu oznaku: p,=p(xi)
0 Pg I-pp
za i=l , 2 , 3 . lz uvjeta zadatka (H(q=H(Y)) dobivamo:

U fomuli (I) nedostaju nam vjerojatnosti pojavljivanja simbola na izlazu iz kanala koje
demo odrediti iz matrice zdruienih vjerojatnosti uz koriStenje jednakosti-

odnosno ~ ( n=)P I , P(YZ)=~2 + P*(P~- p 2 ) i P ( Y ~ )P, = + P ~ ( P-Z~ 3 ) Ra~pisujudi

. i
rjeSavajuCi jednakost (1) dolazimo da je ista-zadovoljena uz uvjet p2=p3.
Zadatak-3: OznaCimo s X skup svih mogutih ishoda prikaza, tj. X = {xotXI,..., x9}. IZ
teksta zadatka uotavamo da vrijedi da jep(xi) = 1/10 za i = 1, ..., 10.
a) Obzirom da su svi p(xi) jednaki slijedi da je entropija jednog prikaza ili entropija po
jednoj pojavi simbola na indikatoru sklopa, jednaka: H(X)=log210=3,322bita/simbolu.
b) Entropiju sustava za sluEaj postojanja kvara na oznakama moiemo izratunati na naEin
da navedeni sustav promatramo kao komunikacijski kana1 s pogrelkama. To jest,
izvorilte X generira (ispravno) simbole koji se na odrediSnoj strani (strana Y)
preslikavaju u jedan od Sest mogudih simbola (Slika 8.1).
UVOD U TEORIJU MFORMACIJE I KODIRANJE

1 0,lO. p W = 0,30, pb4) = 0,10, p b ~ = ) 020. Na kmju, entropija jednog pnkau na

pokazniku nakon kvara iznosi H(Y) = 2,446 bitds~mbolu.
Zadatok-4: C = I-p bitdsimbolu.
Zadatak-5: Na slici (Slika 8.2) dan je model kanala opisanog u zadatku. lz razloga
preglednosti slike samo su navedeni prijelazi za jedan ulazni simbol.

J
Slika 8.1

Najjednostavniji naEin odredivanja vjerojatnosti izlaznog skupa simbola je preko matrice Slika 8.2
zdruienih vjerojatnosti. Dakle, prvo odredimo matricu uvjetnih vjerojatnosti prijelaza u
Vjerojatnosti pojave simbola na ulazu u kana1 su jednake i iznose 113, tj. p(xi) = 113 za
i = 1, ..., 3. Da bisrno odredili vjerojatnostp(yjlxi) moramo pronaCi vezu izmedu ulaznog
i izlaznog skupa simbola. Takoder, sa slike vidimo da je

0 0 0 1 0 0
0,8 0,l 0,l 35
310 3 1 0
1 1
1 4 --
1 1
--
[ ~ ( z n\xi)] =[p(yj IZ,)] = ,odnosno [p(x,,zk)]= -- .
310 3 5 310
0,l 0,l 0,8
1 1 1 1 14

Iz matrice uvjetnih vjerojatnosti lako se odreduje lnatrica zdruienih vjerojatnosti, kao

1 iz uvjeta p(z,) = i p ( x , , z k ) , za k1,2, 3 dobivamo p(~~)=p(z~)=p(~~)=l13
icl
ili drukEije
zapisano p[ZJ = p[z,zlz3] = [I13 113 1/31. V a h o je uociti da se vektor vjerojatnosti p [ q
mogao dobiti klasiEnim mnoienjem matrica, tj. p [ a = p[XJXp[ZIXJ.

Iz [p(yj,z,)] =
; :1 ::
-- -- --
:1:l
dobivamo vjerojatnosti pojave simbola na izlazu iz

Lrlo 310 33 J
kanala, tj.pkl) = p b 2 ) =pb3) = 113 ili drukcije zapisano p [ y = ~ ~ ~ y ~ y ~113
] =1/31.
[ l B
I u ovom sluEaju vrijedi sljedeia jednakost p [ y = p [ a * p[YIZJ. Da bismo odredili
vjerojatnost p w x i ) posluiit Cemo se prethodno napisanim izrazima, tj, p[YJ = p[ZJ*
 p[YIZ] = p [ a * p[Z/q* p[YIq p [ a * p[YIXj, tj. uoEavamo da je p[Y/! = p[Z/A*
=
0,66 0,17 0,17
p[YIZj, Sto nakon proraEuna daje [p(y, lx,)] = 8.2. RjeSenja zadataka (Komunikacijski kanali
0,17 0,17 0,66 I.Jkontinuiranom vremenu)
I(v)
Zadatak-6: C = - bit
- = 175,2 14 -
f s

Zadatak- 7:
je ~ ~ 0 . c,5 =; c-I = 0,5 ; cz = c-2 = -0,25 ;ostale vrijednosti c,,=O.
Zadata k-2:
1
(a) x(t) je signal energije, tj. E = -
a <m i P =0 .

(b) x(1)je signal snage, tj. E = m i P = 0.5 .

(c) X(I) nije signal snage niti signal energije, tj. E = m i P = m

I ~ ) P ( Y I=) 0914,pbz) = 0,14,p(Y3) = 0,20,pbr) = 0 , 2 6 , ~ b s =

c) H(X) = 2,32 bitalsimboiu; H(Y) = 2,27 bitalsimbolu.
) 0,26. Zadatak-3:

(a) R,,(r) = 2N"B-

sin(2aBr)
cos(2nfor)
d) I(X;Y) = 1,92 bitalsimbolu; H(X/Y) = 0,41 bitalsimbolu. 2aBr
Zadatak-8: (b) P = Rn(0) = 2NoB W.
a)p011) = 0 3 , pb2) = 0,36,pbj) = 0,26. Zadatak-4:
b) H(4Y) = 1,124 bitd simbolu; I(X;Y) = 0,4095 bitdsirnbolu.
c) AI(X;Y) = 0,145 bitalsimbolu.
Zadatak-9: R = 1,726 bitals.
c., t ck
Q c,

Zadatak-10:
a) I(X,Y) = 1,7223 bitdsimbolu.
b) H ( 4 Z ) = 0,5624 bital simbolu; H(ZJY) = 0,9773 bitdsimbolu.
c) H(4Y) = 1,2776 bita/simbolu.
Zadatak-I I: A A
(b) co=A/4 (istosmjerna komponenta); cl = c-I = -; c2 = C-Z A .
= - ,. c3 = C-3 = -
a) H(Y) = 2,83 13 bitdsirnbolu. fiff 2ff 3fiff '
A
b) I(X;Y) = 1,3458 bitalsimbolu. Cq = C-q = 0 ; cg = C-5 = --
sfiff '
Zadatak-12:
a)pCvl) = 0,102,pCv2) = 0,112, pCy3) = 0,528, p h ) = 0,114, pCvd = 0,080, pb6) = 0,056,
pCv7) = p b d = 0,004.
b) I(X;Y) = 0,0943 bitd simbolu.
Zadatak-5:
(a) Gomja graniEna frekvencija niskopropusnog filtra nalazi se na frekvencijif,>20 kHz.

Rekonstrukciju signala m(1) nijc mogude napraviti koristedi metodu filtriranja iz razloga
preklapanja pojaseva.

MdI) NPF
,------- j
I\
I \
I
(c) (I/r)=!3.33 kHz. I L'- ->' -
-60 -50 -35 -25 -15 25 35 50 60 f, [kHz]

Rekonstrukciju signala m(t) rnoguCe je napraviti koristedi niskopropusni filtar (NPF)

granitne frekvencije 25 kHz.

2a Zadatak-10:
Napomena: Koristiti Fourierovu transfomaciju e-'lrl tt ,(a>')).
4x2f2+ a2 (a) (SIN),,,,=3,60 15 dB.
(b) (SIN),z,,z=13,5218 dB.
Zadatak-11: B=7,133 kHz.
Zadatak-12:
(a) R ~ = ~kbitls.
o
(b) Maksimalna moguda ostvariva prijenosna brzina u kanalu je C = 66,6 kbit/s.
Obzirom da je Rb > C, nemogude je napraviti prijenos simbola danirn kanalom bez
pogresaka u prijamu.
(c) SIN 2 24,l dB.
Zadatak-13: L = 82; (SIN) = 43,9 dB.
Sa slike je vidljivo da se iz uzorkovanog signala rekonstmkcija signala m(1) moie Zadatak-ll: (SIN) = 96,1538 ili 19,8297 dB.
napraviti koristedi pojasnopropusni filtar (PPF) pojasa propuStanja fL 5 f S 25 kHz uz
10 5 fL 2 15 kHz.
Zadatak-IS: ;,(I) +z)
= O,707sin(2~2000r
4
[V].
 UVOD U TEORIJU MFORMACIJE I KODIRANJE

8.3. RjeJenja zadataka (ZaJtitno kodiranje)

Zadatak-I: Zadatak-4:
a) kodna rijee c = [10110100101011011].Masno su otisnuti kontrolni bitovi.
12 7
b) E ( ~ , , , ~=
) II = 0,7059, E(,,,,) = - = 0,6364. Efikasnost se smanji za 0,0695 ili 6,95%.
11

a) Matrica (A) je

b) jednostruke i trostruke
, dok je generirajuda inatrica oblika G = [I I A] (I je jediniena matrica).

Zadatak-2:
a) da (kodna rijeE mora zadovoljavati uvjet [ l o 101O ] H=~ 0)
b)X= 0
c) [0101
d) osam kodnih rijeti, i to: 000000
001111 d) Dekoder Ce napraviti pogreSno dekodiranje ako u primljenoj kodnoj rijeEi postoje 2 i
vise pogresaka, tj.
010011
011100
100101
101010
110110
111001
e) 3 (minirnalna udaljenost koda je 3)
UVOD U TEORIIU INFORMACIJE I KODIRANJE

(b) ulaz 1 0 0 1 1 1 0 1 0 0
izlaz 10 11 11 10 01 10 00 01 11 11

Zadatak- 7: (c)

(a) poslanakodnarijeE(s) 10 11 11 10 01 10 00 01 I1 11
primljena kodnarijeE(sP) 10 01 11 00 01 10 00 01 11 11

Viterbijev algoritam:

prethodno sadaSnje Hamm.

c) jednostruke pogreike stanje stanje dist.
st= 10 01 11 00 01 10 00 01 11 11
putovi: 00 00 00
10 11 11
00 00 10
10 11 01
00 10 11
10 01 00
00 10 01
10 01 10
UVOD U TEORJJU TNFORMACIJE I KODIRANJE 8. RJESENJA ZADATAKA

* - pre2ivjeli put
(b) Put s minimalnom distancom (2) oznaEen je u tablici Viterbijevog algoritma, tj.
najvjerojatnija poslana kodna rijeE je s=[10 11 11 10 01 10 00 01 11 1I].
UVOD U TEORIJU MFORMACIJE I KODIRANJE 8. RJESENJAZADATAKA

Zadatak-11:Niie je dan dijagram stanja za konvolucijski koder iz zadatka-9.

Dani dijagram stanja iskoristit Cemo u svrhu zadavanja sljededih jednadibi:

(b) ulaz 1 1 0 0 1 0 I
(1) ~b = D(xa + x c )
izlaz 011 110 010 111 011 101 100

(d) Put 0 0 ~ 1 0 ~ 0 1 daje

~ minimalnu
0 0 mogdu distancu koda koja
iznosi dmi,=7.
1-D
D+D2-D3
x, = Dx, + Dx, 3
[D+LcD3
-D
)
x, = Dx, .

I - D - D ( D + D ~ - D ~ ) ~ = ~ , ~ ~ , 1
Obzirom da je xi = D2xC dobivamo ulazi
D+D2-D3 D2
1
Prijenosna funkcija T(D) definirana je kao
2

Lako se pokamje da je minimalna moguCa udaljenost koda dmi,=4i da ista odgovara

putu:
UVOD U TEORIJU INFORMAClJE I KODIRANJE

@) T(D, N ) = -
1-2DN
.
DIN U grahr postoje Letiri puta distance '7.
Slika 8.3

Iz grafa sa slike (Slika 8.3) oditavamo:

8.4. RjeSenja zadataka (Entropijsko kodiranje)
Zadatak-I: RjeSavajuii sustav jednadibi
p, =0,8p, +0,3pb +O,~P,
p,, = 0, lp, + 034~b+ O , ~ P ,
p, =O,lp, + 0 , 3 ~ b+O,~P,
dobivamo vjerojatnosti pojavljivanja simbola na izvori8tu, tj.p,= 18/33 = 611 1, p b = 6/33
= 211 1,
p,= 9/33 = 311 1. Matrica zdruZenih vjerojatnosti pojavljivanja simbola je

9
a) Postupak kodiranja dan je na slici (Slika 8.3). c) Lako se pokazuje da vrijedi: 2-'I I1
,=I

Zadatak-2: Prilikom kodiranja u bilo kojoj drugoj bazi, koja je razliEita od 2, potrebno je I

provjeriti da li irnamo dovoljan broj poruka u cilju ispravnog provodenja kodiranja. Ako
je broj poruka nedovoljan tada je potrebno dodati odredeni broj poruka (s vjerojatnogku
pojavljivanja 0) u postojeii skup u cilju provodenja kodiranja. Prvo treba proraEunati
sljedete:
 U V O D U TEORIJU INFORMACIJE I KODIRANJE

gdje je N broj poruka, B baza u kojoj se kodiranje provodi. Ako je N' - N ;e 0 tada je u
postojeCi skup potrebno dodati joS N'- N poruka s vjerojatnoidu pojavljivanja 0. U
-protivnom, tj. kada je N L- N = 0 kodiranje mo2emo provesti bez dodavanja poruka.
U naiem sluEaju:

Efektivnost koda definira se kao: 6

,
. ==, gdje je B b a a u kojoj je pmvedeno
Dakle potrebno je dodati jog jednu poruku s vjerojatnoiku pojavljivanja 0. L
H(X) = 0,9408 uz L = z12p , l i = 1,8650 - dibita .
Postupak kodiranja dan je na slici (Slika 8.4). kodiranje. Za nag zadatak: E(,, = - 1
L 1.1 simbolu
dibita
z
12
H ( X ) = pi log, pi = 1,7546
i=l
-
s~mbolu
. Za sluEaj kodiranja u bazi 2 dobivamo:

Slika 8.4

Iz grafa sa slike (Slika 8.4) oEitavamo:

p, kodna rijeE li
13,5 0 1
- 0,9865 bita .
Za naS zadatak: E ( ~ =--
) H(X) LIZ L = f p i l , = 3,5570 - 1
11,3 33 2 L in1 simbolu
I2
bita
g,8 32 2 H(X) = log, p, = 3,509 1 - . Vidimo da efektivnost smanji za sluEaj
1 4 simbolu
9,7 31 2 kodiranja s bazom 4.
9,1 30 2 Zadatak-3: L = 2,26 bitafsimbolu. Trajanje simbola T = 1,l ms (T = ll(400 simbola/s x
--
8,6 23 2 2,26 bita/simbolu)).
Zadatak-I: Nakon Sto se provede kodiranje dobivamo:
b o j a A I E H F G M L K J D B C
1, 3 3 3 3 3 4 4 4 4 5 5 5 5

I(X) = 8000 x 3 + 8000 x 3 + 7000 x 3 + ... + 1400 x 5 = 192 500 bita.

Vrijeme potrebno za prijenos optimalno kodirane slike iznosi t = 5,7292 s.
Zadatak-5 Da bismo zadovoljili uvjete zadatka (niti jedna kodna rijeE nije dulja od
Eetiri bita) potrebno je vige poruka tretirati kao gmpu Eija je vjerojatnost pojavljivanja
jednaka sumi vjerojatnosti pojavljivanja poruka. Na ovaj naEin smanjujemo broj pomka
koje treba kodirati, a time i duljinu kodnih rijeEi. Nadalje, grupe kodiramo optimalno, a
poruke unutar grupe ravnomjerno. Nakon kodiranja dobivamo:
boja x, x2 x3 x4 x5 x6 x7 x8
1 , 2 2 3 3 4 4 4 4
-

Vrijeme potrebno za prijenos optimalno kodirane slike iznosi t - 0,338 s.

b) Kodovi A i D su "Eisti" prefiksni kodovi i mogu se jednoznaEno dekodirati. K6d B se

ne moZe jednomaeno dekodirati. Na primjer, kodna rijeE 11 je prefiks od kodne rijeEi
110. K6d C se ne moZe jednoznacno dekodirati. Na primjer, binarni slijed 01 10110 moie
se dekodirati kao x,x2x1x4ili x,x.+x4.

Zadatak-9: RjeSenjeje bilo koji broj iz intervals [0.71753375, 0,7175351.

Zadatak-11: (O,O,a), (O,O,b), (2,l,a), (3,l,b), (6,4,c), (3,4,b), (O,O,kraj slijeda).

Zadatak-13: aababacbaa
Zadatak-11: wabbarwabbanvabbanvabbanvoorwoonvoo
Zadatak-15: 1 2 3 5 4 1 8 2; RjeEnici predajne i prijamne strane nisu u potpunosti isti.
Medutim, dekodiranje je moguCe provesti.
S. Haykin, "Communication Systems", 4, izdanje, John Wiley&Sons,
200 1.
S. Haykin, B. Van Veen, "Signals and Systems", 2. izdanje, John
Wiley&Sons, 2003.
R. G. Gallager, "Information Theory and Reliable Communication", John
Wiley&Sons, 1968.
A. V. Oppenheim, A. S. Willsky, "Signals and Systems", 2, izdanje,
Prentice Hall, 1997.
A. Papoulis, "Signal Analysis", McGraw-Hill, 1977.
P. F. Panter, "Modulation, Noise, and Spectral Analysis", McGraw-Hill,
1965.
E. 0.Brigham, "The Fast Fourier Transform and Its Applications",
Prentice Hall, 1988.
T. M. Cover, J. A. Thomas, "Elements of Information Theory", John
Wiley&Sons, 1991.
Reza, F. M. "An Introduction to Information Theory", McGraw-Hill, New
York 1961.
MacKay, D. J. C. Information Theory Inference, and Learning
Algorithms. Cambridge University Press, 2003.
J. M. Wozencraft, I. M. Jacobs, "Principles of Communication
Engineering", Waveland Press, 1965.
A. Papoulis, "Probability, Random Variables, and Stochastic Processes",
3. izdanje, McGraw-Hill, 1991.
B. P. Lathi, "Modern Digital and Analog Communication Systems", 3.
izdanje, Oxford University Press, 1998.
M. Schwartz, "Information Transmission, Modulation, and Noise", 3.
izdanje, McGraw-Hill, 1980.
R. D. Gitlin, J.F. Hayes, S. B. Weinstein, "Data Communications
Principles (Applications of Cominunications Theory)", Springer, 1992.
Hamming, R. W., "Error Detecting and Error Correcting Codes", Bell
Systems Technical Journal, vol. 26, pp. 147-160, April 1950.
R. Hill, A First Course in Coding Theory, Oxford University Press,
ISBN: 0198538030, SAD, 1990.
M. J. E. Golay, "Notes on Digital Coding", Proceedings of IEEE, vol 37,
pp. 657, 1949.
Gallager, R. G., "Information Theory and Reliable Communication", John
Wiley & Sons, Inc., ISBN: W-471-29048-3, SAD, 1968.
UVOD U TEORIJU INFORMACIJE 1 KODIRANJE

I. S. Pandzic, R. Forchheimer, MPEG-4 Facial Animation - The standard,

implementations and applications, John Wiley & Sons, 2002.
D. A. Huffman "A Method for the Construction of Minimum Redundancy
Codes", Proceedings of the IRE, 40: 1098-1 101,1951
J. J. Rissanen. "Generalized Karft Inequality and Arithmetic Coding".
IBM Journal of Research and Development, 20:198-203, 1976.
R. Pasco. "Source Coding Algorithms for Fast Data Compression".
Doktorska disertacija, Stanford University, 1976.
J. J. Rissanen, G. G. Langdon. "Arithmetic Coding". IBM Journal of
Research and Development, 23(2): 149-162, 1979.
J. Ziv, A. Lempel, "A Universal Algorithm for Data Compression", IEEE
Transactions on Information Theory, IT-23 (3):337-343, 1977
J. Ziv, A. Lempel, "Compression of Individual Sequences via Variable-
Rate Coding", IEEE Transactions on Infonnation Theory, IT-25 (5):530-
546, 1978
T. A. Welch, "A Technique for High-Performance Data Compression",
IEEE Computer, str. 8-19, lipanj 1984.
K. Brandenburg "MP3 and AAC Explained", AES 17th international
conference on High Quality Audio Coding, Florence, Italy, September
1999.
Osterberg, G. (1935) Topography of the layer of rods and cones in the
human retina. Acta Ophthal.(suppl.) 6 , 1-103.
A. Jacquin, "A Fractal Theory of Iterated Markov Operators with
Applications to Digital Image Coding", PhD Thesis, Georgia Tech, 1989.
George K. Zipf, Human Behaviour and the Principle of Least-Effort,
Addison- Wesley, Cambridge MA, 1949
Robert M.Fano, Technical Report no. 65, The Research Laboratory of
Electronics, MIT, Oiujak 1949.
Vladimir Vranit, Vladimir MatkoviC, "Mathematical Theory of the
Syllabic Structure of Croato-Serbian", Jugoslavenska akademija znanosti
i umjetnosti, 1965.
The Unicode Consortium: The Unicode Standard, Version 5.0, Addison-
Wesley Professional, ISBN 0321480910,2006.
Saul I. Gass. Linear Programming. 4" ed. McGraw-Hill, ISBN
0070229686,1975.
Mean Opinion Score (MOS) terminology P.800.1, http://www.itu.int/T-
REC-P.800.1-200607-Ilen
abeceda, 130
aditivni bijeli Gaussov Sum, 109
ADPCM, 323
amplitudni odziv, 72
amplitudni spektar, 60
amplitudni spektar signala, 55
analogni signal, 52
analogno-digitalna pretvorba, 285
apriome vjerojatnosti, 25
aritmetiEko kodiranje, 252,260, 268
aritmetika modulo 2, 140
autokorelacijska funkcija sluEajnog
procesa, 63
autokovarijanca slutajnog procesa,
63
AVC, 356
AWGN kanal, 109
BCH k6d, 190
BCH kodovi, 184
BEC, 129
Berlekampov algoritam, 197
bezmemorijski izvor, 240
bijeli Gaussov Sum, 65
bijeli Sum, 65
binarni simetritni kanal, 4 1
binarni vektor, 141
bit, 15, 16,21
blok kod, 131
B-okvir, 358
CELP, 328
Chienov algoritam, 196
CIF, 351
cikliEan Harnrningov k6d, 189
cikliEan k6d, 168
ciklitna provjera zalihosti, 175
cikliEni posmak, 168
cikliEni Reed-Solomonovi kodovi,
200
CMY, 335
coset, 150
CRC-32,182
DCT, 337,359
DEFLATE, 336
dekodiranje najbliiim susjedom,
132
dekodiranje s povratnom vezom,
227
dekodiranjem s najvekom
vjerojatnoSCu, 132
demultipleksiranje, 68
diferencijalna entropija, 10 1
diferencijalno kodiranje, 297, 354
digitalni signal, 52
dijagram stanja, 21 1
dijeljenje polinoma, 176
dinamika, 113
Diracova delta funkcija, 54
diskretan spektar, 55
diskretna bin'ama konvolucija, 205
diskretna kosinusna transfonnacija,
vidi DCT
diskretni informacijski sustav, 24
diskretni komunikacijski sustav, 1 1
diskretni signali, 5 1
disperzija signala, 74
dit, 16
DMOS, 32 1
UVOD U TEORIJU INFORMACIJE I KODIRANJE
dualni k6d, 151
efikasnost koda, 252
ekvivalentni kodovi, 138
energija signala, 53, 59
entropija, 16, 17, 23,34
entropija prirodnog jezika, 3 11
entropija Suma, 3 1, 38
entropijsko kodiranje, 237
ergoditki izvor, 24 1
faktorizacija polinoma, 173
Fanoov sekvencijalni algoritam, 227
fazni odziv, 72
fazni spektar, 60
fazni spektar signala, 58
FEC, 128
Fourierov red, 62
Fourierova transformacija, 59
fraktalno kodiranje, 347
frekvencijsko multipleksiranje, 69
funkcijski generator, 204
Galoisovo polje, 185
generirajuda matrica, 143
ciklitnog koda, 172
konvolucijskog koda, 204
generirajudi polinom, 171
BCH koda, 184
ciklitnog koda, 172
GIF, 336
graniEna duljina, 203
H.261,363
H.263,363
H.264,363
Harnrningov kod, 162
Hammingova udaljenost, 13 1
Hammingovo ograniEenje, 136
hibridno kodiranje, 238
hibridno kodiranje videa, 354
horizontalna provjera zalihosti, 140
Huffmanovo kodiranje, 252, 255,
268
proSireni Huffmanov kad, 259
I-okvir, 357
ireducibilan polinom, 184
irelevantnost, vidi entropija Suma
izvor informacije, 239
izvori s memorijom, 242
izvorno kodiranje, 237, 28 1
jednolika kvantizacija, 97
jednoznacno dekodabilni kod, 246
JPEG, 337
JPEG 2000,345,348
kanal sa smetnjama (Sumom), 40
kapacitet kanala, 39, 112
koder kanala, 127
kodirana poruka, 127
kodiranje, 237,244
kodiranje zasnovano na modelu,
306
kodiranje zvuka, 3 19
kodna brzina, 202
kodna brzina zaititnog koda, 159
kodno pojatanje, 2 19
kompenzacija gibanja, 352,353,
359
kompresija, 237, 283
kompresija bez gubitaka, 237
komunikacijski sustav, 11, 19,24
kontinuiran spektar, 63
kontinuirani signali, 51
konvolucijski kodovi, 202
korak kvantizacije, 97
Kraftova nejednakost, 250
kugla kodne rijeEi, 133
Kullback-Leiblerova udaljenost, 32
kvadratiEna euklidska udaljenost,
2 18
kvantizacija, 284,285, 342
linearna kvantizacija, 286
nelinearna kvantizacija, 286
vektorska kvantizacija, 288
kvantizacija uzoraka, 95
kvantizacijska karakteristika, 97
kvantizacijske razine, 97
kvantizacijski Sum, 97,286
kvantizator, 96
lineamo binarni blok kodovi, 141
LPC, 327
LTI sustav, 70
LZ77,252,269,336
LZ78,252,271
LZW, 252,271,336
Markovljev informacijski izvor, 243
Markovljev izvor, vidi Markovljev
informacijski izvor
maskiranje zvuka, 3 18,329
meko odluEivanje, 218
Mel, 3 15
memorijski kodovi, 202
rnetode rjetnika, 252,268
metrika putova, 221
10. KAZALO
minimalan polinom, 186
minimalna moguda udaljenost, 2 14
mnogoznaEnost, 3 1
MOS, 321
MP3,33 1
MPEG, 356,363
MPEG4,307,356
multipleksiranje, 68
nat, 16
nejednakost trokuta, 131
nejednolika kvantizacija, 97
neparni paritet, 139
neperioditni signal, 59
nesingulami kod, 247
nesistematski koder, 203
niskopropusan kanal, 74
nit, 16
NTSC, 349
nula polinoma, 185
ograniEenje sfernog pakiranja, vidi
Hammingovo ogranitenje
omjer kompresije, 237
operator kdnjenja, 208
optimalno kodiranje, 250
ortogonalne rijeEi, 151
ostatak dijeljenja polinomom, 169
PAL, 349
paritetna matrica, 155
ciklicnog koda, 174
paritetni bit, 139
paritetno kodiranje, 139
parni paritet, 139
PCM, 95,322
I UVOD U TEORIJU MFORMACIJE I KODIRANJE
percepcijski koder, 330
perfektan k6d, 136, 162
period signala, 53
perioditan signal, 53
permutacija, 137
PNG, 336
poduzorkovanje, 94,291, 350
pogreSka kvantizacije, 286
pojasna brana, 74
pojasnopropusan kanal, 74
P-okvir, 357
polinom poruke, 199
polinom za provjem pariteta, 173
polje polinoma, 185
pomka, 12, 127
potiskivanje nula, 252, 275
potpojasno kodiranje, 303
pragovi odluke, 96
predikcijsko kodiranje, vidi
diferencijalno kodiranje
prefiksni kodovi, 248
preplitanje bitova, 228
prigugenje kanala, 73
prijenosna brzina, 101, 115
prijenosna funkcija, 72,212
prijenosni medij, 67
~rimitivniBCH k6d. 191
primitivni polinom, 19I
prosjeEna duljina k6da, vidi
prosjeEna duljina kodne rijeEi
prosjetna duljina kodne rijeEi, 23,
245 , - ..
prosjek po skupu, 24 1
prosjek po vremenu, 24 1
QCLF, 35 1
redundantni simbol, 130
Reed-Solomonov kod, 198
rekurzivni sistematski konvolucijski
kodovi, 228
relativna entropija, 32
renormalizacija intervala, 265
reSetkasti dijagram, 209
RGB, 335,349
RS-kod, vidi Reed-Solom~novkod
sadriaj informacije, 15, 16
Shannonov teorem o kodiranju, 160
signali, 5 1
signal razlike, 297,298
signali u osnovnom frekvencijskom
pojasu, 66
signali u pomaknutom
frekvencijskom pojasu, 66
sindrom. 155
sindromsko dekodiranje, 155
sistematski koder, 203
skrakivanje niza, 252,275
slijedno kodiranje, 252, 275
sluEajni signal, 63
spektar signala, 55, 60
spektralna gustoka snage, 64
srednja snaga signala, 53, 60
srednja vrijednost sluEajnog
orocesa. 63
stablasti dijagram, 209
stacionami izvor, 240
standardni niz, 150
standardni oblik, 145, 148, 153, 162
stohastiEki proces, 63
stupanj polinoma, 185 vjerojatnosti prijelaza, 26
Sirina prijenosnog pojasa kanala, 73 vremensko multipleksiranje, 69
Sirina spektra signala, 66 Wavelet kodiranje, 345
tablica preslikavanja, 156 YIQ, 349
teorem uzorkovanja u Y W , 349
frekvencijskoj domeni, 93 zalihosni simbol, 139
teorem uzorkovanja u vremenskoj zalihost, 148
domeni, 80
zagtitna kodna rijeE, 127
teiinn kodne rijeEi, 143
zagtitni k6d, 127
TIFF, 336
zagtitno kodirana poruka, 127
transformacijsko kodiranje, 292,
340,352 zdruiena entropija, 30
transinformacija, 104, vidi uzajamni zdruiene vjerojatnosti, 26
sadriaj informacije
Turbo kodovi, 228
tvrdo odlueivanje, 217
udaljenost koda, 132
~Einkovitostprijenosnog pojasa,
114
unipolami binarni signal, 100
uvjetna entropija, 30
uvjetne vjerojatnosti, 26
uzajamni sadriaj informacije, 32, 36
varijanca, 65
vektor pogregke, I49
vektor pomaka, 352
vektorski prostor, 142
vertikalna pro j e r a zalihosti, 140
visokopropusan kanal, 74
Viterbijev algoritam, 220 KEI!I?E!IC~.
vjerojatnost ispravnog dekodiranja,
FI*~Y'; . .
ELE , ' ., ,. , ;&
158
vjerojatnost pogregke nakon
I ., .
iKSTVA
-
ZA(ik~o Unska 3
dekodiranja, 159
vjerojatnost pogregke simbola, 160