Teorija informacija(pitanja,odgovori)

1.Prijenos poruke: pogled s izvora i pogled s odredita

Temeljni problem komunikacije poruku odabranu na izvoru tono ili
aproksimativno
reproducirati na odreditu. Poruka je niz simbola. Poruka odabrana na
izvoru uzrokuje pojavu druge poruke na odreditu. U idealnom sluaju je
niz simbola koji se pojavi na odreditu bio jednak nizu simbola na izvoru,
ali zbog smetnja u komunikaciji to nije tako.
POGLED S IZVORA:
Promatramo prijenos samo jednoga simbola poruke. Na izvoru se odabire
poruka Xi (i=1,...,n) te alje prema odreditu gdje se pojavljuje bilo koji od
simbola Yj (j=1,...,m). Promatar na izvoru ne zna koji od simbola se
pojavio, ve zna uvjetnu vjerojatnost p(Yj|Xi) tj. Vjerojatnost da se na
odreditu pojavio simbol Yj ako je na izvoru odabran Xi.
POGLED S ODREDITA:
Nakon prijenosa na odreditu se pojavio simbol Yj, ali promatar na
odreditu ne zna koji je simbol odabran na izvoru ve poznaje statistika
svojstva sustava i zna uvjetne vjerojatnosti p(Xi|Yj) tj. vjerojatnosti da je na
izvoru odabran simbol Xi ako se na odreditu pojavio simbol Yj. Pojavom
simbola Yj na odreditu nae znanje se bitno povealo tj. primili smo
informaciju.
2.Entropija (definicija, prije nastanka, nakon nastanka i nakon
prijenosa poruke)

Entropija daje mjeru za srednji sadraj informacije, a izraava koliko

informacije moemo prenijeti nekom porukom.
U trenutku prije nastanka poruke na izvoru i odreditu postoji
neodreenost jer ne znamo koji e simboli biti odabrani, a mjera
neodreenosti je entropija izvora H(x). Nakon nastanka poruke(tj. odabira
simbola) neodreenost na izvoru nestaje a nastaje informacija dok na
odreditu i dalje imamo neodreenost jer poruka nije jo primljena. Nakon
prijenosa i primanja poruke nestaje i neodreenost na odreditu.
3.Svojstva entropije

Sadraj informacije ne moe biti negativan

Sadraj informacije je 0 ako se uvijek pojavljuje samo jedan simbol

Neodreenost i sadraj informacije su maksimalni ako su vjerojatnosti

simbola
jednako rasporeene

Zato ba logaritam?

4.Informacijske mjere diskretnog sutava.

VLASTITE H(X) - entropija na ulazu sustava
ENTROPIJE H(Y) entropija na izlazu sustava
H(X,Y) zdruena entropija
UVJETNE H(Y|X) entrpija uma, irelevantnost
ENTROPIJE H(X|Y) ekvivokacija, mnogoznanost
I(X;Y) srednji uzajamni sadraj informacije, transinformacija
5.Srednju uzajamni sadraj informacije(transinformacija)
Srednji uzajamni sadraj informacije I(X;Y) izmeu sluajnih varijabli X i Y
je definiran kao relativna entropija izmeu razdiobe njihovih zdruenih
vjerojatnosti (p(xi,yj)) i razdiobe umnoka njihovih pojedinanih
vjerojatnosti (p(xi) i p(yj)).

6.Signali(definicija, kontinuirani i diskretni signali, analogni i

digitalni signali)
Signal je pojava koja opisuje neku fizikalnu veliinu.
Kontinuirani signal je signal u kontinuiranom vremenu, tj t je kontinuirana
varijablja

(primjer: x(t)=A sin(2 f t ) , f-frekvencija, A-amplituda).

Diskretni signal je signal u diskretnom vremenu, odnosno varijabla t
poprima vrijednost t=kT
Analogni signal je signal koji u kontinuiranom vremenu poprima bilo koju
vrijednost unutar kontinuiranog intervala (a,b) ,(primjer: (x(t)=A sin(2 f t
))
Digitalni signal je signal koji u diskretnom vremenu moe poprimiti samo
konaan broj razliitih vrijednosti

7.irina prijenosnog pojasa kanala

- je podruje frekvencija u kojem komunikacijski kanalproputa signale sa
svog ulaza na izlaz. Realni kanali priguuju signale koje prenose: srednja
snaga izlaznig signala uvjek je manja od srednje snage ulaznog signala, a
vrijedi i za energiju signala. Priguenje kanala A(f) = 1/|H(f)| . Kanal djeluje
i na fazu signala: faze frekvencijskih komponenti ulaznig signala se
razlikuju od faza frekvencijskih komponenti izlaznog signaladisperzija
signala.
48-Otkrivanje i isprvaljanje progresaka
Ako zatitni kod K ima distancu d(K) i ako se dekodiranje ______ _________
najblieg susjeda onda vrijedi sljedece:
Kod K moze otkloniti najvie d(K)-1 pogreaka u jednoj kodnoj rijei, tj ako
je najveci broj pogresaka koje kod moze ukloniti broj S,onda mora biti
zadovoljen izraz d(K)>= S+1
Kod K moe ispraviti najvie [ d(K)-1]/2 u jednoj kodnoj rijeci gdje je x
oznaka za najveci cijeli broj mani od X.
Drugim rijecima ako se sa t oznaci najveci broj pogresaka koje kod K moze
ispraviti u jednoj kodnoj rijeci onda mora biti zadovoljen izraz d(K)>= 2t +
1.

8.Hammingov kod(definicija,svojstva,kodiranje)
Definicija: neka je r pozitivan cijeli broj i neka je H matrica dimenzija r(2^r
1) cije stupce sacinjavaju svi vektori dimenzije r razliciti od 0 iz

vektorskog prostora V(r) . Matrica H je matrica provjere pariteta

Hammingovog koda sa oznakom Ham(r).
Svojstva: neka je Ham(r) binarni hammingov kod. Za r >= 2 vrijedi da je
Ham(r):
-linearni blok kod [2^r-1,2^r 1 r]
-ima najmnaju distancu 3( i otkriva dvostuku i ispravlja jednostruku
pogresku)
-perfektan kod
Kodiranje: generirajuci matricu G nije jednostavno izracunati iz H jer ista
nije u standarnom obliku tj. jednadba GH^t=0 daje velik broj mogucnosti.
Potrebno je dobiti simterican kod iz kojeg jednostavno dobivamo poslanu
kodiranu poruku.
Vazno svojstvo matrice H: promjene pariteta odreduje pozicije simbola
kodne rijeci ciji
Zbroj mora biti paran broj (ili jednak 0 u aritm. Mod 2)
Npr:
1010101

1110000

H= 0 1 1 0 0 1 1 => G= 1 0 0 1 1 0 0
0001111

1.
2.
3.
4.

0101010
1101001

110
Pt = 1 0 1
011
111

Izbrisi one stupce koji su na pozicijama paritetnih bitova

dobivenu matricu transponiraj
stupce transponiane matrice stavi na pozicije 1,2,4,8,16
ostatak stupaca popuni jedinicnom matricom

9. Srednji uzajamni sadrzaj informacije(transinformacija) u

kontinuiranom siganlu
Transinformacija j ockivanje slucajne varijable I definirane funkcijom log
(F ( x , y ))
( F 1 ( x ) F 2 ( y ))
+ +

f(x,y)
E[I]=I(x;y)=

log

f (x , y)
f 1 ( x ) f 2( y )

dx dy

-veza izmedu transinformacije i ranije definiranih entropija

(x;y)=H(x)-H(x/y)-H(y)-H(y/x)=H(x)+H(y)-H(x,y)
-Elementarna svojstva transinformacije:
-I(x;y)=I(y;x)
- I(x;y)>=0

- I(x;y)=0 ako su x i y medusobno nezavisne slucajne vaijable

10.Generirajua matrica G(definicija,ekvivalentan kod,standardni

oblik)
Definicija: Matrica dimenzija k x n iji se reci sastoje od vektora baze koda
(n,M, d) zove se generirajua matrica . Oznaka G.
Ekvivalentni kod:
0000
Ekvivalentni
0010
Ke
K=
0101

=
0111
1011
1110

Kod

Zamjena 01, 10, na 3. Poziciji

Dva ekvivalentna linearna binarna blok-koda [ n , k ]

1001
1100
, K1 i K2, imaju

generirajui matrice G1 i G2 koje se jedna iz druge mogu dobiti sljedeim

operacijama:
Zamjena redaka
Dobivanjem jednog retka drugom retku
Zamjena stupca
Standardni oblik : Generirajua matrica G nekog koda K ima standardni
oblik ako ima strukturu
Ik
G |A]
Gdje je

Ik

jedinina matrica reda k, a A matrica dimenzija je k(n-k)

Npr:
G=

100
010
001
Ik

| 110000
| 001100
| 000011
A

11.Entropijsko kodiranje optimalno kodiranje

Optimalan kod je prefiksni kod sa najmanjom moguom prosjenom
duljinom kodne rijei

uz uvjet

Optimalan kod ima prosjenu duljinu kodne rijei koja je unutar jednoga
bita od entropije: H(X) < L < H(X) + 1
Efikasnost koda:

12. Sindrom (definicija, sindromsko dekodiranje).

Definicija: Sindrom primljene kodne rijei y koda K s paritetnom matricom
H je vektor dobiven umnokom: S(y) =yH.
Sindrom jedinstveno odreuje vektor pogreke. Stoga moemo formirati
tablicu preslikavanja izmeu sindroma S(y) i vektora pogreke e!
e
S(y)

00000
000

00001
001

00010
010

00100
100

01000
101

10000
110

POSTUPAK DEKODIRANJA:
izraunaj sindrom S(y) primljene kodne rijei y;
iz tablice preslikavanja odredi vektor pogreke e;
poslana kodna rije je x = y e.

Ukoliko se pojavi sindrom [011] ili [111], dolo je do viestruke pogreke

koju nije mogue ispraviti!
13.Matrica provjere pariteta koda(definicija, proraun,
dekodiranje).
Matrica provjere pariteta: Neka je H generirajua matrica dualnog koda K.
Matrica H se naziva matrica provjere pariteta (engl. parity-check matrix) ili
paritetna matrica koda K. U svakom retku matrice H jedinice odreuju
pozicije unutar ispravne kodne rijei na kojima zbroj vrijednosti simbola
mora biti paran broj. Ukoliko H ima strukturu:
H = [ B | In-k ],
gdje je B kvadratna matrica, onda je paritetna matrica H u standardnom
obliku.
Proraun matrice provjere pariteta: Neka je G generirajua matrica
linearnog binarnog koda K u standardnom obliku:
G = [ Ik | A].
Generirajua matrica dualnog koda K zadovoljava jednadbu GH =0 i
jednaka je

H = [AT | In-k]
Primjer: proraun matrice provjere pariteta H

Primjer: Dekodiranje pomou matrice provjere pariteta H

14.Paritetno kodiranje
Koristi se iskljuivo za otkrivanje pogreaka u kodnoj rijei.

Na poruku se dodaje jedan zalihosni simbol (bit) koji se naziva paritetni

bit (engl. parity check).
U praksi se koristi parni paritet (engl. even parity) ili neparni paritet (engl.
odd parity).

Paritetni bit R se izraunava zbrajanjem aritmetikom modulo 2.

R = x1 + x2 + ... + xk
( parni paritet),
R = x1 + x2 + ... + xk + 1 ( neparni paritet).
15.Zatitno kodiranje (definicija, podjela).
Cilj zatitnog kodiranja je iskoristiti onaj zatitni kd koji: Uvodi najmanje
mogue poveanje prosjene duljine kodnih rijei u odnosu na prosjenu
duljinu poruka;
Osigurava prihvatljivo malu vjerojatnost da pogreke simbola zatitno
kodirane poruke ostanu neotkrivene.
to kada otkrijemo pogreku?
Pokree se neki od postupaka otklanjanja pogreke (engl. error correction).
- Ispravljanje pogreki u dekoderu kanala (FEC engl. forward error
correction);
-Koriste se kodovi za otkrivanje i ispravljanje pogreaka (engl. error
correcting codes).
-Ispravljanje pogreki ponovnim slanjem (BEC engl. backward error
correction).
-Koriste se kodovi za otkrivanje pogreaka (engl. error detection codes).
Podjela zatitnih kodova
Dvije glavne skupine zatitnih kodova, i to:
-Blok kodovi (engl. block codes);

-Konvolucijski kodovi (engl. convolutional codes).

Glavne razlike se odnose na nain izvedbe kodera.
-Blok kodovi: k-bitna poruka potpuno se preslikava u n-bitnu kodnu rije, tj.
generiranje nekog bita u kodnoj rijei funkcija je trenutanog stanja ulaza
kodera;
-Konv. kodovi: generiranje nekog bita u kodnoj rijei funkcija je trenutanog
stanja ulaza kodera kao i nekolicine prethodnih stanja.
Druga podjela zatitnih kodova napravljena je na osnovu strukture i
svojstava kodnih rijei, i to na:
-Linearane (engl. linear).
Blok, konvolucijski i turbo kodovi.
-Nelinearne (engl. nonlinear).

16. Informacijske mjere kontinuiranog sustava

17.Shannon-Fanoovo

kodiranje

Jedna je od prvih metoda kodiranja utemeljenih na teoriji informacije

Ne daje uvijek optimalan kod
-Vrlo rijetko se koristi
Zasniva se na eljenim svojstvima kda:
-Niti jedna kodna rije ne smije biti prefiks neke druge kodne rijei;
elimo da se u kodiranim porukama simboli 0 i 1 pojavljuju s
podjednakom vjerojatnou.
Shannon-Fanoovo kodiranje: postupak
-Posloiti simbole po padajuim vjerojatnostima
-Podjela simbola u grupe
-Dodjela znamenke 0 jednoj, a 1 drugoj grupi
-Postupak se ponavlja dok se grupe ne svedu na 1 simbol
Shannon-Fanoovo kodiranje: primjer

18.Vrste kodova
Nesingularni kodovi
Kod je nesingularan ako svakom simbolu dodjeljuje drugaiju kodnu rije.
To nije garancija jednoznanosti.

Jednoznano dekodabilni kodovi

Kod jednoznano dekodabilan ako je proirenje nesingularno

Razliite poruke razliite kodirane poruke
Prefiksni (trenutni) kodovi
Prefiksni kod je kod u kojem niti jedna kodna rije nije prefiks neke druge
kodne rijei
Svaka kodna rije se moe trenutno dekodirati, bez znanja idue kodne
rijei
U prethodnom primjeru, problem je upravo u tome to su kodne rijei
jedna drugoj prefiks

19.Uzorkovanje ( definicija, teorem uzorkovanja, frekvencija

uzorkovanja)
Ako je signal pojasno ogranien, tada je unutar promatranog vremenskog
intervala dovoljno prenositi prebrojiv skup njegovih vrijednosti
-pojasno ogranien signal u kontinuiranom vremenu mogue je
jednoznano specificirati pomou njegovih vrijednosti uzetih u diskretnim
trenucima
-proces uzimanja uzoraka kontinuiranog signala u diskretnim trenucima
naziva se uzorkovanje
-uzorkovanje se provodi u predajniku, a rekonstrukcija izvornog signala u
prijemniku
-uzorkovanje je osnova digitalnog prijenosa signala prvi korak u
digitalizaciji analognog signala
20.Teorem uzorkovanja u vremenskoj domeni
za strogo pojasno ograniene signale konane energije
Prvi dio teorema odnosi se na predajnik
Pojasno ogranieni signal konane energije, x(t), t R, iji spektar ne
sadri frekvencijske komponente na frekvencijama iznad B Hz (X(f) = 0 za |
f | > B) u potpunosti je i na jednoznaan nain opisan pomou vrijednosti
tog signala uzetih u diskretnim vremenskim trenucima Tn = n/(2B), gdje je
n Z, B je gornja granina frekvencija signala
Drugi dio teorema odnosi se na prijemnik
Pojasno ogranieni signal x(t) konane energije iji spektar ne sadri
frekvencijske komponente na frekvencijama iznad B Hz (X(f) = 0 za |f | >
B) mogue je u potpunosti i na jednoznaan nain rekonstruirati na temelju
poznavanja njegovih uzoraka uzetih u diskretnim trenucima meusobno
razmaknutim za 1/(2B) sekundi. frekvencija 2B uzorak/s Nyquistova
frekvencija
(1/2B) [s] Nyquistov interval uzorkovanja
Frekvencija uzorkovanja
osnovni problem uzorkovanja odabir adekvatne frekvencije uzorkovanja
fu slijed uzoraka mora jednoznano definirati izvorni analogni signal
poeljno je da fu bude to manja tada je i broj uzoraka manji
to su uzorci gui, to je slijed uzoraka sve blii originalnom analognom
signalu
meutim, potrebno prenositi vie uzoraka
rezultat: neuinkovito koritenje mrenih resursa
21.Huffmanovo kodiranje

Kodira pojedinane simbole kodnim rijeima promjenjive duljine, ovisno o

(poznatim!) vjerojatnostima njihova pojavljivanja
Algoritam stvaranja koda:
1. Sortiraj simbole po padajuim vjerojatnostima
2. Pronai dva simbola s najmanjim vjerojatnostima
3. Jednom od njih dodijeli simbol 0, drugom 1
4. Kombiniraj ta dva simbola u jedan nadsimbol (nadsimbol je novi simbol
ija je vjerojatnost pojavljivanja jednaka zbroju vjerojatnosti pojavljivanja
dvaju simbola od kojih je nastao) i zapii ih kao dvije grane binarnog
stabla, a nadsimbol kao ravanje iznad njih
5. Ponavljaj 1-4 dok ne dobije samo jedan nadsimbol
6. Povratkom kroz stablo oitaj kodove
Podatkovna struktura algoritma je binarno stablo .
Huffmanovo kodiranje: svojstva
kodiranje je idealno ako su vjerojatnosti 1/2, 1/4, ... ,1/2n
u stvarnim sluajevima to obino nije sluaj, te rezultat ovisi o
vjerojatnostima pojavljivanja simbola
prednosti: jednostavan za izvedbu vrlo dobro kodiranje za dobre
vjerojatnosti pojavljivanja simbola
nedostaci: vjerojatnosti pojavljivanja simbola moraju biti poznate; ovise o
primjeni (tekst, slika) za loe rasporeene vjerojatnosti pojavljivanja
dobiju se izrazito loi kodovi .
Primjeri: standardi za telefaks (T.4, T.6)
standard za nepominu sliku JPEG
22.Entropijsko kodiranje( definicija,klasifikacija,metode)
Osnovna ideja: skraeno zapisati viestruko ili esto ponavljane simbole ili
nizove simbola
Zajedniko svim metodama entropijskog kodiranja:
-temelje se direktno na teoriji informacije
-kodiranje bez gubitaka
-omjer kompresije ovisi samo o statistikim svojstvima izvora informacije
-poruka se promatra iskljuivo kao niz sluajnih vrijednosti, ne uzimaju se
u obzir svojstva medija (za razliku od izvornog kodiranja) .
Metode entropijskog kodiranja:
Shannon-Fanoovo kodiranje
Huffmanovo kodiranje
-optimalno kodiranje
-binarno stablo
-krai zapis estih znakova
Aritmetiko kodiranje
-poopenje Huffmanovog kodiranja

-cijela poruka se pretvara u jednu kodnu rije

Metode rjenika
-isti rjenik kodnih rijei na strani poiljatelja i primatelja
-dinamika konstrukcija rjenika Lempel-Ziv (LZ77, LZ78), Lempel-ZivWelch (LZW)
Metode skraivanja niza
.potiskivanje nula, slijedno kodiranje
23.Komunikacijski kanal (definicija,klasifikacija)
Komunikacijski kanal je sredstvo za jednosmjerni prijenos izmeu
predajnika i prijemnika linearni i nelinearni kanali
-telefonski kanal je primjer linearnog kanala
-satelitski kanal je obino nelinearan (ali ne uvijek)
neovisni o vremenu ili ovisni o vremenu
-primjer vremenski nepromjenjivog kanala: optika nit
-primjer vremenski promjenjivog kanala: radijski kanal u pokretnoj
komunikacijskoj mrei
ogranienja kanala
-po irini prijenosnog pojasa (primjer: telefonski kanal) i
-po raspoloivoj snazi predajnika (primjer: optiki prijenos)

24.Kodiranje (definicija, veza s entropijom)

-Kodiranje je postupak dodjele kodnih rijei simbolima poruke. Kodiranjem

se poruka pretvara
u novi oblik.
Kada se kodira s ciljem kompresije podataka mora postojati granica do
koje se moe saimati
bez gubitka. Ta granica je entropija izvora. Entropija je granica kompresije
bez gubitka.
Nemogue je jednoznano kodirati simbole s nekog izvora uz prosjenu
duljinu koda manju
od entropije izvora.
25. Odnosi i svojstva informacijskih mjera

26. irina spektra signala

Ovisno o pojasu frekvencija kojeg zauzima amplitudni spektar signala, signale djelimo na:
-signale u osnovnom frekvencijskom pojasu
-signale u pomaknutom frekvencijskom pojasu

27. Izvor informacije(kasifikacija i podjele)

Izvor informacije se promatra kao stohastiki proces, tj niz sluajnih varijabli x1, x2, ...xn.
Stacionarni izvor (statistika svojsta se ne mjenjaju s vremenom)
Ergodiki izvor (izvor kao skup svih moguih proizvedenih nizova, a svaki
proizvedeni niz ima ista svojstva i ona se ne mijenjaju u vremenu. Ergodinost:
prosjek po skupu=prosjek po vremenu)
izvori s Memorijom (vjerojatnost pojavljivanja simbola je ovisna o jednom ili vie
predhodnih simbola pa su neki nizovi simbola vjerojatniji od drugih. Veina prirodnih
izvora si izvori s memorijom slova u tekstu, zvuk govora...)

28.Aritmetiko kodiranje

Algoritam uzima kao ulaz cijele nizove simbola (poruke) i preslikava ih na realne brojeve,
ovisno o (poznatim!) statistikim svojstvima.
Postupak

1. Podijeli interval [0, 1) u n podintervala koji odgovaraju simbolima iz abecede; duljina

svakog podintervala proporcionalna vjerojatnosti odgovarajueg simbola
2. Iz promatranog skupa podintervala, odaberi podinterval koji odgovara sljedeem simbolu u
poruci
3. Podijeli taj podinterval u n novih podintervala, proporcionalno vjerojatnostima
pojavljivanja simbola iz abecede; tako nastaje novi skup podintervala koji promatramo
4. Ponavljaj korake 2 i 3 dok cijela poruka nije kodirana
5. Konani kod za itavu poruku je jedan broj iz intervala u binarnom obliku

29.Perfektan kod (definicija, Hammingova mea).

30.Linearni binarni blok kd (definicija, teina kodne rijei, oznaka).

Linearno binarni blok kodovi definiraju se preko skupa vektora (vektorski prostor) nad kojim
su definirane odreene operacije.
Neka je blok-kd K potprostor vektorskog prostora V(n): K V(n). Neka su x i y kodne
rijei koda K i neka je a {0,1}. Ako je za sve x , y i a ispunjeno:

 x+y K,
ax K, onda je K linearan binarni blok-kd.
Teina kodne rijei x koda K je broj pozicija kodne rijei na kojima se nalazi simbol 1.
Oznaka teine kodne rijei x je w(x).
Ako je kd K vektorski k-dimenzionalni potprostor vektorskog prostora V(n), onda kd K
ima oznaku [n, k]. Ukoliko je poznata udaljenost koda d, onda je oznaka koda [n, k, d].