Zadaci iz predmeta

˝Teorija kodiranja i informacija˝

Entropija:
1. Izračunati entropiju H(1/a,1/a,,,,1/a,2/a,2/a)
2. Neka je S={0,1} izvor sa P(0)=p. Dva puta nezavisno prikupljamo podatke iz ovog
izvora da dobijemo X 1 i X 2. Neka je Y=0 ako je X 1 =X 2 i Y=1 ako je X 1 ≠ X 2.
(a) Naći H(Y)
(b) Pokazati da je H ( X 1 ,Y )=H ( X 1 , X 2 ) . Šta ovo govori?
(c) Nađite vrijednost od H ( X 1 ,Y )−H ( X 1 ) .
3. Neka je S={0,1} izvor sa P(0)=p. Neka su X i Y nezavisni slučajni uzorci iz ovog izvora.
Neka je Z broj 0 u paru (X,Y). Naći entropiju slučajne vrijednosti Z. Izračunajte
H 2 ( X ,Y )−H 2 (Z ) i obrazložite odgovor.

+zadaci sa slajdova.
Kodovi bez šumova:
1. Utvrditi da li su kodovi trenutačni i da li imaju jedinstveno dekodiranje:
a) C={1,01,010,111}
b) C={0,01,001,0001}
c) C={1,10,100,1000}
d) C={0, 101,11011,1110111}
2. Iskoristiti Huffmanov algoritam za kodiranje da nađete kodove za zadanu
vjerovatnosnu distribuciju i za zadani radiks. U svim slučajevima izračunati prosječnu
dužinu kodne riječi
a) P={0.2, 0.1, 0.1, 0.3, 0.2, 0.1}, r=2, r=3, r=4
b) P={0.2, 0.05, 0.02, 0.03, 0.1, 0.3 ,0.0.5, 0.25}, r=2, r=3, r=4
3. Za distribuciju P={1/8, 1/4, 3/8, 1/4} napraviti Huffmanov kod sa radiksom r=2 i
izračunati prosječnu dužinu kodne riječi. Formirati ekstenziju izvora, napraviti
Huffmanov kod i uporediti prosječne dužine kodih riječi. Koji od kodova je bolji?
Kodovi sa šumovima:
1. Neka je dat kod C={000 000,101 000, 110 100, 111 101, 011 110, 111 111}.
(a) Naći minimalnu udaljenost između kodnih riječi.
(b) Naći radius pakovanja.
(c) Naći radius prekrivanja.
(d) Da li ovaj kod perfektan?
(e) Dekodirati riječi: 101 000, 111 110, 011 101.
(f) Možemo li ispraviti sve greške?
(g) Naći vjerovatnoću pogrešnog dekodiranja.
2. Dokazati da je moguće da postoji perfektan kod sa parametrima
a) (n,M,d)=(n,1,2n+1)
b) (n,M,d)=(2m+1, 2, 2m+1)
q r−1 n−r
(
c) ( n , M , d ) =
q−1 )
,q , 3 r ≥ 2

3. Dokazati da binarni (n,M,2t+1) kod postoji ako i samo ako postoji binarni
( n+1,M,2t+2) kod. ( Uputstvo, koristiti cifru pariteta)