Teorija informacije

Osnovni pojmovi teorije informacije

Osnovni pojmovi teorije informacije
Diskretna sluajna varijabla
Opi model komunikacijskog sustava
Diskretni komunikacijski sustav
Poruka i prijenos poruke
Sadraj informacije, entropija
Kodiranje
Informacijski opis komunikacijskog sustava,
informacijske mjere
Kapacitet kanala
Prijenos informacije komunikacijskim sustavom

Osnovni pojmovi teorije informacije 2

 Diskretna sluajna varijabla

Sluajna varijabla X koja poprima vrijednosti xi iz

skupa simbola X s vjerojatnou px(xi). Vektor
vjerojatnosti oznaavamo kao px.
Primjer (bacanje kocke):
X = {1, 2, 3, 4, 5, 6}, px(2) = 1/6.
Vektor vjerojatnosti: px= [1/6, 1/6, 1/6, 1/6, 1/6, 1/6]

Napomena:
indeks x u izrazu px(x) nee se pisati u primjerima i zadacima.
Primjer zapisa: p(1) == p(x = 1) ==p1,...

Osnovni pojmovi teorije informacije 3

 DEFINICIJA

Opi model komunikacijskog sustava

Temeljni problem komunikacije je tono ili
aproksimativno reproducirati u jednoj toki
informacijskog prostora (odredite) poruku odabranu
na nekoj drugoj toki (izvor)
[Shannon 1948].

IZVOR PREDAJNIK KANAL PRIJAMNIK ODREDITE

SMETNJE

KOMUNIKACIJSKI SUSTAV
Osnovni pojmovi teorije informacije 4
 Diskretni komunikacijski sustav
Jednostavniji sluaj diskretni signali
Kljuna pitanja:
to je poruka?
to znai prenijeti poruku?
Koja je mjera za koliinu informacije u nekoj poruci, te
informacije prenesene sustavom?

DISKRETNI KOMUNIKACIJSKI
IZVOR SUSTAV ODREDITE

SMETNJE
KOMUNIKACIJSKI SUSTAV

Osnovni pojmovi teorije informacije 5

 DEFIICIJA

Poruka
Niz simbola odabranih iz konane abecede X
Abeceda je skup elementarnih simbola
X = {x1 , x2 ,..., xi ,..., xn }
Svaki simbol pri N-tom biranju ima vjerojatnost
pojavljivanja: xi
p N ( xi )
Pretpostavka (za sada): odabir simbola neovisan o
prethodno odabranim simbolima: xi p ( xi )

x3x2x5x1x0... DISKRETNI
IZVOR KOMUNIKACIJSKI ODREDITE
SUSTAV

SMETNJE

Osnovni pojmovi teorije informacije 6

 Prijenos poruke: pogled sa izvora
Prijenos poruke odgovara prijenosu simbola
Na izvoru odabran xi (i=1,..., n):
to se pojavljuje na odreditu?
U idealnom sluaju bi slijed simbola koji se pojavi na odreditu bio jednak
slijedu simbola na izvoru;
Openito gledano, na odreditu se pojavljuje neka druga poruka, tj. niz
simbola yj (j=1,..., m);
Pretpostavka: poznata statistika svojstva prijenosa
[p(yj|xi)] IZVOR
DISKRETNI KOMUNIKACIJSKI
SUSTAV ODREDITE

SMETNJE

X , P( X ) Y , P (Y )
x1 , p ( x1 ) p ( y1 / xi ) y1 , p ( y1 )
x2 , p ( x2 ) y2 , p ( y2 )

xi , p ( xi )

xn , p ( xn )

Osnovni pojmovi teorije informacije

? p ( y j / xi )
y j , p( y j )

ym , p ( ym )

7
 Prijenos poruke: pogled sa odredita
Prije pojave yi, znamo
IZVOR
DISKRETNI KOMUNIKACIJSKI
SUSTAV ODREDITE vrlo malo o dogaajima
na izvoru
SMETNJE
Nakon opaanja yi
X , P( X ) Y , P(Y ) znamo vie: primili smo
informaciju!
x1 , p( x1 ) p( x1 / y j ) y1 , p( y1 )
x2 , p( x2 ) y2 , p ( y2 )

xi , p( xi )

xn , p( xn )
p( xi / y j )
? y j , p( y j )

ym , p ( ym )

Osnovni pojmovi teorije informacije 8

 Sadraj informacije poruke - primjer
Koliko informacije moemo maksimalno prenijeti
nekom porukom?
Primjer: pismo ili glava

IZVOR

Koliko informacije je primio promatra?

to ako uvijek pada pismo?
to ako pismo pada 70% puta?

Osnovni pojmovi teorije informacije 9

 Sadraj informacije dogaaja xi
Sadraj informacije dogaaja xi (oznaka I(X=xi)) je
koliina informacije koju, svojom pojavom, sam o sebi
donosi dogaaj X = xi.
Neka je p vjerojatnost pojavljivanja dogaaja (X = xi)
tada je I(X = xi) = log2p [bit].
U literaturi se moe nai oznaka SIC (engl. Shannon
Information Content).
Primjer (bacanje novia):
X = {Pismo, Glava}, px= [1/2, 1/2], I(X = Pismo) = 1 bit.

Osnovni pojmovi teorije informacije 10

 DEFINICIJA

Entropija
Entropija diskretne sluajne varijable
n
H ( X ) = p ( xi ) log p ( xi )[bit / simbol ]
i =1

PRIMJER

Entropija daje mjeru za sadraj

informacije

IZVOR

Osnovni pojmovi teorije informacije 11

 Entropija, neodreenost, sadraj
informacije u sustavu bez smetnji
? H(X)
DISKRETNI KOMUNIKACIJSKI
? H(Y) Neodreenost = entropija
IZVOR SUSTAV BEZ SMETNJI ODREDITE

PRIJE NASTANKA PORUKE

I(X) = H(X)
? Informacija na izvoru,
x3x2x5x1x0... H(Y)
neodreenost na
odreditu
DISKRETNI KOMUNIKACIJSKI
IZVOR SUSTAV BEZ SMETNJI ODREDITE

NAKON NASTANKA ALI PRIJE SLANJA PORUKE

PRIJENOS
I(X; Y)
I(Y) = I(X)=H(Y)=H(X) Prijenosom poruke
IZVOR
DISKRETNI KOMUNIKACIJSKI
x3x2x5x1x0...
ODREDITE
neodreenost je nestala
SUSTAV BEZ SMETNJI

NAKON PRIJENOSA PORUKE

Osnovni pojmovi teorije informacije 12
 Svojstva entropije
Sadraj informacije ne moe biti negativan
H (X ) 0
Sadraj informacije je 0 ako se uvijek pojavljuje samo
jedan simbol
H ( X ) = 0 i | p ( xi ) = 1
Neodreenost i sadraj informacije su maksimalni ako
su vjerojatnosti simbola jednako rasporeene
H ( X ) log n
1
p ( xi ) = H ( X ) = log n
n
Zato ba logaritam?
H (=
XY ) H ( X ) + H (Y )
Osnovni pojmovi teorije informacije 13
 Bit i binarna znamenka

Teorija informacije: bit je osnovna jedinica informacije

Ostatak svijeta: bit je binarna znamenka
Bacamo nepoteni novi, pismo=1, glava=0; koliko
je ovo bitova: 1111111111 ?
Kada znamo razliku, iz konteksta je jasno to se misli

Osnovni pojmovi teorije informacije 14

 DEFINICIJA

Kodiranje
Dodjela kodnih rijei simbolima poruke
Poruka se samo pretvara u novi oblik (niz simbola)
Zato onda kodirati?
U praksi, kodovi su binarni

PREDAJNIK PRIJAMNIK

KODER DEKODER
IZVOR KODER KANAL DEKODER ODREDITE
INFOR- INFOR-
KANALA KANALA MACIJE
MACIJE

SMETNJE
KOMUNIKACIJSKI SUSTAV

Osnovni pojmovi teorije informacije 15

 Kodiranje i entropija
P SIMBOL (xi) VJEROJATNOST KODNA RIJE (Ci) DULJINA KODNE RIJEI
R POJAVLJIVANJA p(xi) = pi (li)
I 1 1/2 0 1
M
J 2 1/4 10 2
E 3 1/8 110 3
R
4 1/8 111 3

Prosjena duljina kodne rijei:

n
L = pi li = 0.5 1 + 0.25 2 + 0.125 3 + 0.125 3 = 1.75[bit / simbol ] = H ( X )
i =1

Ne postoji kod sa manjom prosjenom duljinom

Entropija je granica kompresije bez gubitaka
Osnovni pojmovi teorije informacije 16
Informacijski opis komunikacijskog sustava
Sustav bez smetnji ne postoji u stvarnom ivotu
Promatramo opi sustav uz (manja) ogranienja: diskretni
bezmemorijski kanal
Opis kanala diskretni informacijski sustav
DISKRETNI
INFORMACIJSKI
SUSTAV

SMETNJE

PREDAJNIK PRIJEMNIK

KODER DISKRETNI DEKODER

IZVOR KODER DEKODER ODREDITE
INFOR- BEZMEMORIJSKI INFOR-
SIGNALA KANAL SIGNALA MACIJE
MACIJE

SMETNJE

KOMUNIKACIJSKI SUSTAV

Osnovni pojmovi teorije informacije 17

Vjerojatnosni opis inf. sustava (kanala)
Opis sustava skupom ULAZ
DISKRETNI
INFORMACIJSKI IZLAZ

vjerojatnosti
SUSTAV
SMETNJE

[p(xi)], [p(yj|xi)] X , P( X )
x1 , p ( x1 ) UVJETNE
VJEROJATNOSTI p ( y1 | xi )
Y
y1

[p(yj)], [p(xi|yj)]
x2 , p( x2 ) UNAPRIJED y2

p( y j | xi )

[p(xi,yj)]
xi , p( xi ) yj

xn , p( xn ) ym

Svaki od ova tri pogleda X Y , P(Y )

potpuno odreuje
UVJETNE
x1 p ( x1 | y j ) VJEROJATNOSTI y1 , p ( y1 )
x2 UNATRAG y2 , p ( y2 )

sustav i pojave na xi
p ( xi | y j )
y j , p( y j )

ulazu/izlazu xn ym , p ( ym )

Vjerojatnosti prijelaza X
p( x1 , y2 )
Y

xy potpuno definiraju
x1 y1
x2 p ( xi , y1 ) y2

kanal
p ( xi , y j )
xi yj
p ( xn , y j )
ZDRUENE
xn VJEROJATNOSTI ym

Osnovni pojmovi teorije informacije 18

Odnosi vjerojatnosti u inf. sustavu (kanalu)
MATEMATIKI OPIS ZNAENJE

Skup simbola na ulazu je potpun; isto

vrijedi i za izlaz.

Vjerojatnost pojave simbola je zbroj

vjerojatnosti pojava svih parova u kojima
se taj simbol pojavljuje.
Prijelazi izmeu tri pogleda na sustav
(pogled s ulaza, s izlaza ili oboje
istovremeno). Veza izmeu tri naina
potpunog opisa sustava.
Prijelaz iz apriorne u aposteriornu
vjerojatnost pojave xi.
Izraun unazadnih vjerojatnosti prijelaza.
Bayesova formula.

Osnovni pojmovi teorije informacije 19

 Primjer
Komunikacijski kanal prenosi simbole {a, b, c}
p(a) = p(b) = 2p(c)
Matrica uvjetnih vjerojatnosti prijelaza u kanalu:
0, 7 0,1 0, 2
( )
p y j xi = 0, 2 0, 7 0,1

0,1 0, 2 0, 7

a) nacrtati graf prijelaza u kanalu.

b) odrediti vjerojatnost pojave pojedinog simbola na
izlazu iz kanala

Osnovni pojmovi teorije informacije 20

 Rjeenje
a) Graf prijelaza u kanalu izgleda ovako:

b) Iz uvjeta p(a) =p(b) = 2p(c) i p(a) + p(b) + p(c) =1

dobivamo da je p(a) = p(b)= 0,4 i p(c)=0,2.
0, 28 0, 04 0, 08
p ( xi , y j ) =
=
p ( xi ) p(y j xi
)
0, 08 0, 28 0, 04

0, 02 0, 04 0,14

Iz uvjeta p ( y j ) = p ( xi , y j ) dobivamo p(y )=0,38,

3

i =1 1
p(y2)=0,36, p(y3)=0,26.
Osnovni pojmovi teorije informacije 21
 Vjerojatnosni opis informacijski opis
Entropija: informacijski opis sluajnih dogaaja
DOGAAJI
{x1 , x2 ,..., xn }
xi X , X =

VJEROJATNOSNI OPIS INFORMACIJSKI OPIS

vjerojatnosti : p(xi), i= 1,...,n entropija: H(X)

n n
1
H ( X ) = p( xi ) log = p ( xi ) I ( xi )
i =1 p( xi ) i =1 SADRAJ
INFORMACIJE
POJEDINOG
DOGAAJA
ZBROJ
INFORMACIJSKIH VJEROJATNOST
INFORMACIJSKI POJEDINOG
DOPRINOSA SVIH DOPRINOS DOGAAJA
MOGUIH POJEDINOG
DOGAAJA DOGAAJA
Osnovni pojmovi teorije informacije 22
 Informacijske mjere

vlastite H(X) Entropija na ulazu sustava

entropije
H(Y) Entropija na izlazu sustava
H(X,Y) Zdruena entropija
uvjetne H(Y|X) Entropija uma, irelevantnost
entropije
H(X|Y) Ekvivokacija, mnogoznanost
I(X;Y) Srednji uzajamni sadraj informacije,
transinformacija

Osnovni pojmovi teorije informacije 23

 DEFINICIJA
Entropija na ulazu, izlazu, zdruena
entropija
Promatramo dogaaje na ulazu i izlazu odvojeno:
n m
H ( X ) = p ( xi ) log p ( xi ) H (Y ) = p ( y j ) log p ( y j )
i =1 j =1

Promatramo dogaaje zajedniki:

Zdruena entropija para sluajnih varijabli (definicija):
n m
H ( X , Y ) = p ( xi , y j ) log p ( xi , y j )
i =1 j =1

Osnovni pojmovi teorije informacije 24

 DEFINICIJA

Uvjetna entropija (openito)

Prosjena preostala neodreenost varijable Y
nakon to je poznata varijabla X
n
H (Y | X ) = p( xi ) H (Y | x = xi )
i =1
n m
= p( xi ) p( y j | xi ) log p ( y j | xi )
i =1 j =1
n m
= p ( xi , y j ) log p ( y j | xi )
i =1 j =1

Osnovni pojmovi teorije informacije 25

 Entropija uma ili irelevantnost
Uvjetna entropija H(Y|X)
Neodreenost simbola na izlazu nakon to je poslan
simbol sa ulaza (promatrano s ulaza) je posljedica
smetnji

X , P( X ) Y
x1 , p( x1 ) p( y1 | xi ) y1
x2 , p( x2 ) y2

p( y j | xi )
xi , p( xi ) yj

xn , p( xn ) ym

Osnovni pojmovi teorije informacije 26

 Mnogoznanost ili ekvivokacija
Uvjetna entropija H(X|Y)
Preostala neodreenost simbola na ulazu nakon to je
primljen simbol na izlazu (promatrano s izlaza)

X Y , P(Y )
x1 p( x1 | y j ) y1 , p( y1 )
x2 y2 , p ( y2 )

p( xi | y j )
xi y j , p( y j )

xn ym , p ( ym )

Osnovni pojmovi teorije informacije 27

 DEFINICIJA

Relativna entropija
Mjera udaljenosti izmeu dviju raspodjela vjerojatnosti
varijable:
n
p( xi )
D( p || q) = p( xi ) log
i =1 q ( xi )
Interpretacija
Stvarne vjerojatnosti su p; mi pretpostavljamo q
Ta pogreka nosi neefikasnost; to je relativna entropija
Kodiranjem prema pogrenim vjerojatnostima troimo
D(p||q) vie bitova po simbolu nego to je potrebno:
n n n
1 1 p( xi )
L = p( xi ) log = p( xi ) log + p( xi ) log = H ( X ) + D( p || q )
i =1 q( xi ) i =1 p( xi ) i =1 q( xi )
Osnovni pojmovi teorije informacije 28
 DEFINICIJA
Srednji uzajamni sadraj informacije
(transinformacija)
Definicija: n m p ( xi , y j )
I ( X ; Y ) = p ( xi , y j ) log
i =1 j =1 p( xi ) p ( y j )
Interpretacija:
Koliko informacije jedna varijabla prua o drugoj
U kojoj mjeri su dvije varijable zavisne
Nezavisne: I(X;Y) = 0
Jednake: I(X;Y) = H(X) = H(Y)

Osnovni pojmovi teorije informacije 29

 Odnos entropije i uzajamnog sadraja
informacije
Uzajamni sadraj informacije I(X;Y) predstavlja
smanjenje neodreenosti varijable X uzrokovano
poznavanjem varijable Y
I ( X ;Y ) = H ( X ) H ( X | Y )

Uzajamni sadraj informacije dviju varijabli je simetrian:

I(Y;X) = I(X;Y).

Osnovni pojmovi teorije informacije 30

 Odnos izmeu entropije, zdruene
entropije i uvjetne entropije
Zdruena entropija (neodreenost) para varijabli jednaka
je zbroju neodreenosti jedne varijable, te preostale
neodreenosti druge varijable uz uvjet da je prva
varijabla poznata.
=
H (X , Y ) H ( X ) + H (Y | X )
Uzajamni sadraj informacije je razlika izmeu zbroja
pojedinanih entropija varijabli i zdruene entropije tih
istih varijabli.
I ( X ; Y ) = H ( X ) + H (Y ) H ( X , Y )

Osnovni pojmovi teorije informacije 31

 Vlastiti sadraj informacije
Uzajamni sadraj informacije jedne varijable same sa
sobom naziva se vlastiti sadraj informacije.
Vlastiti sadraj informacije sluajne varijable je upravo
njena entropija:
I(X;X) = H(X) H(X|X) = H(X)

Osnovni pojmovi teorije informacije 32

Odnosi i svojstva informacijskih mjera
I(X;Y) = H(X) H(X|Y)
H(X,Y)
I(X;Y) = H(Y) H(Y|X)
I(X;Y) = H(X) + H(Y) H(X,Y)
H(X;Y) = H(X) + H(Y|X)
I(X; Y)
H(X|Y) = H(Y|X) H(X;Y) = H(Y) + H(X|Y)
I(Y; X)
I(X;Y) = I(Y;X)
I(X;X) = H(X)
H(X) H(Y)
I(X;Y) 0
H(X|Y) H(X)
Osnovni pojmovi teorije informacije 33
Prijenos informacije i informacijske mjere
DISKRETNI
ULAZ INFORMACIJSKI IZLAZ
SUSTAV

SMETNJE

H(X|Y)
H(X)
I(X;Y)
H(Y)
H(Y|X)

DISKRETNI
ULAZ BEZMEMORIJSKI IZLAZ
KANAL

SMETNJE

Osnovni pojmovi teorije informacije 34

 Primjer
Za komunikacijski sustav zadan u prethodnom
primjeru matricom uvjetnih vjerojatnosti potrebno je
odrediti:
a) entropiju ulaznog i izlaznog skupa simbola, tj. H(X) i H(Y);
b) uvjetne entropije H(X|Y) i H(Y|X);
c) uzajamni sadraj informacije I(X; Y);
d) zdruenu entropiju para varijabli H(X, Y).

Osnovni pojmovi teorije informacije 35

 Rjeenje
a) H(X) i H(Y)
3
1,522 [bit simbol]
p ( xi ) log p ( xi ) =
H (X ) =
i =1
3
1,566 [bit simbol]
p ( yi ) log p ( yi ) =
H (Y ) =
i =1

b) H(X|Y) i H(Y|X)
p ( xi , y j ) log p xi y j = ( )
3 3
H (X Y) = 1,124 [bit simbol]
=i 1 =j 1
0, 28 0, 04 0, 08
0,38 0,36 0, 26
0, 7368 0,1111 0,3077
p ( xi , y j ) 0, 08
= (
p xi y j )
=
p ( y j ) 0,38
0, 28 0, 04
=
0,36 0, 26
0, 2105 0, 7778 0,1538

0, 0526 0,1111 0,5385
0, 02 0, 04 0,14
0,38 0,36 0, 26

Osnovni pojmovi teorije informacije 36
 Rjeenje
p ( xi , y j ) log p yi x j = ( )
3 3
H (Y X ) = 1,157 [bit simbol]
=i 1 =j 1

c) I(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=0,4095 [bit/simbol]
meusobni sadraj informacije mogue je odrediti
koristei sljedeu formulu:
p xi y j
I ( X ; Y ) = p ( xi , y j ) log 2
3 3 (
)
=i 1 =j 1 p ( xi ) p ( yi )

d) H(X,Y)=X(X)+H)Y)-I(X;Y)=2,6788[bit/simbol]

Osnovni pojmovi teorije informacije 37

 DEFINICIJA

Kapacitet kanala
Promatramo prijenos informacije komunikacijskim
kanalom
Simboli na ulazu s vjerojatnosima p(xi)
Kapacitet kanala je definiran kao:

C = max I ( X ; Y ) [bit/simbol]
{ p ( xi )}
Kapacitet kanala je maksimalna koliina informacije
po simbolu koja se u prosjeku moe prenijeti
kanalom

Osnovni pojmovi teorije informacije 38

 TEOREM

Temeljni teorem kanala sa smetnjama

Kanal kapaciteta C [bit/simbol]
Izvor entropije H [bit/simbol]
Ako je H C, mogui proizvoljno mali gubici
Ako je H > C, nemogu prijenos bez gubitaka
H(X|Y)

MOGUE
PODRUJE

C H
Osnovni pojmovi teorije informacije 39
 Primjer: kapacitet simetrinog binarnog
kanala
1-p g
C = max I ( X ; Y ) 1 1
{ p ( xi )}
= max [ H (Y ) H (Y | X ) ] X Y
{ p ( xi )} neovisno
max. za o p(xi)
p(0)=p(1)=0.5

0 0
1-p g

C =1 + pg log pg + (1 pg ) log(1 pg ) [bit / s ]

Osnovni pojmovi teorije informacije 40

 Prijenos informacije komunikacijskim
sustavom
primljena poruka: dekodirana poruka: rekonstruirana
kodirana poruka kodirana 3. + izoblienja + kodirana poruka + izvorna
izvorna poruka:
poruka zatitnim kodom smetnje preostale pogreke poruka
podaci
2. 5. 6.
1. 3. 4.
koder koder dekoder dekoder
izvor prijenosni kanal odredite
informacije kanala kanala informacije
predajnik prijemnik

smetnje

linijski koder/ predajni prijemni linijski dekoder/

kanal
modulator filtar filtar demodulator
pretvara pretvara

smetnje

prijenosni kanal

Osnovni pojmovi teorije informacije 41