LL

+*
-t

(J
-

.-I

E 4 o
l= Z. l-

L" rq, \fr

tt

SadrZaj
IJvodna razmatranja Uvod

1.1 1.2 1.3

Pojam sistema Deterministidki i stohastiiki sistemi Komunikacioni sistemi

6 tl
6
(

2 Entropija
2.1 2.2 3.1 3.2 3.3 3.4 3.5
Shannon-ova entropija Entropija beskonadne i neprekidne distribucije

13
13

18

3 Informacija
Sopstvena informacija Uzajamna informacija za diskretnu raspodelu Uzajamna informacija za neprekidnu raspodelu Prenos informacije i sistem upravljanja Primeri i zadaci

27
27

,o
.. 32 ts5
36

lzvor informacije

49
49 50 53

4.1 Diskretni izvor informacije 4.2 Izvor bez memorije i. 4.3 Markovljev izvor

5 Kodovi
5.1 5.2 5.3 5.4 6.1 6.2

rtz izvor informacije

54
54
55

Kodovi sa fiksiranom duZinom Kodovi sa promenljivom duZinom kodnih zarnena Problem optimalnosti . Konstrukcija optimalnog koda

58 60

6 Komunikacioni kanal
Diskretni kanal Kapacitet diskretnog kanala bez mernorijs kanal

65
65

67
TS

7 Koder i dekoder uz komunikacioni

Z. Bner.rovri
Linearni kodovi
77
za BSK za linearni blok-kod
77

8.1 Idealna Sema odludivanja 8.2 Linearni blok-kod 8.3 Idealna Sema odludivanja

80 84

Interakcijsko.komunikacionia.spektobrazovanjaivaspitanja

87
87

9.1 Uvod g.2 Meduljudski odnos - temelj obrazovnog procesa 9.3 Faktori uspe5nosti meiluljudskog odnosa
9.3.1 SocijalnaPercePcija' ' ' ' g.g.2 Emocionalni stawvi 9.3.3 EmPatija

89
92 92

94
95

g.4
Tablice

Interakcija i komrmikaeija u obrazovanju

97

LOz r.07

Literatura

-t -)
l

Uvodna razrnatranja
Osnove teorije informacija postavio je C.E. Shannon svojom poznatom raspravom "A mathematical Theory of Communication" objavljenom 1948. U to vreme, kada tehnologija izgradnje sistema za prikupljanje, prenos, usmeravanje, obradu i duvanje informacija jos nije bila dovoljno razvijena, nisu se mogli sagiedati dalekoseZnost i znaiaj postavljene teorije. Od tog ne tako davnog podetka do danas ova teorija je razvila svoje mnogostruke primene. Na to su znadajno uticali prilozi koje su dali D.K. Fadeev, A.N. Kolmogorov, P.M. Lee, B. McMillan, A. Feinstein, A.I. Hincin, L. Breiman, R.M. Fano, R.G. Gallager, R.V. Hamming, D. Slepian, W.W. Peterson i dr. Uvodenjem kolidinske mere za sadrZaj informacije, informaciji je pridruZena cena tako da se ona moie vrednovati u odnosu na materiju i energiju. Time je ona objektivno dobila znadaj koji imaju materija i energija i tako postala jedan od osnovnih entiteta prirode. SadrZaj ovog kursa je usmeren ka matematidkim aspektima tretiranja problema u vezi sa generisanjem, transformisanjem i prenoSenjem informacije. On obuhvata samo najvaZnije probleme, glavne pojmove. osnovne ideje i metode za reiavanje tipidni! problema. Konkretnije, on obuhvata: I Kvantitativno odredivanje pojma informacije; II Matemati6ki modeli za pojedine elemente informacionih sistema (tzvor informacije, komunukacioni kanal sa smetnjama); III Efektivno konstruisanje kodera i dekodera za obezbedenje pouzdanosti komuniciranj a (algebarska teorij a kodiranj a) : ry Interakcijsko-komunikacijski aspekt vaspitanja i obrazovanja. Osnovu zatzradts. ovog teksta dine [1] i [6].

Uvod

0.1.

sistem u nauenim istraZivanjima obicno oznadava neki svrsishodno organizovan skup objekata. Takvi skupovi objekata ulaze u odredene procese. Pona5anje, funkcionisanje sistema se karakteri5e stanjima u kojima se sistem nalazi u zavisnosti od procesa koji obavlja ili kroz koji prolazi. Pritom se smatra da se sistem u svakom trenutku nalazi u jednom od svojih stanja. Ta stanja se defini5u na osnovu cilja i aspekta istrazivanja, Sto znadi da se faktori, koji nisu u tom smislu bitni, zanemaruju. Svakom moguiem stanju se moZe pridruziti odredeni broj ili (prebrojiv) skup
Red

Pojam sistema.

brojeva.

Primer
Coveka moZemo tretirati kao odredeni bioloski sistem. Obicno se govori o dobrom ili lo5em zdravstvenom stanju tog doveka (Sto. nararno. nije egzaktno opisivanje njegovog zdravstvenog stanja). To se stanje moZe u odredenom trenutku wemena opisati pomo6u niza brojeva 6t,fr2,...,frn (gde, na primer, 11 - olzp;a|ava visinu, fr2 teZinu, 13 - krvni pritisak. za - puls u jedinici tremetra- z5 - broj crvenih krvnih zt1aca, itd.). Ako u ovaj niz uk'ljudimo sle pararnetre koje dana5nja medicina moZe meriti, onda se dobija egzaktno opisano zdrarstteno stanje tog posmatranog doveka.

Jasno je da promena stanja sistcma pre@mtavlja promenu bar jednog od parametara kojima je definisan skup stanja sistemaU realnim sistemima parametri koji opisuju stanje sistema su medusobno zavisni, odnosno promena jednog od parametara utide na ponaSanje nekih drugih. Jedan od osnovnih zadataka naudnog ishrafiwnja u egzaktnim naukama je da se otkriju veze i karakteristike veza iznedu pojedinih parametara. To omogu6ava da se na osnovu poznavanja birdih i trenutnih stanja sistema prognoziraju bududa stanja tog sistema.

O.2. fsfsrministieki i stohastiEki sistemi.

Obidno se u egzaktnim istraZivanjimt pretpostavlja da se za. svaki sistem moZe definisati odredeni skup ^9 svih mogu6ih stanja tog sistema. Funkcionisanje sitema u vremenu je zauzimanje odredenog stanja iz skupa ,S . Ako se na osnovu poznavanja stanja sistema u fiksiranom trenutku i veza koje tu deluju molejednoznadno predvideti stanje sistema u budu6nosti, onda se kaZe da je sistem deterministiEki, odnosno da postoji kauzalna zavisnost izmedu stanja u sadaSnjosti i budu6nosti.

Medutim, ukoliko sa na osnovu poznavanja stanja sistema u sada'Snjosti moZe odrediti samo verovatno6a sa kojom 6e sistem preci u neko drugo stanje iz skupa S u budu6nosti, kaZe se da je sistem stohastiian (probabilistidan). Tada se ne moZe jednoznadno odrediti stanje sistema u budu6nosti, ve6 samo, moZda, raspodela (distribucija) verovatno6e na S u bududnosti, budu6i da se radi o manjoj ili ve6oj neizvesnosti u vezi sa stanjem koje 6e sistem zatzeti u budu]nosti' postavlja se problem kolicinskog (krantitativnog) odret[vanja (merenja) te neizvesnosti za posmatrani stohastidki sistem. Razumno je pretpostaviti da se stepen te
neizvesnosti:

izraiava nekim odredenim brojem, da taj broj zavisi samo od distribucije verovatno& na skupu stanja S u momentu t nakon podetnog momenta, c) da se deterministidkim sistemima pridruZuje neizvesnost 0 . O6igledno je da bi krajnost u pona5anju sistema predstavljala situacija kada ne postoji nikakva povezanost izmedu stanja sistema u sadaSnjosti i budu6nosti, tj. kada ,tuau-,,potpuni haos" i ne moZe se nikako (ni sa manjom ili ve6om verovatno6om) predvideti kako 6e se sistem pona5ati u budu6nosti' kod Sre6om, u prirodi su desti sistemi koji su izmeCtu deterministickih i haotidnih. kojih se prognoze o njihovom zauzimanju stanja u budu6nosti mogu davati sa manjom

a) b)

ili

ve6om verovatno6om. Naved.eni brojdani pokazatelj za merenje neizvesnosti, koji se obidno naziva entropija sistema, moLeda posluZi kao mera razlikovanja od deterministidkog sistema, odnosno kao mera nereda (haosa).

tra sa razli6itih aspekata, odnosno, pri definisanju stanja sistema se uzimaju samo oni parametri koji su bitni za odredeni aspekt posmatranja' Tako se npr. Eovek moZe posmatrati sa medicinskog aspekta kada je bitno njegovo zdravstveno stanje. Ali se Eovek moile posmatrati i sa mehanidkog aspekta kao odredeno fizidko telo u prostoru i vremenu, pri demu se pridruZeni parametri mogu

0.8. Komunikacioni sistemi. U naudnim istraZivanjima se svaki sistem razma'

vezivati 11pr. za koordinate njegovog teZi5ta u datom koordinatnom sistemu, sa brzinom pomeranja i sl. Ya1at aspekt posmatranja doveka je njegovo poimanje kao sistema koji proizvodi, generi5e "informacij", & takode je korisnik, konzument informacija koje geueri5u drugi sistemi. Oeigledno je da se treba nrralo zadrlati na preciziranju pojma "informacija'Smatra se, u op5tem sludaju, da svaki sistem promenom stanja generi5e odredenu informaciju. Da bi se moglo govoriti o informaciji neophodno je da, pored izvora informacije,

drugi sistem koji prihvata i "razume" poruke koje emituje'rzl'ror. To podrazumeva da se radi o prenosu informacije od jednog do drugog sistema, odnosno o kanalu putem koga se informacija prenosi od izvora do korisnika. Zbog postojanja vi5e sistema i nemogu6nosti izolovanja jednog, dva ili odredenog manjeg broja sistema, objektivno je svaki primalac "zapljusnut emisijama" raznth izvora informacija iz okoline. Ako je primalac informacija zainteresovan samo za odredenu wstu poruka koje dolaze iz jednog izvora, onda emisije iz drugih izvora mogu samo Stetno uticati na prihvatanje poruka kod tog primaoca. Emisije druguh izvora javljaju se kao odredene smetnje ili Sumovi (buka) za dati izvor i datog primaoca informacije.

postoji i primalac informacije,

tj.

Primer
Neka je izvor informacija covek koji svira violinu, a primalac je dovek slu5alac. Jasno je da dovek putem dula prihvata i razre druge signale, poruke emitovane i iz istog izvora ali i iz drugih (pokreti violiniste, pokreti i1i glasovi u publici i sl.), koji se me5aju sa zvucima violine i time ometaju njihovo disto prihvatanje. Uobidajeno je da se sistem koji se sastoji od izvora informacije, primaoca informacije i sistema posrednika koji omogu6ava prenos poruka od izvora do primaoca naziva komunikacioni sistem. Najprostiji shematski prikaz tog sistema je, prema Shannon-u

at^'*1 GAd -+ akr"rtl -+ WAAIA -+ Vrc*A*i

1

F;,wA
lzvor informacije je objekat koji
generi5e odredene poruke (kojima se fizicki

ili

na neki drugi naqin konlmetizuje informacija). Koder je objekat u bme se poruka transformiSe u oblik pogodan za prenoSenje kroz kanal. Obiino se kafo da u kodsu nastaje kodiranje informacije. Kodiranje ima i druge ciljeve keo Sto su: pove6anje brzine prenosa! povecanje pouzdanosti prenosa

sl.

Kanal je medijrrm kojim'putuju" srgnali kao nosioci informacija. Redeno je da je informacija na svom putu od izvora do primaoca"'tzloLena uticajima smetnji koje deluju tako da primljena poruh nije uvek identidna poslatoj. Dekoder je uredaj u kome se poslane poruke ponovo transformi5u, sada u oblik koji je prihvatljiv za primaoca. Zbog delovanja smetnji i dinjenice da se primljena poruka ne mora podudarati ni sa jednom od poslatih poruka, treba naglasiti da

odgovaraju6u upu6enu poruku koju prihvata primalac. U teoriii informacija se nastoji da se wakom od spomenutih objekata (delova komunikacionog sistema) pridruZi odredena matematidka interpretaci;a. Zapravo se izgraduju apstraktni matematicki modeli za ruz}r1ite tipov-e komunikacionih sistema, istraZu.iu odnosi unutar taksih modela i zatim dobijeni rezultati interpretiraju u praksi. Yalan zadatak je, kako je vec napomenuto, da se definisu odredene velidine koje se mogu meriti (rzrai'avati brojem) i koje bi sluZile kvantitativnom uporedivanju pojedinih sistema. To uporedivanje sluZi, jasno, usavrsavanju takvih sistema u smeru povedanja brzine i pouzdanosti prenosa informacija u njima. u primerima koji slede vide6emo ilustraciju do sada navedenog.

ie dekoder samo odredeni mehanizam koji svakoj od primljenih poruka pridruZuje -

Primeri. 1. Binarni simetriEni kanal (BSK)

Izvor informacije mole u fiksiranom intervaiu emitovati poruke rn1 i m2 i to sa verovatnoiama p(m1):p i p(rn2) -1-p:q (0<pir) ukoderuseporuci rz1 pridruZuje simbol 0 , a poruci rn2 simbol 1 , tako da se i<analom prenose samo nule i jedinice. Delovanje smetnji u kanalu je opisano pomo6u prelaznih verovatno6a Pt'i - verovatno6a da se ulazni simbol i na izlaztt iz kanala primi kao simbol j ;

i:i

dobijamo binarni simetribni kanal. Neka se dekoder konstrui5e tako da se nuli pridruZi rn1 jedini , to izgleda ovako:

e {0,1}. Akoseuzmedaje

p61

:plo:,d

pLt:poo: i_ r, (0<, <Ll;),

ci m2.
Shematski

'izuor

koder

smetn.je

0-+1-e--+0

dekoder

6CC=d lm;;0 -') Ip(*) : ql lmz -, tl

I

\t

---+

,/\ (\
1--+1-E---+1

I |

IofnJ -''l

t *,1

Neka je

sistem, a sa

sa -O oznadena pojava gre5ke u prenosu poruke kroz ovakav komunikacioni p1(E) njena verovatno6a. Jasno je da je + p(mz)p(E

p{E) : p(rn)p(E /*r)

l^) -

: (p* q) :

Jedna interpretacija ovog rezultata je: Ako izvor emituje jednu poruku u sekundi, a kanalom se prenosi jedan simboi u sekundi, tada primalac korektno prima 1n@) - 1 - e poruka u sekundi.

i dekodir postavlja se pitanje da li je mogu6e. uz odgovarajude kodiranje makar se morala sn pt'I)) - verovatn"ei'.no1'* o"uo: l^o:,":Ti:r'u smanjiti ili se pove6ala brzina prenosa simbola?

ilr#*t;;J"i,

2. Neka su koder i dekoder konstruisa'ni

F{
I

La'o

na slici:

ro,o,o)

(o,r,r1 )
(1,0,1) t ) +rn2

(0,0,1) t ) +rnl (0,1,0) |

(1,1,0)
(1,1,1)

r-l-e-r

tt,o,ol
I

primeru' dok su ostali uslovi kao u prethodnom poruke Sada se greska E :: ,(1':'')"^':l* , (r,1:0) ili (1, 1, 1) - (gde ima jedan sd nizova (0,1, i) '"yl'i u je uslorrna veiovatno6a greske kada se prenosi " nula od jedinica). }iogtoga

Jffl ffi'ff#,

;;;;su

^.

i':

lTLt

,p(EhLL)

: p(0..:
(1

+ ,lo-1l;; lii;{ :- ll + p(0-- 1,0-, i,o-0) + p(0-- 1,0-' 1'0-+ 1)

0

(0,1,1)

(1,0,1)

--' 1)

e)ee

* (1 - e)ee * ee(l - e) + eee 3e2(1 - e) + e' -- e2(3 -2u)

.

gre5ke kada se prenosi rn2 Takode je uslovna verovatno6a

p(Elnu): gl(r -

) + e3 -- e2(3

- 2e) '

pri prenosu Otuda je totalna verovatnoda gre5ke

h@) : '

t'Y1m'4n!nlry) ze) : wrti -x) i'qe2(z - 2e) -- e2(z - n-\

PQtL)P(E\-')

'

Da bi uporedili totalne gpske pr(E) 1' r2(3 - Zd , ei:ije grafiEki prikaz na Sl'

i m(E) posmatrajmo

funkciju

/(

11

Za 01r<112 j" f(") (r pridemuznak":" vailiza fr:0 kaoiza r:Ll2Znatida je e2(3-2e) < za 0 (e <112, odnosnoda je pz(E)3p:{E) ra

0<e<712.

Vidi se da je totalna verovatno6a gre5ke pri prenosu smanjena ali je umanjena i

brzina prenosa informacija u sekundi, jer je kod binarnog simetridnog kanala korektno preno5eno 1 - e poruka u sekundi dok se sada prenosi

},t

pr(E)):

i,, -

e'(z

- ze)): *,, -

re2

+2e3)<

-e

za 0 < e < ll2.

Napominjemo da se sada kanalom prenose tri signala za svaku poruku paje potrebno tri sekunde za prenos jedne poruke zbog dega brzina preno5enja postaje (t - es@)) l3 .

riz od 2n*1 nula,aporuci rn2 nizod 2n*l jedinica (nN) .Dekoderbimogao

3.
Ocigledno je da se moZe kostruisati koder tako da se poruci rn1 pridruLuje

biti konptruisan tako da se izlaznom nizu u kome ima viSe nula pridruZi poruka m1 .
a izlaznom nizu sa vi5e jedinica poruka rn2 . Jasno je da je svaki izlazni niz element skupa {0,112"+' u kome ima 72nrt elemenata (broj varijacija klase 2n * L od dva elementa). Ako je X sluiajna promenljiva koja oztaZcava broj pogre5no prenetih simbola u nizu y {0,1}2"*r , onda je ta sludajna promenljiva raspodeljena po binarnoj raspodeli B(?" * l, e) 1n je

.
12

p(El*) :

p(E lmz) : p(X

) n * t) :
'),*,,

p(n+ 1 < X < 2n + 7)

:\-

k:2n+l
/r

k:n*1 Otuda ie totalna verovatnoda greSke

(^;

^r2n*1-fr - E)

pz*+{E)

: p(m)p(X } n+ 1) + p(rn2)p(X ) n *
za 0 < e < 112

7)

: p(X > n *

1)

MoZe se pokazati da je

))ILpr"*r(E)

Stavi5e, totalna verovatnoda gre5ke, pri upotrebi kodnih zamerra "duZine 2n+1" eksponencijalno opada ka nuli kad se n uvedava. To znaci da je opisanim postupkom mogude osigurati prenos poruke sa po Zelji velikom verovatno6om ( 1 - Pzn+t ---+ I kad 72 -+ oo ). ali se time brzina prenosa praktidno svodi na nulu.

Jedan od osnovnih rezultata u Teoriji informacija jeste saznanje da za odredene komunikacione kanale postoje koder i dekoder koji osiguravaju prenos po volji visoke pouzdanosti, a da se pri tome brzina prenosa ne svodi na nulu.

Primer.
Veoma upro$6en komunikacioni sistem mo1e se uoditi i kod prenosa informacija u srednjem veku. Naime, ako bi vladar poZeleo da neSto saop5ti svojim podanicima, onda je to tada mora,o da uradi na slede6i nadin: Prvo je smislio proglas i izdiktirao ga svom pisaru koji ga je zapisa,o na pergamentu. Nakon toga je to predato pismono5i (telalu), koji je trebalo da pergament urudi nekom pismenom doveku, koji 6e ga proditati na nekom trgu, gde se ljudi obidno okupljaju. Na putu od vladarevog dvorca do trga mogle su se odekivati razne neprilike u vidu napada razbojnika, politickih neprijatelja, krade i
sl.

ovde postoje wi ielovi komunikacionog sistema. Vladar koji smislja proglas je izvor. Pisar koji pi5e proglas po diktatu je koder. Pergament na kome je proglas i telal su kanai. Pismen dovek koji Eita proglas je dekoder. Podanici koji slu5aju proglas su

primaoci informacija. Politicki neprijatelji, razbojnici ili zameniti proglas predstavljaju smetnje (buku).

i sl. koji mogu oteti, ukrasti

ilt

2
2.L

Entropija
Shannon-ova entropija

::::T:','*'::,:,1::1?Llr"y*ri?1"1.ilffi;;;il:llff 1X?;fi da se matematidki

(1e28

il:m:*l:X,:if

.f*::o.g,":"ih

probtema u reoriji informacija kako da

-#;

pri demu se prvi

da informacija koju nosi

iiu. H. Nyquist (1924) i R.H biri k .uturlj".ru od drru

tz

tako ffi da opisani zahtev glasi

iH'.:ilJl

r rntormacija koje nose po;eaini-oa'-tt jif, I(mn)

odn

iih

signala.

:::iT"?^'"toi"iu;;G;;J'il''"'#'lf
: I(m) * I(n) ,

vih ";l-y;

Kako logaritamska funkcija ima osobinu log(ry): logr * logy da se signalu koji se bira iz.ilp;'od -n-*signala , to se pridruZi ,X1;ffi:i1'deja

I(n):1sgr.

,.#

se

neizves_ nosL tj.. njegov prijem ne donosi nove "" koliEine informacija. ako se dati signar bira iz ,e" taieir" lakle' signala, neizvesnost u pogredu toga da bas on bude primrjen-je ve6a.r"go ,rurrr"rnost da bude primljen ---o- -' signal izabran iz manjeg broja signala.

#*,:fl"' informacija' u stvari, smatra * J" neizvesnost u pogredu prijema-odrea"nog ""Zr'mliiina informacija otklanja ve6u .ignal a. zaista, signal koji se prima sa verovatnoiom 1 (znadi, ostari m r".oritroiom 0) ,;;;;;kvu

::::ll=:l':
uke rz skupa sv

1. 2.

pridruzivanje moZe potkrepiti i sa dve sredeie pogodne osobine rogari_ logn ) 0 za svaki prirodan broj z; m < n =+ logrn^< logn (ako je o..rova ve6a od 1).

9*"U"a"statak
nii

Hartley_eve

u tome

Sto se sve
ne)

Sto

.S
javljuje

'. ,".;";;;;;;;il}ffi #"tf:'ij"r"n I(p):-bg1

p

uzeo da signalu

koji

se po-

2. ENtRoPua

L4

(Lpr:

Alo ima n

mogu6ih signala koji se pojavljuju sa verovatno6ama Pt pojedini signal 1 ), onda je Jrednja (prosefna) koliiina koju nosi

H(pr,pz,. ..,pn)

-iorrtoi)
i=l

: -innt sn, i=l

1

Shannon-ove odigledno je Hartley-eva definicija informacije specijalan sluraj definicije informacije, tz P4: lf n , ier ie

H(!,!,..., 1):-i1.*1 : n n' 'nn

a=l -n

-nlLog

logn

se signali Kod shannon-ove definicije se, dakle, uzima u obzir dinjenica da verovatnode (pt,Pz," ',p') ' tako javljuju u skladu sa odredentm raspodelom drugih i, .r"arr;u informacija po signalu zavisi od te raspodele' a ne od nekih nazvao H(pt,pz, ' ' ' ,Pn) Shannon je veHeina koje karakteriSu signale. Velidinu interpreentropija konaEne r*pod.l" verovatnoda, bududi da se ona moze

po-

tirati

vrednosti kao neizvesnost u pogledu slucajnog izbora jedne od mogu'6ih kojima su pridruZene redom verovatnoie P1,P2,''' ,Pn ' " Pomeniroo da je H. Boltzman, mnogo ranije, koristio izraz

g: -*lnilogpi
i:1
gde

pr.<0, l?r.:1, i=1

gasa, diji se

ilot"t

je k

odvija.nje fizidkih prooesa

hrakteristi'no je povecanje entropije-' SlededeosobinekojepmedujeShannorrraentropijapotvrdujunjenuprikIJ(1) :6 . p; H(pir,pr,. . . ,Pn) ne zavisi od permutacije verorratno6a i :7r2r. . , )n . H (Pr,Pz,.'',Pn,O) : H (Pr,Pz,''.''?n) (uz konvenciju da je 0log 0 : 0 ) ' H(*,*,..',*) : h(n) 3e rastu6a funkcija od n. N. -H(p,t - p) : -plogp - (1 - p) log(1 - p) je neprekidna funkcija za 0 1P <7 ;

Boltzman-ova konsfianta koji je nazvao entropija idealnog spontano t sa veronatnodom p ,,el,oi u i-tom delu faanog prostora' Za

Iadnost za

Akoje
qr

*pz+ "' * pr, Q2 : H (pr,Pz, . . .,Pn) : H-(qt, qz)

l3r<ni

pr

Pr*t

* Pr*z*''' *pn
H")

onda je

*^i'(oi,*n,,. ff)
rafik funkcije y --

**u(W,W,
dat je na

H(r,l,

- r)

2. EntRopr;R

I5

-H(x,1-x)

sI 2

Kako je prvih pet tvrdenja odigledno, pokaZimo samo da je

tadno.
S obzirom na

tvrdenje 6"

to da je:

H(qr,qz): -gr logqr -

qzlogqz

qrn(PJ,q,...&)
\9r Qr
Qr

: -et}Xbr'; -;o,t.*r,
: - !u
TTT

i=t

rogsr)
qrloEsr t

loEpr

*logqrDrn
i=l

i.=t

-DrJogpn +

2. Exrnopue

16

\ 9z Qz

Qzl

:-i i=r*\
:- i i:r*l

piospr*

Iog

q2

i:r*l

o,

prtogpt*q2togq2,

Sabiranjem poslednje tri jednakosti dobija se jednakost u tvrdenju 6o. Ova jednakost ima i jednostavnu interpretaciju. Oznaeimo sa, Y1 skup {*t,*2,.,.,frr}, a sa Y2 skup {4"a1, ar*2t...,tn}, onda se ff(q1, q2) moZe shvatiti kao neizvesnost u pogledu izbora Y1 ili Y2. H(prlqr,...,p,lqr) pokazuje neizvesnost u pogledu izbora jednog od elemenata iz skupa Yr , dok H(p,+rlqz,.. .,p.lqz) to isto pokazuje za neki element iz Y2 . Jednakost u tvrdenju 6" izraZava da je neizvesnost H(pt,pz,...,pn) u pogledu izbora jednog od elemenata {rt,rz,...,firtfir*Lt...,rn} jednaka neizvesnosti u pogledu izbora jednog od skupova Y1 ili Y2 uvedanoj za zbir "ponderisanih" neizvesnosti izbora jednog elementa iz skupa Y1 odnosno Y2. Postavlja se pitanje da li je Channon-ova entropija jedino mogu6a mera neizvesnosti. Odgovor na to daje tzv. teorema jedinstvenosti. Oznadimo sa 2q skup svih raspodela verovatnoia na n-elementnom skupu,

tj.

4:{( \//6,\//e,"',\/r\) R"lPi(o;!nr:1}' '

i=1

Ocigledno

skup za svako n N, pa se entropija,Ff za svako n odredena funkcija iz 2q u R.

da je 21 C R' , pri demu je 2\

ograniien, konveksan i zatvoren

moZe

tretirati kao

je oblika

Teorema 2.1.1 (Teorema jedinstvenosti) Funkcija H kao funkcija od, n e N i (h,p2,.. .,pn) e Dn, koja ima napred, naaedene osobine 4", 5o i 6", nuZno H(pr,pz,. . .,pn)

: -CDprlogapt,
i:L

ru

gdew C>O i b>l

proizuoljnirealn'i,brojeui.

Ako se pctavi zahtev da se defini5e "jediniina" ili "atomarna" neizvesnost, tj- da se zahteva da je H(112,712) : h(2) : 1 , odnosno da jednidnu neizve$xst imasituacija sa dva jednako verovatna stanja, dobija se veza izmedu konstarrti C i b:

-n*t*r*,:

t * Clog62: I +

log62c

+ b:

2c

r-l
)

2. ENrnopr.ra
Ako se uzme da je C

IT

:1

dobija se najce5ii izraz zaentropiju

H(pt,pz,...,pn)
Govorimo da je

: -irolrgzp,
i:1

entropija izrazena u b i t i m a ilibinarnim jedinicama. Jedan bit entropije odgovara situaciji sa dva jednako verovatna stanja. Ako se Zeli da se prirodnim rogaritmima ln r : rog" r in;azava entropija. onda velidinu

H(pr,pz,...,pn)
sa konstantom

: -f

nohon

i=1

kojaizra,ava entropiju.u prirodnim jedinicama iti n i t i, m a, C: L/ln2 da bi se dobila entropija irr"Z""r"* trebapomnoZiti Uiti_r. Napomenimo da postoje tablice vrednosti za _plog2p za neke p , 0 < p< I . Jedna takva tablica je data na kraju ove knjige.-' Funkcija v : H(:,r r) , eiji je gradk na sl. "2] dostiZe maksimum (i on iznosi jedan bit) ako je r - p : rlz. Drugim redima, maksimalnu entropiju ) ima sistem sa jednakoverovatnim stanjima. To vaZi i za svako n , f:r;,:2 Teorema 2.1.2 H(pr,pz,. . .,pn)
a.iednakost uaZi alco i samo ako je za suako

logn

i e {1,2,...,n} pt : l/n

Za dokaz poslednjeg tvrdenja prvo dokazujemo lemu koja glasi:

Lemma 2.7.J Neka su za n e N dolz realni brojeui pt,pz,. . . ,p, , Qr,Q2t...tQn, pt.)0, Qt)0 i.neka j" DT=rqn<D?=r'ir'. fo'aoi"

- io;os' P'' - i i=7

gde .jednakost uaZi ako ,i samo ako

r,tos,qt,
,i e.

i:l

rt: qt/pt:

{1,2, . . . ,n} pt : qt . Dokaz Leme. Koristeii poznatu relaciju rnr I r- 1 (pri iemu jednakost vaZi ako i samo ako.ie r : l, kao i jednakost lr, : I"gr;i;, , dobija se , ln2log2 r { r- 1 . Uvrstimo u poslednju nejednakost."ao*""ru ,i:1,2,...,n

je za suako

rrcrf,=
MnoZenjem ovih nejednakosti

#(# -1)
:
7,2,.
..

dobija

se

sa p; , e

,n i sabiranjem po i

f,,o^r#=

#(Dr,-2,,)

2. ENtnoprre
Po uslovu tvrdenja

18

j" DL, o; Sli:rpi

-\'n,los"1(0.Z_/, " "" D,
x:l

, pa je
odnosno

n:

-f,o,tos,pr = -irrtos, qu
i:1-

r-1 znati daje qi -Pt. za Sobziromnasmenu u:qt/pt.'i:1,2,...,h, i : 1,2,. . . ,n , tj. pod tim uslovom vaZi ba.S jednakost. tr sve Dokaz. Polazati od Leme 2.1.1, uzimaju6i Q;. : lln 'i : \,2,...,fl , (brojevi pr,p2,. .. ,Pn su elementi raspodele) i kako je onda
n1n

5-qo:n!:l ./r '' n

i:l nnln

i )]pn:t
x:l -'

dobijase

Jednakost

taj

Zrad-r daje entropija sistema maksimalna ako su stanja u koja moZe pre6i sistem jednako verovatna.

: lnrtosrnn < -Drntos i togn Irt -i:l i=l i.=1 'i,: 1,2,. . . ,rL . tr vaZi za pi : {li :lln

: losn '

2.2 Entropija beskonaEne i neprekidne distribucije

verovatno6e
Prirodno se name6e ideja za "merenje neizvesnosti" u pogledu stanja sistema kad je skup svih mogu6ih stanja datog sistema beskonadan, prebrojiv skup, pri iemu svakom stanju pripada odredena verovatnoia. Za opisivanje te situacije pogodno je posmatrati diskretnu sluoajnu promenljivu X sa skupom vrednosti R(X) : {$oo,$e,...} g n i pripadnim verovatnoiama k: p(X : ni) , pt )_ 0, i N , IE, pt : !. Pri tome se vrednosti 14 interpretiraju kao stanja sistema, a pi kao verovatnode da sluiajna promenljiva poprimi vrednost ri kaa verovatnoiu pojedinih stanja sistema. lnp6 konvergira njegova suma se zove entropija diskretne Ako red -L[rn raspodele verovatnoie (pt,p2,...) e D*, gde je

,')

D*:{( r-,,r,...) R- lpi 2 0,ir, : 1 }. YYi:1

Obiino govorimo o entropiji diskretne sludajne promenljive X a pri tome se ilicli. narayno, na entropiju pripadne raspodele verovatno6a. Jasno je da se ta&o mofu govwiti i kod diskretnih raspodela verovatno6a na konadnom skupu. Red -LT.rplnfi moZe biti konvergentan, ali i divergentan. U drugom sluiaju Bomrimo da odgovarajudem sistemu pripada beskonadno velika entropija
PiSemo

H(pt,p2,...) : - D}-rptlnpn - H(X)

2. ENrnopr.le

Ig

Primeri. L. Uzmimo

da

je pi:112i , i

Odigledno je

pt)o i iro -\31 L,i i:1

?: I

1
,1

1 L I

- 1.
rc1

Dalje je

H(x):ir,rnr,:
i:t jer, ako je
onda

-i1,,1 : ln2\- ! Z-t 2x L22 i:1

i=1
2x

:2112.

*:$1-1*2*3*... - 1-2t 2' 22 2s

i:l

'

je

f,s

t23 : -I_I-I... 2z'2s'2+'

paie
je

t-lt:

odnosno odakle

,o: rr:a,

111 2'22'23 t^ 1
--L--L1

Ako se entropija izrazi'o bitima dobija se H(112,714,118,...) :2 bita. Zna.ii da ako diskretna sludajna promenljiva ima dati geometrijski raspored, onda je njena entropija 2 bita.

:2

px

2. Poznato je da red DL, Ffu divergira, dok red Dn, il#T konvergira to, npr. pomo6u Cauchy-evog integralnog kriterijuma). Ako je a:DZzE#T,onda, stavljaj,,tti pp: ;5J,;3.1E, k e {2,3,...} vidi se da je
(pokazuje se

) 0 i DL,
Ako
se

px : |, pa se dobija dobro definisana sludajna promenljiva. traZi njena entropija dobija se

H(x):-ir*trro
k:2

_lnaS

Kako je drugi dlan na desnoj strani poslednje jednakosti divergentan, to je

ocigledno da odgovarajudem sistemu pripada beskonadno velika entropija. Kako odredivati entropiju kod sistema sa neprebrojivo mnogo mogu6ih stanja

+ LiRl*;!*kr,,/, alAiffi "

1S

2fl1r11r,t'1

Tako npr. stanje sistema sa desto defini5e pomodu vrednosti nekih fizickih velidina (koordinate, vreme, temperatura, jadina struje i sl.) koje se korr tinuirano menjaju u nekom intervalu realnih brojeva, u skaldu sa nekom raspode lom verovatnoia.

2. ENtRopun
Sada je

20

pqodno uzeti sluiajnu velidinu X

sa zadatim zakonom verovatno6e

f(*),re
Posmatra se niz

f(r){[(r) <0,/

r-m

f(r)d,r:1).

Yn: *l"Xl ( [o] - j" ceo deo od a - najveii ceo broj koji od o ) pri cemu je odigledno lim,-- Y-: X kao i niz pridruZenih entropija H(Y.). MoZe se pokazati da je
nije veci

H(Y.) 2 H(Yt) * Inn

Sto znadi da postojanje entropije

je osigurana ukoliko postoji H(Yr) . Niz entropija {H(Y")} moZe i divergirati. Problem odredivanja entropije za neprekidne sludajne promenljive moZe se sagledati iz sledeie teoreme: Teorema 2.2.L Neka je uerouatno1,e f (r) . Ako je

H(Y) implicira i postojanje entropije za svako n e N. To se moZe i ovako interpretirati: Ako se pode od raspodele date sludajne promenljive x mogu se konstruisati diskretne raspodele varovatno6e za odgovaraju6 sludajne promenljive Yr,Yz,. . . ,Yn. . . koje u odredenom smislu aproksimiraju datu raspodelu verovatnoie sludajne promenljive X (sve bolje sa porastom rz ). Otuda je prirodno da se entropija sludajne promenljive X dobije kao graniina vrednost niza entropija H(Y"). Egzistencija svake od entropija

neprekidna sluiajna promenlj,iua sa zakonom

H(X) < oo i

f (r)ln f(r)

dr

konuergentan, tada

,l11# : 1 =+ ri- {r{(y,) -rnn} : - l:f@)tnf(r)dr

Uobicajeno je da se H(X) : - /: /(r)ln f (r) d,r , ukoliko integral konvergira i H(YL) < oe , zove entropija neprekidne raspodele verovatno6e.

1. Neka je X a<b.tj.
Sada je

Primeri.

ravnomerno (uniformno) raspodena na

intervalu

(o, b)

f(r):
H(x)

(t

oT' a1r1b,
inace

: -+ 6l fo o* -ln(b - o) o-a o-aJa

tj- entropija moze biti ma koji realan broj i ona zavisi samo od duZine b - a intervala" odnmo. sne uniformne raspodele nad intervalom iste duZine d
b

- a imaju iste enrropije.

2. ENrnopul 2.

27

Neka je neprekidna raspodela verovatnode zadata zakonom verovatno6e

-/-I 0 l@\: { '*t'

Ovde je

?u!> inaee dr

"'
1l_:r.

f@

r*

J_*f(")o*: J"
Medutim,

;r7;: r,rrl"

f@ [* lnr * 2ln(lnr) - J__/(r)rn/(r) o*: J"

-ff0"

:
tj.

I"*

*- * I"* H
ll*"rat*:

a*,

l.* *r,.:ln(rnr)l*

: so

ne postoji konaiua entropija.

Primetimo da poSto je

I.*

#, l"* *:*,
i
i
disperzijom) disperzijom

tj.

rec je o raspodeli sa beskonainim odekivanjem (a isto tako izlazi da je i entropija beskonaina.

Za sludajne veliEine sa konaEnim matematidkim odekivanjem

moZe se dokazati postoja,nje konaine entropije.

Teorema 2.2.2 Neka

uatno6,e

je X neprekidna sluiajna uelii'ina sa zakonom uero' * QF-. Tada: f(*), a) Ako X i,ma konainu disperziju s2 , onda H(X) postoji i, uaZi H(X) < ln(2resz)L/2 , pri iemu znali ":" uaZi ako i samo ako je X: N(m,s2) ra r <0 b) Ako je X nenegat'iuna sluiajnaueliiina, tj. ako i, f("):0 i ima konaino matemati,iko oi.ekiuanje EX : m , tada H(X) postoji, i, uaZi, IJ(X) S lnme , pri iemu zne,k ":" uaZi ako 'i samo ako je X rasporedena po
.

eksponencijalnom zakonu sa oiekiuanjenx 'ffr . c) Ako je X ograniiena sludajna ueliiina, tj. ako postoji i'nter"ual la,b) , (, < b) takau da j" f ("):0 za r <a ili, r)b, tada H(X) postojiiuazi H(X) S In(b - a) , pri iemu znak ":" uaZ'i ako i samo ako je X rasporedena un'iformno nad'interualom la,b) .

Dokaz. Dokaz ove teoreme bi6e dat nakon dokaza Lemma 2.2.3 Neka su

slede6e leme:

f i g : R --l R nenegat'iune funkcije takue do je /i./(") d*: [l*s(r)dr: a] 0 . Ako i" - [i*f @)lns(r)dr konoion. tada i - Ia f (") ln /(r) dr konuersira 'i aazi

I - J-*
pri iemu
znak

r@

f@)tns(r)dr1
i
samo ako

I - J-* f@)tns(r)dr.
je f (x): g(r)
zo skoro sue

f@

":"

uaZi, ako

2. Enr:Ropue DolrazLeme. Naosnovupoznatenejednakosti

uslova leme

, s@) - s@) tnffi=frd-t' dok znak ":" vazi ako i samo ako je f (*) :9(r) , pa je /(c) ln /(z) < s@) - f (") odakle sledi tvrdenje leme' n
a) Ako se uzme da je

proizilazt

lnr< r-1

za

r>0

J@)lng(r)

g(r):
tada je

#*"*o{-@#} ,
:-

rn

R,

l:f

@)tns(r) d,r

l*

tr"l{-tns(2tr)2

- 9:4}

a*

:rn(2ns2)L/'+

# - l*
s2)r

A -n')2f
eL /

@)d.r:tn(2rs')'/'+i
ln(hres2)r

:
odakle sledi

ln(2tr

/2 + ln

/2,

H(x) : - [* /(r) ln f (r) d'x 1rn(2res2)t/2 , J-* pri Eemu zrrak ":" vaZi ako i samo ako je
f

(*):

#"*r{-@#)

tj.

X:

N(m,s2)

b) Stavimo

-1
(

g(r):t

**i-*, II3;
d^r

paie

- J-f

f @)tns(r)

- - Jo rt"l{-tnm - *} [^*
1

o.
lnme
.

:ftrm+ :1 Iroo rf(r)dr :lnm* rn Jo Odavde je

H(X)
pri
Eemu

: lnrn*lne :
,

: - r@ J_*/(r)ln

f (r) dt <'rnme

vaai ako i samo ako je /(r) : S@), po elryonemcijalnom zakonu sa oiekivanjem 17 . enabsd z.lrljuei se izvode i za c) uzimajudi

n*.n:"

tj. X

je rasporedena

g(r):{

#r,

' :;:2; .'u'

2. ENrRoPr:n

33

"t*"ri 1. Odrediti

neodredenost

pri izboru jedne od 32 karte u Spilu'

.,

H(*,*,

$)

h(32):rog232:

bita

'

para karata iz svakog od dva raz[dita 2. Odrediti neodreclenost izbora jednog Spila sa Po 32 karte'

/ Xr H(Y):
3. Odrediti entropiju
h$22)

X2 2losz32

Xsz' \

10

bita

'

sistema opisanog tablicom

rrl rr

12

rJ

14 :

frs

H(X) : -4'

O,01log 0, 01

0' 96log 0' 96

0' 3221

bita

'

4. Odrediti
bombardera),

"a";l;il;"?'dos'o* stanja sistema: c) bombarder pogoden' Iovac ne' a) oba su nepogodena, pogodena' d) uj tou." pogoa"rr' bombarder ne, je oba su za bombarder je 0' 5 ' 0,4 , a Verovatno6a a" f""* U"Ju pogoden d \ c' b a x,( 0'40'5)' 10,60,5 0'40'5 0'60'5 H(X): -2'0,2log0' 2-2' 0'3log0'3:1'971 bita'

dv1 aviona (lovca i entropiju fizickog sistema koji se sastoji o{ rezultat boja je jedno od uoSu' xao koji

'-

')

koja se sastoji od 5 sicra' pri 5. Na6i maksimalno mogu6u entropiju poruke Eemu je broj slova aabuke 32'

H*o,(X) -

Iogz 325

25 bita

'

2. ENtaopr;e

24

6.

Kolika je entropija "nepo5tene" kocke? (Kocka je pode5ena tako da na

izvesnu stranu pada iesde).

Ima.mO

Pt: ?Z: PB: p4: pS : p , p6: q: I - 5p , H(x) : -5plog2p - (1 - 5p)log2(1 - 5p)

7. Pohebnoje u gradu od 800.000 stanovnika pronaii odredenu osobu koja je shnovnik toga grada. Kolika je entropija tog problema?

H(x) :

loez 800.000

logz 80

+ 21og, 100 : 6, 322 + 2 . 6,M4: 19,61 bita

Usrojena je proizvodnja novog proizvoda. Pita.nje je da li ga plasirati na trZiEte A koje je snabdeveno sa 45To plasmana ili na trZi5te B koje je snaMeveno sa 65% plasmana istog proizvoda.

8.

H(A) : -0,

45log2 0,45
65 log 0, 65

0, 55log2 0, 55 0, 35log 0, 35

0,992 bita
0,

H(B) : -0,

934 bita
.

KaeD jeneizvesnost ve6a na .4 treba proizvod plasirati aa B

belih" 8

je neodreiknmt izbora veia?

g- U prvoj kutiji je 10 belih, 5 crnih i 5 crvenih kuglica, a u drugoj je 8 rtrih i 4 crvene kuglice. Izvladi se po jedna kuglica iz obe kutije. Gde E(I) : -0,5log
0, 5

0, 25log

,25

0,25log 0, 25

0,4515

H(II):0,4581 > H(I).

10- UoEiEo drra eksperimenta: A - unutar jednakostraniinog trougla se na shEajrn naiina bira taika koja se moZe na6i unuta,r ili vaa upisanog kruga; B - 'rrlrttr kqga m na sludajan nadin bira tadka koja se moZe nafi unutar ili van upisanog ldnahmtraniEnog trougla. Kone od ova dva eksperimenta odgovara veia neodredenost?

'i
a

E(At:-r#-'*
E(B)

#-

(r

- lbl
(r

rog(1

- 7fo1:
rog(1

0,e648.

: -+b}#-

:0,9765 > H(A)

#l
.

*l

11. tzvodi * gadanje na dva cilja: na prvi su ispaljena 2 metka, a na drugi 3. Verovahoiapogotkaprvogciljaje lf2,adrugog 7ll . Zakojicilj je
rezultat gafinnja o&eateniji?

H(4

:-r1'* l*lu'j
279

* ] r"* ]) :,,uoo,

H(rr): -(*roc

ros

f * fr,"* 3.

*",s*

2. EN'rnopr.le

25

1.7053

> H(I)

12. Verovatnoia realizacije dogadaja u jednom opitu je p , a suprotnog : L - p . Za koju vrednost p rezultat elsperimenta ima najve6u vrednost? Q H (p) : -(prosp + (r - p) log(1 - p)) , pa je

H'(p): -(togr* 1-log(1-p)+(l Iz uslova H'(p) :0 sledi da je p : LlZ verovatno6e, gde

-p)+) : - bs*.

13. Odrediti entropiju slu6ajne promenljive X sa binomnom raspodelom je p: q: l/2 . i uporediti je sa mopijom eksperimenta sa

6 jednakoverovatnih ishoda-

:5-# X : {*o,nr1t2,l,3,r4,q};p(to): } ,f{rr)

p(q) :r0...
Y

;p@2): fO.}

11I :5. : i;p@s) i, s, ;p(r4)

H(Y) :2,585 > H(X)

H(X) :2,198 bita.

: {ao,ar,az,as,y+,as,aa};p(yi): ,r: 1,2,...,6; *

.

14. Na6i entropiju ravnomerno rasporedene sludajne promenljive

varijansa o2
.

dija je

Varijansa sludajne promenljive X koja je ravnomerno rasporedena na inje (b- a)2ltZ, odakle se dobija, izjednadavanjem sa o2 , da je b - a : ot/n . Kako je entropija ravnomerno rasporedene sludajne promenljive na (a, b) jednaka log(b - o) , to se dobija da ona iznosi logo1/72 .

tervalu (o,b)

15. Na6i entropiju slutajne promenljive X : ,n/(0, o)

(*): --"*"-r(-#)
\

H(x)

:E(- Iog/(r)) : E( -rog -+ + 3 ros") o\/21T zo'

/
ot/2n

:tog

*Lffe{*,) :
ot/2tr

tog oJzn

+r-5;
.

:log

+f,ns":logJ2n*'

16. Na6i entropiju sludajne promenljive koja ima funkciju raspodele

( o F@):l;, '\*/

t 1 ,irr;

,r<0, ,o.r.r,

fO):{2: o I

'o<r<1'
'inaie'

2. ENrRopuR
pa

26

Je

trc 2rlog2rdr:lo97-L H : E(- Iog/(r)) - E(-log2n): Jo

17. Zaledenje bolesnika

fr

95% slueajeva, a do znatnog poboljsanja u 5%'slucajeva. Druga dovodi do ozdravljenja ,.s. 95To slu.ajeva, a do smrti u 5% sludajeva. Na6i entropiju kod
obe metode.

se koriste dve metode. Prva dovodi do ozdravljenja

Entropija je u oba sludaja ista, ali je jasno da je druga metoda losija. To pokazuje da entropija nije potpuna karakteristika neodredenosti opita.

18. verovatno6a dogadaja A u opitu je p . opit se izvodi do prve realizacije dogadaja -4 . Slucajna promenljiva je broj izvedenih opita. Na6i
njenu entropiju

i objasniti karakter

promene entropije

pri promeni p

'

H(x)
Ako

:- i e*-'rtos ({-'p)- - IogP - 1'or, ' &:r

raste od 0

p opa.da od 1 do 0 onda I/(X)

do

oo '

19. Data zu dva larcta informacija sa porukarna

"'(;:

;:)

'

v,( a, \(r

uz
Qz

vr\
%)

Koji od ova dva izvora ima ve6u neodredenost ako je: a) Pr: P2 ,Qt: Qz:

%; b) Pt:Qr,P2:q2+q3' a)Zbog Pr:P2 i h*Pz:1je

Analogno b) Ovde imamo

H

Pt:Pz:ll2,Paie 11 H(X) :2(- ,log ,) : los2 se dobija da je I/(Y) : log3 > H(X)
. .

(X) : -p1 log p1 - pzlogpz : -Qt log q, -

(qz

+ Si log(Sz +

qa)

:
fier

* qs) - qa log(sz * qr) ( qr log qr - qzlog qz - gs log g: : H (Y) ,

q1

log q1

qzlog(qz

je q2>0,

s3

> 0 ).

ft[

3 Informacija
3.1
Sopstvena informacija
u sistemu je Emitovanje i prenos informacija odvija se, kako vei napomenuto, oblika

uu,'NcL

[t'"-l

r' f]*"'l

11,,

.l J' ft"'alacl
I

lsmetn:e

(diskretan izvor) koje X . Primalac prima moZemo shvatiti kao vrednosti sludajne promenljive Y ' koje signaie Ut,Uz,. .. ,an kao mogu6e vrednosti sludajne promenljive smetnji' Smetnje zavise od vrednosti strrOa3ne promenljive X i delovanja sludajnom promenljivom takode imaju sludajan karakter i mogu se predstaviti

Izvor emituje informacije, tj' signale fi.,fr2,''''fin

funkcijapromenljivih X i Z,li' Y: f(X'Z) ' jednoznadno' Zbog delovanja smetnji signali q i w ne6e biti pridruzeni tj. isti simbol ri moZe p.e6iu razlidite Ui , i obrnuto, Ui se moZe pojaviti istovremene u sludaju emitovanja raznih ri . zato se govori o verovatno6i ( *u na ulazu' ai na p(u,a) fo;urr" puru (*o,ii) , ti. o verovatno6i

Z.

Otlrila-ie

izlazu). Na osnovu formule o proizvodu verovatno6a

mogu se odrediti

p(rta) : p(r)P(Ylr) verovatno6e p(rt,A) ako je poznat mehanizam dele

"*Jusmetnji,tj.mehanizamtransformacijesignalafi;usignalEjako su Poznafe To tbezbeduje odredivanje uslovnih verovatno6a p(Ailr;) raspodele dvodiverovatno6 a zd, fri, a time i verovatno 6a p(ra,yi) odnosno

menzionalne siudajne promenljive (X, Y) ' informacije Otuda je prihva6erro du se definise poiam s o p s t v e n e I(*) ,kojrr.,,nosi,, signal X , kao i pojam uzajamne informacije I(X,Y) . koju primalac dobija o X kada primi Y ' post+ Problem definisanja mere za informaciju meze se u opstem sludaju viti kao probiem definisanja parametra /(x) - sopstvena informacija' odnosno I(X,Y) - uzajarnna informaciia,, za datu sludajnu promenljivn

{*r,*r,.'..} iverovatno6ama pt:p(X:'u) generisana informacija f(r') je se emituje sa verovatnoiom pa i pri tome

odnosno za dati sludajni vektor (X'Y) ' Neka je X diskretna sludajna promenljiva sa skupom vrednosti

R(X) : 20 EErP;:l ' Signal &

-

28

Z. BnaNovri

Razumno je zahtevati da funkcija ri -* I(r;) , ni e R(X) ima slededa svojstva: @ I(r) : C@,). tj- sopstvena informacija ne zavisi od vrednosti n,; signala, ve6 sarno od njegove verovatno6e fu I (tt) p '-- G(p) ie neprekidna tunkcija za 0 < p < t ; (iii) p -. G(p) ie strogo opadajuia funkcija na [0,1] , tj. signali sa ve6om verovatao6om treba da "nose,, manje informacija; (ir) G(p+q): G@)+G(q) zasvako p [0, 1] , sto zna1i d.ainformacija koju "nose" drra stohastiEki nezavisna signala treba da bude jednaka zbiru informacija koju "nmi' svaki od tih signala. Na osnovu oyih zahtevul moie se dokazati slededa teorema:

Teorema 3.1-l Fw*cijo p--- G(p) , koja i,ma suojstua (i,i,)-(i,u), nuZno je oblika G(p) : -clq6p, gde su c > 0 i b > I proi,zuoljni realni, brojeui.

uprimerimaseobidno uzima c: l i b:2, dok je uteorijskim razmatranjirna pogodno uzeti C: 1 i b: e Signal z;, djajeverovatnoid pt , ',nosi,, informaciju I(r): lnp; tako da se v(ziuro za sludajnu promenljivu X moie posmatrati nova sludajna promenljiva f(X) sa skupom vrednosti R(I(X)): {- lrpr, - lnp2, . . .} i pripadnom raspoaaom verovatno6e (h,pz,. . .) . I(x) zovemo sopstvena
.

informacija sluEajne promenljive X . Matematiiko oiekivanje ove velidine je

E(I(X)): I l(ro)po: _\trtIosupr: H(X) i:1

i:l

znadt da je odekivana i1i srednja vrednost sopstvene informacije I(x) za sludajnu promemljivu X isto Sto i entropija te sludajne velidine. Sada se moze re6i da je H(x) mera neizvesnosti u pogledu emitovanja signala kod datog izvorz informacija, dok je E(I(x)) prosedna informacija koju nosi jedan signel emitonan v t6,g izvora. Intuitivno je jasno da se te dve velicine poklapaju, jer emitovanjem signala "nestaje neizvesnost" koja postoji pre emitovanja signala. Jasno je da 6e se onda i sopstvena informacija meriti istim jedinicama kao i entropija. Odigledno je da 1 bit sopstvene informacije nosi signal koji se emituje sa verovatno6om l/2, dok 6e signal verovatno6e 1 nositi 0 bita informacije.

3. INpoRuncua

2g

znadi da ako sa verovatno6om 1 odekujemo emitovanje odredenog signer-, neizvesnosti u vezi sa emitovanom porukom nema, entropija je nula. pa i kolicina informacije koju nosi taj signal je takode nula.

uzajarnna informacija za diskretnu raspodelu uzajamnom informacijom 6emo zvati informaciju koju izlaznisignal y daje o ulaznom signalu X u tipidnom komunikacijskom kanalu sa smetnjama. Pretpostavimo da su x i y diskretne slubajne promenljive i da je odredena dvodimenzionalna raspodela verovatno6a na skupu R(x,y) : { (ro,A) I i, j : 1,2, . .. } tako da .ie

3.2

Du lDp,' Dpn gde je p(X : ni,Y : A) : pti i yoDipti : l

Time su odredene i marginalne raspodele:

p(X

ro)

: k:l.p.ii )
pri
J

Dpr: t i

p(y
kao

: A): ei:\

0,

Dqi: j

i uslovne raspodele: p(X

p(Y

: *olY :
:
ai/

gj)

pr/j

?,

O,

Dr,/i:r, i:1,2.....
x

X : *r) : qj/i : O* r- O,

Dqi/o:1 , i:1.2. -.. j

30

Z. BnaNovrd

Dvodimenzionalni raspored se moZe zadati i tako Sto se zada marginalna raspodela X-a (raspodela ulaznih signala) i familija uslovnih raspodela Y-a" (uticaj smetnji na svaki mogu6i ulazni signal). Primetimo da je, zbog relacije pti : piqj/i t pti :0 ako je pt:0 . Na osnovu gornjih relacija mogu se definisati i odgovaraju6e entropije:

H(X,Y): -DDpn,tnprj L3

H(X): Ip,Inpn, H(Y): -D

H(xlg1)

eilnq,

: -Dp4,lnh/i, j :tr,r,..., i
J

H(Ylra): -D qipilneip, i : L,2,...,

H(XIY):

IJij qiH(X/a): -IDpn,rnpr/j, H(Ylx) :r piH(yld: - I \]p,, Lnqip,

.

Naravno da ukoliko ,".u0, o diskretni* rf*u.i'oim promerljivama sa prebrojivim beskonadnim skupom vrednosti R(X,Y) , onda se o upravo definisanim velidinama moie govoriti samo ukoliko odgovarajudi beskonadni redovi konvergiraju. Velidine H(X) i H(Y) interpretiramo kao neizvesnost u vezi sa ulazom X kanala, odnosno izlazom Y . H(X,Y) je neizvesnost u pogledu pojave uredenog para (X,y) (tiaz,
rzlaz,).

H(xla)
ai-

je neizvesnost u pogledu ulaza x kada se primi izlaznt signal

u pogledurzlaza Y kada je poslat signal ri. je srednja neizvesnost ulaza x kada se zna izlaz y i analogno

H(Y/r;) je neizvesnost

H(xlY)

vailza, H(YIX) . Velicina H(Xl)')

se zove uslovna Mogu se dokazati slede6e relacije:

entropija X-a u odnosu na y

H(Y) > H(Ylx)

H(x) > H(xlY)

3. Ixponuncue

m
H(X) + H(Ylx) :1/(Y) + H(xlY) H(X) + H(Y) > H(x,Y) ,
.

H(x,Y):

pri 6emu znak jednakosti kod ovih relacij a vaii ako i samo ako

(i,i:L,2,...). Velicina I(X,Y) definisana na slededi nadin:

je Pu :

P;Qj .

r(x.Y)
se zove

- H(xlY) : H(Y) - H(Yl x) : H(X) + H(Y) - H(X,Y)

H(x)

srednja uzajamna informacija X-a t Y-a. Vidi se da je /(X,Y) :0 ako i samo ako su X i Y nezavisne sluEajne velicine (poi : pta) . Takode se i srednja uzajamna informaciia izraiawa istim jedinicama kao i entropija i sopstvena informacija.
Ocigledno da I(X,Y) predstavlja smanjenje neizvesnosti u pogledu ulaza X kada se primi Y (izlaz), tako da se moZe re6i da se jednim signalom prenosi kanalom proseino I(X,Y) jedinica. Ako su X i Y stohastidki nezavisni, onda se kanalom ne moZe prenositi informacija, a ako je H(X,Y) : 0 , onda se kanalom prenosi potpuna informacija. Izraz za srednju uzajamnu informaciju se moZe zapisati u obliku

I(X,Y)

: -\arlnpu - I ijij

n, tn

qj

+DDmilrput
ptihpr'

: - t Dpntlrp, - DLp4lnqi * t t zJ ij ij : tt p,;lnb

TT
.

PtQi

Veli6ina

I(rt,a) :lrP'i ptQi

signala

i.,i :L,2,...

se naziva uzajamna informacija

u i Ui i moZe se zapisati u obliku I(ro,a) :lnprj -lrpo -lnej : I(r) + I(ai) - I((rr,ai))
.

To znadi da je uzajamna informaciaj uredenog para (rn,Ai) jednakr zbfoil sopstvenih informacija ulaznog i izlaznog signala, umanjenog za solxtvenu informaciju I((rr,AiD uredenog para (ri,yi) .

Z. BnnNovri

I![F,c

su I(*u) , I(y) i l((ri,y)) I(X) , I(Y) \ I(X,Y) , moZemo Pisati

Kako

vrednosti slucajnih promenijivih

hak

\x,Yl -- \x)

+ I(Y)

- /((x, v))

tako da sludajnu promenljivu I(X.Y) moZemo zvali tzaiamna informacija slucajnih promenljir.ih x i Y . Njeno matematidko ocekivanje

E(IIX.Yl)

H(X) + H(Y)

H(X,Y)

: I(X'Y)
m,

-)

jednako je srednjoj uzajamnoj informaciji X-a

Y-a'

Mfu

3.3

uzajamna informacija za neprekidnu raspodelu

frm

Pretpostavimo da je u pitanju neprekidna dvodimenzionalna raspodela, tj' takva da je funkcija raspodele (*,a) ' F(',il apsolutno neprekidna u R, . Tada su i marginalne raspodele a --- F1(r) : F(2, oo) kao i A -+ Fr(d: F(oo, E) takode neprekidne funkcije na R ' To znadi da postoje izvodi 7Fz(a) 0F1@) ,,,. a2F r,

silml m{

a.ay
skoro svuda Velidina

: f(t'il ;

tr

: ft(')'

ff

: f'@)

,ffi@MJ@

u R.
ffim,

6U

r(x,y): [* [* r( \ i ofiffidr , -* J-*- .r,a)t" 'f @'a)

J

ds

ry,Ee
mni

je srednja uzajamna informacija za neprekidnu dvodimenzionalnu raspodelu (ako integral konvergira).

Izraz

merl

UH

r(*,a):r,ffh)d,rdy
za svako a-4.

r I a za koje i"

f @,y) >

zove se uzajamna informacija z-a i

jiar

Ako su X i Y stohastidki nezavisne velicine, tj' f @,a): flr)fr(A) , onda je I(*,A) - 0 . odnosno nezavisne slucajne velicine ne daju nikakve informacije jedna o drugoj.

3. INpoRuacr"le
Kako je
r

t0

(x,Y)

: I:
-

li, t,, rrr" ff%

d,y) d,r

d,r d,s

:
d,y
,

E l]*'o'Y)tn f (r'Y) d'r

- /lt*
h@)

d'Y

/lrr r,@) l:r(*,y)

l:f
@,a) dy

l* r@,a) d,r)
:
fz(u)
,

a budu6i da je

: f{r) , I*
f1(r) d,r

f @,y) d,r

to stavljaju6i

H(x) : -

I:fi(r)rn
H

H(y)

: - I:fz@)t f,@) da

(x,Y)

dobijamo

: - l: l]*, t., y)rn f (r,,y) d,r d,y, r(x,Y) : H(x) + H(Y) - H(x,Y)
,

Sto govori da je srednja uzajamna informacija zadri,ala isto znadenje neprekidne raspodele.

za

Primer.
Neka je dvodimenzionalna sludajna promenljiva zadatatako da je marginalna funkcija verovatno6e promenljive X

fr(*): R4fr"*pl-#r)
dok je za svako

fr2t,
,

,:R

uslovna gustina verovatnode komponente

p*@):#*;@41

{
34

MoZe se pokazati da je u tom sludaju

H(x):ln(2reo?)tt' ; H(Y):ln(2re(o +
H(X,Y)

ol1)r/z

ln 2reoo1

; I(X.Y) : h(t * (?)')'''

01 i o

Zakljucujemo da srednja uzajamna informacija zavisi samo od odnosa Ta cinjenica ima jednu korisnu interpretaciju na primeru tzv, Gauss-ova kanala sa direktnim vremenom.

Ulazni signal je normalno rasporedena sludajna velidina X , dok je Sum takode normalno rasporedena slutajna velidina Z , pri demu su X i Z nezavisne promenljive. Izlazri signal Y nastaje sabiranjem ulaznog signala i Suma tako da je i Y normalno rasporedena sludajna promenljiva. Sematski

X : l/(0,

a1)

X+Z:,n/(0.o+or)

Z : N(0,o)
Parametar 01 karakteriSe "snagu" ulaznog signala, a parametar o "snagu" Suma. Vrednost srednje uzajamne informacije koju daje izlaz o

ulazu zavisi od odnosa o i o1 . Primetimo da se mo1e odrediti i srednja uzajamna informacija za vi5edimenzionalne sludajne velidine X : (Xt X2,..., X,) i Y : (Yt,Yr,. ..,Y.) (sludajne vektore). MoZe se pokazati da je za svako n > 7

H(Xr,xz,...,Xn): H(xt)+ H(hlx2) + "

kaa

'+

H(hlxt,x2,...,xn_l)

za$raki prirodan

broj m >

H(y/ (xr, xz,. . ., X^) < H(y I (-x2, x3,. . ., x,.))

3. IxroRuacr"le

t6

3.4

Prenos informacije

i sistem upravljanja
IGj"k t I
1

Delovanje na objekat u cilju poboljsanja njegovog funkcionisanja se u kibrnetici taziva upravljanje. Najjednostavnija sema sistema upravljanja irna oblik

lupravljanjal

I'*"t"Fl
Ponasanje objekta se karakterise skupom izlaznih velidina (y) koje imaju odredene verovatno6e javljanja (zadataje odredena raspodela na y jer je svaka izlazna velidina uslovljena smetnjama. Skup svih mogu6ih ). dej_ stava na objekat odreduje promenljivu x sa odgovarajudom raspodelom verovatno6a. Cilj upravljanja neka bude odrZavanje velidine y u nekom stalnom stanju Uo . U idealnom sluiaju to stanje je izvesno pa je H(y) : 0 , tj p(ao) :1 . u opstem sludaju, jasno, postoji neodredenost izbora y i smanjenje te neodredenosti dejstvomiz skupa X opisuje se jednacinom

r(x,Y)

: H(Y) _ H(Ylx)

je

sada je I(x,Y) informacija u x o y koja karakterise smanjenje neodredenosti izlaza Y ulaznom velidinom iz X . Neodredenost H(X) se moZe interpretirati kao razrovrsnost upravljaikih dejstava i ona mora biti takva da se moze delovati na objekai, q.-d.

H(x) > I(x,Y)

odakle

je H(y/x) >_ H(x) _ H(y)

zadnja nejednakost daje krajnje mogu6nosti upravljanja. Neodredenos.t rzlaza se ne moZe smanjiti ispod navedene granice, a jednakost se postiZe ako i samo ako ulazni signal r e x jednoznacno odreduje izlaz e y, jer je a

tada

H(X): I(X,Y)
H(Y)

Da bi se smanjila neizvesnos

H(Ylx):

upravljadkih dejstava

H(X), H(x) + H(x/Y)

t izlaza H (y I x) treba poveiati raznovrsnwt jer je I(X,y) : H(X) _ H(X/y) odnmo

,
.

Primer

Z. BnaNovli
Pretpostavimo da je sistem upravljanja takav da entropij a H(ylx) ne sme pre6i vrednost od 0,35 bita. Ako se smetnje u radu sistema opisuju sa 4 razlidite vrste Suma i raspodelom

;l. Imronu

O.rde je

0,2 0,3

IT\ TrL2 TrL3

0,
1

0,4

F-Ue
.ffilt.}-i

H(xlY)
H(Y)

izradunati kolidinu informacije koju treba da unese upravljadki uredaj da bi se postigao zahtevani kvalitet upravljanja. Kolika treba da bude raznovrsnost upravljaikih dejstava? Pretpostavlja se da je upravljaEki uredaj idealan,

:0

tj.

: l

Vidimo da je bez upravijanja

.tri.L l

_{p +

-0,21og0, 2 - 0,31og0,3

- 0,11og0,1_ 0,41og0, 4: l,g5 bita.

1,5 bita

Prema zadatom uslovu

je H(ylX) < 0,35 bita. Otuda je

Primenit foffimmtrij&

I(X,Y)

H(Y)

- H(y/X) > 1,85 - 0,85 : tj

H(X)

ffirmrcija-tflm -r iz
.

Raznovrsnost upravljaakih dejstava je

H(X) : I(X,Y) + H(X/y)

: r(X,y)

> 1,5 bita

3.5 Primeri i zadaci

1' Vratimo se na binarni simetridni kanal kod koga postoje dva ulazna signala 0 i 1 sa pridruZenim verovatnodama p(X :0): p i pix _ 1) : q :i_p kao i uslovnim verovatno6ama za izlazre signale 0 i i,
p(Y
Ue

dmt

:0) : t - e - p(y : t/X : L), p(Y : L/X :0) : u : p(y :0/X 1) 0lX
.

Fl M rymtruma fo nrmllnfi da ir.X*'

m&*ffiumiilm @fri flM mruu

ieilem Ca

Dvodimenzionalna raspodela glasi

0

t&

lffimmfu1fla

,&wfl"fr_trflil:

p(\

e)

q(l

- e)

f,Md
mrmiiidilffimlffi

3. INpoRuect"la
Ovde je

5r[

p(Y:0) :p(1 -a) +q:p+r(q-P), p(Y : 1) : pe+ q(1 - e) : q + e(P - q),

pa je

H(X):-plnp-qlnq H(Y) : -(p + e(q- p)) ln(p + r(q-p)) - (q + e(p- q)ln(q't'(p - q))' H(X,Y) : -plnp - qlnq -elne - (1 - e)ln(l - e)' I(X,Y):H(X)+H(Y)-H(X,Y):'lne*(1-t)ln(1-e) -(p+ e(q_p))1"(p +e(q-p)) - (q+e(p-q)ln(q +e(p -q)) Primetimo d'a je za e : 0 I(x'Y) : H(x) - kanalom se prenosi cela moi'e prenositi informacija l aza e : ll2 je I(X'Y) : 0 ' tj' kanalom se ne
informacija. Ako se izabere

p: q: Ll2 i e < 1/2 ' dobija se

1(o, o)

In

p(t

p(p+e(q-p))

- e)

In2(1

6) > 0 ,

1(0.1) r \",

. j1-./:lr--- p(q + e(p _ q)) :ln2e (0, : In2e ( o, 1r1.0) : L-. -i1r\r,v/ --q(p+e(q_p))
q(1

t
I

/(1, 1) : in

j
{
!

: 1(0) : B2 Za dovoljno malo e (mala gre5ka u prenosu) je 1(0,0) kao tako da je uzajamna informacija koju izlaz 0 daje o ulazu 0 pribliZno je onda 1(0,1) : -oo Sto sopstvena informacija ulaza 0 . Istovremeno ziad d,a izlaz 1 pruZa potpune dezinformacije o ulazu 0 ' Medutim, ako je e: ll2, onda je /(0,0) : /(0,1) : 0 tako da ni 1 ni 0 kao \zlazi ne daiu skoro nikakvu informaciju o 0 kao ulazu. Srednja uzajamna informacija u tom sludaju je

q(q+e(p-q))

e)

:ln2(1 -6) >0

I(x,Y):

elna+

(1

- e)ln(1 - s) + rn2 : ofl,f;l - H(',1 - e) > 0'

Morse-ove abecede mogu se, po pretpostavci, pojaviti u nekoj emisiji sa slededim verovatno6ama

2. simboli

38

Z. Bnervovr6
tadka
0,51

simbol verovatno6a

crta
0,31

razmak medu znanima razmak medu redinra

0,L2 0.06

Odrediti srednji sadrZaj informacija u vesti koja sadrzi 500 znakova Morse-ove abebcede ako nema statistidke veze u sledu imedu pojedinih znakova.
Reienje:

skup znakova koji se pojavljuje sa odredenim verovatno6arna se moie okarakterisati prosednim sadrZajem informacije. Srednji sa.drzaj informacije koji donosi jedan znakje

r(x):fdolr"-\
: o, 51h

0,31h#
:

+0,

1,628 tfta po amku

l2h# . o,o6h #
-

Skup od 5fi) takvih zmakova 6e imati 500 . 1,628 : 815 bita.

sa

seddi

sadrZaj informacije

I -

3. Neka su 11 i 12 ulazni simboli a !b gt " tlazna signala se pojavljuju jednakim

je statistidki nezavisno. uslovne veronatno&

i W izltzni simboli. Oba

zadatesu iablicom

neror"atno6ama,. a nizs,njs znakova

dvrld

12 |

Ll32 L/64

GI/M
;

Reienje: Iz

a) Napraviti tablicu za funkciju raspodele sludajne,elidine I(ru,a) b) Naii srednju vrednost velidine I(rt,A)

p(ri,yj) : p@i)p(ajl*r) : p(yj)p(ri/y)

p(tr/a;) p@j) i+1

stedi

p(ni)?(ai

pwil
i+l

/ni)

odn.sas
pa je

:io@,,a) :io*"n)o(u,/*n)

3. INponu.q.cI.ln

t
p(ai:0,5'#+0,5'rp pfur):0,5'H*o'1
_1

_3?', ,+ - 64', p(az):t-#-*^-a

Dalje je
r (r;, pa je i I r) * p(r,)e(d a i) -- 6 -?9t-!)- "' p(ni)p(y) - brp@!)p-@

6p(a i

p(ai)

r)

I(*r,ao):,r# *:ln1:0, I(,,,a): t'H #,:r' !] = o'e77 = L

I(rr,Ar)

'

: L t64 : Iny = -b, 64' 31

1

I(rr,Ad:

rr#'f : O,
,

I(rz,at): ,, # ' 3t = -u

I(rr,A): ,t # 3t = ,
Znari- da sludajna

velidina

I(rt,A)

moae da uzme

tri vrednosti 0 ,

-5

sa verovatno6ama

p(I

:-5) :
:0) :

p(rt,Az)

I p(rz,A) :0, tt# * #) : h,,

O,tt# *
O,

p(I p(I
Otuda je

p(r1,yo) + p(*r,Ao)-

*l : *,,

: l) -- p(*r,yo) + P(*r,A) I(X,,Y)

UtH

* Hl

:#

: -5 116156 0g, *, U: U 64*

bita Po znaku
.

:0,877

3.

IxpoRlvract.lR

6. Pretpostavimo da je u pitanju

neBto sloZenija situacija nego u primeru

4; neka se prvo baca homogena ("po5tena") kocka. Ako je ishod paran brojbaca se nepravilan novdi6 kod koga su verovatnode ishoda ll4 (pismo) i 3/4 (glava). Ako je ishod neparan broj baca se drugi nepravilan novdid kod koga se navedeni ishodi (isti redom) 314 i ll4. Reienje: Sada je

p@tlrp)

:f, ,p@zlrr) :],p@rlr,) :l,nfurl*,) :i,,

gde ro e. {2,4,8} , u rn e {1,3,5} . Na osnovu relacije p(r*Ai): p(ri)p(Ajlr;) doblja se tablica

rl8 tl24 118 1124 118 tl24 718 Ll24 tl8 7124 718
1

jer je

E4 8' 13 1 p(rz,az) : p(r2)p(a2l*r) : 64 8' 11 1 p(rz,a) : p(u)p(srlrt) :

6'4
itd.
Ovde je

13 p(q,a) : p(rL)p(a'.lrt) :

24'

H(x,Y)
H(X)

-r(*ros ] + *^r*)

:3,3e6

bita

log 6

2,585 bita

H(Y)

log2

1 bit
.

H(X) + H(Y):

3,585 > 3,396

: H(X,Y)

Dalje je, na osnovu formule za izradwavanje uslovnih verovatno6a,

Ut
Az

1/12 7/4 rl12 114 1lt2 7lt2 114 Ll12 114 1lt2 Ll4
tl4

2345

r /at

p(r laz)

42

Z. BneNovri
3/4 r/4
Odavde je
6

114

3/4

r/4
314

3/4
L/4

3/4

r/4

L/4 3/4
a ln6)

H(x/a)
novdiia (Y) je

: H(x/az) : -r(1.* * i *.* #) : 2,3s6 bita

(x)

srednja uslovna neodredenost bacanja kocke

u odnosu na bacanje

H(x/Y) :
Slidno,zasve

lrr*,rl
je

+)u6la,) :2,3e6

bita

re X

H(Y/r):

-i.r i - i.- i : 0,8113 bita

:
a[n1v1,,D)

H(Y/ x)

o,

8113 bita

Za poruku sludajno odabrane osobe: ',Dan65 mi je rodendan,, izradunati sopstvenu informaciju. Reienje:

7.

I(r;)

-logpo:

logz

= 8,51 bit

Srednja informacija koju takva poruka nosi je

I(X) :

logr 365 ry 8,51 bit

srednja informacija za opit da li je gornja informacija tadna

ili

ne

je

I(Y)= - 1 log 1 - 364' 364 ry 0, 063 bita = log 365 365 865 365 8- odrediti srednju sopstvenu
30.07.". Reienje:

informaciju izjave: ,,Moj rodendan je

3. INponrraecue

43

I(r) :

-logpn

; i e {1,2,.- . ,365} ; c; nije 29 februar

4 godine:4.36.5*1.
1

rasporeduje na okrugle i ora,lne, a po tezini na lake i teske. U lake spada 70% svih delova. Medu lakim je 80% okruglih. od ukupnog broja delova posmatra se 64% . Koju koliiinu informacije u obliku dela moZemo dobiti njegovim merenjem. Reienje:

4-I r I(x\:-365- 4 lo8a.ms+t "--4.365 + l 4-365+ 1'og- .36t 9. Kolidina delova nekog proizrrcda se u zavisncti od tainosti izrade

''(oiinr:;r) '

\o,z os)'
,

(a,

?tz

P'i'i:P(Y:Y)P(X:ri /Y --a), Ptr: P(Y : A)p(X : qlY : a) :0,7. 0,8 : 0,56 Ptz :0, 08 , Pzt : 0,L4 , p22 : 0,22 , pa je

I(X,Y): D Dpn,bsY Piqi i

i

0,56tog +... + t 0,64 . 0rT '

il9-

0,22tos:*- : v1a""t 0,36 . 0J

0,862s2

10. cilj se moZe gadati n puta pri 6emu je verovatno6a pogadanja cilja u svakom pokusaju p. Posle k-tog gadanja (L < k < n) daje se izvestaj o tome da li je cilj pogoden ili ne. Ako jeste gadanje se prekida. odrediti k tako da kolidina informacije u izveStaju bude maksimalna.
Reienje:

*r, (ii

;:)
(1

Pr

Pogoden ,pz

promaSen

pz:

-p)k, Pr:1-(1 -p)k,

44

Z. Bnemovri

iz uslova

Pr: Pz:112

dobiia

se

"-

-l,og2(1

p)

'

11. U kutiji su 3 bele i 4 crne kuglice. Izvudene su 4 kuglice i ustanovlieno je da su od njih 3 crne i 1 bela. Izradunati informaciju dobijenu posmatraniem ovog dogada ja B za slededi dogadaj A : sledeia izvudena kuglica iz kutije je bela. Reienje:

I(A,B):

loB'#:

log

#:

--o,TTs

12. Pretpostavimo da je za neko mesto verovatno6a da 6e 15. juna pasti ki5a 0. 4 , a za 15. septembar je ta verovatno6a 0,8 . Neka je meteorolo5ka prognoza za15. juni tadna u 60% sluEajeva ako predvida kiSu, a u 80% sludajeva ako predvida suvo, a za 15. septembar neka su ti procenti redom s0% i 50%. Pitanje je za koji od tih dana prognoza daje vi5e informacije o vremenu.
Reienje: Neka je X1 sludajna promenljiva vezala za 15. jun sa vrednostima 11 - kisa pada i 71 - ki5a ne pada. Za 15. septembar neka su analogne velicine redom Xz , rz i uz . Ocigledno je
H

(Xr)

-0, 4log -0, 8log

0, 4

O,6log 0, 6
0, 2log 0, 2

: :

0,

971 bita

H(Xr)
Neka

0, 8

0,722 bita

YL sludajna promenljiva cije su vrednosti h - "prognozira se kiSa" i Ut - "prognozira se da ki5e ne6e biti" za 15. jun, a odgovarajude velidine za 15. septembar neka su redom Yz , Az i g, . Kako je

je

p@t/yt):
iz jedna,kosti

0,6

, p(hlat) :

0,4

p(7.1lat)

:0,2 , p(hlat) :

0,8

p(r):

p(y)p(rr/a)

p(a)p@rlg)

p(a)

:1 - p(a)

3. IupoRriaecr"r,q.
dobija
se

45

p(yl)
Slidno, iz

:0,5 ,

p(gL)

:0,5

p(rzlaz):0,9, p(izlq) :0,1, p(r2lg2):0,5 ,

p(rz)
dobija
se

p(n2lA2)

:0,b,

p(y2)p(rr/yz) + pfu2)p(r2l
p(uz)

g) i

p(gr)
.

: t - p(az)

o,75

p(a2)

:0,25

Otuda je

H(XrlY) - -0, 5(0, 6log0,6 -

0,41og0,4
,

0,

2log0, 2 - 0,81og0, g)

0,846 bita

I(Xr,Yz) : H(Xz) - H(X2|Y2) : 0,120 bita . Informativnija je znaii prognoza za \b. jun (iako je verovatno6a tadne prognoze za taj dan manja).
13. Raspodela verovatnode za
fr1

H(X2/Y2): 0,602 bita . I(Xr,Yr) : H(Xr) - H(hlYr) :0,125 bita ,

(X,y) j" data tablicom

Ut

t2
T3

0,4 0,1 0,5 Odrediti entropije H(Y/X) i H(YIX)

Reienje:

0,2 0 0,4 0,1 0 0,1 0,1 0,1 0

.

At Az

0,6 0,2 0,2

H(YlX): -Ip(X : r)p(Y : ajlX : i,i

Y , dobijaju

*o)tosp(y

: ailX :

*r)

Deljenjem verovatnol,a pii sa marginalnim vrednostima za se dve nove tablice:

X odnmo

46

Z. BneNovri

/3 1 l2 1 l2
1

112 0

0 0

2/3

tl2

atr-T--rT
tl4 0 rl4
1

At Az

As

1/5

pa Je

H(y/x):0,u(-ir"**-

3.-3) +0,2(;r"*; ,

-i.-i)
1

i.- i) : b,e4 bita H(xty) : o,nG;,"* -,. * f,rcri) * o, l rog

+0,2e;,"*; +0,5(-*,"*

f - *.- *) :
0,1 0,2 0,3

o,

e6 bita
zad.at

14. Dvodimenzionalna slu6ajna promenljiva ima raspored

tablicom

0,2 0,3 0,2 0,7

0,3 0,5
012

Na6i informaciju o X koja je sadrZana Reienje: Tablica uslovne raspodele X u odnosu

uy
na

ima oblik

r13
Kako je

01
213

- 0,Tlog0, T:0,8831 H(x/a - -1) : -*r"r l 'r^r?: 0, e183

-0,3log0,3

H(X)

H(X/a

toe : - 0) : -i )ooc -:

DqQT)

log

':

0, e210

3.

INpoRrraecr;e

ry

H(XIY:

1)

:0,

H(XIY) : p(Y : -L)H(X|Y : -1) + p(Y :o)H(xlY :0) +p(Y : I)H(XlY : l): 0,3 ' 0,9183 + 0,5 ' 0,9710 : 0,781 , I(X,Y): H(X) - H(XIY) :0, L22L .
15. Raspodela verovatnoia sistema dogadaja je data tablicom
fr1

fr2 frg

0,L2 0,08

0,1 0

0,1

0,04 0,1 0,26 0,8

,

0,4 0,06 0,56

0,2 0,6 0,2

Odrediti H(X)
Reienje:

, H(Y), H(xlY) H(Ylx) i I(x,,Y)

H(X) - -0,21og0,2 H(Y) - -0, 26log 0,26 -

- 0,61og0,6 - 0,21og0,2:7,371 0, 18log 0, 18 - -0, 56log 0, 56 : 1,4L9

,

Iz tablica uslovnih raspodela

Ur T1
Uz

Az

Ut
fr1 fr2 fr3

Uz

Uz

0,5

fr2 fr3

dobija

se

H(XIY)

-0, -0,

26(0, 38log0, 38 + 0, 46log0, 46 18(0

0, 15log0, 15)

+ 0, 44log0, +

44

0, 55 Iog0, 55)

-0,

56(0, 17log 0, 17

0, 71 log 0, 71

0,

log 0, 1)

: -

1,1835

-0, 2(0, 5 log0, 5 + 0 + 0, 5log 0, 5) -0, 6(0, 2log 0, 2 + 0,13 tog 0, 13 + 0, 66log 0, 66) -0, 2(0, 2log 0, 2 + 0,51og 0, 5 + 0, 3log 0,3)

H(Y I X)

Z. BnaNovri

:
I(X,Y)

L,2417

,
.

H(X)

- H(XlY) :0,1875
0,08 0,05 0,L2 0,04
0,03 0,02 0,L2

16. Raspodela verovatnoia sistema dogadaja (X,Y) data je tablicom

r,

| 0,L2

0,1 0,04 0,05

se

0,08 0,1

Nakon izradunavanja dobija

H(X) :

, H(Y) :2,293 , H(XIY) : H(YlX) :2,L27 , I(X,Y) : 0,167

1, 555
.

1, 388

L7. Poznato je da od jedne bolesti oboleva 4% ljudi. Radi konstantovanja bolesti koristi se jedna reakcija koja je pozitivna kod svih bolesnih a i kod 20% zdravih ljudi. a) Kolika je neodredenost u konstantorranju bolesti? b) Kotika je neodredenmt u korstantormnju bolesti ako se znaju rezultati

- opit da li je 6ovek bolestan ime d'na ishoda: 81 - bolestan i Bz nije bolestan; opit B - rezultat reakcije takode sa dva ishoda : Ar - reakcija je pozitivnai A2 - nije pozitivna.

reakcije?

Reienje: a) H (P)
gde

-0,

04 log 0, 04
.

0, 96log 0, 96

9(0, 04) + 9(0, 96)

b)

je g(r) : -plogp
p(A)
n
(0

p(B)p(ArlBr): 0,04' 1 + 0,96'0,20 :0,232

_ _0,04. 1,^_0,04. 1Iog oJ32 0,222 H(BlA2) : 0 ; H(gl") :

I Ar)

P(Az): 0' 768 ' - p(tu I A) tos p(h I A) - p(8, I Ar) ros p(82 I A1)

_^ ctna : u' oo/ / ' 0,232' 0,6577 - 0,768' 0 : 0, 1526'

0,96. 0,2 r^*0,96.0,2 Log

o7n

o,2zz

ts

Izvor informacije
izvor informacije

4.L Diskretni

Zamislimo sistem koji se sastoji od doveka i pisa6e masine a proces koji tede je kucanje nekog teksta. U odredenom vremenu nakuca se tekst od n zna.kova. Proces kucanja je ograniden skupom znakova koje ima doticna masina kao i zahtevom da "proizvedeni" niz bude tekst sa smislom. Taj se sistem moZe posmatrati kao odredeni izvor informacije, a kucanje ka.o " generisanje" informacija. Neposredan cilj je da se izgradi matematidki moder koji "pokriva,, sustinske osobine generisanja informacija u realnim sistemima. Generisanje informacija se sastoji u emitovanju niza znakova (simbola) iz nekog nepraznog skupa A od svih moguiih znakova. Ako je A konadan skup i ako se, recimo, svake sekunde emituje jedan znak. onda ie se za n sekund.i emitovati poruka od n znakova, koja se moZe zapisati u obliku n-clanog niza

r : (at,a2r...,an), aa A r,i:L,2,,..rn, Jasno je da r An: {(at,(12t...tan) lqe A, i:1,2,...,n}. Kao Sto je poznato broj elemenata Kartezijevog proizvoda An skupa A sa c, dlanova iznosi o'
.

e An pripada odredena verovatnoia p(d > 0. pri demu KaZemo da je rei o rlisfos6ns* izyoru-informaci;a (a,p) sa konadnom azbukom ,4, i merom p. Kako je emitovanje znakova u datom izvoru informacije odreden proces koji se zbiva tokom vremena na sludajan naiin, pogodno je definisati dis}retni izvor informacije ka.o odredeni stohastidki proces {x1 : t e ?} sa diskretnim parametarskim skupom T : {7,2,. . .} i skupom vrednosti ,4, .

Poruke koje se sastoje od niza znakova razlikuju se po verovatnoii sa kojom se emituju. Tako npr. medu porukama od b znakova AAAAA . NAA,IAS . DANAS najverovatnije je da ie se emitovati poslednja od njih. Diskretan izvor informacije se, zbog toga, matematidki definise tako da se odredi neprazan skup A : {or,az,...,o,a} - azbuka izvora i raspodela verovatno6a na skupu An za svako n N.

svakoj poruci

ie D,e.t* p@) -

Oznaka

P(Xt

: at,X2 : a2,...,Xn :arr) ) 0, (or,a2,..,,an)

e An
1 , simbol

02 umomentu

ukazuje na verovatnodu da izvor emituje simbol o,1 u rnornntu

t: t:2 itd. Akozasvako nN vaZi p(XX+t : at, Xk+2 : azt.,,, X*+n : an) : p(Xt : dL, X2 : a2t . . . , Xn : an) : p(at, a2, . . . ,an) ,

kaZe se da je izvor informacije stacionaran. To znadi da probabilistiike osobine tog izvora ne zavise od vremena. Verovatno6a emitovanja odredene poruke isa je u bilo kom vremenu.

4. IzvoR lNroRlvllcur
jednaka je bezuslovnoj verovatnodi p(a',,) simbola an e A

5[

Zbogtoga se tah \rrr, ,ou" izvor bez memorije - jer je emitovanje signala u sadasnjem mosimbola' mentu stohastiiki nezavisno od prethodno emitovanih

'

Za ovakve izvore je

1 --.-H.: !gt1x)

+ H(X) +

"'+ H(x*D: :nH(xr)

1

: H(X): -irnlospr i=l

hn: H(X*) : H(X) :
Hn

'
.

n:7'2' "'

Entropija izvora bez memorije je, dakle

-irotosn,
i:r

Primetimodaje,zbogstacionarnosti,sopstvenainformacija'I'(r)poruke e A , T : (atr&2r. , ' r&n) '

I.(r):-lnp(r): -f

mP1,,)

'

i=l
moZemo

1(aa) Stavimoli /(a;) :-lnp(a;) , aeA' i:!'2'"''n'tada informaciju simbola a1 A ' Yaii interpretirati ka,o sopstvenu

In(r):itton)
i=l

tj.

#,

emitovana iz datog izvora sopstvena informacija 1,(z) koju nosi poruka pojedina slora memo.i3e jednaka j" ,rir,r-ropstvenih informacija koje nose odredene diskretne sludajne veriine pri te poruke. Kako su demu. za izvor bez memorije, one imaju istu raspodelu' imamo

i*(*) i i(a)

D(I(a.t)):
Isto tako i disPerzija

- t p(a)rnp(a11 : -lntrnpi - H' i=7 atA

H2

oz(I(a)):\nr\n'po i=l

K2

Dalje se dobija

E(l.(r)):iu1r1on)):
i=l

nH

'

odnmo

4. IzvoR lNroRlracr.lp

52

o21t.1r17 To znaci da je

:\o21t(ai)):
i:1

nK2

u(*'"at) _H:
Ako se na niz dobija se

*(!,"a0 :

#
n : 1,2,...

I"(r)

primeni Cebisevljera nejednakost za

,(l*r"r,ri ,o)=#,
gde

je 6 > 0 proizvoljan realan fusj.

Odavde sledi

"ry*r(l*t
(1)

@)

Hl, r)
'

: o,

rj

)t.1r1;*u.
je I.(r) : _lnp(z)

7'naij dzfiz r-(z|/n konvergira u verovatnoi i ka H , odnosno da za veliko sopstrena iuformacija Irc srovu poruke priblizno je kao entropija fr datog izvora informacije

to, s obzirom na to da .SSvimo li l?lnd: nejednahst GUSesa poprima oblik

p[l"p(")+nill>n6)<e,
odakle -akUucujemo da relacija

(2)wfur*uooaotuwcorn

l-e. M,

"-n(H*6)

< p@) <

"-n(H-6)
takavda M1 i

! Grubo reteno. svaki element iz M1 louiiro )iu";;;i" verovatna -aor.'ll' poruka") im* verovatnoiu emitovanjr probiizrro "" verovatno6a emitovanja bilo koje poruke iz Mz "-lnu-, friUliZno jednaka nuli. KaZemo da izvor ko]i i3a svojstva (1) i (2) i*,,"o;.i_ AEp (Asymprotic Equipartition Prooerry). primetimo d,a'je M1 * a i da u M1 ima najvise poruka. ioa ia moZe biti i p.rr*, sto se dobija zaizvorbez memorije "n(H+6) gdeje p; : L/a, i : L,2,...,a.

se skup svih z-.lanih poruka moze podeliti na dva disjunktna podskupa Ifiz ta,ka da za srrako va,i:i (2), dok je p(r e"Mz)

F-ddazaproizvoljne d>0 i e>0 mozesenaiibroj n

:i6nl .,

4. IzvoR

rNpoRuecr.lp

53

4.3 Markovljev

izvor

a1) >0) , i:1,2,...,a,imatrica tI prelaaihverovatnoda p;i--p(Xp: ,i lX*-t : o,r) 2 o , (ILr p;: l) . Izraz peti interpretiramo kao veronatnodu da se u po-etnom momentu emituje ai i da se nakon toga emituje ai , ti. da se dobije ureden par (at,*j). PiSemo

Ovde se pretpostavlja da diskretan izvor (A,p) poseduje odredenu ,,memoriju,,. Jednostavan tip te memorije je da verovatnoda emitorranja pojedinog signala zavisi od prethodno emitovanih signalaPretpostavimo da verovatno6a emitovanja simbola aa u trenutku f > 1 zavisi samo od neposrednog prethodnike a1-1 . Proe emitolanja informacija 6e biti odreden ako se zna poietna ra.spodela p vexolatn&" po : p(X1 :

p(di,aj) : pipij ,
Velicina

\n@*o) :Lpnpij : i=l i=l

lr2,...,a,odnosno

aa

pj

predstavlja verovatno6u emitovanja simbola ai , bez obzira na to sta mu je prethodilo. Da bi izvor informacija bio stacionaran mora biti py : Fj , j --

f,rrrnni
i:1

ni

j :1,2,...

)e,

Poslednji sistem jednadina zapisan u matriinom obliku ima oblik

TI'p

: p

n' -

transponovana matrica od II )

An
za

Verovatnota p(a1,a2,...,an) dase emituje n-Elani moZe se dobiti u obliku

p(at, oz,. . .,
c,n)

niz (or,or,...,an)

p(a)p(a2l

a)

..

p(a*f

a._)
Markovljev

svaki (ar,azr...,an) e An .
Tako opisani diskretni izvor informacija zove se jednostavni

izvor informacija. Ako je n > 2 dobijarno, prema zadnjoj formuli,

p(a* I @1, a2,
..

.,o,-,

: o(?r':"':''''

P\at,or,.ffi

an- 1, an)

P(an/an-t)

'

To znadi da verovatnoda emitovanja nekog simbola an zavisi samo od prethodno emitovanog simbola an-! t a ne i od ranije emitovanih simbola ar, a2, . . . t an-2 . KaZe se da ovakav izvor ima memoriju prvog reda, dok se za izvor bez memorije kaZe da ima memoriju nultog reda. Napomenimo da se moZe dokazati da i jednostavni Markoder- iapr tu*o
svojstvo AEP.

54

Kodovi uz izvor informacije

sa fiksiranom duZinom

5.1 Kodovi

Detaljnija Sema komunikacijskog sistema ima oblik:

@+m +m-+ @ +H+m+Fr*,"q

T

F.."jq
Za uodavanje uloge kodera i dekodera iztrorainformacije vratimo se jos jednom na primer doveka i pisace masine. pretpostavimo dL tekst koji je rovek nakucao na maSini treba poslati kao telegrem do odredenog prima,oca. poznato je da se u telegrafskom sa.obra6aju primenjuje Morseov k ip"r".n koga se slova azbuke, kao i jos neki znaci, zamenjuju ,*tavljenim od l[odiraiu) "crta" i "taaaka". Takode se upotrebljavaju i drugi "i^"i*" (Baudotov kodovi i Mur_ rayev) u kojima se kodiranje vrsi petodlanim nizovima sustaitie.rim od nula i

neprazan

jedinica (iridi tablicu u prilogu). odredeni tekst, pre nego sto ude u komunikacioni kanar, prvo se kodira na jedan od navedenih naiina a zatim se moZe ponovo kodirati u cilju prenosenja putem kanala. osnovni cilj kodiraaja informacija koje generise odredeni izvor informacija je.u tome da se osigura sto brZi i pouzdaniji prenos informacija od izvora do primaoca. PoZeljno je da se poruka.ma kodiranjem pridruZe sto je mogu6e kraii nizovi kodnih simbola, a da istowemeno verovatnoia ta.6nog dekodiranja (korektnog primanja poruka) bude Sto je moguie veia. Formalni opis navedene problematike pretpostavrja da je zadat diskretan izvor informacija sa konainom aabukom A _ i konafan

b baza koda.

skup B : {0r,92,. . .,B6} , koji

{or",o2,..".,""1

eemo

,vati azbuka koda a broj

obicno se kao ,4 pojavrjuje skup u kome se naraze znaci slova, znaci inter_ punkcije, znaci cifara i osnovnih raiunskih operacija i st. zaskup B se desto yzima dvodlani skup. Tako je npr. Morseov t oa ru aru ,rrut r-gd'" duZina niza kojr_se pridruZuje datom simbolu nije fiksirana (kre6e se oa f aZ a;. Pretpostavimo da se kodiraju rn-erani (zn e N) tukstovi koje generise dati izvor.informacije u nizove elemenata iz skupa B , odnosno da se erementu x A* pridruZuje element y e Bn ka.o njegova kodna zamena. Nekaje U+g , UgA* i l:(J-Bn injektivnopreslikavanje. Tada se l*ze da je uz dati izvor informacije {A,p) zaait k"d ft;;;;iuzine od n kodnih znakorraSvakoj poruci u e (J je kort.a ziunena f (u) eB, pri demu je _pridruzena , f (u) n-elani niz aiji su elementi A E , t1-

u: (at,o2,.--,a-), l@) :(br,b,...,bn),

rli e

A, i :1,2,...,rn, bi e B, j :L,2,...,Tt

5. Kooovr uzrzvoe"
Neka je

TNFoRMAcTJE

55

f(U)

{ulu

e Bn,'u

f(u),u e U }

Zbog pretpostavljene injektivnosti preslikavanja / moguie je svakom /(I/) pridruZiti jeda.n i samo jedan u eU zakoji je f(u) :o . PiSemo

u:f-r(r), aef(U)
da je o dekodirano l<ao u . Ako uzmemo neki r A* i r /U, onda zanjega nije definisana kodna zamenal pa se moZe uzeti bilo koji element y e B" kao kodna zamena, Sto moZe imati za posledicu nekorektno dekodiranje. To znaci da 6e sve poruke iz

i kaZemo

skupa [/ C A* blti kodirane i dekodirane, dok se to ne moZe tvrditi za poruke iz skupa A* \U . Ako je definisan broj p : p(r U) : p(U) kaZe se da je p pouzdanost

zadatog skupa. Sigurno daje poZeljno da se odredi skup [/ tako daje p Sto bliZe broju 1 , a da ima Sto manje elemenata, tj. da U ukljueuje sve najverovatnije poruke. Ako se uzme da je U : A^ onda je potreban i dovoljan uslov za egzistenciju koda pouzdanosti 1 sa bazom b i fiksiranom duZinom od n kodnih zamena da bude

a* lbn

odnosno

n lna _>_
n1,

InD

Kako se nf m moZe interpretirati ka,o broj kodnih simbola na jedan simbol poruke, emitovane iz izvora informacije, moZe se reii da taj broj ne moZe biti manji od lnalhb. Sigurno ja da ie brzina prenosa zavisiti od nf rn. tako da ie manjoj vrednosti kolitnika nfm odgowarati ve'ca brzina prenos:L Ako izvor informacije ima napred opisano wojstvo AEP, tada pri kodiranju, uz dosta veliko rn , ne treba obra6ati painju nztztr. "rna.loivrvatne" mtlane poruke, ve6 je dovoljno konstruisati talav kod koji 6e omuguC{ti kodiranje i
korektno dekodiranje za

tw.

"visokoveronatne" m-Elane poruke.

sa promenljivom duZinom kodnih zarnena Polaza6i od aabuke B : {0r,02,.. .,B6} koda moZe se konstruisati skup C
na slede6i nadin

5.2 Kodovi

Bt-t 82 uB3

u...

Elementi ovog skupa su svijednoclani, dvodlani, troilani i td. nizovi sastavljeni od elemenata skupa B .

preslikavanje, kaZe se da je zadat

kodnazamer,a

Akoje A:{or,d21...,o,a} azbukaizvorai f :A--C injektivno kod (a, b, /) , tako da svakom 9 .4 pripada
f(U)e C.
6e se, bez posebnog naglasavanja,

U daljem

pretpostavljati da

je o > b -

5. Kooovr uz rzvoR rNpoRuecue

56

Prirner.
Neka

zad.ata tablicom

je A: {or,az,o;} i
p(ai)
ql
A2 Ag

:
I

{0,

1} i posmatrajmo slede6a tri koda

II
kod

kod
1

kod
1

III

0,5 0,3 0,2

01

10 100

10
11

Ako npr. izvor emituje niz simbola ata2a3 , onda primenom koda I se dobija niz 0101, koji se moZe dekodirati kao a7e2a,, ali i kao o,r",2",t",2 , odnosno a3o3 ili l<ao a3a1a2. To znadi da kod I ne omogu6ava jednoznadno dekodiranje svakog niza koji moZe emitovati dati izvor informacije.
Kod

II

komuniciranja. Ako je, recimo, potrebno dekodirati niz 110, orria, ako se zna da je proces komuniciranja zavrsen, taj niz se dekodira putem koda II l<aa a1a2 . Ako komuniciranje nije zavrseno, onda je mogu6e da se taj niz produzi nulom - tada se dekodira u kodu II sa o'ro,t Ako bi se navedeni niz produZio sa jedinicom, onda bi se dekodirao kaa a1a2a1 . To predstavlja i nedostatak kod
ovog koda.

omoguduje jednozna.dno dekodiranje pod usrovom da je zavrsen proces

Kod koda III se ma koji niz sastavljen od nula i jedinica moZe dekodirati takav niz nije uopite u tom kodu (npr. 111). odigledno

ili

kodnih zamena u zadata

fovoljnih koje je moguie jo5 prilikom procesa komuniciranja. Drugi problem koji se ovde postavlja jeste tzv. problem optimalnosti. Posmatrajmo to prvo na prethodno datom primeru. simbol o, ," emituje sa verovatnoiom p(CIr) : 0,5 i u kodu I se zamenjuje sa /(a1) : 0, tj. ia nizom od jednogelementaizskupa B. Takode je p(az):0,3 a f(az):1 (duZina niza je opet 1 ), dok je za simbol o3 .f (as) : 01 (duZina niza je 2 ). buzina kodnih zamena kod koda II i koda III tekode je razlidita. Broj D : r,t-pt * nzpz * nzps moZe se interpretirati ka,o ,,prosedna duZina,,

uslo-va da zadati

ja da je neophodno postaviti problem utvrdivanja potrebnih i kod (o,b, f) omoguiuje jednoznaint dekodiranje,

tri koda. Iz tabele

proiztlazi da bi kod I bio najpovoljniji jer daje najmanju prosednu duZinu kodnih zatnena. odigledno je da se problem optimalnosti sastoji u tome da nade takav kod koji omogu6uje jednoznaino dekodiranje i ima najmanju prosednu duZinu kodnih
zamena.

5. Kooovt uz tzvoR

INPoRURCI;n

57

Da bi se mogao formulisati stav o potrebnim i dovoljnim uslovima za kon' jod strukciju koda koji omoguiuje jednoznadno dekodiranje neophodno je uvesti
neke oznake.

paru (c1,c2) e C2 pridruZimo element c: crc2 C koji se je c1 dobija tako dase niz c1 c "produi'i" nizom c2 c . Kaze se da prefiks od c a c2 sufiks od c ' Defini5imo slededi niz podskupovaskupa C: Bu82UB3 u"': So: f(A):{ce Cl.: /(at) ; i:!,2,'..,o}
Uredenom (skup svih kodnih zamena);

{ c1 C I c6c1 So ; co ,90} (skup svih sufiksa elemenata iz 56 sa prefiksima iz So ); Sz: SLI) 5" 2 , gde je SL : {c!, e C l"o"L eSr i co So}, Sl', : {c"z e C lcl|'2 Ss ; c1 e,Sr } . Uop3te, za svaki prirodan broj k ) 1 se defini5e: Sr : S[ U,S"r gde je SL : {Ck e C lcsclk St-r ; co ,So }, d; p : {c" 1, e C l cpa|'t So ; ck-L e'St-r }' Primetimo da u nizu So,Sr,52,... ima samo konaino mnogo razlicitih skupova. Skupovi St,Sz,'.. su sastavljeni od sufiksa elemenata iz skupa Ss kodna t<o3i.ie konaian i njegovi su elementi kodne zamene konadne duzine. Ako 7 sufirksa te kodne ,u*"ttu /(oa) ima duZinu n.; ' onda postoji na,jviSe nt zamene tako da ukupan broj ne prelazi broj !i=r(u - 1) '

St

Toznadidapostojeprirodnibrojevi
ispunjeno
Tada je

n)!

\ m (7<* (n) takodaje

Sa46:Sm1t k:0,1,2,-..

S:
,S

Sr U Sz U -. - - 51U.9z

U..'U S*-r

Skup ,S zovemo skuP svih sufuksa. Teorema 5,2.L Kod (o,b,

ako je
,So

f)

prazan skup,

tj.

ornogu'uje jed,nomaEno ilekodironje oko i samo ako ne postoii sufilcs koji je uiedno i kodna

zarnena.

Ako je ,Sr prazan skup. tj. ako nijedna kodna za,irlerla nije prefiks neke kodne ,u^"n", onda se kaZe da kod (o,b, f) ima svojstvo prefiksa' On omoguiuje sukcesivno dekodiranje, pa se zato jo5 zove i trenutni kod'

Tad je ,s prazan skup pa su ispunjeni svi uslovi iz upravo navedenog stava, Sto zna6i da svaki trenutni kod omoguiuje jednoznadno dekodiranje. Za napred navedene kodove imamo: Zakod.I je So: {0,1,01}, Sr: {1} , 52:A: Ss- 54: "', pa je jednoznaino ,S : Sr i otuda S lt ,90 : {l} * 0 Sto znadi da kod ne omogu6uje

dekodiranje.

Zakod.IIje

So

S:

Sr

So

Za-kod,III

S:0 je Ss: {0,10,11},

- {1,10,100},

52 :A : Sz- Sr pa on omoguiuje jednoznadno dekodiranje'

51

: {0,00},
Sz

:'""

Sr

:A:

-,S3: "'

(trenutni kod,}-

5. Kooovr uz lzvoR lNroRuecr;B

58

Problem optirnahosli Ako diskretni izvor (A,p) emituje simbol c1 sa verovatno tom p(a6) : (i:1,2,...,o) iakoukodu (c,b,/) kodnazamena /(a;) imaduZinu ( q - b.oj dlanova ntz'a l@) c ), tada, kao sto je napomenuto, veridina

5.3

po

n6

^:f,nro, i:l
se zove

proseena duZina kodne zamene u kodu (o,b,

Postavlja se zadatak konstrukcije kodova koji obezbeduju iednoznadno kodiranje kod kojih 6e D imati minimalnu vrednost. Kod ima svojstvo prefiksa (kaZemo da je kod prefiksni) ako nijedna njegova kodna zamena nije prefiks neke druge njegove kodne zamene. svi kodovi sa fiksiranom duZinom kodnih zarnena su odigledno prefi.ksni. Ima i drugih prefiksnih kodova. Takav je recimo kod {01, 11, 000, 0011, 0010}
.

f)

On se moZe predstaviti putem tzv. kodnog drveta, koje ima oblik

l_tl

ooo 0010
koda

001 1
to moze videti i sa kodnog drveta tog

Iv{orseov kod nije prefiksni kao sto se

5. KooovI uz IzvoR lNpoRlrecl:P

59

HVFLPJBXCYZA
Ako

kod ji

(o,b,

f)

ima svojstvo prefiksa' onda se moZe sprovesti sledeie

razmatranje: --ilk
skupova

n :max{n1,

fl2,..',n',} i posmatrajmo skup B''

Defini5imo niz

Bin

: {rlr

8", f(o)je
(i.+

preflks

odr} ; i : l'2' "''a'

'

Za date skupove vaZi

B;n.lBin:0
tj.
Kakokodnazarnena elemenata, tako da vaZi

i) i Ul:rbi, c B"
tz B"
'

radi se o nizu disjunktnih podskupova

/(al) imadu/rnu ni<n,toskup B;n irn4 $t-n;

iu,-,, . r,

fr

Nakon deljenja sa

b"

dobija

se

tzv' Kraftova nejednakost

*u-',

.,.
i obrnuto' tj' da za date prirod-

uvek je ne brojeve ?LL,TL2,...,n, i b , 'u koje vaZi Kraftova nejednakost' kodne zamene imaju moguie konstiuisati kod sa svojstvom prefiksa u kome
duZine TtL,'172,. , . rfra . jednoznaino dekodiKraftova nejednakost vaLi zasvekodove koji obezbeduju

Sprovedeno razmatranje pokazuje da vaZi

ranje.
MoZe se dokazati sledeia teorema:

60

Teorema 5'3'1 Neka je (A,p) d,iskretn'i stacionami izuor i,nformacija u reome se znak ar A em,ituje sa ulroaatnolom fil 0,, : 1,2,...,o, 7 . Tada postoji, trenutni kod, (a,O, g Di:rpt. : )a'*oii i"

!.^.!' rno- -lo6*r'

gde

koja je (A,p) izvor_bez memorij.,.nL j. arr-: se moZe dosti6i za n fl, g;;l; II enrropija izvora. Takode je H(x1,{2, ,x:l:;E zasvaki prirodni tro; r. Ako r_ torke slova azbuke ,4 .tretiramo u" "r".," (pojeainacne simbore) u novoj azbuci A' , moze se konstr,lsati trenutni * -rJ-,ar) u kome je prosecna duZina kodnih zarnena
Ako
.

je H1: Il=r prlnpt To znaii da je H1/lnb

minimatnavrednst

fi.,

Tada waii

rH -_ rE IoD:rl'.ET*1,
Broj r+/r
moiamo

ili

fl=?=#.1
r+@ r

fut.rprc.Eti ho prwecaa broj kodnih simbola koji otpada na jedan simbol izrora rzuoron aotuino nelikog broja r veridina D, se moZe po volji priblEiti k" h,"j" f,lh.b - Relacija

,-t*E :

hb

poznata je ka,o Shannon_Fanova teorema-

5.4

Konstrukcija optimalnog koda

ai bi

pridruZivanje

Postoji algoritarn (tzv. Huffmanov argoritam) koji omogucuje da zadateverovatnoie pr oit

: t,i,..'.,o. tar;;:

se za fiksirane

konstruiSe

ai*, f(a),

sa svojstvom da dobijeni da prosedna duZina A(g) kodnih zamenau svakom *'"iir::n::;lXXi,,tl1*" a(/) kodnihdrugom trenutnom kodu (o, b,g) nije )u*o^u kodu @,;, ' (I) Azbuka A izvora-informacije se uredi po opadajuiim verovatno6ama emitovanja

,i:1,2,...,a, eieA, f(ai)eC, kod (o,b,/) ima svojstvo prefiksa i

simbola.

tj.

o.#')

Akosu brojevi

ai b

tako-da.vaUi

1, >

,, >"ir, ... ) pa . ai'tur.li aupoJo.;iprirodan broj

j

rakav

(1)t ada s ea zbuci.d.odaryn of i k o f i ktia ni

a:r(b-1)+b,

h s I ou ak o

5. Kooovr uz rzvoR rNroRuecrrp

Ocigledno da se broj dodatih fiktivnih slova a-b sa b-1, pa se zatim

6r

ostatak pri deljenju

c)oduzmeod b-1,tj.

a' dobija tako da se na& taj ostatak (oznaiimogasa

(2)
Ako je b takav da vani

a':b-L-c. : 2
(l),jer
(binarni kod) oiigledno je da uvek postoji prirodni
se tada (1) svodi

na a :

kojaima &r*r:a,-(b-1):
pomoiu jednakosti

azbuku ,4 fiktivnim slovima. (III) Formira se nova azbuka AL tako da se zdruZi poslednjih b slova azbuke A u jedno slovo, kome se pridruZi verovatnoia dobijena sabiranjem verovatno6a koje odgovaraju zdruZenim slovima. Redukovana azbuka ima o1 : a * at - b+ 1 : a -c slova. Svakom od b zdruZenih slova pridruZi se na bijektivan nadin jedan od simbola azbuke B . (IV) Ponavlja se prethodni postupak sve dok se nova azbuka ne redukuje na b slova. Kodna oznaka za slovo o; formira se tako da se redom, polaze6i od kraja prema podetku postupka, uzimaju svi simboli azbuke B koji su se pojavili uz indeks i . Oiigledno je da se nakon r * 1 koraka dolazi do redukovane azbuke Ar11

r*b

broj r

, pa nije potrebno proSirivati

Ar+L:

a-c-r(b-l) slova. Kako je c definisano a-b: r(6- 1)*c, tj. c:a-b-r(b1) vidi se da je

azi,(7).

5. Kooovr uz rzvoR

rNpoRrrlacr.lp

62

aoUilaostatak 1,toje a,:b_1 _c: fiktivno slovo. Procedura Huftnanovog algoritma prikazana je sledeiom tabricom, u kojoj su date i verorratno6e emitovanja pojedinih slora date azbuke.

_ 3- 1- 1:

Primer. Nekaje a:8, b:3 i Kakosedeljenjem-o--b

B:{0.1,2}.

1 . pa se dodajejedno

saD-t

0,30 0,20
0, 15 0, 10 0, 10

0,30 0,20
0, 15 0, 10

0,45 0 0,30 0,25 2

1

0,08

0,05 0,02

0,10 o 0,09 r 0,07 2

I
2

Proizilazi da su kodne zamene

: oo : or /(or) f (on) : oz
f (oz)
Takode je
O

/(o,):

T\:1 TL2 :2
fl3:2 fL4:2

:2 :2 f(az) : zzo TLz : S f(or):zzt 71s:3 zo zt

Tts

f (o") : f (oa) :

n6

:D: i=1

1 . 0, 30

+ 2. 0, 20 +

...

+ S .0,02 : t,Tb

..u

se binaran kod koji se zove Shannon_Fanov kod. Ako jedat izvor (A,p), A : {at, c,2t.. ., ao}, slova se urede po nerastu6im verovatnoiama emitovanja, tj. pr ) pz > ... ) po odredimo i (1 <z<o) takoaur" pr*pz+...*pt i pr.+t*pa'2a...*po pribliZno isti bro.ievi.

\oji .mj-e dobija

l*'?ku se daje i primer postupka za konstrukciju obavezno

optimalan ,e6 "brirak optimarnom;,. Tom"konstrukcijom

jednog prefiksnog koda

0 i 1.

simUot . Ponovimo postupak posebno za svaki od A1 i A2, deleii ih na po dr"a, po verovatnodi uravnoteZena, podskupa lkupova kojima se ,edom
..

skupa

Az:

{ai+r,oti+2t.

,ao}

't

ioau5rr;,, simboli

5. Kooovt uz lzvoR NroRraectls

63

Postupak se ponavlja dok se ne dobiju jednoclani skupovi. Za svako di azbuke A , kodne zamene f (a) 6ine redom simboli dodeljeni tom slovu u svakom koraku.

Primeri. L. Odrediti kod Senon-Fanoa z,z;zwr (4p) , Sde je d pr :0,27 , P2: 0,21 , ?3:0,15 , Pr:0,15, ft
pz

:0,04

Pi : P(oa) . Postupak je ilustrovan slededom tablicom

l: {a1,o2,' ' ' ,a?}, : O'12 ' P6: 0'06 '

at e; o.rO?Z0002 02 0,21 oB 0,15

0

[\q,) ! o 1 0 011oo 101 110 0 1110

1

1
0

? 3
3
3 4 4

aa 0,15 1 d5 0'12 a6 0,08

otz 0,04
Primetimo da je ovde

1 1111

-0,271og 0, 27

- 2' 0, 15 log 0, 15 : -0, 06log 0, 06 - 0, 04log 0, 04 2,6002

;

0,21 log 0, 2l

2(0,27 + 0,21) + 3(0' 15 + 0, 15 + 0, 12) + 4(0,06 + 0,04)

:2,62

'

Dakle, entropija izvora i prosedna duZina kodnih zarnena se kod ovako jenog koda malo razlikuju. Kodno drvo u ovom sludaju ima oblik

dobi

5. Kooovl uz rzvoR

wr.oRrraact.le

64

.a

Zapravo, postupak konstrukcije koda jeste

su kodne zamene pridruZene bas zavr5nim crtrrovirut.

formiranje ,,drveta,,, pri iemu

2. U sledeioj tablici su dva binama koda.,1f i g w izvor (A,p), gde je A:{or,Q2t...,oz} i pt:p2:0,2, p3:0, ]lg, ps:0,12, p5:0, 11 P6:P7:0,09'
,

tO z 11 2 000 3 010 3 011 B 0010 4 0011 4 Ovde je / kod Senon-Fanoa i za njega je n(/) : 2,g0 dok za kod 9 , imamo n(g):2,78. Kod / dakle nije optimalan kod.
0,20 010 0,19 011 0,72 100 0,11 101 0,09 110 0,09 111

a1 a2 a3 a4 05 a6 az

0,20 00

2 3 3 3 3 3 3

65

Komunikacioni kanal
Diskretni kanal

6.1

kanala uz Razmotri6emo problem modelovanja dislretnog komunikacionog pretpostavke da postoje smetnje l kanalu' ve6 kodirane Da bi se poruke, generisaneizizvorainformacije i eventualno niza o&edenih signala, nuzno na neki nadin, p..ooril" putem kanala u obliku je pretpostavjati da postoii odredeni nepraz.ni skup svih mogu6ih signala (obicno po,,oA, kojih se po.i* izrtra prevodi (kodira) u obli]ru niza signala jadina struje, Ll"ktrierrihlmpulsa koje karakteriSu odredene velidine kao Sto su napon struje, frekvencija i s1.)' Na svom su "putu'; signali izloZe,,i uticajima smetnji Sto moZe rezultirati time d.a izlazri signal nije obavezno ka,o ulazni, Sto znaii da se moie posmatrati i skup mogu6ih \zlaznth signala' zakoniDelovanje smetnji se takotle podvrgava odredenim statistidkim pretpostavke po6i od tostima tako da opisivanje komunikacioirog kanala mora skup v izlaznih signala i da postoji odreiteni skup u ulaznih signala, odrld"rru familija funkcija raspodele koje odraZavaju statistidku zavisnost uiaznih i izLazn\h nizova signala. ondS' se Ako je t : (at,a2t...,an) (J" i A : (br,b,,"',bn) Vn iz kanala dobije moZe govoriti i o ,rriorrroj verovatno t:i p(y lr) da se na izlaz:u niz g- akoje ulazni bio niz z . Jasno je da ta uslovna verovatnoia zavisi i od ;stanjai' kanala koji se menja tokom vlemena u zavisnosti od prenetih signaia ili nekih drugih uticaja. zako seu opSternsludaju uvodi i skup s svih mogu6ih stanja komunikap(y l@, s)) cionog kanala iulo au ima smisla govoriti o uslovnoj verovatno6\ je kanai u da setobij e izlazni niz y e V" ako je ulazni niz r e U" i ako stanju s S. Formalno: Diskretni komunikacioni kanal ((I,p,s,v) sa ulaznom azbukom u : i skupom stania {r,r,...,,} ,lzlaznom azbukom V {'ll,',rlz'"''\') te u" zaaata s oa..a..rjeakozasvaki n N,svako ss isvaki raspodela verovatnoie p('l@,s)) tako da je

p@l@,s)) >

za

svaki a QV",

gevn

e@l(r,s))

66

Z. Bnarvovri

Ako je stanje lanala odredeno samo na osrovu prethodno prenosenih signala, onda se kaze da kanal ima odredenu memoriju. Stanje kanala moze zavisiti na odredeni nadin i od signala koji 6e tek biti preno5eni i tada se kaZe
da kanal ima odredenu anticipaciju. Za analizu su svakako jednostavniji kanali bez memorije i bez anticipaciie. To znadi da se moZe uzeti da je S jednodlani skup i da uslovna verovatnoda pfulr) ne zavisi od stanja kanala. Na takvim kanalima 6emo se kratko zadri,ati. Neka su U i V konadni skupovi i

II

{pni

> 01, : L,2,...

),tL

;j

1,2,...,u i f,pni
i:t

: tj

zadata stohastidka matrica, pri demu je pu : p(qj da je izlazni signal \i ako je ulazni signal $ .

lt)

- uslovna verovatnoia

xe Un i UeVn vaZi p(Alr) : p((h,bz,. ..,b.)l(ar,@.,...,an)) : p(brla)p(bzlaz). . .p(b,la,)

Akozasvaki isvake

nN

onda se dobijeni diskretni komunikacioni kanal taziva stacionarni kanal bez memorija i oznadava sa (U,fI, y) , a n se zove matrica kanala. zna1i da je takav lenal (}race 6emo ga zuati: kanal bez memorije) potpuno odreden ulaznom i izlazrLom matricom, kao i matricom prelaznih verovatno6a fI. Ako matrica II ima specifican oblik onda se dobijaju i razlidite vrste kanala bez memorije. Tako, recimo, ako je rI kvadratna matrica i ima za elemente samo 0 i 1 i ako ima rang u , tada svakom ulaznom signalu pripada, sa verovatnodom 1 , odgovarajudi izlazri signal, pa se takav kanal naziva kanal bez smetnji. Druga krajnost je tzv. beskoristan kanal koji ima matricu fI sastavljenu od identicnih vrsti. To znadi da svaka kolona te matrice ima isti element na svakom mestu, tako da je p4 : Qi , j : 1,2,...,n , odnosno uslovna verovatnoia p(qj l) ne zavisi od ulaznog signala, pa je jasno da se ne moie komunicirati pomodu takvog kanala, jer izlazni signal "nema nikakve veze" sa ulaznim signalom.

6. KorrauNrx.AcIoNI rAN.q'l

6?

Primeri.

l.Akoje

[o 1o.l II: | 1 o o | 0 1J
L0

dobija se kanal bez smetnji, gde {1 prelazi u Tlz t tz t rh, a s u 4s sa verovatno6om I i\zla.zntsignal se sa verovatnoiom 1 odreduje na osnoYu ulaznog signala.

2'

za ":

I o, zs 0,5 I o,zs 0,5

0,25 I 0,25 l
7lz

se dobija beskoristni k".nal,

jer primaju6i bilo koji od signala 41 , nemamo moguriosti da preferiramo ulazni signal (r ili (z '

rlz

3'Akoje

n:1-9'5 o'5 ol 0 1l

vidi se da moZemo ulazni signal sa verovatnodom 1 odrediti na osnovu izlaznogsignala, jer su izlaznisignali ry i qz dobijeni sarno od ulaznog (1 . dok je izlaz r1s dobijen samo od ulaza (2 .
Navedeni primeri ukaauju na potrebu da se definiSe odredeni parametar koji bi karakterisao odredeni komunikacini kanal u smislu njegove prikladnosti za prenos informacije.

LU

6.2
(a

Kapacitet diskretnog kanala bez memorije

ie p(,)
verovatno6a da se na ulaau kanala pojavi signal
n

Pretpostavimo da

Stavimo

pt -- p(t) ;

i,:1,2,.

.. ,n

Dru: L i:L

F\rnkcionisanje diskretnog kanala bez memorije se mole zemisliti i na slede6i nadin: Izlaarisignal 4i se mole dobiti tako da se na izlazu pojavi Hb

68

Z. BneNovrd

koji odsignala r,r,...,, izatimdase, zbogsmetnji, $ (ti : 1, 2,...,u) primi naizlazulao r1i. Ako je qi:p(q) U:L,2,...,u) verovatnoiada izlazni signal bude 4r. na osnovu teoreme o totalnoj verovatno(i dobijamo

(1)

qi

:f;P'P'i i : l'Z'"''a i:L

'

Odmah se vidi da je

j:l

in,:ir,i*:r,
i:l i:l

tako da se moZe govoriti o raspodeli verovatnode na skupu izlaznih signala. Znaii da se ulaz diskretnog kanalafu,memorije moZe tretirati kao odredena diskretna sludajna velidina x sa skupom vrednosti R(x) : ry i raspodelom verovatno6e p, : (pt,h,.--,pr) , dok se izraz kanaia moze takode tretirati kao diskretna sluEajna prommlji\ra y sa skupom wednosti R(Y):V i raspodelom verovatnoie pc: (qr,h,- -.,e,) . Kako su p, i pu matrice-vrste, to se sistem (1) moze zapisati u obliku matridne jednadine
' matrica datog kanala bez memorij e. Iz wejednacine proizilazi da se izlaznaraspodela py dobija,, delovanjem" (matridnim -roZenjem) kanala (matrice tI ) sa ulaznom raspodelom p, .
gde

PY:

PgfI

je fI

Primer.
Neka se na ulazu u kanal pojavljuju siguali r i z , tako da je p((1) : 0,2 , p(r): 0,8 . Kanal (stacionaran bez memorije)-odreden;" *uiri"o-

0,6 II- I o,n 0,9 I

1,0,2

I'

6.

KorrauNrKAcroNr KANAL

Na izlazu se javljaju simboli iz dvoelementnog skupa V osnovu gornje matridne jednadine je

{rlr,qz} . Na
0,76 l

ln@) n(n)l: [0,2 o,8l

Iti

3;3]:

lo,z+

Ako je er.j : p(ulrt) verovatnoia da je ulazni signal o ako se kao izlazni signal primi \j , onda je prema Bayesovoj formuli

^-qj qii - PtPti

za koji

zasvako

i:1,2,...,ui

isvako j :1,2,...,u

je qi > 0 ; pri demu je

.a ^ -D,!:rPtPti Qj -n,-'' q, -,

k'ot:

Ocigledno je da se za svaki uredeni par (ti,q) . (i : 1,2,. . . ,u) , 1,2, . . . ,u) moi,e govoriti o njegovoj verovatno6i p(,,4i) i pri tome je

(j :

P(r,q)
Jasno

PrPri

: QiQti' i D,pGn,Ti) : i:r j:r

je da se mogu posmatrati za navedene sludajne velidine i velidine H(X), H(Y) - entropije; H(Yl X), H(XIY) - srednje uslovne entropije; H(X,Y) - entropija uredenih parova, kao i srednja uzajamna informacija
I

(x,Y)

: H (x) + H (Y) - H (x,Y) :

H (X)

H (x I

Y) :

H (Y)

H (Y I x)

Velidina I(X,Y) se moZe interpretirati i kao srednja kolicina informacije koja se prenosi datim kanalom bez memorije pomodu jednog signala. MoZe se re6i da ulazni signal "nosi" prosednu sopstvenu informaciju H(X) i da zbog uticaja smetnji u kanalu izgubi prosedno H(X,Y) sopstvene informacije po signalu, tako da I(X,Y) postaje prosedno prenesena kolidina informacije po signalu. Ocigledno je da se za I(X,Y) moze dobiti i oblik
I (x, Y)

:,r-F-ort, q )

odnosno

70

Z. BneNovri

I(X,Y):
skupu

t Dprprih =#L*tP*Pnj i:1j:l

Ako se sa Du oznadi skup svih funkcija raspodele verovatnoie na datom [/ , onda se moZe dobiti para.metar koji opisuje osobine diskretnog kanala bez memorije u smislu njegove pogodnosti ru p.eoos informacija rrczavisno od ulazne raspodele verovatnoda p, _ Velidina

mo6 datog diskretnog kanala bez memorije. Ako se koriste binarni logaritmi dobija se kapacitet C izrai,enu bitima. Velidina C oznadavamaksimalan prose-can broj bita koji prenosi jedan signal kroz dati kanal bez memorije. Vratimo li se na pomenuti beskorisni kenal (poi : ei ii : 1,2,. . . ,u) , onda je I(x,Y) : g tako da je c : 0. tj. iovori se o kanalu nula kapaciteta. Iz definicije je ocigledno da je c > 0. pri iemu znak jednakosti vazi ako i samo ako je pU : Qj ;,i : 1,2,,...0u, tj- ako zu ulaz X i izlaz y nezavisne slucajne velidine. Kanal bez gubitka informacije se msZe defoisati kao diskretni kanal bez memorije zakoji je H(X/Y) :0 , tj. H(Xiyi\:0 za j __ 1,2,...,r.r . To znadi da za bilo koji izlazni signal rlj sz veronatno6om 1 se moZe odrediti pripadni ulazni signal. Tada je kapacitet

zove se

': t#'I(x'Y) kapacitet ili propusna

max H(X\ P,D- \ /

: H(! ' 1
\21

r.r,' u)

t _l

1,.

Primer.
Diskretni kanal bez memorije, cija stohastidka matrica ima vrste sastavljene od istih brojeva (vrste se eventualno mogu razlikovati sarno u permutaciji dlanova), a isto tako i kolone, zove se simetridan kanal. Neka su vrste sas_ tavljene od brojeva @i 2 0,Dr;: l) , a kolone od brojeva ^r1,r2,...,r.,.

s1,s2,...,s2 (r, > 0,Ds;: ulu).

Uzimajuii u obzir napred date izraze dobija

se

I(x,Y)

:ipnfrinrj
i:L j:r

-Deibqi, j:L

odnosno

6. KouuNrxlcloNr xeNer,

,n
- H(rr,rz,. . .,ro)
.

I(X,Y) :
p, , tako

H(qt,,ez,. . .,Qo)

Drugi 6lan u zadnjoj jednakosti ne zavisi od ulazne raspodele verovatno6e da je

,:

#ff"H(qr,ez,...,Qu)

- H(rr,rz,,. .. ,r,)
:

Na osnovu svojstva entropije dobija

se

#&H'(q''Qz' "''Qo)
i maksimum
se postide za

'(:':'

'*)

""

p,:u(!,1,".,'), \uu u/
jer ako je

h: I/u (i :1,2,. . . , u) , onda je

ti

:f-o,o,i:
c:

*I", : *,
-

i :1,2,...,u

Otuda je kapacitet simetridnog kanala

r(:,:,..,, i) - H(,,,r2,...,ro)
C

ili, ako se Zeli izraziti u bitima

:Iogzt +ir;log2r6.
i,=L

Za u:1)

:2

matrica kanala ima oblik

rI:|.l-u I e
i govori c(e)

1-uJI
(BSK). Tada je kapacitet

se o binarnom simetridnom kanalu

: u (;,i) - rr, - ,): 1 * (1 - e) logr(1 - ) + elogre bita.

72

Z. Bnnxovri
Lako je videti da se za e : 0 lli E : L12 je dati BSK nula kapaciteta.

e:

dobija BSK bez smetnji, a za

Da bi se stekla informacija o kolidini informacije koju mogu da prerade neki realni sistemi, navodimo nekoliko primera: Propusna moi ljudskih uSiju (za zvtbne informacije) j" = 5. 104 bita/sec, a kapacitet ljudskih odiju iznosi = 5. 106 bita/sec. Obradi (u jedinici vremena) informacija u ljudskom mozgu odgovara znatno manja propusna mo6. Tako rtpr- zacitanje (sa razumevanjem smisla) i to zalS do 40 slova u sec. potrebno je 20 do 50 bita/sec, dok razgovor "nosi" oko 50 bita/sec.

73

TKoderidekodet:rtzkomunikacionikanal
AkosezadrLimonadeiukomunikacionogkanalapredstavljenomnanarednoj
Semi

koderkanal
moZe se provesti slede6e

Wr""l

C*64
-1

zt fri dekoderkanala
11 t--+

sh- t'-+

rasudivanje'

Zaodredenovlemeizvorgeneri5eodredeninizporukakojeseukoderu kodne azbuke B ' tako da u koder \zvotakodiraju * oJs""u*:"z'tini'simbola se kodira- u n-dlani Iiiz r . u" ' kanala dolazi zn-cl# riz e B* koji Niz fr ulaziukanal iizlaz\kao g Vn 'k9*?.seudekoderukanala i dekodiranja se mogu opisati pridruZuje niz z' e B* . Procesi koiiranja
odredenim funkcijama'

Funkcijahsedefinisetakodabudeinjektivnopreslikavanjeizskupa B^tskupU,.Kakose,uop5temsludaju,nemorajuutroSitisvielementi se uzeti da odrecleni

tz B*

moZe za kodiranje svih mogu6ih poruka-izvora'

skupDCB*sak(k3U")elernenatasadrZisvemogu6eulaznenizove. '' Un ' ti je mogu6e definisati injektivno preslikavanj e h : D

O;;,

h(21):au' 'i:!'2'"''k; zteD; riU" : h(D) : {rt'n2t "'':F} ' Tada je od'reden i skup M

pretpostaviti da se kao tzlazri nrz Kako u kanalu deluju smetnje mole se

i

moilejavitibilokojielementskupaV"iondajepotrebnodonositiodluke kakodasedekodiru;,,tuk,iiz|azninizoviaevn.Zalosedefini5efunkcija g:Vn_,Mr.o3u,"zovesemaodluEivanjaipritomesepazidaSeotra ldredi tako da se Sto vi5e smanji uticaj smetnji' i odredeno particioniPrimetimo au 3" tort "ijom I : v" - M zadalo ranje skuPa V" , tako da je

l'2'"''k : St^lSi:A 'l'+ i' kao r; ]I{ . pri To znaci da se svaki izlazni niz Ul, S dekodira S,:
{ae

Vnlg(a):*'};

i_-

6emuje,naravno,*os"e"dajedekodiranjepogre5no'tj'dajeizla-niniz

74

Z. BnarvovK

e Sr dobijen od nekog ulaznog niza r*U. Kakoje h-r:M--+D bijekcija, to 6e se i dekodirana poruka z: h-l(r) razlikovati od ulazne poruke z: h-L(r) . Kod konstrukcije kodera i dekodera kanala moZe se birati proizvoljan broj n , funkcije g i h , pa 6e se oni izabirati tako da pogresnog dekodiranja
U bude Sto manje. Kako su greske u prenosu signala datim kanalom opisane pomo6u odredenih funkcija raspodeie verovatno6a, moze se govoriti o uslovnoj raspodeli p(a e Sol*), (i:1,2,...,k) - dase rratzlazu dobije niz y koii pripada skupu St, e V" , ako je ulazni tiz ri (r; e M g tl") . Tada, uz primenu dekodiranja pomo6u date funkclie g , imamo prenos poruke z; bez greske, pa je p@

Srlro)

- 1- p(y e Srlq):p(Elz); i,:1,2,...,k

.

verovatno6a greSke pri prenosu poruke zi Stavimo

t:'?'-%P(El"')
tada nam parametar (0 < 6 < 1) karakterise dati koder i dekoder u smislu pouzdanosti prenosa informacija. Odmah je jasno da konstruktori kodera i dekodera nastoje da postignu sto je mogu6e manju vrednost za . Uobidajeno je da se odredeni n-dlani nizovi simbola, koji se podvrgavaju procesu kodiranja i dekodiranja, zovu blok-kodovi. Tako se govori o blokkodu duZine n . S tim u vezi se defini5e velidina

R:lnk
n
gde je

prenosi.

sa k oznaden broj svih moguiih poruka koje dolaze u koder kanala. Kada bi sve poruke bile jednako verovatne, onda bi svaka od njih ,,nosila,, informaciju I :lnk nita, tako da se R moie tumaditi kao maksimalna kolidina informacije koja otpada na jedan signal u n-dlanom nint r [Jn . velidina E se obidno zove koeficijent prenosa ili brzina prenosa datog blok-koda. Drugim redima. u datom kodu je svaki signal n-dlanog niza r "prosedno optere6en" najvise sa R nita informacije emitovane iz datog izvora, koju treba da "prenese" kroz dati kanal. PoZeljno je da ,B bude sto je moguie ve6e, jer se tada informacija brZe

7. KoopR r ppxoonR uz xotuuNrx.q.cIoxI xeNel

75

Osnovni problem je u tome da se nadu uslovi koje moraju zadovoljavati koder i dekoder pa da signal prenese kroz kanal svu mogu6u informaciju koju je preuzeo od izvora i to sa verovatno6om bliskom jedinici. U cilju formulisanja osnovnog stava o re5enju tog problema uvodimo
slede6e oznake:

1. Ako su dati prirodni brojevi k i n > Inkllnz i ako je izabrano k razlicitih elemenata rt,tz, - -.,rk e Un , kaZemo da je zadat koder kanala ili blok-kod duZine n , u oa.aci (r, k) . 2. Svaka funkcija g:Vn -'+ M: {rr,:r2,...)rk) zove se dekoder kanala ili Sema odluEivanja. Da bi se do5lo do najpogodniieg oblika funkcije g : Vn -- M sledi se ideja da se medusobno pridruiuju "najverovatniji" ulazni i izlazni nizovi.
Neka

je

p(r)

: p(zi)

(Dp(r,)
i:1

r)

verovatnoda i-tog ulaznog niza,

p@lrr) (D pfu1",;) :1)

aevn

uslovna verovatno6a da se dobije izlazni

ri M

niz y
k

V"

ako

je ulazni

niz

p(u,a)

: p(ni) lp(a lr)

k

(I I p@*a) : i:L geVn

L)

verovatnoia uredenog p x a :ulaz-izlaz,

p(il:\n@.,il (Ip(s) :t)

i:l
sVn

verovatnoda da se naizlazra, dobije

niz y e V* i
k

p(ulil: p(rtillp@)
uslovna verovatno6a da a evn

(D,e@rla)
i:L

1)

je rlazni niz ri e M

ako

je dobijen izlaznt

ntz

76

Z. BnaNovrd
Ako

je r, : g(A) odreden tako da je

p(r'/d:
onda se

,_?gr(, o/il

g zove sema odludivanja sa minimarnom verovatno6om greske. ZtaEi da svakom izlazt e V" A or,ul ,rtu, r e M koji ,pridruzuje maksimizira uslovnu verovatno6" p(*o/i) ou*";;{i l rruu takvih nizova u skupu M , ond,a se proizvoljro ,rirrru jedan oa n;ifr. F\rndamentalna je slede6a teorema:
Teorema T.o.L Ako je
realan broj R (g . odluii,uanja g tako d,a je

d,at d,'iskretni, kanar bez

E < C) ,

memorije kapac,iteta

ond,a postoji,

Otoinoa

@,

k)

,i iema

c>0

e:ms;5(1 -p(&/n))s1.,2-^"
gd,esu

i
n.

klenR,

l>0 i

niza signala, eksponencijano teZi ka nuli.

To znadi da je mogu6e konstruisati koder i dekoder tako da beskonadnosti, a da e - maksima.lna gre.ka pri prenosu pojedinog

^>0

ptarametrinezauisniod,

n teii

n_dlanog

il

77

8
8.1

Linearni kodovi
Idealna Sema odluEivanja za BSK

Ve6 smo definisali BSK kao komunikacioni lnat kod koga

ie

: y:

{0, 1}

dok je matrica ptelaza

(r)
C(e)

I
I

,:i':',.'-l I e I-61
H(t

Zaovaj kanalje dobijen kaPacitet

H(ll2,t12)

e,e)

:1

(1

e)log2(1

- ) +elogre bita'

Grafik funkcije 6 '-- C(e) je oblika

s].
Uslov
gde

za s (0 < e < tl2) je postavljen da bi kapacitet bio pozitivan. u daljem ie se pretpostavljati da je raspodela verovatno6a na skupu M c : M p(t) : llk, je {0, 1}' uniformna, tako da za svako x {ar,a2, - -.,an} e

je

/c broj elemenata u skupu

svih mogu6ih ulaznih nizova' a

Ako je

ypr@lr):P(Ylr'),
: r,
, onda

{0,1}'

i ako stavim o s@)

za dati BSK.

je time definisana

tzv. idealna Sema odluEivanja

Da bi se elakFalo konstruisanje takve idealne Seme, deinise se funkcija rastojanja na skupu {0, 1}, svih n-ehnih binarnih nizova na. slededi naiin: Za dva

8. LrxpeRur xooovr
niza r {0,1}, i ye{0,1}, defini5e se njihovo ,,rastojanje,, broj koordinata u kojima se r i gr razlikuju, tj.

78

d(*,y)

kao

r:

(ar,a2t...,a,.),

y: (bt,b,,...,bn) + d(r,U):ilon_Ur1
i:1 fi)110 i y: t010t je d,(r,y) i petoj koordinati. d@,y) :

Tako recimo za

se ova dva niza razlikuju u prvoj. etvrtoj Lako se proveravaju sledeia svojsbrra n

n:5 i nizove r:

S,

ier

(d.) d(x,z) < d(r,y) + d(y,z) .

nizova r i y . Buduii dasu r eM i y.S, houlaziizlazRsK, takodeelementi skupa izmeriti;udaljcne. --r^^nog niza y od ulaznog niza r . {0,11:,, T1ry6".j" vazr sledeca teoremfr ovako definisana funkcija d na skupu s: rastojanje i govori se q Farnmingrryoj udaljencci {0,

(") d(r,y))o, (b) d(r,y):0<+ z:!, (") d@,y): d(a,t) ,

"l"l:.

bin;ih

L}n

zove se Hammingovo

Teorema 8.L.1 Nekr je dd, BSK

p{c I

soojonr

natri@m (1). Tada aaZi:

zi > p{ol q) + d{q,s) < d(rz, u) za sa&i ! e S i dpwuiufu z,r,tz M Dokaz. Neb je dlr,g):* (0 < ,z ( z) pa kako je , p(y / r) : ((U.,h, . - -,h) (ot @2, . ., oo)) : p(br aip@z az) . . I
-

p(b. / a^),

gde ai,6y e {0,

l} , (j :

l,Z, -- - , z) , to je
(0 <

p(y/z):eP(t - e),t-m;
MoZe se, znafi, pisati

*. r)

p(y/ql: e-'(l - e)n-n' , p(y/q) : *(t- e)t-mr,

Sada vaZi (2)

Bde je m2 :
gde ie

mr

d(q,u)
d(*z,A)

,
.

M:;4_F,,,,:\_;/
Kakoje 0 < e < 1f2,to ie

p(y/q)

e-'(1 - e)n-m,

17

- cxn2-n\

tr
li

(r-e)/e)

1 i zbog (2) sredi navedeno tvrdenje.

t.:

M g {0,1}*

odigledno je kako treba konstruisati idealnu semu odrudi vanja zadati skup ulaznih nizova i dati BSK. T}eba ,u svaki izlazni

niz a e s

t ! *

8. LrNpeRNl xooovr onaj r' e M za koji je Hammingovo rastojanje minimalno. Ako ima takvih r' e M moZe se uzeti bilo koji od njih. Znaii, 9(y) : t' (s e S) , gde je r' odreden iz uslova
na6i

79

vi5e

pip{d(r,a)}

d(r',y)

defini5e idealnu Semu odlucivanja za dati binarni simetridni kanal.

Osnovni problem koji treba re5iti je u tome da za dati broj k mogudih poruka odredi minimalan broj n (duZina kodnih zamena), tako da uz idealnu Semu dekodiranja i odgovaraju6e ulazno kodiranje imamo korektan prenos porukaiakosedopu5tadapostoji r (0<r<n) greSaka(promena 0 u 1 ili 1 u 0 ) u prenosu n-dlane binarne kodne reii. Nekaje M : {rt,rz,...,nx} i nekaje r takav daje d(ri,ri) > 2r *1, i' + i , (i'i : 1,2,.. ., k) , tako da su svaka dva razlidita niza iz M udaljena bar 2r * L jedinica Hammingovog rastojanja. Tada je moguie konstruisati idealnu Semu odludivanja tako da tz r ili manje gre5aka u prenosu n-elanog binarnog niza imamo korektan prijem ulazne poruke. Naime, za svaki r; M formirajmo skup & svih g {0,

d(A,A)(r,takodaje

1}'

za koje je

(3)

&-{y{0,1}"ld(*n,a)(r}, ('i:7,2,...,k).

Stavimo S@) : ni za ! e Si , (i, :7,2,. . .,k) . Prema tome, ako je ulazna poruka ri e M , moie nastupiti r ili manje gre5aka u prenosu ulaznog n-dlanog niza pa da pripadni izlazni n-dlani binarni niz g pripada skupu .9i i tada ie se primljeni izlazni niz dekodirati l<ao ra - imamo korektan prijem. Ako nastupi vi5e od r gre5aka u prenosu ulaznog niza 14 , izlazni niz y pila izlan skupa Sl i tada nemarno korektan prijem
poruke.

Skup 51. definisan sa (3) moZe se interpretirati ka,o kugla radijusa r sa centrom u taiki ni u prostoru S : {0, U' svih n-dlanih binarnih nizova sa Hammingovom funkcijom rastojanja.
VaZi slede6a teorema:

Teorema 8.1.2 Da bi se rnogla konshru,isati idealna iema odlui,iaanja za k jed,nako uerouatnih ulaznih poraka koje treba prenositi d,atim binarnim simetriinim kanalom, pa d,a'imamo korektan prijem uz r ili manje od r pogreino prenetih binarnih cifara, mora b,iti,ispunjen (Hammingou) uslou
(4)

#m=r
Dokaz. Utvrdimo koliko
elemenata sadrZi

definisan sa (3). U 1 od centra kugle irna n elemenata. Na udaljenosti 2 od centra kugle ima (;) elemenata i to su svi oni koji se od z6 raalikuju u dve koordinate (na udaljenosti 1 su njemu je svakako

skup S,i

l<aa

sredi5te kugle ^9i . Na udaljenosti

8. LtrupaRNI xooovl
80 se razlikuju samo u jednoj

:il|fi'j

koorrlin3li), itd.. znaiida u skupu ,sa ima

L*n,
ie i*i,

(;). .0 :f ()
-f (, {2*'

je SrO Si: 0 ako (i.,j:1,2,..::t)-,.t:._d"*;;; i S, nepresecaju. Dakle, za konstrukciju k rakvih.disj*"+ t"+-fiLU": * je bar kD;=o C) binarnih nizova. Kako js U-iill"I*in nizova 22 , mora biti n_dlanih "t"pu"

elemenata. Da bi se za^dovoljili uslovi teoremeauZno je da

odakle sledi tvrdenje teoreme- tr Da bi se dobio uvid u odnme rerieina

t, r i t

navod.imo srediu tabelu

6 32lt ry 2.9 T t?ff8x4,4 a ZSO3Zc O,O g Wr 11,1 J56n 28,S l0 1287 ry 18.8 !__ =
pri prenosu detvoroilanih :? binarnil Iz tablice se vidi da z.a konstrukciju "iro* ,rLog koda, kada imarno recimo k : 10 mogu6ih poruka i kada zelimo d"i;, d"" grle prijem' mora se uzeti : g . oa ,"rsrreih 29 u prenosu imamo korektan
idealna Sema odludi",u"i.u

4 5 6 7

ozb2

165 xJ,2 163=5,3 647 xg,t 76

^^^.Yi9',?",d1 postoji blok-kod sa viSe od

*o

k:2

kodne r=a * koje bi r"-*ogr. konstruisati t o.igoro[m svih jednctrukih (r : 1) greSaka

je k:2,arine

Jasno da porast /c dovodi i ao"lr"**fanih po.urtu broja veliki; .to prouzrokuje praktidne teskoii

uiir*il*rilru za ovakvo -.* iskoristiti viSe od 11 Kada ne bi zeleli sigurno kodiranje"3 iad a bi za to J-^i poruka bilo dovoljno :uzeti n 4 , jer postoji / binarnih nizova. je
sigurnosno kodiranje ulaznih poruka

,n

n , pa je onda broj 2n uiehniekoj rearizaciji kodera.

8.2 Linearni

blok_kod

rq* broj. onda u darom primeru "ir*u y --{(r,o,o), fo, i, ,1, (1,0, 1;, (1, 1,0)} Na iztazu se moZe dobiti bito koji od 23-: 8' i."ri."il';il;ii,;;LZt,
dobijamo skup ulaza outestiranjem

y2.: {g,0), (0, 1), (1,0), (1, 1)} skup ulaznih nizova za aatiBSK. af." "irlo* Saljemo kako su dati, onda svaka creska u prenosu neke, cifre dovodi ao-fog."sr,og prijema. Zato svakom nizu dopisimo jednu cifru tako da ruir uli!

Posmatrajmo prvo slededi.p:r:g., Neka

je

8.

LrNpaRNl xooovr
81

prenosu troilanog binarnog

izraza u.odlosu na parnost zbira cifara u izraanom nizu moZemo otkriti svaki neparni (1 ili 3) zbir gresaka uprenosu. Odigledno au orur*., toJir" o*oguiu* korigovanje grasaka vei samo korrrtut*r;" iu je nastupila jedna ili tri greske u

Generalizacija ove idejesa-proverom parnosti zbira cifara neke poruke moZe se obezbediti uvodenjem odredenog aogo-r* o racunanju (sabiranju i mnoZenju) sa binarnim ciframa. To je sabiranje i irnozenje po modulu 2 definisano slede.im tablicama.

tizaiz M

0 , tako da se testiranje parnosti moZe svesti na proveru da li je ta jednadina zadovoljena u GF(2)

Skup {0, 1} sa ovako definisanim operacijama ,, +,, i ,, . ,, j" Galoisovo , GF(2) . U posmatranom primeru za svaki (at,az,a3) e Mje ispunjeno aL + a2 + o3 :
polje reda 2

Posmatrajmo opStiji sl.unaj. Neka je F lti ll : I,2,...,m} vnl matrica ei;i * elementi _ {ili 1 i posmatrajmo ; j : 0 - rvv..^uvr sistem linearnih

7'2'"''n;n)

.iednadina sa koeficijeni ima

iz Ci1z1:

hpt*lpaz*...*fnan fzrat * fzzaz + ...* fznan

: :

0, 0, 0.

fmrar* fmzazl... * f*nan :

svako re.enje

ovog sistema je u Gp(2) neka n-torka binarnih cifara, tako da je skup M svih re5enja ovog sistemaidretieni podskup od je da se elementi skupa M iskJste {0,1}, . Ideja ul*nokodiranje p;;; ri datom BSK, a da se svaki izlazni niz testira da "u li zadovdava gornji sistem.

Matrica

I ll In F: I fzt lzz l- f*, f^z

frn
lzo

t:

kodiranje ulaznih poruka BSK.

vrednosti na osnovu kojih sa dobija.ru odredene .,rr"aoorii^ 1- nepoznatih. zato tebiti upravo 2s binarnih n-torki kgje su resenja ,i"t"*.

matrica pariteta ili kontrolna matrica. Ako je rangp, : f (1 < t < rn) , onda postoji t linearno nezaisnih kolona u matrici F , pa se za preostalih s:
zove se

!*n

rn

-f

nepoznatih u sistemu mogu izabrati proizvoljne

koje se mogu upotrebljavati za

8. LrNpaRNr rooovr

82

Primer.
Neka je

n-t:6-3:8,

Prva' druga

':l? ; I I B l],
At
iL1

Ir o o I 1 ol

rang,F': 3

jednaiina. Ta re5enja zapisana u vidu tablice su

Q,t at
Aq

i treia kolona su, Iinearno nezavisne. sada je s : -recimo, pa imamo 2z resenjaodgovarajuieg sistela linearnih
AS

fr2
frB

t4 I5 I6 t7
Sg

000 000 111 110 110 111 001 000

A6

0 0 0 0
1 1 1

0 0
1 1

01

0
1

0 0
1 1

0
1

0
1

cifre

cifre

svako resenje (sestocrani binarni niz) sastoji se od 3 proizvoljno izabrane cifre. koje se zovu informacione cifre i r dobijene resavanjem sistema

Fr

:0,

gde

je z

vektor-kolona

a0

"n" nula_vektor.

Tako dobijeni kod (n, &) , gde je k : 2" , zovese linearni kod sa kontrol_ nom matricom F ' Veliiina R: sln se zove koeficijent p"*". koja, kao i ranije, predstavlja prosednu kolicinu informacije 1o"a" tiii*uj1".i, ,,preuzima" pojedini
signal.

i tn - s kontrolnih cifara. Informacione cifre su dovoljne ,, k"J;;;j" infbrmacije sadrZane u porukama, dok se kontrone cifre koriste za redukovan;e gresaka u prenosu informacije putem datog BSK.
informacionih

U opstem sludaju za kornji sistem ie biti ukupno

"

Primeri. 1. Neka je kontrolna matrica

F:111...
Jednaiina

1].
koeficijent prenosa

Njenrangje, : 1 i

Fr :0

: tu- 7,paje
at

ima oblik

R: I _ l/n.

az

+...+ &n:0

8. LtttpeRNl xooovt

83

koeficijent rB po volji pribliZiti ka jedinici. Dobijeni kod, ocigledno, omoguiuje velike brzine prenosa informacije, ali su moguinosti otklanjanja gre5aka male jer je minimalno Hammingovo rastojanje izmedu kodnih redi jednako dva.
pouzdanosti prenosa najbolje .ozeti
se dobijaju

tako da se dobijeni linearni kod sastoji od k 2n-r kodnih zamena, od kojih svaka zadovoljava uslov parnosti zbira cifara. Primetimo da se tada izborom dovoljno velikog prirodnog broja n moZe

2.

Ako je potrebno prenositi samo

k : 2 poruke, onda je, s aspekta 11: (0,0,...,0) i rz: (L,1,...,1) , koji resavanjem jednadine Fr :0 tn izbor sledeie kontrolne matrice

F_

11 000 10 100 10 010

:

0 0l 0 ol,

0 0l

(nx

(n

1))

10 000
Ovdeje rangF: 1, paje s: n-t lf n , pa se vidi da dobijeni kod ima,
za

,,J
: n- (n1) : 1, odnosno R:m/nveliko n , vrlo mali koeficijent prenosa.

iz GF(2).

Navedena dva koda su ekstremni slutajevi pa se postavlja zadatak konstruisanja takvog linearnog koda koji osigurava dovoljno visok koeficijent prenosa uz dovoljno malu verovatnodu gre5ke pri prenosu. Jasnoje da se skup s : {0, r}n moze tretirati ka.o konadan vektorski prostor nad poljem GF(2), gde se sabiranje vektora definise na uobidajeni nadin kao saviranje uredenih dvojki po modulu 2 , a slidno se definise i mnoZenje skalarima

Tadaje skup M , kao skup svih resenjajednaiine Fr : o, odreden konaian potprostor od s . znaii skup M e ,s je i skup svih kodnih redi (zamena)
Iinearnog blok-koda

(n,2*).

MoZe se dokazati

i obrnuto twdenje koje

glasi:

Ar :0 je

Teorema 8.2.L za suak'i potprostor M c ,g : {0, 1}" postoji, matri,ca A sa kolona tako da za suaki, r M uai,i Ar : 0 . suako resenje jednaiine
element skupa

Primer.
Neka

je n:6 i neka potprostor M C {0,1}"

b1 b2 b3

ima sledeie elemente:

,
,

: : :

(0,0,0,0,0,0)
(L,0, 1,0,0, 1)
(0, 1, 1,0, 1, 1)

, ,

ba:

,
.

: : b6 b7 :
bs

(L,1, 1, l,0,0)

(0,1,0, 1,0, 1) (0,0, 1, 1, 1,0) (1,0,0, 1, 1,0)

8.

LrueeRNr xooovr

videti da su recimo br
kolone matrice

Matrica B formira.na od ovih elemenata kao vrsta ima rang 3 i moZe se , b2 i bt linearno nezavisni vektori. Tri poslednje

su takode linearno nezavisne, pa se mogu zapisati sledeia

t[]:Ii ii?iB]""
*^*^*

tri sistema jednadina

Ii]
Ii] Ii]

:^,,Ii]*^,,
:^,,
Ii]

[; ]

i] *^,,-],2:,'g:1, li].^,,f .,, i *^,, -,zz:1,\23-0,

I

:^,,I

i]

Otudamatrica

A tipa 3x6

f: ].^"

Ii]

*^,,:,33:1,\32:Q

imeoblik

Ir o o 1 1 rl A: I o I o I I o lo o r 1o rl
tako

daje F: A

kontrolna matrica za,dztikod

(n:6,k:

g)

Idealna Sema odluEivanja za linearni blok-kod Nekaje F matricatipa mxn (mln,rangF:rn) inekajesanjom definisan blok-kod sa skupm M kodnih reii. Za bilo koji izlazni niz y .9 : {0, 1}, , opStem slutaju je Fa: c gde , c e {0, 1}" . vektor c je n-dimenzionalni vektor-kolona i ror" ," korektor vektora y.
U skupu

8.3

S.:{UeSlFy:s}
svi y ,S koji imaju zajednidki korektor. Ako uzmemo odredeni Uo S" i posmatrarno linearnu mnogostrukost ao* M : {y e Sly:ao*r ,r e M} e ,S, onda je
se odigledno nalaze

Stozna.di da

S":Uo*M, AoeS.. Zaista, ako y ,S., odnosto Fy: FAo: c, tada je F(U-Ao): Fy_ Fys: c-c:0,tj. postojitakav reM daje e:U-yo,odnosno y:yo+x),
je ye ao+M,pajedakle S"gyo*M.
Takocle,iz

ye ao+rn

8.

LTNpRnNI

xooovt
gde

85

sledi

F(yo * r) : Fyo + Fr : Fao : c, tj. A e S, , Sto znadi da je yo + M g 5", odakle sledi navedeno tvrdenje' Da bi opisali konstrukciju idealne seme odluiivanja za linearni blok-kod pogodno je za svaki U : (br,b2,.. . ,b,) definisati velidinu
gr

ao

* m,

M,

pa je

Fy

T(y)

:irn:
i:1

d(o,a)

koia se moZe interpretirati kao "udaljenost vektora g od koordinatnog potetka" u vektorskom prostoru {0, 1}' : S ' Velidina f @) se zove i tezina binarnog

niza

Lako se dobija da iz Ha.mmingovog rastojanja d(v Uzmemo

y ili norma vektora y i ima sledece osobine )0 zasvaki yS; (u) (U) "(y) :0 + Y:0 e S; r(y) @) r@ + v) : d(*,Y) < T(") +T(Y) , r,Y e S '

d(r,g)

sledi

vo,d

T(vo)

li takav y' e S

da

je T(y') >
ad < d(v

d(v

"(yo) v',a)

, onda je i
.

To znaii da se idealna Sema odludivanja za linearni blok-kod sa kontrolnom matricom tr, i skupom M kodnih redi moZe konstruisati tako da se izlaznom niztt y S pridruZi onaj ulaz no: g(A) M koji se dobije tako da se prvo nade skup ,s. , a zatim odredi c/o e s" koji ima minimalnu teZinu. Tada x)o : A- y0 ima osobinu da je d(rs, A) < d(t,A), n M, jer dok y' varira

po

^9.

, A - A' varira pb M

Prirner. Neka je kontrolna matrica

F_

l-r o o o 1 1l lo r o o l ol lo o r o 11l' lo o o 1 o 1l
Fr: 0 s:rt,-t:6-4ima 4 re5enja i ona su

Kakoje rangF:4
kontrolne cifre. Jednadina

imarno

2 informacionei4
, .

rr : fi3 :

(0,0,0,0,0,0) (1,0,1,1,0,1)

, ,

fiz
ca

: :

(7,1, 1,0, 1,0) (0,1,0,1,1, 1)

Za m:4 postoji 2a :76 razliditih korektora, pa se za svaki od njih formirati pripadni skup s" izlaznih nizova koji su dati u slede6oj tablici

moZe

8. LTNpIRNI xooovr
c

S"-E*m
mun0
1UXn0
[11010
011010 101010 110010 111110
101101

T(ao)
010111
110111 0
1 1 1 1 1 1

Ko

0000

lu(ru
K1
0100 0010 0001 1110
1011
1

001101
111101 100101 101001

01uno
001ofi) 0001m
000010 000001 1 10000 101000 100100 100010 100001 010100 010001 110100 110001

111m0
111011 001010 010010 011110

100

1010
1001

101111 101100 011101 000101

000111 011111 010011 010101 010110

100111 111111 110011 110101
1

2 2

m1001

Kz

0110 0011 0101

1111

0110m
011010 101110 101011 001110 001011

m1l11
001100

2 2
2 2

101 10

u1001

K3

1100 0111

111lm 01lm1
0111m

000011 000110
10001
1

2
3

100110

6/

DODATAK A

Interakcijsko-komunikacioni aspekt obrazovanja i vasPitanja

Uvod

9.1
u:

i vaspitanja-potrebno je isti' U cilju jasnijeg sagledavanja sistema obrazovanja Obi.no se ti aspekti grupiSu sa vise usp"ku'ia' putem misaone analize, 'ugt"dutl
- dru5tveno-generacijski; - individualni aspekt tazvoia licnosti; - interacij sko-komunikacij ski'
Sa

gleda kao na pojavu' sa drugog kao na Sa prvog ," *p"fttu t'u oUt-o'*j" pro."", a sa tre6eg ka'o na delatnost' definisati ka'o prenos iskustva' dru6tvenog aspekta obrazovanje se moZe

da je sa starije generacije na mladu' s tim nove prenosen;a i usvajanja znanja osposobi zadatak obrazovanja da u procesu generacije zarazvoj i boga6enje tog iskustva' shvatiti kao t-" aspekta Sa drugog po 3blazov.anJe -T:i" '"a"-iu'"a""og

znariai opsteg d."s;;;;

;;i"dt

Svesnoinamernodelovanje,odnosnosamodelovanjenarazvojflzickihipsihiakih osobina liCnosti pojedinca' sve vise proudavanju vaspitno-obrazovne delatnosti Savremene t"rra"t'"i]" u prida' iija se vrednost nalazi naglaSavaju l.rt"r*."f'tto komunikacioni,uspltt uienika' Naime' taj pristup re5ava dilemu vanju znadaju ,Iog""t'*tavnika i

otomekojeodnjihvaZnijiuobrazovnomprocesuiucentarpaZnjestavlja
meduljudskiodnosnadijimseosnovalnagradislozenazgradaobrazovno-vaspitne
delatnosti.

je usko vezano i'primarno odrede- vaspitanik, odnosno nastavnik no kvalitetorn *"dr5-rrJriit, oarroru.,*pitur ve6 deo opsteljudskih odnosa u uienik (studenr). Ki;;6 "d"os nije izolovan sa druStveno -generacijskim jednoj drustvenoj sredini, io ,e, jrs.ro, uodava veza '*p"f.i"-. NaveJeno se moZe predstaviti Semom na Si' 4'
Sagledano sa ovog aspekta obrazovanje

su: o-d Eega zavisi uspeSan Pitanja koja se name6u u vezi sa ovim aspektom otie,., *ogu li se upoznati zakonimeduljudski odnos,;;ii;;" faktori na njih jednog meduljudskog odnosa i kako tosti u procesu ,r.po'-#5u"3a i odrZavanja
budu6e nastavnike osposobljavati za

to'

9. INToRexcr:sxo-xonuNxn'cloNl I'sppxt
dru-5tvo

"'

88

roditelji

natawnik

meduljudski
odnosi

interakcija i komunikaclja

sl.

4
operacionalizaci:aikonkretizacija

vaspitne sadr2aje' obrazovnih zidataka ka,o odrettenih s*erdca za obrazovno - kreativnmt nastavnika (vaspitaca) kao pri to*" je veoma bitna komponenta njihove i respektovanje individualnos; s\rakog u6enika (studenta) i podsticanje

vrsi Sa interacijsko-komunikacionog aspekta se

kreativnosti. aspekta je Bitna karakteristika obrazovanja sa interacijskokomunikacionog

daseodvijaumeduljudskomodnosu,dase^i*nasaradnji'dazavisiod proces obrazovanja kvaliteta interakcije i komunkacije u odnosu loo i da sarn nastavnika i u6enika' treba da usavr5&va Iidnost i

odnosa' Ako se Zeli da se obrazovanje odvija u celokupnosti meduljudskog u njemu uiestvujy ka,o celovita biia, da se to znadi da i vaspitai i vaspitanik i aktivno deluju. u njega ukljucuju kao bi6a ioia re samo da misle vei ose6aju na promene u dubljim sferama ljudske psihe obrazovanje se na taj nadi odrazava i pri tome vrSi integiiraju6u i aktualiziraju6u funkciju ljudskog biia' obrazovanjesezapravozasnivanastvaralaikojsaradnjisubjekatauprocesu. kada doprinos Ta saradnja nije samo zajedni.ki rad ve6 znatno vise od toga, rezultatima rada. Rezultat saradnje nije jednak ,*Los pojedninca da3e kvhitet u kvalitetu zbiru rezultata srrakog pojedinca u saradnji, vei vise od tog zbira' i kvalitet saradnje' tog rezultata se odraZava ostvarivanjetakvestvaraladkesaradnjeukazujenatodajeobrazovanje je uticaj kreativan cin koji se ne moze u potpunosti racionalizovati. odlu6uju6i (intuicija, nadahnu6e onih komponenti koSe izmidu racionalizaci.li i verbalizaciji koji nisu dovoljno proudeni)' i drugi iracionalni momenti

9. INrpRexcusr<o-xouuNrxlcroNr aspnxr

...

89

9.2 Meduljudski

odnos - temelj obrazovnog procesa

Meduljudski odnos je veoma sloZen proces koji sa ne moZe u potpunosti racionalizovati i do kraja objasniti. U njemu postoje dva nivoa nesvesnog: intrapersonalno nesvesno (u pojedincu) i interpersona,lno nesvesno (medu pojedincima). Koliko god da prihvatamo obrazovanje kao svesnu aktivnost, ostaje dinjenica da njegova uspe5nost (posmatrano u globalu ostvarivanja ciljeva) zavisi od nesvesnih, iracionalnih snaga koje deluju u polju meduljudskog odnosa. Upoznati meduljudski odnos jo5 ne znadi i njime ovladati. Nastavniku nije dovoljno samo znanje o tome ve6 se radi o ve5tini uspostavljanja i odrZavanja meduljudskog odnosa. Meduljudski odnos je sloZen i dinamiian proces koji uslovljava meduzavisnost pona5anja osoba u njemu. Bilo kog pojedinca u odredenom odnosu moZemo razumeti samo ako ga sagledamo u njegovoj interakciji sa drugom osobom u
odnosu. U obrazovanju meduljudski odnos je proces koji se uspostavlja izmedu vaspitada i vaspitanika, udenika ili grupe udenika (razreda, godine studija) kao celine. U tom procesu nastavnik svojim ponaianjem utide na uCenika (studenta) ali imamo i uticaie u obrnutom smeru. Obrazovanja i nema izvan meduljudskog odnosa. U obrazovanju su zapravo najbiinije ljudske relacije. Svaki odnos pretpostavlja bar minima,lnu interakciju i od stepena i kvaliteta uspostavljene interakcije zavisi uspeSnost maduljudskog odnosa. Kako ie se neka osoba pona5ati u odnosu zavisi od toga kako ta osoba doZivljava sebe i kako doZivljava drugu osobu. DoZivljaj nje same ie uticati na percepiranje druge osobe i na njeno pona5anje prema drugoj osobi. Druga osoba u skladu sa doZivljavanjem sebe doZiveie i proceniti ponaSanje osobe sa kojom je u odnosu i adekvatno svom doZivljaju i proceni reagovati. Ako su se osobe adekvatno procenile uspostaviie se medu njima prirodna interakcija. Medutim, ako je iz nekog razloga doSlo do neadekvatne procene bilo sa jedne bilo sa druge strane, bi6e prirodna interakcija onemogu6ena. Graficki prikaz meduljudskog odnosa dat je slede6om Semom (Sl. 5):

9. INrpRexcr.lsxo-xotrruivrxecloNl espBxr

..

90

doiivljaj
..,. A(A)

PonasanJe

stim ulan s

"

doiivljaj B(B)

"doii vljaj
A(B)

(reakcija)

doZivlja..l

B(A)

sl.

podsticaja koje prima od svojih uinila (studenata). Potrebno je da bude neprestano otvoren duhu generacije koju odgaja. da sebe usavrsava i da bude primer mladima koje obrazuje. Odnosi medu ljudima se mogu podeliti na dve kategorije i to: - lidni odnosi;

U meduljudskom odnmu pstoji cirkularna, a ne linearna stimulacija. Vaspitac deluje na vaspitenike, ali ime.mo i povratno delovanje vaspitanika na vaspitada. Otuda je nastavnik duzan da u sebi razvija stav i spremnost za poimanje

jvaZnije karakteristike ovih odnosa su: - oni su bez svesne namere i praktidnog cilja, - subjektivni su - zasnovani na emocijama, - trajnost odnosa zavisi od medusobne privlainosti, - odnosi su li5eni hijerarhidnosti, - rezultat su lidnog izbora i izrazito se privatni. Za r azlik:u od ovih, profesionalno-dru5tvene odnose karakteri5e: - namera i cilj su jasno odredeni, - objektivni su i zasnovani na racionalnom, - trajnost odnosa ne zavisi od promena u privladnosti,

- profesionalno.druSveni odnosi. U prvu vrstu bi spadali odnosi medu supruZnicima. ili prijateljima i sl. Na-

- hijerarhiini su, - ispunjeni su latentnom energijom, - rezultat su sticaja okolnosti. Takvi su recimo odnosi izmedu lekara i pacijenta, advokata i klijenta, nastavnika i ucenika. Medutim, svaki takav odnos u kojem su ljudi u medusobnoj vezi, ne moZe biti li5en nekih elemenata lidnog odnosa. To, iz vise razloga,

9. INtBRaxcttst<o-xoltuNtxectotlt RspBt<t'..

91

vazi i za odnos nastavnika i udenika. zapravo, bitna je specificnost obrazovanja kao delatnosti da se tu proZimaju i prepli6u profesionalno- drustveni i iidni momenti u odnosu nastavnik - udenik. Druga specifidnost obrazovanja je neravnoplavnost partnera u odnosu, zbog eega nikada ne moZe biti uspostavljena potpuna reciprodnost. Ta je neravnopravnost razlidita po razliiitim fazama j"i"oi*") obrazovanja i ogleda se u mnogim faktorima kao sto su uzrast, znanje. psihidka i firi"t u zrelost, iskustvo. Ako se obrazovanje shvati kao saradnja onda se javlja problem kako da se medu neravnopravnim partnerima uspostavi Sto ravnopravniji odnos.

- udenik. Zna(aja]r element za uspostavljanje reciprociteta je naizmenidno zauzimanje pozicije subjekta i objekta u odnosu. Pri tome, pod subjektom podrazumevamo onog partnera koji je vise aktivan, dok je objekat vise pasivan. Medutim, dobro je poznato koliko je tesko staviti u.enika u ulogu subjekta,

Specificnost obrazovanja je kako uspostaviti reciprocitet u odnosu nastavnik

tj. uspostaviti proces osposobljavanja u.enika za samostalniji rad, za aktivni poloZaj i ulogu u procesu udenja i saznavanja. je mogudnost konfrotacije, sudeljavanja

Druga karakteristika reciprociteta misljenja. za ovo treba osposobljavati nastavnika, budu6i da on u odnosu sa ueenikom ima privilegovani polozaj i teSko mu je da prizna uteniku da je u pravu kada to situacija zahteva. slede6a karakteristika reciprocitetaje uspostavljanje saradnje. Dijalogje najhumaniji oblik komuniciranja medu ljudima i za njegovo uspostavljanje moraju titi ostvareni i subjektivni i objektivni uslovi. Bez njega nema uspeSne obrazovne komunikacije. uodeno je da odredeni tipovi nastavnika odgovaraju odredenom tipu ueenika' Poznataje slede6a klasifikacija nastavnika i udenika:

nastavnici

llcentcl

1. akademski tip

f. intelektualni tip
2. emocionalni tip 3. kreativni tip

2. savetnidki tip 3. kreativni tip

Akademski

nastarmika u prvi plan stavlja znanie i intelektualne sposobnosti. Njemu najvise odgovara intelektualni tip udenika, koji takode u prvi plan stavlja znanje, koji je racionala,n i koji na isti naci dozivljava i svog nastavnika. savetniiki tip nastavnika brine u prvom redu da zadovolji emocionalne, a zatim intelektualne potrebe udenika. Njemu odgovara emocionalni tip uienika kome je najvaZnije da zadovolji svoje emocionalne potrebe kao $to su potreba za naklonost i sigurnost da bi u obavljanju svojih obaveza mogao biti uspe5an. Kreativan tip nastavnika je kombinacija dvaju prethodnih sa izrazitom teZnjom da budi i podstide kreativnost udenika time Sto svom radu pristupa na kreativan nadin. Njemu najvije odgovara kreativan tip uienika, koji kod svog nastavnika ceni i vrednuje kreativan pristup kao i podsticanje njegove licne kreativnosti u nastavnom radu. Kako se, medutim, odnos izmedu nastavnika i ucenika ne uspostavlja putem naklonosti i sopstvenim izborom, ved na manje-viSe sluiajan nadin' neophodno

tip

:lffi|Pn*

9. INrpRa.xcr:sxo-xorvruNrxecroNr asppxt

...

92

je da nastavnik upozna svoje udenike kako bi bio u mogu6nosti da ostvaruje optimalnije uslove za uspostavljanje tog odnosa.

Sto

9.3

Faktori uspe5nosti meduljudskog odnosa

i
bliZe

Poznato je da merluijudski odnosi zavise od viSe faktora. Izdvojidemo

objasniti slededa tri:

- socijalna percepcija, - emocionalni stavovi, - empatija.

9.3.1 Socijalua percepcija

Termin "socijalna percepcija" se upotrebljava da bi se naznaiilo da se radi o percepciji u kontekstu moduljudskog odnosa. Iz psihologije je poznato da je percepcija celovit i jedinstven doZivljaj, da je to aktivan psihicki proces. Kako 6e se ne5to opaZati (percepirati) u datom trenutku ne zavisi samo od fiziolo5kih nadraZaja ve6 i od prethodnog iskustva, stavova, trenutnog raspoloZenja ka,o i
stava pri posmatranju. Za r:ar,likt od percepcije predmeta koji je statidan kod percepiranja osobe ona reaguje i uzvratno deluje na nas. Zbog toga i termin "socijalna percepcija" ukazuje na meduzavisno percepiranje osoba u socijalnoj situaciji. U percepiranju druge osobe se moZe poii sa dva gledi5ta. Prvo je da i drugi posmatraju i doZivljavaju svet ka,o ja. To je dosta egoistidno glediSte i javlja se u najranijim danima dovekova Zivota. A upravo proces socijalizacije ima zadatak da dovede zrelu socijalnu osobu do toga da posmatra svet i ljude ne sarno sa svoje taike gledi5ta nego da nastoji da sagleda i gledi5ta drugih. To je posebno vaZno u odnosima nastavnik-udenik. Kada udenici traie da se nastavnik "spusti na njihov nivo" to ne znaii da postane ka,o oni, vei da posmatra njihove probleme i njih same sa njihove tadke glediSta. Drugo, blaZe glediSte od prethodnog, jeste da su drugi slidni meni, dakle ne isti, ve6 sliini. Oni imaju sliino mi3ljenje o svetu oko mene. I jedno i drugo glediSte se temelje na racionalnom pristupu, ali se mora ukazati na to da u stvarnim Zivotnim situacijama deluju i nesvesni procesi, koji su nekada kodnica uspostavljanja humanih i adekvatnih meduljudskih odnosa. Kako se tada radi o nesvesnim funkcijama psihe, nismo u stanju da upravljamo

njima, vei one upravljaju nama. Za nastavnika, koji treba da upravlja obrazovnim procesom, znaeajno je da upozna i u sebi razotkrije te nesvesne mehanizme, kako bi onemogu6io njihovo delovanje u svom pona,Sanju prema uienicima.
Osnovnu zakonitost socijalne percepcije je jednostavno formulisao F. Heider:

"Osoba A percepira psihidke procese osobe B kroz psihiike procese u samoj sebi". Na osnovu poznavanja sebe, dakle, prosudujemo druge. Sto smo objeki tivniji prema sebi, Sto smo vi5e raare5ili unutraSnje konflikte i spoznali nesvesno u narna to smo sposobniji da objektivnije prosudujemo o drugima.

93

zasluZuje".

ve6 je rezultat-nesvesnog ..,"t *rrir-, u osobi koja obja5njava pona5anje druge, onda tu moZe biti problema. osetljivo pitanje medurjudskog odnosa kod koga narocito dolazi do izrazaja mehanizam projekcijske introspekcije je pitanje poverenja. Poverenje je kamen temeljac svakog istinskog, humanog pravog i meduljudskog odnosa. Ako nastavnik nema loverenja u sebe ,ru -oz" ga imati ni u svog udenika, a ako ga nema u uienika, onda se ne moze prihvatiti ni da ga udenik ima prema nastavniku. Pitanje poverenja u odnosu nastavnik - uienik ima dalekoseZne posledice. T\r se radi o tome da odnos graden na poverenju sruZi udeniku kao moder za njegove buduie odnose u Zivotu. Postoji nekoliko pristupa prema poverenju. optimisticki pristup prema poverenju ogleda se u poverenju prema svakom; pesimisti.ki u nepostojanju poverenja prema bilo kom, dok je realni pristup;,imati poreren;, u onog koji to

koji objektivno ne postoji u njoj

sasto.ii se u tome da se u meduljudskom odnosu tude p."onxanje objasnjava na osnovi nesvesne funkcije psihe, da se drugoj osobi pripisuju neke tsobine, stavovi, motivi ponasanja koji su zapravo u nama samima, a kojih nismo svesni i ne Zelimo ih priznati, pa ih se resavamo tako da ih pripisujemt drugima. Ako je pri tome rei o pozitivnoj motivaciji tu i nerna problema. Medutim, ako se drugoj lidnosti i njenom ponasanju zeli pripisati neki negativni motiv,

i prosudivanjem licnosti drugog na osnovu percepiranogje posebno vaian za nastavnika. Ako nastavnik ni;e obijek_ tivan prema sebi nede biti u moguinosti da bude objektivan ni prema uceniku. Ako nastavnikovo pona^Sanje determiniSu neki nesvesni iracionalni motivi moZe se dogoditi da ih on pripisuje uEeniku, a da toga ni sam nije svestan. Jedna takva nesvesna funkcija psihe, koju je p. Diel nazyaa projekcijska introspekcija,

zahtev za objektivnim procenjivanjem

za razliku od raanih Zivotnih situacija, ne moze se zamisliti nastavnik koji nema poverenja u svog uienika i u tom sludaju optimisticki stav ne znadi ne_ realan stav (u opstem sludaju, naravno). Tlenutna manifestacla nepoverenja prem? uceniku koji je to zasluZio ne sme narusiti opsti stav poverenla koji nas_ tavnik mora u sebi izgra.diti kao bitnu komponentu na kojoj on gradi svoj odnos prema mladoj generaciji. od prvog utiska, koji je uvek emocionalno obojen, zavisi stav koji utiie na interakciju i komunikaciju i od njega desto zavisi i t<vatitet meduljudskog odnosa koji treba da se uspostavi. prvo medusobno percepiranje dovodi i do prvih pro:ela licnosti drugog i do prosudivanja njihovih osobina i kvaliteta. Ako je doslo do medusobne adekvatn" p.o"".r" uspostaviie se prirodna i spontana interakcija i komunikacija, a u protivnom ie isto biti otezano, pa u od.edero* smislu nekada i onemoguieno.

svi ljudi nisu.iednako sposobni da na osnovu percepiranja drugog tivno procenjuju njegovu licnost. Ta se sposob.rori ,rrrrilr. "iutoje objekbitno da se u procesu osposobljavanja nastavnika putem posebnih veZbi utice na razvoj sposobosti percepiranja, prosudivanja i procenjivanja licnosti ucenika. Zakljudimo time da nije dovorjno da nastavnik tadno i adekvatno percepira i proceni lidnost ubenika, vei je njegov zadatak da pomogne uee.riku da
sam
is_

9. INtBRexcnsxo-xouuNrxecroxr asppxt ...

94

pravno percepira i procenjuje i da ga tako osposobljava za uspesnije meduljudke odnose izvan Skole i kasnije u Zivotu.

9.3.2 Emocionalni

stavovi

zatzimanje medusobnih stavova u odnosu je znacajna odrednica za uspostavljanje interakcije. odnosa nema bez interakcije, a ona se ogleda u medusobnom delovanju osoba koje zauzimajtt stavove i time odreduju svoje mesto u odnosu. Pitanje stavova je posebno znadajno za nastavnika jer od kvaliteta njegovih stavova zavisi njegovo ponaianje prema uieniku, koje reciproeno utide na stavove uienika prema nastavniku. G. Alport je prouiavanjem literature doSao do dvadeset razliiitih odredenja stava. Izdvojio je ono Sto je zajedniiko i za stav dao odredenje da je to tendencija koja usmerava naSe ponaSrnje.

l'

t
t

stav kao slozena psihidka pojata povezan je sa saznajnom, emocionalnom i motivacijskom sferom liinosti. Saznajni elementi stala odnose se na znanje o netemu ili nekome; emocionalni za ono Sto mecamo prema nekome ili neiemu, dok je motivacijski aspekt stara vezan sa podsticajirna za pona5anje prema
nekome

ili

nedemu.

ts w
Fl

Emocionalna komponenta je sv'aloko najlaznija jer odreduje vrednost, jaiinu i kvalitet stava i bitno uti6e na motivacionu komponentu. Emocija se u stavu polarizuje na dva osnovna pola: pozitivni i negativni i to svaki sa svojim modalitetima, kao Sto je pokazano na semi na slede6oj strani. Humani ljudski odnos se moze zasnilati samo na pozitivrrim emocionalnim stavovima. Negativni emocionalni stavovi onemogucalaju i blokiraju uspostavljanje meduljudskog odnosa i predstavljaju barijeru za uspesnu zajedniiku akciju. Na pozitivnim, odnosno negativnim stavovima gradi se medusobna naklonost, odnosno neneklonost izmedu ucenika i nastavnika. u slucaju uzajamne nenaklonosti postupci se mogu iak i zlona.merno doZivljarati i obiasnlavati, tako da je tu zapravo red ne samo o intenciji osobe koja salje poruku, ve6 i o doZivljaju i tumadenju osobe koja tu poruku primaNastavnik mora biti svestan toga da su njegovo i uienikovo ponasanje u interaktivnom odnosu i da je tesko odvojiti dije je ponasanje uzrok. a dije posledica. Isto tako, nastavnik mora biti svestan svoje uloge i shratiti da je on po prirodi polozaja u odnosu sa udenikom odgovorniji i da to kako 6e se ucenik ponasati i kako 6e dozivljavati njihov odnos mnogo zavisi od njegove lidnosti, njegovih
stavova

ry

( { (

{ ,{

,{

i njegovog

ponasanja.

q d roli d

,{

9. INrpRexcr:sxo-xolruNmectoNt .tsppxt

...

95

strahopoitoranje

zloba
zavist

divljenje

poBtovanje

antlpatUa

simpatija

omaioraiavanje

uialjenje

prezir

9.3.3 Empatija
Upotreba ovog termina (engl. "empathy") datira iz 1897, a dolazi od grikih redi "empaso" i "pathe", Sto otprilike znadi "utkivati se u doZivljaj drugog". U enciklopdijskom recniku iz pedagogije iz 1963. taj je termin objaSnjen kao "uZivljavanje, akt projektovanja samog sebe u nediji poloZaj, oblik identifikovania sa nekim". Slikovito obja5njenje daje R.R Carkhuff da je to zavladenje pod tudu koZu,
koje nam omogu6uje da sagledamo svet odima druge osobe. U obja5njenju empatije iz Reinika sociologije i socijalne psihologije naglaSava se veza koja se ostvaruje na kognitivnom planu, koja nam pomaZe da shvatimo emocionalno stanje drugog, ali bez emocionalne identifikacije. Jednostavno se moZe reii da je empatija saznajno emocionalna sposobnost uZivljavanja u poloZaj druge osobe i sagledavanje sveta njenim odima. M. Kalliopuska smatra da je empatija skladan, koherentan proces u organizmu koji uskladuje fiziolo5ke. afektivne i kognitivne aspekte. NajceSie se paZnja obra6a na kognitivni i afektivni aspekt. U kognitivne komponente empatije spadaju: - posmatranje druge osobe sa njene taike gledi5ta; - preuzimanje uloge druge osobe u odredenoj socijalnoj situaciji. Kod posmatranja druge osobe sa njene tadke gledi5ta odigrava se proces da se prvo mora"iza(i" iz vlastite koZe, da bi se mogli "uvu6i" pod koZu drugog. ZnaLi dasmo sposobni da posmatramo svet ocima druge osobe, da se postavimo u njen poloZaj, da se shvati njen nadin miSljenja i gledanja, ali bez napuStanja vlastitog miSljenja i vlastitog stajaliSta. To nikako ne znadi gubitak vlastitog

9. IxtpRaxcr.rsxo-xolruNIx.e,ctoNt esppxr
identiteta,

...

96

a jo5 manje iskori5davanje nevedene sposobnosti da bi se manipulisalo drugima. Empatidko razumevanje se ogleda u tome da se iz trenutka u trenutak uhvati ono Sto druga osoba doZivljava u svom unutraSnjem svetu. U afektivno emocionalne karakteristike spadaju: - osetljivost prema ose6anjima druge osobe; - sposobnost suoseianja (ueestvovanja u osedanjima drugog). Biti osetljiv na ose6anja drugih ne znadi i sam ih proZivljavati ili pasti pod uticaj onog Sto druga osoba ose6a. To znaii biti sposoban na osnovu spolja5njih, vidliivih simptoma ponasanja osobe tumaditi onako kako ih tumaii druga osoba, Sta ti simptomi za nju znale, a ne za nas. Da bi bili otvoreni za ose6anja drugog, da bi razvili senzibilitet prema osedanjima d*Sih moramo u nama samim imati razvijen pozitivan emocionalni stav prema ljudima u Zivotu, biti oslobodeni svih unutraSnjih konflikata. nemira, negati'rmih emocija. jer bi nam to moglo blokirati otvoren put prema drugoj osobi. "Sva.ka mala mrZnja truje sve moje ljubavi" (Unamuno). Poznate su dve teorije empatije. Pn"a. psiholoSki usmerena teorija, polazi od toga da je za razvoj empatije bitna koncepcija vlastitog "ja" koju svako ima o sebi i koja ukljuduje sposobnost samoposmatrania: zauzimarrja distance u odnosu na sebe i svoje ponaianje i formiranje pojma o sebi. Svaka osoba najbolje poznaje sebe i na osnovu poznavanja sebe, posmatra i drugu osobu. U unutra.Snji svet druge mobe se ne moZe "direktno uii" vei o njemu zakljudujemo na osnovu onog Sto moZemo da neposredno uobimo, odnosno na osnovu spolja5njih simptoma ponaSanja druge osobe. Vezu izmeclu unutra5njeg doZivljaja i spoljainjeg ponaSanja prvo stvaramo kod sebe i na osnovu toga tu vezu prenosimo na prosudivanje druge osobe. Ako druga osoba na slidan nadin reaguje kao mi. manifestuje svoje unutra5nje doZivljaje istim ili slidnim simptomima, tada 6emo je lak5e razumeti. Primetimo da su razlike u takvom manifestovanju desto posledica sredine i kulture, ali i temperamenta, prilika u kojima osoba Zivi, Zivotnog iskustva i sl. Sposobnost samoposmatranja, koja se ogleda u Sto objektivnijem uoiavanju veze izmedu unutraBnjih doZivljaja i spolja5njih simptoma pona5anja, pretpostavlja i razotkrivanje nesvesnih mehanizama i motiva koji mogu upravljati na5im pona5anjem. Druga, socioloSki usmerena, teorija empatije ne negira potrebu da je za razvoj empatije potrebna koncepcija u vlastitom "ja", da je potreban oseiaj vlastitog identiteta, ali vi5e ulazi u proces razvoja te sposobnosti. Tako. izmedu ostalog, naglaSava da se empatlja razvija u komunikaciji s drugima, u preuzimanju razlicitih socijalnih uloga. Primetno je da se ove dve teorije empatije ne iskljuduju, vei se medusobno dopunjuju. VaZnost empatije u obrazovno-vaspitnom procesu proizllazi iz slede6ih nuZno postojeiih aktivnosti u ovoj delatnosti:

otkrivanje ose6anja koja prate ponasanje udenika, prihvatanje udenika onakvog kakav on zapravo jeste,
otkrivanj e emocionalno-motivacionih faktora, shvatanje vaspitanika u njegovom totalitetu,

9. INrnRaxct.lsxo-xo\auNxncloNt aspsxr

...

97

- biranje adekvatnih obrazovnih sredstava i postupaka, - prilagodavanje komunikacije udenicima. Sprovedena istraZivanja u nastavi ukazuju da ako se Zeli da se deluje na razvoi empatije kod udenika, posetrno kod studenata koji se pripremaju za nastavnidki poziv, onda se to ne moZe postiii samo predavanjima, ve6 se moraju stvarati situacije u kojima 6e empatija biti doZivljena kao neposredno iskustvo.

9.4 Interakcija i komunikacija u obrazovanju

Pojmovi interakcije i komunikacije su zapravo pojmovni konstrukti koji omoguiavaju da se shvati sustina obrazovno-vaspitnog procesa. Oni se mogu formalno definisati kao posebni pojmovi koji u sebi nose znaeenja stvarnih pfocesa. Medutim, zarazvmevanje obrazovanja kao interakcijsko-komunikacionog procesa veoma je znadajno da se sagleda njihov odnos i paZljivo prodre u njihovu medusobnu povezanost. N. Rot deflni$e interakciju kao "aktivan odnos izmedu dve ili vise jedinki, pri kome jedna jedinka utice na ponaSanje drugih", dok komunikaciju shvata ka "odnos medu jedinkama pomoiu znakova". S aspekta obrazovnog procesa moZe se prihvatiti definicija da je komunikacija proces stvaranja
znadenja izmedu dve

U komunikacionom odnosu imamo osobu koja Salje poruku i osobu koja tu poruku prima. Ako je prenos poruka jednosmeran, onda je to informisanje, za razliku od sludaja kada poruka teie u oba smera Sto nazivamo komunikacija. s aspekta meduljudskog odnosa nuZan uslov koji mora biti zadovoljen da bi komunikacija bila uspe5na, jeste maksimalno ispoljavanje kooperativnog duha, saradnje i poverenja, buduii da postoji niz faktora koji spredavaju uspe5nost komuniciranja kao Sto je prikazano na Semi na SI. 6. oblici komunikacije se mogu razvrstati po razliditim kriterijumima. Prema broju osoba i'nadinu komuniciranja razlikuju se: - komunikacije izmedu dve osobe; - komunikacije u maloj grupi; - organizovana komunikacija; - javna konunikacija; - komunikaciia masmedijumima. Naravno da se u obrazovanju sreiu svi od navedenih oblika i pored toga jto kod svih ne postoje jednake mogudnosti za uspostavljanje interakcije medu Najpogodniji oblik za uspostavljanje interakcije je komunikacija u paru, izmedu dve osobe koje mogu u veioj ili manjoj meri zauzimati empaticke stavove jedna prema drugoj i postiii vi5i nivo interakcijske povezanosti. Watzlawick je 1967. sa saradnicima razradio elemente komunikacije koja, po njemu, ima slededi oblik: - ioveka je neophodno Posmatrati u odnosu sa drugima, u interakciji sa drugima; - meduljudski odnos je neophodno proudavati u izmeni informacija, tj. u komunikaciji;
osobama koje komuniciraju.

ili

viSe osoba.

9. INtgRRxct.Isxo-KoN{uwIxRCtoM esppxt ...

98

- povratna informacija je bitna za ponasanje, odnosno uzroini faktori odredenog pona$anja ne traZe se ni u pojedincu ni u njegovoj okolini, vei u interakcijskom trouglu Sto ga tine pojedinac - okolina - pojedinac; - postoje razliditi stepeni svesnosti o sopstvenom pona^Sanju; je zahvatiti celokup- medusobno uticanje je uslovljeno situacijom i nemogu6e

nost interpersonalnog zbivanja ukoliko se ne uzme u obzir sistem povratne in-

formacije i fenomen medusobnog stricanja; - komunikacija je ditavo pona.5anje i utide na pona5anje' Isti autor je, takode, postavio i pet osnovnih aksioma komunikacije: 1. Nije mogu6e ne komunicirati (dak i odbijanje komunikacije je takode komunikacija, odnosno pojedini pokusaji nekomuniciranja su zaptavo oblici porerneienog ponasanja);

strutni termini
PoJmovr

intelige ncij a

koncentnclja

reti

sl.

svaka komunikacija ima sadrzajni aspekt odnosa. Ekstremni pozitivni sludaj je kada se partneri slaZu Sto se tide sadrZaja komunikacije i definicije svog odnosa u njoj. Ekstremni negativni sluEaj je kada se pa.rtneri ne slaZu ni u pogledu sadrZaja ni u pogledu odnosa. Izmedu ta dva ekstrema postoji viSe

2.

varijanti;

3. odnos je ustrovljen interpretacijorn ponasanja, odnosno priroda odnosa je

uslovljena redosledom komunikacionih tokova; 4. Komunikacija se sluzi digitalnim i analognim modalitetima. Komunikacija tede na dva nivoa: jedan je verbalni - digitalni, a drugi neverbalni - analogni. Ova dva dela komunikacionog procesa je nemogu6e deliti i odvajati, jer uz verbalnu paralelno teie i neverbalna komunikacija. Verbalno'digitalnim delom se preteZno prenose sadrZaji, a neverbalno-analognim iztaZavamo i odredujemo nai odnos prema drugom.

9. IN:rBRaxcI.tsxo-xotvtuNtx.q'ctoNt e.sppxt

...

99

5. Tok meduijudskih odnosa je ili simetridan ili komplementaran. U simetridnim odnosima teZi se za siiinosiu, a izbegava se razliditost, dok se komplementarni od.nosi dopunjavaju razli.itostima. Pri tome moZe postojati superiorna ili

primarna i inferiorna ili sekundarna pozicija' odnosima Jasno je da simetriinost i komplementarnost u interpersonalnim i moraju odgovarati odredenim sposobnostima moraju Uiii Ret<sifitne kategorije pojedninca u odredenoj situaciji. Tako, recimo, ako je neko u

i karakteristikama odredenoj situaciji superioran po svojim sposobnostima za resavanje odredenog problema, orrd. je logidna komplementarnost prema nekom drugom koji tih sposobnosti u vezi s tim problemom nema' verbalna i neverbalna poruka mogu biti u razliaitim odnosima i to: verbalnu (klimanje glavom umsto "da")' ru - neverbalna poruka "niti ^ri" imaju ponekad razlidito znadenje u raznim kulturama; Gestovi i znaci - neverbalna porr.L moZe dati ve6u snagu verbainoj poruci (sme5ak pri izrazavaniu veselja); ali ip protivreiiti drugoj ( - jedna poruka moZe nrotivreriti drusoi (recima izrai'avamo zaclovoljstvo, nam izgled to ne Potvrduje). verbalna komunikacija je vise pod kontrolom svesti od neverbalne; neverbalni znaci su pod kontrolom niZih centara i vise su pod uticajem nesvesnog
dela na5e lidnosti' Funkcije neverbalne komunikacije su: - izraZavanje emocija'

- izraLavanje uzajamnih stavova' - prezentiranje vlastitih osobina, - praienje, dopuna i podrika verbalne komunikacije'
- zamena za verbalnu komunikaciju, - konvencionalno izraZavanje. Tako npr. za otkrivanje emocija i unutrasnjeg raspoloZenja bitni su sledeii znaci (rangirani po znaiaju): - autonomni znaci,

verbalna komunikacija se sluZi govorom. ovom komunikacijom, koja moZe biti pismena ili usmena, informisemo o objektivnom stanju, o zbivanjirna i predmetima oko nas i o subjektivnim stanjima i idejama. Ova je komunikacija pod naSom svesnom kontrolom i u literaturi je daleko vi$e izueavana od neverbalne
komunikacije.

znaci nogom i stoPalom, - znaci truPom, - neidentifikovani gestovi, - identifikovani gestovi, - izraz\ lica, - izraLavanje redima.

s.L. Tutbs i s. Moss navode podatak da u komunikaciji licem u lice neverbalni znaci sadrZe 65% celokupnog socijalnog znaienja, dok verbalni podraZaji dine samo 35% .

Neverbalno komunikacijski znaci sa dele na paralingvistidke i ekstralingvisticke. U prve od njih spadaju:

100

akciji,

- svi propratni gestovi i Sumovi koje dujemo uz izgovor reii, - otvorenije ili zatvorenije izgovaranje samoglasnika, - karakteristike u brzini i intenzitetu izgovaranja u emocionalnom stanju, - intonacija izgovaranja redenica, - nagla5avanje odredenih redi u redenici, - duZe ili kraie pauze medu redima. Drugu grupu dine kinezidki i proksemidki znaci. Kinezicki su vezani za razrre vrste pokreta i poloZaja tela (razlidite vrste pozdravljanja kod raznih naroda, kontakti oiima i sl.). Proksemiiki znaci se zasnivaju na udarjenosti i na prostornim odnosima medu udesnicima u komunikaciji Sto. recimo, obuhvata: - fiziiku blizinu odnosno udaljenost medu osobama u komunikacijskoj inter_

odnosno da se ona razvija u6enjem. Zbog toga je od znadaja da nastavnik ovlada

- prostorni raspored uiesnika u komunikaciji, - teritorijalno ponasanje koje se odnosi na drZanje i postupke kojima jedna osoba stavlja do znanja drugima pravo na odredeni p.orto.. smatra se da neverbalna komunikacija kod doveka zavisi od nasleda i uienja,

5' neverbalna komunikacija osim verbalne predstavlja jos jedan dopunski kanal uzajamnog informisanja. Primetimo da su u komunikaciji nastavnika i uienika vaZne ne samo verbalne vei i neverbalne komunikacije. U medusobnoj komunikaciji ljudi mogu uticati jedni na druge na razliditim stepenima interakcijskog odnosa. od nivoa unutrasnje povezanosti medu osobama koje komuniciraju zavisi stupanj njihove interakcijske povezanosti. Za obrazovni proces, u kome se ne prenose samo informacije, vec doLzi i do medusobnih uticaja, vrlo je vaZno na kom se stupnju interakcijske povezanosti komunikacija odvija. svakako da sto-se komunikacija u procesu vaspitnog delovanja sprovodi na viSem stupnju interakcijske povezanosti, to ie i vaspitno d-elovanje Liti uspesnije. Primera radi, dim se nastavnik pojavi na vratima razreda, on taia na odredeni nadin stupa u interakciju i komunikaciju sa udenicima. sama prisutnost nastavnika deluje da udenici na odredeni nadin reaguju. Kod jednog nastavnika uienici bez redi zauzimaju svoja mesta, a kod J.rgog to iine uz upozorenja i, ponekada, i svadu. Isti uienici se razlidito pona.saju prema razliiitim nas_ tavnicima, a, takode, i isti nastavnik moZe izazvati,urlieli" reakcije kod raznih udenika i odeljenja.

ih manifestuje, 4. neverbalni znarci omogudavaju da kada ih izraZavamo redima,

verbalnim znacima, 2. neverbalno izraiavmje je desto snaZnije sredstvo izrazavanja, 3. neverbalni znari su menje kontrolisani, pa otvorenij" gorror" o osobi koja
se stavovi ne izraze tako eksplicitno kao

neverbalnom komunikacijom. M. Argule navodi da ima pet razloga za koris6enje neverbalne komunikacije: 1. neverbalnim znacima je nekada mogu6e borje izraziti neku pojavu nego

9. IwrnRRxcusxo-xouuNrxlcIoNl esppxt

...

101

Svakako da je vi5i stupanj akcijsko-reakcijskog komuniciranja empatijsko komuniciranje. U ovrazovno-vaspitnom procesu otuda nastavnik mora dobro poznavati svoje udenike i mora empatijski prilagodavati na.din komuniciranja sa

njima.

Kod osoba koje u odnosu empatijski medusobno komuniciraju moZe se ostvariti najviSi stepen interakcijske povezanosti u komunikaciji. Empatijsko ko" municiranje podrazumeva da se u odnosu naizmenidno i reciprobno preuzimaju uloge; da se sagovornici medusobno uZivljavaju u poloZaj druge strane; da medusobno uvaZavaju stavove i mi$ljenja drugih i u procesu komuniciranja probIem sagledavaju i oiima drugih, a ne samo svojim vlastitim. Na tom stupnju komuniciranja ostvaruje se zapravo ideal ljudske komunikacije, a to je dijalog. Dijaloga u Ijudskoj komunikaciji zapravo i nema bez medusobnog empatijskog
komuniciranja.

Uslovi koji omoguiuju empatijsko komuniciranje i dijalog su: 1. komunicirati sa malim brojem osoba, 2. dobro poznavati osobe sa kojima se komunicira, 3. biti osetljiv za ljudsko ponaSanje, 4. imati razvijenu empatiju, 5. biti motivisan za uzajamnu povazanost. Na kraju, primetimo da u nastavi od posledica uspe5ne komunikacije najlak5e

je ostvariti razumevanje sadrZaja, odnosno postiii da na5a poruka bude nekom razumljiva. TeZe je posti6i da se osoba sa naSom porukom sloZi, a najteZe da postupa u skladu sa njom. Mnogo je lak5e uticati na razumevanje nego delovati na stavove, oplemenjivanje odnosa i izazivanje akcije u procesu komunikacije.

t02
DODATAK B
Morseov kod

Z. BnnNovri

A B C D E

K
L M
I\/

0
1

V W

X
Y Z +

o
P

F
G

a
R
,s

BCD
cifra
0
1

kod
0000 0001 0010 0011 0100 0101 0110 0111 1000
1001

Grayov kod
0000 0001 0011 0010 0110 0111 0101 0100 1100
1101

kod plus 3
0011 0100 0101 0110 0111 1000
1001

Stibitz-Grayov kod
0010 0110 0111 0101 0100 1100
1

Aikenov kod
0000 0001 0010 0011 0100
101
1

2 3

,i

'{

4
5

6 7
8

101

1100 1101

1010
1011

1111

1100

1110 1010

1110
11 11

TReLIcp

I
prelaz na slova prelaz na znake
11110 11101 01111
11001

II
111 11

III

11011

A B C D E

11000
10011

01001 00001
101

t1

F
G

10001 10101 00101

10011

K
L

M
IT

o
P

a
R

s
T
U

V W

X
Y Z

01101 01100 00100 10100 10000 00011 00000 01000 11101 11000 01010 11010 10100 01010 00001 01011 11100 00010 01111 10010 11001 10110 10111 11001 10101 00110 10001

01110 10010 10000 10110 01011 00101 01100 11010 11110 01001 00111 00110 00011 01101

1000001 1000010 1000011 1000100 1000101 1000110 1000111 1001000 1001001 1001010 1001011 1001100 1001101 1001110 1001111 1010000 1010001 1010010 1010011 1010100 1010101 1010110 1010111 1011000 1011001 1011010

11000001 11000010 11000011 11000100 11000101 11000110

1

10001

11

11001000 11001001 11010001 11010010 11010011 11010100 11010101 11010110

110101 11

11011000
1

101 1001

11100010
1

110001

11100100 11100101 11100110 11100111 11101000

11

101001

t04

Z. BneNovri

I
+
00100 11000 10110 11010 00001 01111
10111 11011

II
10001

III

IV
01001110
01 101 101

0
1

2
J
D

4
5 6

01011 00011 01101

10101 11001

7
8 9

01001

0101011 11000 0101101 00110 0101100 00111 0101110 01101 0110000 11101 0110001 11001 0110010 10000 0110011 01010 0110100 00001 0110101 10101 0110110 11100 0110111 01100 0111000 00011 0111001

01111101 01001011 11110000 11110001 1 1 1 10010 11110011 1 1 1 10100

1

11 10101

11110110 11110111 11111000

I
11

11001

u koloni I navedene su kodne zamere Medunarodnog koda br. 1 (Baudotov kod), u koloni II Medunarodnog koda br. 2 (Murrayev kod), u koloni III ASCII koda, u koloni ry EBCDIC koda i u koloni V , na uobibajeni nadin zapisane, kodne zamene Morseovog koda. Tablice su nepotpune, tj. nisu navedene kodne zamene za sve mogu6e znake, kao na primer zd,:t ", !, (, ), :, ? itd, koje su inade sadrzane u nekim od navedenih kodova. NajopseZniji je EBCDIC kod, koji sadrzi kodne zamene za 86 razliditih znaka, pri cemu velika i mala slova alfabeta imaju razlilite kodne zamene.

TesLrcp

105

0,01 6,6439 0,0664 0,02 5,6439 0,L129 0,03 5,0599 0, 1519 0,04 4,6439 0,1959 0,05 4,3219 0,2761 0,06 4,0599 0,2435 0,07 3,9365 0,2696 0,08 3,6439 0,2915 0,09 3,4739 0,3127 0,10 3,3219 0,3322 0,11 3,L944 0,3503 0,12 3,0599 0,3671 0,13 2,3434 0,3926 0,L4 2,9365 0,3971 0,15 2,7370 0,4105 0,16 2,6439 0,4230 0,17 2,5564 0,4346 0,18 2,4739 0,4453 0,19 2,3959 0,4552 0,20 2,3279 0,4639 0,21 2,2515 0,4729 0,22 2,1844 0,4906 0,23 2,1203 0,4977 0,24 2,0599 0,4941 0,25 2,0000 0,5000 0,26 1,9434 0,5053 0,27 1, ggg0 0,5100 0,29 1,9365 0,5142 0,29 1,7959 0,5179 0,30 L,7370 0,5211

p -logzp

-plogzp

0,51 0,9714 0,4954 0,52 0,9434 0,4906 0,53 0,3159 0,4854 0,54 0, ggg0 0,4900 0,55 0,9625 0,4744 0,56 0,8365 0,4694 0,57 0,8110 0,4623 0,58 0,7959 0,4559 0,59 0,76L2 0,4491 0,60 0,7370 0,4422 0,61 0,7131 0,4350 0,62 0,6997 0,4276 0,63 0,6666 0,4199 0,64 0,6439 0,4121 0,65 0,6215 0,4040 0,66 0,5995 0,3956 0,67 0,5779 0,3971 0,68 0,5564 0,3793 0,69 0,5353 0,3694 0,70 0,5146 0,3602 0,71 0,4941 0,3508 0,72 0,4739 0,3412 0,73 0,4540 0,3314 0,74 0,4344 0,32L5 0,75 0,4150 0,3113 0,76 0,3959 0,3009 0,77 0,3771 0,2903 0,79 0,3595 0,2796 0,79 0,3301 0,2697 0,80 0,3213 0,2575

-logrp -plogzp

106

Z. Bnexovr6

0,31 1,6897 0,32 1,6439 0,33 1,5995 0,34 1,5564 0,35 1,5146 0,36 1,4735 0,37 1,4344 0,38 1,3959 0,39 1,3585 0,40 t,32L9 0,41 1,2863 0,42 L.2415 0,43 L,2176 0,44 1,7844 0,45 L,L520 0,46 1,1203 0,47 1,0893 0,48 1,0589 0,49 1,0291 0,59 1,0000

-logrp

-plogzp
0,5238 0,5260 0,5278 0,5292 0,5301 0,5306 0,5307 0,5305 0,5298 0,5288 0,5274 0,5256 0,5236 0,5211 0,5184 0,5153 0,5120 0,5083 0,5043 0,5000 0,81 0,82 0,83 0,84 0,85 0,86 0,87 0,88 0,89 0,90 0,91 0,92 0,93 0,94 0,95 0,96 0,97 0,98 0,99 1,00

-logrp -plogzp
0,3040 0,2863 0,2688 0,2515 0,2345 0,2176 0,2009 0,1844
0, 1681

0,2462 0,2348 0,2231 0,2113

0, 1992

0,1971

0,1748
0, 1623

0,1520 0,1361
0, 1203

0,1496 0,1368 0,1238

0, 1107

0,1047 0,0893 0,0740 0,0589 0,0439 0,0291 0,0145 0,0000

0,0974 0,0840 0,0703 0,0565 0,0426 0,0286 0,0144 0,0000