3.

3.1
Ako zamislime eden sistem koj se sostoi od ~ovek i ma{ina za pi{uvawe(kompjuter), a procesot koj go rzgleduvame e tipkawe(pritiskawe) na ~ovekot na ma{inata za pi{uvawe(tastaturata). Vo odreden vremenski interval ~ovekot }e napi{e nekoj tekst koj }e ima n znaci. Sekoj od tie n znaci mu pripa|a na mno`estvoto od site mo`ni znaci koi postojat na konkretnata ma{ina za pi{uvawe(tastaturata). Taka da procesot pi{uvawe na tekst na taa ma{ina za pi{uvawe (kompjuter) e ograni~en so dadenoto mno`estvo na znaci koi gi poseduva ma{inata za pi{uvawe (kompjuterot), i so baraweto da proizvedenata niza bide smislen tekst.

3.1 (2) Toj sistem mo`eme da go razgleduvame kako odreden izvor na informacii, a pi{uvaweto kako proizvodstvo ili generirawe na informacii. Celta ni e da izgradime apstrakten matemati~ki model koj }e gi pokrie su{tinskite svojstva na procesot generirawe informacii vo realnite fenomeni vsu{nost sli~ni so prethodno opi{aniot fenomen za pi{uvawe na ma{ina(kompjuter).

Kako prvo, da re~eme deka generiraweto na informacii se sostoi vo emitirawe na niza znaci (simboli) od nekoe neprazno mno`estvo A od site mo`ni znaci. Ako e A kone~no mno`estvo (kako vo opi{aniot primer) koe se sostoi od a elementi, i ako da re~eme sekoja sekunda se emitira eden znak, toga{ vo n sekundi }e se generira poraka od n znaci, koja mo`eme da ja zapi{eme vo n - ~lena niza:
x = (a1, a2, ,an); a1 A, i = 1,,n.

3.1 (3)

Neka An go ozna~uva n - ~leniot Karteziev proizvod na mno`estvoto A, t.e. An ={(a1, a2, .,an); ai A, i = 1,,n} toga{ mo`eme da re~eme deka porakata x e element od mno`estvoto An i napi{eme x An.

Da se vratime na primerot so ma{inata za pi{uvawe(kompjuterot). Mo`no e da se zamisli deka se generira 5-~lena poraka, koja da re~eme ja ima samo bukvata A.

3.1 (4)

Me|utoa, ako sme se ograni~ile na baraweto da se generiraat samo smisleni tekstovi na na{iot jazik, toga{ e neverojatno da se generira 5-~lena poraka x=(AAAAA), sostavena od samite bukvi A. Ni se ~ini, isto taka, deka e poverojatno da se generira porakata y=(ULICA) nego porakata z =(GORAN). Iako e ispolneto: x A5, y A5 i z A5, nemo`e da se re~e deka se x,y i z ramnopravni kako praki na dadeniot izvor na informacii. Tie se razlikuvaat po verojatnostite da bidat emitirani.

3.1 (5)

Zatoa e prakti~no da diskretniot izvor na informacii matemati~ki se definira taka da se zadava kone~no neprazno mno`estvo A = (1, 2, ,n) (azbuka-alfabeta na izvorot) i distribucijata na verojatnostite na mno`estvoto An za sekoe n N. Toa zna~i deka na sekoja poraka x An pripa|a odredena verojatnost P(x) 0, pri {to e :

xAn

P( x ) 1

Toga{ se zboruva za diskreten izvor na informacii (A, P) so kone~na azbuka A i verojatnosna merka P.

3.1 (6)

Zna~i, pod diskreten izvor na informacii podrazbirame izvor na informacii koj generira serija(niza) na simboli (ponekoga{ gi velime znaci ili bukvi), pri {to sekoj simbol e sodr`an vo isto mno`estvo na mo`ni simboli. Mno`estvoto na mo`ni simboli go narekuvame izvorska azbuka ili izvorska alfabeta. Simbolite se generiraat vo diskretni vremenski momenti, a izvorskata azbuka e kone~no mno`estvo na simboli.
Simbolite gi ozna~uvame so: a1, a2, ,an , azbukata so A = {a1, a2, ,an}. Serijata na posledovatelni simboli ja narekuvame poraka, vest ili zbor. Na primer, izvorskata azbuka za makedonskiot jazik ja so~inuvaat 31 bukva, rastojanie, i odreden broj na interpukciski znaci. Zborovite se sostojat od niza bukvi odvoeni so rastojanie (praznini).

3.1 (7)

Zborovite ili porakite so dol`ina l gi ozna~uvame so x. Imaj}i vo predvid deka azbukata se sostoi od n simboli, brojot na mo`ni poraki e m =nl . Mno`estvoto X = { x1,x2,x3,......x,j.....xm} e mno`estvo na site mo`ni poraki. Za da napravime razlika pome|u simboli i poraki, informaciskiot izvor go razgleduvame na: nivo na simboli i nivo na poraki.

3.1 (8)

Da pretpostavime deka izvorot na informacii e stohasti~ki, t.e. deka sekoj simbol ai, i = 1,2,...........,n od azbukata A ima odredena verojatnost na pojavuvawe p(ai) = pi Raspredelbata na verojatnostite na pojavuvawe na simbolite od mno`estvoto A gi ozna~uvame kako: P = { p1, p2, ....., pi,.......pn}. Implicitno pretpostavuvame deka verojatnostite ne se menuvaat so tekot na vremeto, t.e. generiranite simboli pretstavuvaat stohasti~ka niza koja e stacionarna. Zavisnosta pome|u posledovatelnite simboli vo porakata isto taka igra va`na uloga. Ovde stanuva zbor za memorija na izvorot na informacii. Ponatamu }e razgleduvame izvor bez memorija, t.e. zboruvame za izvor koj generira me|usebno statisti~ki nezavisni simboli.

3.1 (9)

Da go razgledame informaciskiot izvor na nivo na simboli. Koli~estvoto ili sodr`inata na informacii (entropija) koja gi generira diskretniot izvor bez memorija e ednakva:
H(A) = - p(ai) log p(ai) (1)

Maksimalnoto koli~estvo na informacii koe mo`e da gi generira diskretniot izvor bez memorija iznesuva: Hmax(A) = max H(A) = log n bit/simbol (2)

So sporeduvawe na koli~estvoto (sodr`inata) na informacii H(A) so maksimalnata sodr`ina Hmax voo~uvame postoewe na rezervnost vo izvorot na informacii.

3.1 (10)

Definicija 1 Rezervnosta ili redundancijata na izvorot na informacii bez memorija e definirana kako:

Red=rezervnost =

H m ax ( A) H ( A) H ( A) 1 H m ax ( A) log n

Kade e H(A) koli~estvo (sodr`ina) na informacii na izvorot ~ija abeceda se sostoi od n simboli.

3.1 (11)

Ako izvorot generira simboli so ednakvi verojatnosti, toga{ e Hmax(A)=H(A) i rezervnosta e 0. Vo slu~aj da izvorot generira samo eden simbol, t.e. eden simbol ~ija verojatnost na pojavuvawe e 1, dodeka verojatnostite na pojavuvawe na ostanatite simboli e 0, toga{ H(A)=0 i rezervnosta e 1.Zna~i, vrednostite za rezervnosta variraat pome|u 0 i 1. Koga izvorot generira dva simbola toga{ go narekuvame binaren izvor. Takviot izvor mo`e da generira najmnogu log 2 = 1 bit/simbol informacii, no, vo op{t slu~aj koga verojatnostite na pojavuvawe na sekoj od simbolite se: p i 1-p , generiranata informacija e pomala H(A) = -plog p (1-p)log(1-p) bit/simbol pa, i rezervnosta e pogolema.

3.1 (12)

Primer 1. Binaren izvor bez memorija gi generira simbolite 0 i 1 so verojatnosti i Zna~i, za abecedata A={0,1} imame: H(A) = -(1/4)log(1/4) (3/4)log(3/4) = 0.81 [bit/simbol] i Hmax(A)= log 2 = 1 [bit/simbol]. Rezervnosta iznesuva R= 1 - 0.81/1 = 0.19. Sledniot primer go ilustrira odreduvaweto informacijata na nivo na poraki. na sodr`inata na

3.1 (13)

Primer 2. Da pretpostavime deka binarniot izvor od Primer 1 formira poraki so dol`ina 3. Zna~i, sega imame 23 = 8 mo`ni poraki (zapi{ete gi sami !). Imaj}i vo predvid deka izvorot e bez memorija simbolite se statisti~ki nezavisni, pa verojatnosta na pojavuvawe na primer, na porakata 001: p(001) = p(0)p(0)p(1) = 1/4 1/4 3/4= 3/64

Koli~estvoto na informacii na nivo na poraki e: H(A) = - p(xi) log p(xi) [bit/poraka] H(X) = -p(x1) log p(x1) p(x2)log p(x2) p(x5)log p(x5 ) p(x8)log p(x8) p(x2) = 3p(x2) = p(x2) + p(x3) + p(x4); p(x2) =p(x3) =p(x4) p(x5) = 3p(x5) = p(x5) + p(x6) + p(x7); p(x5) =p(x6) =p(x7)

3.1 (14)
H(X) = -p(x1) log p(x1) 3p(x2)log p(x2) 3p(x5)log p(x5) p(x8)log p(x8) H(X) = -1/64 log 1/64 33/64log 3/64 39/64log 9/64 27/64log 27/64= =2,45 [bit/poraka]

Zabele`uvame deka e: H(X)=3 H(A). p(x1) = p(000) =p(0)p(0)p(0) = 1/41/41/4= 1/64 p(x2) = p(001) =p(0)p(0)p(1) = 1/41/43/4= 3/64 p(x3) = p(010) =p(0)p(1)p(0) = 1/43/41/4= 3/64 p(x4) = p(100) =p(1)p(0)p(0) = 3/41/41/4= 3/64 p(x5) = p(110) =p(1)p(1)p(0) = 3/43/41/4= 9/64 p(x6) = p(011) =p(0)p(1)p(1) = 1/43/43/4= 9/64 p(x7) = p(101) =p(1)p(0)p(1) = 3/41/43/4= 9/64 p(x8) = p(111) =p(1)p(1)p(1) = 3/43/43/4= 27/64

Generalno, mo`e od izvorskata abeceda A so golemina od n simboli da se formiraat m = nl razli~ni poraki so dol`ina l. Imaj}i vo predvid deka razgleduvame izvor bez memorija verojatnosta na pojavuvawe na sekoja poraka e ednakva na proizvodot od verojatnosta na pojavuvaweto na l poedine~ni simboli koi ja ~inat poedine~nata poraka. Koli~estvoto na informacija po poraka (nivo na poraka) e: H(X) = -p(xi)log p(xi) (4)

Ako ja napi{eme verojatnosta p(xi) vo zavisnost od p(a1),..........,p(an) lesno e da se doka`e deka va`i: H(X) = l H(A) (5)

t.e. poraka so fiksna dol`ina l sodr`i l-pati pove}e informacii od poraka so dol`ina 1. Povtoruvame deka toa e taka, poradi toa {to posledovatelnite simboli vo porakata se nezavisni.

3.1 (15)

Koli~estvoto na informacii koi izvorot gi generira vo edinica vreme ponekoga{ go narekuvame brzina na izvorot. Ako site simboli ednakvo traat, da re~eme sekundi, toga{ brzinata na izvorot H(A) e:
H(A) = 1/ H(A)

[bit/s]