TEORIA E INFORMACIONIT DHE KODIMI

Literatura
1.

ESSENTIALS OF ERROR-CONTROL CODING, Jorge Castieira

Moreira, Patrick Guy Farrell, 2006 John Wiley & Sons Ltd.

2.

Telecommunications Demystified, Carl Nassar, by LLH Technology

Publishing, 2001.

3.

Uvod u teoriju informacije i kodiranje, Alen Baant ..., 2007 Zagreb.

4.

DATA COMMUNICATIONS AND NETWORKING, FOURTH EDITION,

Published by McGraw-Hill,
McGraw Hill 2007

HYRJE
Informacioni sht nocion abstrakt q ndrlidhet
me at q kmbehet n procesin e komunikimit
komunikimit.
Barts fizik i informacionit sht sinjali.
Ndrmjet sinjalit n hyrje dhe atij n dalje sht
mediumi transmetues.
Nse mediumi i till sht pjesrisht ose n trsi
i organizuar q t lehtsoj bartjen e sinjaleve
sinjaleve,
ather kemi t bjm me kanalin transmetues.

SISTEMI KOMUNIKUES
Detyra themelore e sistemit komunikues
Transmetimi i informacionit nga
g nj
j vend n nj
j vend tjetr
j
me
efikasitet dhe siguri sa m t madhe.

Burimi i informacionit

Mediumi transmetues

Marrsi i informac.

Shtrohen py
pyetjet
j logjike:
gj
- ka e pengon transmetimin e informacionit
- ka duhet ndrmarr n mnyr q informacioni ti drgohet
marrsit pa humbe t prmbajtjes

Komunikimi ndrmjet njerzve

Personi A

Ajri

Personi B

Zhurma

ka do t bnin bashkbiseduesit n nj situat t ktill?

- Personi A i cili sht burim i informacionit mund t flas me z
m t lart,, m ngadal
g
dhe duke p
prsritur t njjtat
j j fjal
j
- Personi B mund t koncentrohet m tepr pr detektimin e
informacioneve t arritura, t lidh prmbajtjet pr t konkluduar
se ka ka thn personi A kur zhurma ka tejkaluar plotsisht t
folurit dhe mund t krkoj q informacioni t drgohet prsri.

Transmetimi i sinjaleve elektrike ose optike si barts t

informacioneve npr sistemin komunikues
Edhe ktu kemi situat t ngjashme!

Burimi i informacioneve

Mediumi transmetues

Marrsi i informacioneve

Transmetimi i sinjaleve elektrike ose optike si barts t

informacioneve npr sistemin komunikues

Burimi i informacionit
Dhnsi

Mediumi transmetues

Shfrytzuesi i informacioneve
Marrsi

Te burimi i informacionit, prkatsisht te dhnsi n sistemet

elektronike komunikuese, mund t:
- rrisim fuqin e sinjalit n dhns;
- shpejtsia e transmetimit sht e ndrlidhur me brezin frekuencor
- fusim redundanc ose tepric n sinjalin n dhnie

Transmetimi i sinjaleve elektrike ose optike si barts t

informacioneve npr sistemin komunikues

Burimi i informacionit
Dhnsi

Mediumi transmetues

Shfrytzuesi i informacioneve
Marrsi

Te shfrytzuesi i informacionit, prkatsisht te marrsi n sistemet

elektronike komunikuese, mund t:
prpunojm sinjalin me qllim t eliminimit t zhurms
shfrytzojm redundancn e sinjalit t drguar pr t eliminuar
gabimet e shkaktuara nga zhurma
krkojm transmetimin e srishm t pjess s informacionit, e
cila nuk ka mundur t korrigjohet

Modeli i sistemit komunikues pr

transmetim digjital t informacionit

TEORIA E INFORMACIONIT

Qasja klasike: bn sinjalin n pranim sa m t

ngjashm me sinjalin e drguar
drguar, duke zhvilluar
mediumet transmetuese dhe duke prpunuar sinjalin e
pranuar.
Qasja e teoris s informacionit: realizon sistemin e till
pr bartje q, prkundr degradimit t konsiderueshm
t sinjalit gjat kalimit npr kanal komunikues, vet
informacioni i dobishm t mos dmtohet.
Teoria e informacionit merret me:
prcaktimin e madhsis s sasis s
informacionit;
studimin e burimit t informacionit;
studimin e kanalit;
analizn e kufijve t gjass s gabimit dhe t
shpejtsive t transmetimit q mund ti arrij sistemi
optimal transmetues;

TEORIA E INFORMACIONIT
realizimin e sistemit transmetues (prpunimi i
informacionit n drgim dhe pranim
pranim, kanali
transmetues) me performansa sa m afr sistemit
optimal;
analizn e mundsis s mbrojtjes s fshehtsis
dhe t memorizimit t informacionit;
analizn e sistemit me m tepr shfrytzues t
cilt bashkpunojn ose jo ndrmjet veti.
Teoria e informacionit sht nnlmi e teoris s
gjass, ndrsa rezultatet e sajj shfrytzohen
gj
y
n
teorin e telekomunikacionit, kompjuterik,
ekonomi, linguistik, psikologji, gjenetik. Disa
rezultate t fituara n teorin e informacionit kan
avancuar matematikn (teorin e gjass, algjebrn
lineare, kombinatorikn etj.).

TEORIA E INFORMACIONIT

Teoria e informacionit sht rezultat i punimit epokal t

Shanonit (Claude Shannon) A Mathematical Theory of
Communication. N at p
punim Shanoni ka vrtetuar
disa fakte kye:
T gjitha komunikimet teknike jan n t vrtet
diskrete (Teorema e mostrimit);
Informacioni i burimit sht proces i rastit, kshtu
q bartja e informacionit duhet t analizohet me
an t teoris s gjass;
Ekziston mundsia q barta e informacionit t
shpejtohet n mas t konsiderueshme pa kurrfar
dmtimesh, pa marr parasysh kanalin.
Ekziston mundsia q bartja e informacionit npr
nj kanal t dhn t bhet me gjas pakufi t
vogl t gabimit, nse shpejtsia e bartjes sht
m e vogl se madhsia e quajtur kapacitet i
kanalit.

MATJA E SASIS S INFORMACIONIT

Cili prej dy pohimeve t mposhtme sjell m
tepr informacion?
M 12 janar ra bor n Prishtin.
M 2 shtator ra bor n Prishtin.
Ngjarja me gjas m t vogl, sjell informacion
m t madh. (1)
Sasia e informacionit e cils do madhsie duhet
t plotsoj vetin e aditivitetit, sipas t cils
Informacioni q e sjellin dy burime statistikisht t
pavarur sht i barabart me shumn e
informacioneve q e sjellin secili prej tyre. (2)

MATJA E SASIS S INFORMACIONIT

Aksiomat (1) dhe (2) i plotson barazimi:

Ku a
a sht nj ngjarje e rastit
Me zvoglimin e gjass P(a), rritet sasia e informacionit I(a)
Gjasa pr dy ngjarje statistikisht t pavarura a dhe b sht:

I ( a ) log P ( a )

P ( a , b ) P ( a ) P (b )

S kndejmi sasia e informacionit n kt rast sht:

I (a, b) logP(a, b) logP(a) logP(b) I (a) I (b)

NJSIT PR SASIN E INFORMACIONIT

Njsia pr sasin e informacionit, nse baz e
logaritmit sht 2 quhet bit (disa autor prdorin
njsin shanon)
N rastin kur baza e logartimit sht 10, njsia
quhet hartley,
N rast se baza e logaritmit sht e, njsia
quhet nat
Shndrrimi prej njers n njsin tjetr bhet
thjesht duke shfrytzuar shprehjen:

log 2 a

lln a log
l a

ln 2 log 2

Nse sht Px1 Px2 0.5

ather:

I x1 I x2 ld 2 1bit

BURIMET E INFORMACIONIT
Burimet diskrete burimi gjeneron numr t
fundm t simboleve
Burimet kontinuale numri i simboleve sht i
panumrueshm
Burimet gjithashtu ndahen n:
Burimet pa memorje emetimi i mesazheve
sht statistiksht i pavarur
Burimet me memorje ekziston varsi
statistikore ndrrmjet mesazheve t emituar
suksesivisht
k
i i ht

PRSHKRIMI I BURIMIT DISKRET

PA MEMORIE
Nuk ka varsi statistikore ndrmjet simboleve
suksesive
B i i di
Burimi
diskret
k t pa memorje
j prcaktohet
kt h t plotsisht
l t i ht
me listn e simboleve (alfabetit): x1 , x 2 , x 3 ,.... x m
Dhe bashksin e gjasave prkatsePxi , i 1,2,....m
N rast simbolet paraqesin bashksi t plot t
ngjarjeve
gj j
p
prjashtuese
j
ndrmjet
j veti,, pra
p vlen:
m

i 1

P ( xi ) 1

ENTROPIA OSE MESATARIZIMI I

INFORMACIONIT
N sistemet komunikuese rndom kemi t bjm
me transmetimin e sekuencave t gjata t
simboleve nga burimi i informacionit deri n cak.
Pr kt arsye sht shum me rndsi t
analizohet informacioni i mesatarizuar q e
gjeneron burimi sesa at t nj simboli.
Vlera mesatare e sasis s informacionit I xi t
nj alfabeti me m simbole t ndryshme me t cilat
karakterizohet ndonj burim i caktuar X mund t
prkufizohet n kt mnyr:
m
m
bit
H X EI xi Pxi I xi Pxi ld Pxi

simbol
i 1
i 1

ENTROPIA OSE MESATARIZIMI I

INFORMACIONIT
H(X)
( )q
quhet entropi
p e burimit X.
Paraqet informacionin e mesatarizuar q e
gjeneron burimi pr nj simbol.
Entropia e burimit H(X) mund t konsiderohet
edhe si sasi mesatare e pasiguris (uncertainty)
brenda burimit X e caktuar pr alfabetin e dhn t
burimit.
Shpejtsia mesatare ose debiti me t ciln
b i i emeton
burimi
t mesazhe
h mund
d t paraqitet
it t n

formn:
bit
bit
simbol
s H s

simbol

quhet fluks i informacionit, ndrsa

numri i simboleve n njsi t kohs

sht

QASJA AKSIOMATIKE E PRKUFIZIMIT

T ENTROPIS
Kontinualiteti entropia sht funksion i
p
pandrprer
p
i argumenteve
g
t tijj (gj
(gjass s simboleve
ve e ve), sepse ndryshimi i vogl i gjasave ka
ndikim t vogl n entropi.
Simetria entropia nuk ndryshon nse ndryshon
renditja e simboleve
Vlera ekstreme n rast se t gjitha gjasat e
paraqitjes s simboleve jan t barabarta, entropia
ka vler maksimale (pra shkalla e pasiguris sht
m
e llart)
t)
Aditiviteti entropia e unionit t dy ngjarje t
pavarura sht e barabart me shumn e entropive t
tyre.

10

VETIT E ENTROPIS
Nse nj simbol ka gjas t paraqitjes t
barabart me nj, ather gjasa e t gjitha
simboleve tjera sht zero, kshtu q entropia
sht zero, sepse:

1ld 1 0,

1
lim xld 0
x 0
x

Vlera e entropis sht e kufizuar nga ana e

eprme, dhe nuk mund t jet m e madhe se
logaritmi i numrit t simboleve:
0 H s ld q

Shenja e barazimit nga ana e eprme arrihet

kur t gjith simbolet kan gjas t barabart t
paraqitjes.

Shembulli 1
N rastin m t thjesht t analizojm burimin binar
X i cili gjeneron simbole statistikisht t pavarur 0
dhe 1 me gjas t barabart t paraqitjes.
Entropia e burimit t ktill sht:

1 1 1 1
bit
H x ld ld 1
2 2 2 2
simbol
Pra pr identifikimin e simboleve n dalje t
burimit binar sht i nevojshm vetm nj bit.

11

Shembulli 2
Zgjerojm analizn n prcaktimin e entropis s
5
burimit i cili n dalje gjeneron 32 2 simbole t
ndryshme, gjithashtu me gjas t barabart t
paraqitjes:

32

32

i 1

i 1

H X p i ld p i

bit
1
1
ld 32 5
ld
simbol
32 32

Ndrsa n kt rast shihet se pr identifikimin e

simboleve t burimit nevojiten 5 bita.

Shembulli 3
Analizojm n vazhdim burimin i cili gjeneron n
dalje t tij 8 simbole me gjasat prkatse t
paraqitjes:

1 2 , 1 4 , 1 8 , 116 , 1 64 , 1 64 , 1 64 , 1 64
Entropia e burimi t ktill (pas llogaritjes) sht:
H X 2

bit
simb

12

Vazhdim i shembullit 3
Nga numri i simboleve q gjeneron burimi dihet se
jan t nevojshm tre bita pr paraqitjen e do
simboli (000, 001, ..., 111).
Por,, ekziston edhe mnyra
y tjetr
j
ep
paraqitjes
q j s
simboleve t burimit t ktill, duke pas parasysh se
gjasa e paraqitjes s simboleve nuk sht e
njtrajtshme.
N kt kuptim do t bjm paraqitjen e
simboleve q kan gjas m t madhe t paraqitjes,
me numr m t vogl t bitve, n krahasim me
simbolet q kan gjas m t vogl t paraqitjes.
P h paraqitjen
P.sh.
itj e do
d simboli
i b li me:
(0, 10, 110, 1110,111100, 111101, 111110, 111111)
q ka gjatsi mesatare t paraqitjes s simboleve t
barabart me:

Vazhdim i shembullit 3
1
1
1
1
1
1
1
1
1 2 3 4 6 6 6 6 2
64
64
64
64
16
8
4
2
Shihet se gjatsia mesatare e fjalve sht 2
dhe sht e barabart me entropin e burimit t
dhn.
S kndejmi prfundojm se entropia jep
kufirin e poshtm t gjatsis mesatare t
fjals s koduar pr paraqitjen e simboleve t
burimit.

13

ENTROPIA E BURIMIT BINAR T

INFORMACIONIT
N shembullin 1 kemi caktuar entropin e burimit
binar n rastin e gjass s barabart t paraqitjes.
Do t caktojm
j
dhe do t p
paraqesim
q
n vazhdim
entropin n rastin kur gjasa e paraqitjes s zeros
sht P0 P; sht e qart se gjasa e paraqitjes s
njshit sht P1 1 P
1
1
H X Pld 1 P ld

P
1 P

Kur njri prej mesazheve ka gjas m t madhe se

tjetri, entropia zvoglohet, shih figurn lart.

ZGJERIMI I BURIMIT DISKRET

Le t jet dhn burimi diskret X me m
simbole, entropia e t cilit sht H(X). Nse n
vend
d t simboleve
i b l
ve e ve shqyrtohen
h t h
sekuencat prej 2, 3,.,(n) simboleve
suksesive, ather thuhet se shqyrtohet
zgjerimi i dyt, tret,,n-t i burimit. Zgjerimi i
till i burimit shnohet me S n , ndrsa numri
prkats i simboleve q n .
Entropia e burimit t zgjeruar t fituar n kt
mnyr sht:

H S n nH S

14

Shembulli 4
Pr burimin diskret X x1, x2, x3 ,me gjasat prkatse

Pxi 1 , 1 , 1
2 4 4
H X

1
1
bit
ld 2 2 ld 4 1 .5
2
4
simb

Le t bhet zgjerimi i dyt n 2

1 1 1 1 1 1 1 1 1
P x i x j , , , , , , , ,
4 8 8 8 16 16 8 16 16

1
1
1
bit
H S 2 1 ld 4 4 ld 8 4 ld16 3
2 H S
4
8
16
simb

PRSHKRIMI I BURIMIT DISKRET ME MEMORIE

Te burimi diskret me memorie emetimi i
simboleve varet nga sekuenca e simboleve t
emetuar paraprakisht,
paraprakisht pra ekziston varsi
statistikore ndrmjet simboleve t emetuar
suksesivisht.
Nse gjatsia e sekuencs s simboleve prej
t cilve varet simboli aktual sht e barabart
me m, ather themi se kemi t bjm me
burimin me memorie t rendit m.
Burimet e tilla quhen edhe burime t Markovit
t rendit m.
Burimi pa memorie quhet edhe burim i
Markovit i rendit zero.

15

PRSHKRIMI I BURIMIT DISKRET ME MEMORIE

Burimi diskret me memorie gjeneron nj
proces t rastit me memorie.
Burimi i rendit m paraqitet me listn e
simboleve: S x1 , x2 ,...., xq dhe me bashksin e
gjasave me kusht t emetimit t nj simboli, kur
dihet sekuenca e emetuar paraprakisht me
gjatsi m, pra:

Px j / xi1 , xi 2 ,..., xik , ,..., xim

ik 1.2,..., q

j 1,2,..., q

k 1,2,..., m

ku xi1 sht simboli m i vjetr, ndrsa xim

simboli m i ri.

PRSHKRIMI I BURIMIT DISKRET ME MEMORIE

Sekuenca konkrete paraprakisht e emetuar
me gjatsi m quhet gjendje e burimit.
Numri
N
i i gjendjeve
j dj
t ktill
ktilla
sht
ht i
barabart me numrin e kombinacioneve me
prsritje prej q simboleve n m vende, pra q

Nga do gjendje duhet t emetohet ndonj

simbol, kshtu q pr gjasat paraprake me
kusht vlen:

P x
q

j 1

ik

/ xi1 , xi 2 ,..., xik ,..., xim 1

1, 2 ,..., q

k 1,2,..., m

16

DIAGRAMI I GJENDJEVE
Pasi q nga do gjendje, n parim, mund t emetohet
cili do prej q simboleve, numri i prgjithshm i gjasave
me kusht (disa prej t cilave mund t jen zero) sht:

q m q q m 1

Nj form e zakonshme pr paraqitjen e burimit t

Markovit, e cila mundson nj pasqyr m t qart t
karakteristikave t burimit t ktill, sht diagrami i
gjendjeve (state diagram).
N diagramin e till, do gjendje paraqitet me rreth,
ndrsa kalimet e mundshme nga njra n gjendjen
tjetr me shigjet; numrat pran degve t diagramit
paraqesin gjasn prkatse kalimtare.

Diagrami i gjendjeve: Shembulli 5

P(0/00)=P(1/11)=0.7
P(1/00)=P(0/11)=0.3
P(0/01)=P(0/10)=P(1/01)
=P(1/10)=0 5
=P(1/10)=0.5

0.7

00
0.3

0.5
0.5

01

10

0.5
0.3

0.5

11
0.7

17

DIAGRAMI I GJENDJEVE
Simbolet paraprake q
gjithashtu paraqiten
edhe n rrath

Simboli i ri

Gjendja e ardhshme

BURIMET ERGODIKE
Procesi diskret i rastit sht ergodik nse pas nj
kohe mjaft t gjat kalon npr t gjitha gjendjet;
shembulli p
paraprak
p
sht p
proces ergodik.
g

Rast i procesit q nuk sht ergodik n

shembullin paraprak fitohet me ndryshimin e
gjasave me kusht n: P(0/00) = 1 (pra P(1/00) = 0).
N kt rast sistemi pas nj kohe do t kaloj n
gjendjen 00, dhe aty do t mbetet deri n fund (shih
shembullin n vazhdim)

18

Diagrami i gjendjeve: shembulli 6

P(0/00) = 1, P(1/11) = 0.7
P(1/00) = 0, P(0/11) = 0.3
P(0/01) = P(0/10) = P(1/01)
= P(1/10) = 0.5

1
00
0

0.5
0.5

01

10

0.5
0.3

0.5

11
0.7

GJASA STACIONARE E GJENDJEVE

Procesi diskret i rastit duhet t jet ergodik dhe pr
shembullin paraprak gjasat stacionare t gjendjeve i
fitojm nga sistemi i ekuacioneve:
P(00) = 0.7 P(00) + 0.5 P(10)
P(01) = 0.3 P(00) + 0.5 P(10)
P(11) = 0.7 P(11) + 0.5 P(01)
P(00) + P(01) + P(10) + P(11) = 1
P(00) = P(11) = 5/16
P(01) = P(10) = 3/16
Duke p
pas p
parasysh
y simetrin e diagramit
g
t gj
gjendjeve,
j
,
do t duhej pritur q gjendjet simetrike t jen me gjas t
barabart t paraqitjes.
Gjasat stacionare t simboleve (n kt rast t 1 dhe 0):
Pasi q gjendjet jan prjashtuese ndrmjet veti, gjasa q
n sekuenc t hasim n 1 sht:
P(1) = P(11)+0.5(P(01)+P(10)) = 5/16+0.5(3/16+3/16) = 0.5
Ndrsa n 0: P(0) = 1- P(1) = 0.5

19

BURIMI I LIDHUR ME BURIMIN E

MARKOVIT
Pr cilin do burim ergodik t Markovit mund t njehsohen
gjasat stacionare t gjendjeve dhe gjasat stacionare t
simboleve ve e ve (sikurse n rastin paraprak)
Burimi i lidhur me burimin e Markovit sht burimi q ka
simbole t njjta me at t Markovit dhe gjasa t njjta
stacionare t simboleve ve e ve, por i cili sht burim pa
memorie.
Te burimi i Markovit ekziston varsi plotsuese e
simboleve (q shprehet me gjasn me kusht), e cila
zvoglon pasigurin e paraqitjes s simboleve dhe, n
kt mnyr, edhe sasin mesatare t informacionit pr
nj
j simbol
i b l
Shembull: Teksti n nj libr mund t konsiderohet varg i
Markovit; ndrsa teksti i ri i fituar me permutimin arbitrar t
tekstit paraprak do t ket t njjtat gjasa t paraqitjes s
simboleve, por varsia statistikore n t do t prishet, dhe
kshtu do t shndrrohet n burim pa memorie, pra n
burim t lidhur me burimin e Markovit.

INFORMACIONI I BURIMIT ME MEMORIE

Nj pjes e madhe e burimeve t bots reale jan burime me
memorie, q rezultojn me sinjale t korreluara t burimit; veti e
ktill ruhet gjat mostrimit dhe kuantizimit
Kjo l t kuptohet se sinjali tregon njfar shkalle t
redundancs, e cila do t duhej shfrytzuar gjat kodimit
Mostrat e sinjalit t t folurit, pr shembull, jan t korreluara,
dhe, si mund t pritet, s pari hiqet redundanca n mostra;
mbetjet q fitohen, gati pa memorie ose t pakorreluara, pastaj
mund t kodohen me numr shum m t vogl t bitve
N shembullin e ktill memoria mund t modelohet si nj
proces i Markovit
p
Proces i Markovit i rendit t par: simboli aktual varet vetm
nga simboli paraprak
Proces i Markovit i rendit N: simboli aktual varet nga N
simbole paraprake

20

PROCES I MARKOVIT I RENDIT T PAR

ME DY GJENDJE
N kt rast burimi gjeneron vetm dy simbole: X 1 1
dhe X 2 2; gjasa e tyre qart varet nga gjendja paraprake:

Kemi gjasat e thjeshta t paraqitjes (gjasat paraprake) pr

P1 P(X1) dhe P2 P X 2 si dhe gjasat
gjendjet X 1 dhe X2 :
kalimtare
Gjasat kalimtare nga gjendja X 1 jan dhn me gjasat
kalimtare p12 P X 2 / X 1 dhe p11 P X 1 / X 1 1 P X 2 / X 1

ENTROPIA PR PROCESIN E MARKOVIT

T RENDIT T PAR ME DY GJENDJE
Entropia H i pr gjendjet X i ,

i 1,2 :

Hi pij ldpij pi1 ld pi1 pi 2 ldpi 2

bit / simbol

j 1

Kjo paraqet informacionin mesatar t bartur nga simbolet e

emetuara prej gjendjes X i
Entropia e prgjithshme H prfshin gjasat P1 , P2 t
gjendjeve X 1 , X 2 :
2

i 1

i 1

j 1

H Pi H i Pi p ij ldp ij

bit / simbol

Pr burim me korrelacion t lart, gjasat jan m t mdha

q ai t mbetet n nj gjendje se sa t ndryshoj, dhe entropia
zvoglohet me rritjen e e korrelacionit

21

ENTROPIA PR PROCESIN E MARKOVIT T

RENDIT T PAR ME N GJENDJE

Nj burim i Markovit me N gjendje (jo i rendit N) mund t gjeneroj N

simbole X i i, 1 i N , kshtu q entropia e simboleve H i pr
gjendjet X i :
N

bit / simbol

H i pij ldpij
j 1

ku p ij sht gjasa kalimtare nga X i n X j

Entropia e till e simboleve quhet entropi parciale

ENTROPIA PR PROCESIN E MARKOVIT T

RENDIT T PAR ME N GJENDJE
Entropia e burimit fitohet me mesatarizimin e entropive
parciale sipas t gjitha gjendjeve t mundshme (me
caktimin paraprak t gjasave t thjeshta t paraqitjes Pi t
gjendjes X i ), pra:
N

i 1

i 1

j 1

bit / simbol

H Pi H i Pi pij ldpij

Nse shpejtsia e simboleve sht Rs simbol / sek ,

shpejtsia mesatare e informacionit sht

R Rs H

bit / sek

22

Shembulli 7: Burim i Markovit i rendit t par me

dy gjendje
Pr diagramin e gjendjeve n vazhdim me gjasat prkatse, t
njehsohet entropia e burimit si dhe sasia mesatare e informacionit
pr sekuencat e mesazhit me gjatsi 1, 2, dhe 3 simbole, t
realizuar nga nj sekuenc e gjendjeve X 1 dhe X 2 .

Vazhdim i shembullit 7
Entropia e burimit sht:
H 0.80.9ld 0.9 0.1 ld 0.1 0.20.9ld 0.9 0.1 ld 0.1 0.469

bit
b / simbol
b l

Sasia mesatare e informacionit pr sekuencn me 1 simbol sht:

H 1 0.8ld 0.8 0.2ld 0.2 0.7219bit / simb

Pr sekuencn me 2 simbole, pra: 11, 12, 21, ose 22

P'11' P1 p11 0.72;

P'12' P1 p12 0.08; P'21' P2 p21 0.18;

P '22 ' P2 p 22 0 .02 mesatarja

1.190924

bite

Kshtu q pr sekuencn me 2 simbole,

H ( 2) 1.190924 / 2 0.5955

bit / simbol

23

Vazhdim i shembullit 7
Pr sekuencn me tre simbole:

P'111' P'11' p11 0.648;

P'112' P'11' p12 0.072;... H 3 0.5533

bit / simbol

Nse merret n shqyrtim nj sekuenc me gjatsi m t madhe t

simboleve, e cila tregon m shum varsi memoruese t burimit,
sasia mesatare e informacionit ose entropia zvoglohet; p.sh.

H 20 0.4816
Pr rastin kufitar: H

bit / simbol

H pr mesazhin me gjatsi k

Sqarim i zgjidhjes s shembullit 7

Pr sekuenca me nj simbol: 1 ose 2 me P

(1) = 0.8 dhe P (2) = 0.2 , sasia mesatare e
informacionit (bite ose bite/simbol pasi q sht
vetm nj simbol) sht:
P (1) ld P (1) P (2) ld P (2) =
0.8 ld 0.8 0.2 ld2 0.2 = 0.7219 (bite/simbol)

N rastin e sekuencs me dy simbole: 11,

12, 21 ose 22, le t marrim n shqyrtim
11 (shih fig): P (11) = 0.8 0.9 = 0.72
Sasia mesatare e informacionit (n bite) pr
sekuencn me dy simbole sht:
P (11) ld P (11)P (12) ld P (12)P (21)
ld P (21) P (22) ld P (22) = 0.72 ld 0.72
0.08 ld 0.08 0.18 ld 0.18 0.02 ld 0.02 =
0.3412304 + 0.2915084 + 0.4453076 +
0.1128771 = 1.1909235 (bite)

24

DISA KOMENTE MBI MODELIN E BURIMIT T

MARKOVIT

Procesi i Markovit, si nj model probabilistik, sht modeli m i

kompletuar q prshkruan burimet me memorie.
Proces me prdorim m t gjer sht procesi i Markovit i rendit t par
par,
ku:
- Pi P X i sht gjasa paraprake e paraqitjes s gjendjes X i ;
Le t supozohet fillimi i nj eksperimenti n momentin kohor t ,
ose n t 1, mund t gjendet se procesi fillon nga gjendja X i
me gjasn Pi ; s kndejmi Pi sht gjas paraprake
- Gjasa kalimtare pij paraqet gjasn e ndryshimit t procesit nga
gjendja X i n X j , dhe s kndejmi sht gjas me kusht
paraqitjen
q j e burimit me memorie m t gj
gjat se 1, duhet t p
prdoret
Pr p
procesi i Markovit i rendit m t lart, i cili, si i till, sht shum m i
komlikuar pr prdorim
N praktik, pr prshkrimin e burimit t rendit m t lart t memories,
shpesh prdoret modeli parametrik i thjeshtuar (fig. n vazhdim).

MODELI AUTOREGRESIV

Nj proces i Markovit i rendit N mund t paraqitet (n form t thjeshtuar)

si nj model autoregresiv i rendit N (autoregressive model - AR).
Procesi n hyrje n sht i pakorreluar, me mesatare zero; procesi n
dalje y(n) sht sekuenc e simboleve, e emetuar nga burimi i paraqitur
me procesin e Markovit t rendit N (me parametrat prkats); n sht
indeksi kohor pr sekuencn e simboleve
Modeli i till parametrik ka prdorim t gjer, pr shembull, n kodimin
burimor t t folurit (transmetohen ak dhe n n vend t y(n))

25

LLOJET E GJENDJEVE TE PROCESI I MARKOVIT

Kalimtare - (S2,S3,S4 dhe S5); procesi vjen dhe nuk ka mundsi t mbetjes
n at gjendje
Rekurentne (S1,S6 dhe S7); me mundsi t mbetjes n at gjendje
Periodike - (S3,S4
(S3 S4 dhe S5); burimi mund t kthehet n t njjtn gjendje
pas k d hapave. Pr d = 1, gjendja sht aperiodike.
Absorbuese (S1) me ardhjen n at gjendje, burimi nuk mund t dali nga
ajo

MATRICA TRANSITORE

Gjasat kalimtare mund t

paraqiten prmes matrics
t
transitore
it
t dh
dhn
prball.
b ll
Supozohet se burimi ka q gjendje,
ndrsa me pij shnohen gjasa e
kalimit nga gjendja Si n S j
Shuma e elementeve t do
rreshti duhet t jet e barabart
me nj:
q

p
j 1

ij

pij

i (1,2,..., q ).
)

26

MATRICA TRANSITORE

N matricn transitore mund t

futet koha, kshtu q pij k sht
gjasa
j
kkalimtare
li t
n
momentin
ti k
ndaj momentit fillestar. Matrica e
till fitohet duke ngrit n fuqin k
matricn paraprake
Elementet e matrics pij k jan
gjasat q procesi pas k-1 hapash
t jet n gjendjen j, nse n fillim,
pra k=1, ka qen n gjendjen i.
El
Elementet
t t e matrics
t i fill
fillestare
t
mund t shnohen me pij 1

pij k

DIAGRAMI I GJENDJEVE N FORM RRJETE

Nj form shum e prshtatshme e diagramit t gjendjeve sht diagrami

dinamik i gjendjes n form rrjete (trellis), fig. me gjendjet nga shembulli 5
Gjat paraqitjes s forms s ktill, pr do hap ose simbol t emetuar
vizatohet diagram i ri i gjendjeve duke shnuar kalimet prkatse
prkatse.
Me kalimet e tilla mund t jepen edhe simbolet q emetohen si dhe gjasat
kalimtare. Prcaktimi i shtegut me gjas m t madhe, shpesh bhet me t
ashtuquajturin algoritm t Viterbit

27

DIAGRAMI I GJENDJEVE N FORM RRJETE

Me diagramin e till prcillet se si sillet burimi
Struktura e till sht periodike, dhe sht e mjaftueshme paraqitja
pr nj hap, kshtu q figura pastaj prsritet periodikisht
Paraqitja m e leht e zhvillimit t gjendjeve bhet npr m tepr
hapa, duke filluar nga ndonj gjendje, (shih fig. n slajdin q pason)
Me rrjetn e ktill mund t paraqiten procese joergodike dhe
jostacionare
Prdoren te kodimi pr kontrollin e gabimeve gjat transmetimit

ZHVILLIMI I DIAGRAMIT T GJENDJEVE N FORM

RRJETE DUKE FILLUAR NGA NDONJ GJENDJE

0
1

28

KODIMI STATISTIKOR - Hyrje

Kodimi statistikor, i cili ndryshe quhet edhe kodim entropik, sht paraqitje
ekonomike (optimale) e simboleve q i emeton burimi

Disa autor e quajn edhe komprimim i t dhnave. Komprimimi mund t

jet:
- pa humbje t informacionit (lossless data compression), ku edhe do t
prqendrohemi n vazhdim
- me humbje t informacionit (lossy data kompression)

Deri sa n rastin e burimeve diskrete mund t prdoren t dy metodat, te

diskretizimi i burimeve kontinuale
kontinuale, me rastin e transmetimit digjital (pr
shkak t A/D konvertimit), sht evidente se mund t prdoret vetm
mnyra e dyt e komprimimit, pra komprimimi me humbje

PRKUFIZIMI I KODIMIT
S s1 , s 2 ,...., s q

KODUESI

X x1 , x 2 ,...., x r

N bllok-skemn e koduesit statistikor me numr t fundm (q) t simboleve,

kemi:
- Listn e simboleve burimore ose alfabetin e burimi S{s1,s2,,sq}
- Listn e simboleve koduese X{x1,x2,,xr}
Kodimi paraqet pasqyrimin ose transformimin e sekuencs s simboleve t
lists burimore n sekuenc t simboleve t lists koduese
koduese.
Numri i simboleve koduese t fjals s kodit quhet gjatsi e fjals s kodit
Marr n prgjithsi kodimi statistikor sht kodim n blloqe, t cilat zakonisht
kan gjatsi fikse t fjals, por mund t jet edhe e ndryshueshme.
Fjala e kodit q i prgjigjet simbolit s i shnohet me X i

29

KODI JOSINGULAR

Kodi sht josingular nse t gjitha fjalt e kodit ndryshojn ndrmjet

veti.
Kodi binar (r = 2) me katr simbole (q = 4) i dhn n form tabelare
(marr n prgjithsi mund t jepet edhe n ndonj form tjetr, p.sh.
me disa rregulla matematikore), edhe pse plotson prkufizimin pr t
qen kod, shfrytzimi i tij nuk do t kishte kuptim praktik sepse sht
kod singular, i cili leht mund t bhet josingular, nse p.sh.
ndryshojm fjaln e katrt t kodit n 00

x1 0 dhe x 2 1

KODI NJVLERSISHT I DEKODUESHM

Kodi josingular i fituar me kt ndryshim (shih tabeln posht) prsri nuk sht
i prdorshm n praktik, sepse nuk sht njvlersisht i dekodueshm, pasi
q burimi emeton vargun e simboleve
simboleve, kshtu q edhe fjalt e koduara
prkatse do t emetohen dhe pranohen nga dekoduesi n varg
Kjo pr arsye se nse p.sh. n pranim kemi sekuencn 0011, dekoduesi, q
kryen punn e kundrt nga koduesi, ka n disponim dy sekuenca t simboleve
t burimit q japin kt sekuenc: s 1 s 1 s 3 dhe s 4 s 3
Kodi sht njvlersisht i dekodueshm vetm nse plotsohet kushti q
zgjerimi i n-t i kodit sht josingular pr do n t fundme, ose, thn ndryshe,
q kodi t jet njvlersisht i dekodueshm sekuenca e fjalve t kodit me t
ciln sht koduar cilado sekuenc e simboleve t burimit me gjatsi t fundme
(zgjerimi i n-t)
n t) duhet t jet njvlersisht i dekodueshm

30

SHEMBUJ T KODEVE NJVLERSISHT T

DEKODUESHM

Kodet e mposhtme (a,b,c) jan njvlersisht t dekodueshm. Kodi (a)

sht josingular dhe ka fjalt e kodit me gjatsi t njjt, q n marrs
pranohen n dyshe
p
y
(
(ift))
Kodi (b) sht gjithashtu kod josingular dhe 0 luan rolin e presjes, sepse
ndihmon q sakt t prcaktohet prfundimi i fjals s kodit
Kodi (c) sht gjithashtu njvlersish i dekodueshm, por fjala e kodit nuk
mund t dekodohet pa arritur edhe simboli i par (q n kt rast sht bit i
fjals s ardhshme). P. sh., pas ardhjes s simboleve 01, dekoduesi e di
se nuk sht s 1 por akoma nuk di a sht simboli s 2 , s 3 apo simboli s 4 ,pa
mbrri simboli i ardhshm i kodit. Pra kodi nuk mundet t dekodohet
momentalisht, por duhet pritur simbolin e ardhshm

KODI PARASHTESOR (MOMENTAL)

Kodi njvlersisht i dekodueshm sht parashetsor ose momental nse

do fjal e kodit n sekuenc mund t dekodohet pa u bazuar n simbolet e
ardhshme t kodit
Kusht i nevojshm dhe i mjaftueshm q kodi t jet momental sht q
asnj fjal (e plot) e kodit t mos jet parashtes ose prefiks e ndonj fjale
tjetr t kodit. Tash sht e qart se pse kodi (c) nuk sht momental
Pra kodet momentale formojn nj nngrup t kodeve njvlersisht t
dekodueshm. N fig. e mposhtme sht treguar nj ndarje e mundshme
e kodeve

31

DIAGRAMI PEM I KODIT

sht nj prej formave vizuale t prshtatshme t paraqitjes dhe ndrtimit

(pra t shnimit t fjalve t kodit)
Kjo form mundson edhe prcjelljen e mnyrs s puns s dekoduesit, i
cili fillon nga rrnja e pems, dhe varsisht nga simboli i pranuar shkon n
njrn prej degve
Pr kodet (a), (b) dhe (c) nga shembulli paraprak, jan dhn diagramet
pem, duke prvetsuar sipas dshirs q me paraqitjen e zeros n fjaln e
kodit t shkohet n t majt t pems, ndrsa me paraqitjen e njshit n
t djatht

(a)

(b)

(c)

DIAGRAMI PEM I KODIT

Kodet (a) dhe (b), si u tha m lart, jan kode momentale, ndrsa kodi
(c) nuk sht dhe, si shihet nga figura, diagrami pem pr kt rast
sht degjeneruar
Pra, tash sht e qart se kodi te i cili nj fjal e koduar sht prefiks e
ndonj fjale tjetr shpie deri te diagrami i degjeneruar pem i kodit
Prandaj, mund t prfundojm se shfrytzimi i diagramit t padegjeneruar
pem pr ndrtimin e kodit garanton fitimin e kodit momental.
Gjithashtu nga figura pr kodin (b) shihet se pr simbolin s 4 biti i fundit i
fjals s kodit sht i teprt sepse dekoduesi mund t merr vendim edhe
n munges t tij
N rastin e kodit binar, p
pr do numr natyror
y
q, mund t ndrtohet
q
diagrami pem i cili ka saktsisht q nyje prfundimtare, pra q fjal t
kodit. Pr baza t kodit r 3 mund t tregohet se n rastin e
prgjithshm kjo, si shihet n shembullin n vazhdim, nuk sht e
mundur

32

DIAGRAMI PEM I KODIT

Le t jet dhn kodi ternar (r = 3), simbolet e t cilit jan 0, 1 dhe 2.

Diagrami pem pr burimin me tre simbole (q = 3) duket si n fig. (a),
ndrsa diagrami
g
ip
par i ardhshm jjep
pp
pes fjal
j
t kodit, fig.
g ((b).
)
(a)

(b)

s1

s2

s3

s1

s2
1
s3
20

s4
21

s5
22

sht e qart se me kodin ternar nuk mund t ndrtohet diagrami pem

me 4 simbole, sepse diagrami jep pes fjal t mundshme, prej t cilave gjat
formimit t kodit momental zgjidhen 4 fjal, kshtu q, si shihet nga fig. (b),
nj fjal e koduar mbetet e pashfrytzuar

JOBARAZIMI I KRAFT-IT

Mund t vrtetohet se kusht i nevojshm dhe i mjaftueshm pr

ekzistimin e kodit momental me gjatsi t fjalve t kodit l 1 , l 2 ,..., l q ,
sht p
plotsimi i jjobarazimit t Kraft-it:
q

li

i 1

ku r sht baza e kodit (numri i simboleve t lists koduese), kshtu

q pr kodin binar (r = 2), jobarazimi ka formn
q

2 li 1

i 1

Jobarazimi i Kaft-it
Kaft it jep prgjigje se a mund t realizohet kod
momental duke shfrytzuar fjal kodi me gjatsi t caktuar, por nuk
jep prgjigje edhe pr at si duhet ndrtuar at kod, shih shembullin
n vazhdim

33

SHEMBULL: Kodet binare pr burimin me 4 simbole

Jobarazimin e Kraft-it e plotsojn kodet: a, b, c, d, ndrsa kodi d nuk sht

momental sepse s4 sht prefiks i s3, por me fjalt e kodit m kt gjatsi
(1) mund t ndrtohet kod momental (c)
Me gjatsit e dhna t fjalve t kodit e, nuk mund t ndrtohet kod
momental, sepse nuk plotsohet jobarazimi i Kraft-it (9/8 >1)

JOBARAZIMI I MAKMILAN-IT

Deri sa paraprakisht sht treguar se jobarazimi i Kraft-it jep kushtin e

nevojshm dhe t mjaftueshm pr ekzistimin e kodit momental me fjal me
gjatsi t caktuar
caktuar, Makmilani ka vrtetuar faktin se jobarazimi i Kraft
Kraft-itit
prcakton kushtin e nevojshm dhe t mjaftueshm pr ekzistimin e kodit
njvlersisht t dekodueshm.

Pasi q, si u tha, kodet momentale jan nngrup i kodeve njvlersisht t

dekodueshm, nuk sht e nevojshme q t vrtetohet se jobarazimi i
Kraft-it sht kusht i mjaftueshm.

Pr kodet njvlersisht
j
t dekodueshm, t cilt nuk sht e thn t jjen
momental, vlen jobarazimi i Kraft-it, kshtu q nuk ka kurrfar nevoje
praktike q tu iket kodeve momentale dhe t prdoret klasa e prgjithshme
e kodeve njvlersisht t dekodueshm, sepse pr secilin rast gjatsia e
fjalve t koduara duhet t plotsojn jobarazimin e Kraft-it.

34

GJATSIA MESATARE E FJALS S KODIT

Pasi q pr burimin me nj list t dhn t simboleve, mund t ndrtohen

m tepr kode momentale, shtrohet pyetja cilin prej tyre sht optimal,
dhe sipas
p cilave kritere duhet zgjedhur.
gj
N rastin e kodimit statistikor sht e qart se kriter themelor duhet t jet
gjatsia e fjalve t kodit, q nuk sht rast i njjt kur bhet shifrimi
Le t jet dhn burimi S s 1 , s 2 ,...., s q me gjasat prkatse t paraqitjes
s simboleve Pi P s i
( i 1, 2 ,.., q ) dhe lista e simboleve koduese
X x 1 , x 2 ,..., x r . Nse fjala e kodit X i me t ciln kodohet simboli s i ka
gjatsi l i , ather gjatsia mesatare e fjals s koduar sht
q

l L Pi li
i 1

Gjat kodimit statistikor duhet zgjedhur at kod q ka gjatsi mesatare m

t vogl t fjals s kodit.
Nj kod statistikor sht optimal nse gjatsia mesatare e fjals s kodit
sht m e vogl se gjatsit mesatare t fjalve t t gjitha kodeve tjera
momentale pr t njjtin burim dhe t njjtn list t simboleve koduese

Qllimi i kodimit statistikor

Qllimi i kodimit statistikor sht gjetja e kodit optimal, sepse, marr n

prgjithsi, mund t ekzistojn m tepr kode optimale

N rastin e kodit binar, komplementi i kodit optimal sht gjithashtu kod

optimal (madje edhe komplementimi i bitve vetm n pozicione t caktuar
n fjaln e kodit nuk e ndryshon gjatsin e fjalve t kodit)

Prandaj, shtrohet pyetja si duhet vlersuar se a sht apo jo nj kod

optimal, dhe cili sht kufiri i poshtm i gjatsis mesatare t fjals s kodit
nn t cilin nuk duhet zbritur.

N vazhdim do t caktohet gjatsia mesatare e fjals s kodit pr burimin

pa memorie

35

Caktimi i gjatsis mesatare t fjalve t kodit pr

burimin pa memorie

Entropia e burimit pa memorie sht

N vazhdim do t shfrytzojm jobarazimin i cili vlen nse xi dhe yi mund t

konsiderohen elemente t bashksis s plot t gjasave q plotsojn
kushtet:

ku shenja e barazimit n jobarazim vlen vetm nse plotsohet kushti xi = yi

pr do i.

Caktimi i gjatsis mesatare t fjalve t kodit pr

burimin pa memorie

Nga sa u tha m lart, mund t shkruhet q:

ku shenja e barazimit vlen vetm nse sht Pi = yi, pr do i.

Duke pas parasysh jobarazimin e Kraft-it mund t zgjedhim

yi

r li

q
j 1

l j

Nse zvendsojm n jobarazimin paraprak, kemi:

36

Caktimi i gjatsis mesatare t fjalve t kodit pr

burimin pa memorie

Pr kodin momental duhet t plotsohet jobarazimi i Kraft-it, kshtu q

madhsia e cila logaritmohet n antarin e dyt t shprehjes s fundit
q l
r duhet t jet m e vogl ose e barabart me nj, ndrsa

j 1

logaritmi
sht
m i vogl (ose i barabart) se zero
j

Prandaj sht:

Pr rastin e kodit binar (r = 2) sht

ose

Caktimi i gjatsis mesatare t fjalve t kodit pr

burimin pa memorie

Rezultati i fituar ka edhe interpretimin fizik duke u nis nga fakti se entropia
sht sasia mesatare e informacionit pr simbol, prandaj, mesatarisht duhet
transmetuar aq sasi t informacionit pr simbol sa sht edhe entropia.
Pasi q
q do bit,, pr
p rastin kur t dy
y gj
gjendjet
j mund t p
paraqiten
q
me gj
gjas t
barabart, mund t bart nj bit t informacionit, pr bartje t simboleve t
burimit sht i nevojshm s paku aq bita sa sht entropia.
Te kodi me baz r do simbol i kanalit mund t bart m s teprmi ldr bite
t informacionit, kshtu q me pjestimin e H(s) me ldr, fitohet numri
mesatar m i vogl i simboleve pr fjal t koduar n rastin e kodit me
simbole r-are.
Nga analiza paraprake del edhe nj prfundim. Pasi q jobarazimi i fituar
kalon n barazim vetm kur sht
pr fardo i

caktimi i gjatsis s fjalve t koduara sipas ksaj shprehjeje garanton q

gjatsia mesatare dhe entropia t jen t barabarta.
Por, gjatsit e fjalve t koduara jan numra t plot, ndrsa logaritmi i
vlers reciproke t gjass nuk sht e thn t jet numr i plot, kshtu q
kufiri i poshtm pr gjatsin mesatare t fjalve t koduara mund t arrihet
vetm n raste t veanta.

37

SHEMBULL

Burimin me q = 4 simbole e kodojm me kod binar (r = 2), ku jan t

mundshme dy bashksi t gjasave:

H a S ld 4 2bit / simbol

H b S 0.5 ld 2 0.25 ld 4 2 0.125 ld8 1.75bit / simbol

La 4 0.25 2 2bit / simbol

Lb 0.5 1 0.25 2 2 0.125 3 1.75bit / simbol

TEOREMA E PAR E SHANONIT

T analizojm n vazhdim burimin diskret pa memorie.

Deri tash kemi analizuar si zgjidhet problemi i gjetjes s kodit optimal n
rastin kur gjasat e simboleve t burimit jan t forms 1 r k , i cili sht
rast i veant.
Shtrohet pyetja si t veprohet n rastin e prgjithshm.
Kur logaritmi i vlers reciproke t gjass nuk sht numr i plot, sht e
logjikshme q pr do fjal t merret gjatsia sipas ksaj zgjedhjeje ose
rregulle
i

Pasi q n kt rast pr do simbol t burimit

sht e qart se jobarazimi i Kraft-it do t plotsohet, kshtu q
bashksia e fjalve t koduara me gjatsit e zgjedhura do t
mundsojn fitimin e kodit optimal.
N rastin konkret shqyrtohet kodi binar, por kjo vlen edhe pr kodin r-ar,
me kusht q t merret logaritmi me baz r.

38

TEOREMA E PAR E SHANONIT

Me shumzimin e do jobarazimi q n shprehjen paraprake me numrin

prkats jonegativ Pi (pra nuk ndryshon edhe kahu i jobarazimit), kemi:

Me mbledhjen e ktyre q jobarazimeve fitojm

prkatsisht:

TEOREMA E PAR E SHANONIT

Pra, me zgjedhjen e gjatsis s fjalve t koduara sipas rregulls s

prvetsuar, mund t fitohet gjithmon kod momental gjatsia mesatare e
fj l t kkoduara
fjalve
d
e t cilit
ilit plotson
l t
jjobarazimin
b
i i e dh
dhn.

Jobarazimi i prmendur mund t zgjerohet edhe n rastin e zgjerimit t n-t

t burimit

ku Ln sht gjatsia mesatare e fjalve t koduara pr simbolet e burimit t

zgjeruar, q sht sekuenc prej n simbolesh t burimit fillestar. Pasi q pr
entropi,
p , si dihet,, vlen H ( S n ) nnH ( S ), shprehja
p j p
paraprake
p
mund t shkruhet
n formn
ose

Nga jobarazimi i fundit shihet se kur n rritet n pambarim, kemi

39

TEOREMA E PAR E SHANONIT

Madhsia Ln/n paraqet gjatsin mesatare t fjalve t koduara pr simbol

t burimit fillestar (paraprak) S.

Nga ajo q u tha paraprakisht mund t prfundojm se gjatsia mesatare e

fjalve t koduara mund t bhet arbitrarisht afr vlers s entropis s
burimit.

Ky sht pikrisht formulimi i teorems s par t Shanonit ose teorems

pr kodim pa zhurma.

Kur kodi nuk sht binar kemi:

Teorema e par e Shanonit pr burimet me

memorie

Pr burimin me memorie t rendit t par dhe pr burimin q lidhet me te (i

cili sht pa memorie) jepen shprehje t ngjashme pr gjatsin mesatare
t fjalve
j
t koduara, dhe mandejj p
procedura p
prsritet p
pr zgjerimin
gj
e n-t
t burimit t ktill dhe pr burimin e lidhur me kt zgjerim.
Me kombinimin e ktyre katr shprehjeve, duke marr parasysh faktin se:

ku burimet e lidhur me burimet e Markovit shnohen me viz mbi simbolet

pr burimin prkats, fitohet:

Kshtu q, me zgjedhjen e n mjaft t madhe, gjatsia ekuivalente

mesatare e fjalve t koduara mund t bhet arbitrarisht afr vlers s
entropis.
Pasi q do burim me memorie i rendit t lart,me zgjerimin e tij, kalon n
burim t rendit t par, leht mundet t tregohet se teorema vlen edhe pr
burimet me memorie t rendit t lart.

40

SHEMBULL

Prdorimi i drejtprdrejt i rregullave paraprake pr zgjedhjen e gjatsis

mesatare t fjalve t koduara nuk shpie gjithmon tek kodi optimal.
Pr rastin e burimit ternar (q=3)
(q=3), i cili kodohet me kod binar
binar, kemi:

H S 1.22bit / simbol

La 1.78bit / simbol

Lb 1.33 bit / simbol

Pra, kodi (b), edhe pse nuk sht caktuar sipas rregulls s Shanonit, ka
gjatsi m t vogl. Simboli x shnon numrin e par m t madh t plot.

SHEMBULL: Zgjerimi i burimit

Zgjerimi i burimit sht shum efikas, gj q shihet nga ky shembull i

burimit binar pa memorie (q = r = 2) me gjatsi t fardoshme t fjalve
t kkoduara,
d
me kkusht
ht q
t fit
fitohet
h t kod
k d momental
t l

H S 0.54bit / simbol

L 1bit / simbol

Nse bjm
j
zgjerimin
gj
e dyt
y t burimit, p
pra ((n = 2),
) kemi

L2 1.36bit / simb

S2

L2 / 2 0.68bit / simbol

41

SHEMBULL: Zgjerimi i burimit

Me zgjerimin e burimit sht fituar gjatsi mesatare ekuivalente e fjals s

koduar, e cila sht shum afr entropis (n vend t 1bit/simbol sht
fituar 0.68
0 68 bit/simbol)
bit/simbol).

Me zgjerimin e mtutjeshm do t fitoheshin vlera edhe m t afr vlerave

t entropis, por n kt rast rritet numri i simboleve t lists s kodimit,
dhe pr vlera t mdha t q dhe n, mund t kemi lista t mdha t kodimit
(me qn elemente).

Efikasiteti dhe redundanca

Efikasiteti i kodit prkufizohet pr t caktuar kuntitativisht se sa i afrohet

entropis gjatsia mesatare e fjals s koduar pr kodin e fituar, dhe jepet
n
fformn

Gjithashtu mund t prkufizohet edhe redundanca ose teprica si:

N shembullin paraprak, vlerat prkatse t ktyre madhsive jan:

1=54% (R1=46%) pa zgjerim, dhe 2=79.4% (R2=20.6%) kur bhet zgjerimi i
burimit.
Pr kodin binar efikasiteti (kuptohet jo n %) paraqet n t vrtet numrin e
bitve q transmetohen pr simbol t kodit.

42

Kodimi pa zgjerim t burimit

Teorema e par e Shanonit jep prgjigje se far performancash mund t

arrihen me kodim statistikor, dhe si (me zgjerim t mjaftueshm t burimit)
mund t arrihen ato,
ato duke mos treguar qart rrugn si mund t fitohet kodi
optimal nga nj burim i caktuar (pa zgjerime t mtutjeshme)

Pr zgjidhjen e ktij problemi do t analizohen dy algoritme:

1. Shanon-Fano-s, dhe i
2. Hafman-it (Huffman)

Algoritmi i Shanon-Fano-s

Simbolet e lists s burimit renditen sipas vlerave n rnie, pra (P1 P2

Pq). Nse simbolet kan gjasa t barabarta, radhitja e tyre n kuadr
t k
ksajj procedure
d
nuk
k
sht
ht e rndsishme.
d i h

Pastaj grupi i simboleve ndahet n dy pjes me gjasa t barabarta (ose

prafrsisht t barabarta t paraqitjes.

Fjalt e koduara t njrit nngrup do t fillojn me zero, ndrsa ato t

nngrupit tjetr me 1.

do njri prej nngrupeve ndahet n dy nngrupe tjera me gjasa t

barabarta duke shtuar n vendin prkats t fjals s koduar 0 ose 1.

Kur n t gjitha nngrupet mbetet nga nj simbol, kodimi ka prfunduar.

43

SHEMBULLI a

Kodi i fituar (n kolonn e tret): 0, 10, 110, 111 sht kod optimal, dhe
gjatsia mesatare e fjals s koduar sht e barabart me entropin.

SHEMBULLI b

44

SHEMBULLI c

SHEMBULLI d

Detyr: T provohet nse kodi sht m efikas kur ndarja e par bhet
ndrmjet s1 dhe s2, n vend t ndarjes nga tabela paraprake (ndrmjet s2
dhe s3).

45

Diagrami pem pr shembujt b dhe c

Prdorimi i njfisht i ksaj metode

nuk garanton fitimin e kodit optimal,
kshtu q
q nj
j p
pasqyr
qy m e q
qart
mund t fitohet me paraqitjen e
ndrtimit t kodit me diagramin pem,
t propozuar nga Fano (s kndejmi
edhe emri i algoritmit), n rast ecja
n t majt i prgjigjet 0, ndrsa n
t djatht 1, ose e kundrta.
Diagrami mund t paraqitet edhe
horizontalisht, n rast do t kishim
ecjen lart (0) dhe posht (1).
Pra, duhet zgjedhur diagramin pem
dh nyjat
dhe
j t prfundimtare
f di t
d h t
duhet
shoqruar me simbole, duke synuar
q gjasat e degzimit n do nyje t
jet e njjta ose prafrsisht t njjta.

Algoritmi i Shanon-Fano-s

N mnyr q me shfrytzimin e ktij algoritmi t gjendet kod optimal sht e

nevojshme q pr burimin e dhn (me q simbole) dhe pr kodin e dhn
(me r simbole t kodit) t shqyrtohen t gjitha diagramet pem t kodimit (q
jan numr i fundm), dhe pastaj, sipas shprndarjes s gjasave t
simboleve t zgjidhet diagramin pem i cili jep gjatsin m t vogl
simboleve,
mesatare t fjals s koduar.
sht evidente se simboleve me gjas m t madhe u dedikohen fjal m t
shkurtra t kodimit, ndrsa disa variante ku gjasat e degzimit ndryshojn
shum ndrmjet veti, (intuitivisht, pa provuar) nuk duhet marr n konsiderim.
Kshtu, sht e qart se pr q = 2 ekziston nj diagram pem pr kodim
binar (r = 2), ndrsa pr q = 3, prsri kemi nj diagram, duke pas parasysh
faktin e theksuar m par se me komplementimimin e bitve t caktuar (q i
prgjigjen rrotullimit t degve t diagramit rreth boshtit t simetris npr
nyjat prkatse) fitojm diagram ekuivalent, n rast gjatsia e fjals nuk
ndryshon.
ndryshon
N figurat n vazhdim jan treguar diagramet (me ngjyra t ndryshme) pr q
= 2, pr q = 3, nj diagram i mundshm, ose dy diagrame t mundshme
ekuivalente, pr q = 4, dy diagrame t ndryshme t mundshm dhe pr q = 5,
tre diagrame t ndryshme t mundshm.
Pr q = 6, ekzistojn 5 diagrame te ndryshm, ndrsa pr q = 7, ka 9
diagrame t ndryshm.

46

Forma t ndryshme t diagramit pem pr kodim

binar dhe vlera t ndryshme t q

SHEMBULL

sht dhn burimi me q = 5 simbole (shih slajdin paraprak). Pra, nga fig.
shihet se jan t mundur tri kode t ndryshme binare, dhe sht e
logjikshme t pritet q kodet a dhe b t japin rezultate m t mira (shih
gjatsit prkatse),
prkatse) sepse n ato dy raste simboleve me gjas m t
madhe u sht caktuar kod m i shkurtr. Por, n rast t numrit m t madh
t simboleve, situata nuk sht e thn t jet edhe aq e thjesht.

H S 1.659bit / simbol

La 1.7bit / simbol

Lb 1.8bit / simbol Lc 2.1bit / simb

47

SHEMBULL (Burimi me 6 simbole)

H S 1.6597bit / simbol

La 1.74bit / simbol
Lb 1.75bit / simbol

Si shihet nga shembulli i fundit, dallimi i gjatsive sht shum i vogl, kshtu
q nuk sht leht q paraprakisht t zgjidhet diagrami m i prshtatshm, por pr
kt nuk ka edhe nevoj, sepse kodi i Hafmanit q pason jep sigurisht kod kompakt.
Prandaj kodi i Shanon-Fano-s si hyrje n kodim pr shkak se sht i thjesht.

Algoritmi i Shanon-Fano-s

Ky algoritm mund t shfrytzohet edhe pr kodimin e burimit t zgjeruar.

Pr do
P
d zgjerim
j i t mtutjeshm
t tj h rritet
it t numrii i simboleve
i b l
q
d
duhet
h t kkoduar,
d
dhe paraqiten mundsi t shumta pr kodim.

Teorema e par e Shanonit e vrteton pikrisht faktin e afrimin drejt

entropis me rritjen e n, q n t vrtet sht edhe interpretimi fizik i
teorems (vetia e ekuiparticionit asimtotik).

N rastin e kodeve ternare (r = 3) ose m t larta, simbolet do t ndaheshin

n tri (ose m tepr) grupe me gjasa t barabarta ose prafrisht t
barabarta t paraqitjes.

Grupet e tilla ndahen m tutje sipas procedurs s njjt, duke pas

parasysh se n rastin e kodit ternar i kemi tre simbole pr kodim (p.sh. 0, 1,
2).

48

ALGORITMI I HAFMANIT

Ky algoritm mundson gjetjen e drejtprdrejt t kodit optimal.

Le t jet dhn burimi S me simbolet si (i = 1,2,,q), me gjasat prkatse
t paraqitjes Pi (i = 1,2,,q).
12
q)
Simbolet duhet renditur ashtu q t vlej: P1 P2 Pq.
Dy simbolet me gjas m t vogl (sq-1 dhe sq) kombinohen n nj simbol t
ri sq-1, gjasa e t cilit sht e barabart me shumn e gjasave t paraqitjes
s dy simboleve prej t cilve sht fituar, dhe duke zvogluar n kt
mnyr burimin nga q n q-1 simbole.
Prsri bashkojm dy simbole me gjas m t vogl dhe fitojm burim me
q-2 simbole.
Kt e prsrisim deri sa nuk bhen q - 1 zvoglime dhe deri sa nuk fitohet
burim Sq-1 me vetm dy simbole.
Duke filluar nga burimi i zvogluar n dy simbole shnojm fjalt e koduara
n at mnyr q njrit prej simboleve i dedikojm bitin 1, ndrsa tjetrit, bitin
0. Procedura vazhdon hap pas hapi n kahun e kundrt.

Kodimi i Hafmanit

49

Kodimi i Hafmanit

Kodimi i Hafmanit

50

SHEMBULL

Gjatsia mesatare e fjalve t koduara sht L = 1.74 bit/simbol.

SHEMBULL

Gjatsia mesatare e fjalve t koduara sht L = 2.1 bit/simbol

(H(S) = 2.0502 bit/simbol)

51

SHEMBULL

Gjatsia
j
mesatare e fjalve
j
t koduara sht L = 2.1 bit/simbol, p
por struktura
e gjatsive t fjalve t koduara ndryshon.
Por, kjo nuk sht penges sepse kod optimal sht ai i cili ka gjatsi
mesatare t fjalve t koduara m t vogl ose t barabart me gjatsit
mesatare t t t gjitha kodeve tjera momental q mund t konstruktohen nn
kushtet e dhna.
Ky sht shembull jotrivial i ekzistimit t m tepr kodeve kompakte pr t
njjtin burim dhe t njjtn list t kodimit.

Algoritmi i Hafmanit pr r > 2

Gjat prdorimit t kodit t Hamanit bhet zvoglimi i r simboleve me gjas

m t vogl dhe kshtu shkohet deri n fund. N procesin e kthimit fitohen
simbolet 0,1,,r
01
r-1
1.

N rastin e prgjithshm, pas zvoglimit t fundit nuk sht e thn t

mbeten saktsisht r simbole, por mund t jen edhe m pak.

Ather do t mbeteshin t pashfrytzuar fjalt m t shkurtra t kodimit.

Q ti iket ksaj shtohen simbole t rrem me gjas zero.

Ky numr zgjidhet ashtu q pas zvoglimit t fundit t mbesin r simbole.

Gjat kthimit mbas simbolet e rrem do t ken fjal m t gjata t kodimit,

kshtu q pa dmtim do t lehen pas dore.

52

SHEMBULL

L = 1.5 shifra ternare/simbol

SHEMBULL

L = 1.7 shifra ternare/simbol

53

Algoritmi i Hafmanit jep kod optimal

a) Simbolet me gjas m t vogl duhet t ken fjal m t gjata t kodimit

(pr pj > pk duhet t jet lj < lk)

b) Fjalt e kodimit pr dy simbolet me gjas m t vogl duhet t ken

gjatsi t njjt t fjals s koduar (lq-1 = lq)

c) N mesin e fjalve t koduara me gjatsi m t madhe, q mund t jen

m tepr se dy, duhet t jen dy fjal q kan t gjitha bitt identik, prve
t fundit

T metat e algoritmit t Hafmanit

Nj koh t gjat algoritmi i Hafmanit sht prdorur si i vetmi algoritm pr

kodim statistikor

Por mund t thuhet se ky algoritm i ka disa t meta qensore si:

- Krkon njohjen e gjasave t paraqitjes s simboleve, dhe nse bhet fjal
pr ndonj tekst kto gjasa kryesisht njihen, edhe pse varen nga natyra e
tekstit. Por, pasi q prve teksteve transmetohen edhe lloje t tjera t
programeve dhe t t dhnave multimediale pr t cilat nuk dihen gjasat e
simboleve n fillim.
- E met tjetr sht se burimi trajtohet si burim pa memorie.

54

KODET E LEMPEL-ZIV-it (LZ)

Problemet paraprake kan nxitur prpjekjet pr t fituar kod universal n

kuadr t t cilit nuk ekziston model eksplicit, dhe i cili bn komprimimin e
sekuencs q
q transmetohet p
pa njohjen
j j p
paraprake
p
t vetive statistikore.
Duhet theksuar se sekuenca gjithashtu mund t jet edhe jostacionare.
N kodues, n baz t pjess s njohur t mesazhit, e cila ve ka hy n
kodues, formohet modeli, n baz t t cilit bhet komprimimi. Modeli i kodit
t ktill sht adaptiv dhe gjithmon prcjell vetit statistikore t mesazhit
q kodohet
N kuadr t algoritmit LZ sekuenca hyrse ndahet n segmente m t
shkurtra q akoma nuk jan paraqitur n pjesn e sekuencs t pranuar
paraprakisht
Segmentet q jan pranuar paraprakisht jan memorizuar nga koduesi (n
drgim) dhe nga dekoduesi (n pranim),
pranim) ashtu q koduesi n vend t
segmentit t ri t plot drgon vetm adresn ose treguesin (pointer) e
segmentit paraprak t memorizuar dhe bitin (n rastin e prgjithshm
simbolin) e ri ose adresn e tij, e cila mund t prcaktohet n fillim.
N kt mnyr prkufizohet segmenti i ri m i gjat pr nj bit kundruall
segmentit t memorizuar paraprakisht, dhe segmenti i till i ri tash fiton
adresn e tij t re. Biti (simboli) i ri mund t quhet bit ose simbol prtrits
(innovation symbol)

SHEMBULL
Le t jet dhn sekuenca 00101100001001 t ciln duhet koduar me
metodn e LZ-s, dhe n kodues le t jen memorizuar paraprakisht bitt 0
(me adres 1) dhe 1 (me adresn 2), me ngjyr t kuqe n tabel.
Segmenti i par m i shkurtr, i cili nuk sht paraqitur paraprakisht sht
00, dhe
00
dh aii kkodohet
d h me kkombinimin
bi i i 11
11, q
mund
d t
iinterpretohet
h ashtu
h q

merret sekuenca q ka adresn 1 (pra biti 0 me t kuqe) dhe asaj i shtohet biti
0 (q ka adresn 1). Sekuencs 11 i caktohet (ndahet) adresa 3.
N vend t adress s bitit prtrits (1 ose 2) mund t shtohet vet biti,
kshtu q ather kombinacioni 00 kodohet me 10.

55

SHEMBULL
Segmenti i ardhshm m i shkurtr, i cili nuk sht paraqitur paraprakisht,
sht 10 q kodohet me 21 (sepse 1 ka adresn 2, ndrsa 0 adresn 1) dhe i
caktohet adresa 4. Por nse shtohet vlera e bitit prtrits, kombinimi do t
kodohej me 20.
Segmenti i ardhshm sht 11, i cili kodohet me 22 (21) dhe i caktohet
adresa 5, pas t cilit pason segmenti 000, i cili kodohet me adresn e
segmentit 00 (3), t cils i shtohet 1 (ose 0) dhe i caktohet adresa 6.
Pason segmenti 100, i cili kodohet me 41 (40) dhe i caktohet adresa 7, dhe
procesi vazhdon m tutje.
Dekoduesi, i cili n fillim ka memorizuar segmentet 0 dhe 1 n adresat 1
dhe 2, ka elemente t mjaftueshme pr t rikonstruktuar vargun paraprak.

Metodat e shkurtimit t vargut

Metodat e shkurtimit t vargut bazohen n faktin se t dhnat shpesh

paraqiten n vargje t simboleve t njjta. Kjo vlen sidomos pr zerot (p.sh.,
h htj te
heshtja,
t sinjali
i j li i zrit,
it zonatt e zeza, te
t figurat,
fi
t etj.).
tj )
Metoda m e thjesht q shfrytzon kt fakt sht metoda e ngjeshjes s
zerove, ku vargu i tr i zerove zvendsohet me nj simbol t veant, t
ashtuquajtur flamur, dhe me numrin e zerove n varg.
Shembulli 24: Ngjeshja e zerove
Kodojm vargun e simboleve: 7860000000000000000000000000 n
formn 786f25, ku f sht flamuri q shnon fillimin e vargut t zerove,
ndrsa numri pran flamurit tregon numrin e zerove n varg, n kt rast 25.
sht e qart se flamuri duhet t jet simbol i veant q shrben vetm
pr kt qllim, dhe nuk mund t shfrytzohet pr kodim t simboleve tjera
t mesazhit.

56

Metodat e shkurtimit t vargut

Metod m e prgjithsuar sht metoda e kodimit vargor, ku kodohet

vargu i cilit do simbol q paraqitet, pra jo vetm i zerove. Simbolet e tilla n
varg zvendsohen me vetm nj simbol, i cili prsritet n varg, dhe pastaj
pason shenja
p
j speciale
p
p
pr p
prsritje
j si dhe numri i p
prsritjeve,
j
, pra
p gj
gjithsejj
tri shenja.
Shembulli 25: Kodimi vargor
Do t kodojm mesazhin: AECCCCCCCCCEFFFABC me kodin vargor si:
AEC!9EFFFABC.
Vargu prej 9 prsritjesh t simbolit C zvendsohet me nj simbol C,
flamurin !, q paraqet prsritjen, dhe numrin e prsritjeve, n kt rast 9.
Vrejm se vargu FFF nuk sht zvendsuar me F!3 sepse me kt nuk
do t arrihej kurrfar kursimi, dhe n kt rast (C prsritet si numr
njshifror,
j hif
pra 9,
9 por jo
j mbi
bi 9) zvendsimi

d i i d
do t arsyetohej
t h j pr
prsritjen
itj
e 4 ose m tepr shenjave.
Shihet gjithashtu se kufiri i arsyeshm varet edhe nga ajo se sa simbole
duhen pr kodimin e numrit t prsritjes.
Prdorimi i ksaj metode paraqitet n kuadr t algoritmeve m t
ndrlikuar, si sht p.sh., norma JPEG pr kodimin e figurs fikse, por
kodimi vargor ka qen n prdorim edhe te gjenerata e par e telefakseve.

MODELIMI I KANALIT DISKRET

Sipas bllok skems s dhn n fillim, koduesi q pason sht ai i siguris,

i cili vendoset pr shkak t kanalit, n mnyr q t zbulohen dhe
eventualisht t korrigjohen gabimet q ndodhin n kanal.
Pr kt arsye n fillim duhet analizuar kanalet nga pikpamja e teoris s
informacionit, e pastaj edhe vet kodet pr kontroll t gabimeve (error
control codes).
Njsoj sikurse te burimet e informacionit, edhe kanalet ndahen n kanale
diskrete dhe kontinuale. Kanalet diskrete ndahen m tutje n kanale pa
memorie dhe ato me memorie. N mnyr q t thellohemi n vet ndarjen
e kanaleve, duhet vshtruar fig. me t ciln sht treguar koncepti i nj
kanali diskret.

57

MODELIMI I KANALIT DISKRET

Nse burimi emeton vargun e bitve t cilt duhet drguar n destinacion, n rast se
nuk do t prdorej kodimi pr kontroll t gabimit, nga burimi, prmes ndonj elementi pr
ndrmjetsim (interfejsi), do t arrihej n modulator.
Kuptohet se transmetimi mund t bhet edhe n brezin themelor, ndrsa pas kalimit
npr kanal dhe demodulator (ku bhet vendosja), bitt e informacionit do t arrijn n
destinacion.
N rast se prdoret kodimi pr kontroll t gabimeve, n sistem paraqiten blloqet
prkats: koduesi i kanalit, ku bitve t informacionit u shtohen bitt pr kontroll, q
nga pikvshtrimi i informacionit jan t teprt, por q mundsojn zbulimin dhe
eventualisht korrigjimin e gabimeve n dekoduesin e kanalit.
Nga pikpamja e kodimit pr kontroll t gabimeve, modulatori, kanali (n kuptimin e
ngusht) dhe demodulatori mund t zvendsohen me nj bllok q paraqet kanalin
diskret, i cili me arsye shpesh quhet kanal kodues.
Marr n prgjithsi, mund t konsiderohet q n hyrje dhe n dalje t kanalit diskret
ekzistojn bite, ndrsa n hyrje dhe n dalje t kanalit modulues sinjale. sht e qart
se n rastin e prgjithshm, n hyrje dhe n dalje t kanalit diskret nuk sht e thn t
ekzistojn bite, por simbole.

PRSHKRIMI MATEMATIK I KANALIT DISKRET

PA MEMORIE
Lista e simboleve n hyrje

Lisat e simboleve n dalje

Gjasa me kusht q n dalje t kanalit do t

paraqitet simboli yj, nse sht drguar simboli xi

Nse gjasat me kusht jan t pavarura nga simbolet paraprakisht t emetuar n

kanal, ose nga ato q do t emitohen pastaj (te kanali me anticipim), thuhet se kemi
t bjm me kanal pa memorie.
Vendosja n dekodues mund t jet e till q numri i simboleve n dalje t jet i
njjt
jjt me at
t n
h
hyrje,
j por nukk sht
ht e th
thn
t jet
j t gjithmon
jith
ky
k rast.
t
Kshtu p. sh., kanali te i cili dekoduesi q pr hyrje binare (0 dhe 1) jep n dalje tre
simbole t ndryshme (0,1 dhe E), ku E sht biti q shqyrtohet e q sigurisht sht
bit i gabuar, quhet kanal binar me fshirje (Binary Erasure Channel BEC).
Kur n demodulator merret vendim definitiv pr simbolin q shqyrtohet, thuhet se
merret vendim i fort (hard decision). Por, n rastin e vendimit t but (soft decision),
sht e mundur q, prve vendimit pr simbol, dekoduesit ti drgohet edhe nj lloj
vlersimi pr vendimin e marr, p. sh., gjasn q vendimi i marr sht i sakt, q
rndom kodohet me disa bite.

58

Matrica e kanalit

Bashksin e gjasave me kusht P(yj /xi), q shkurtimisht do ta shnojm

me Pij,, mund ta paraqesim n form t matrics s kanalit, ku indeksi i
tregon
g numrin rendor t rreshtit, gj
gjegjsisht
gj
t simboleve hyrse,
y
ndrsa
indeksi j, numrin rendor t kolons gjegjsisht t simboleve n dalje.
Shuma e gjasave sipas rreshtave sht e barabart me 1, pra matrica P
duhet t jet stohastike, sepse pas pranimit t sinjalit duhet t vendoset cili
prej simboleve t pranuara yj sht pranuar, kur sht drguar simboli xi.
Te disa autor Pij.sht gjasa e pranimit t simboleve yi, kur sht emetuar
xj, dhe n at rast shuma e gjasave sipas kolonave duhet t jet e
barabart me 1.

Kanali binar

Kanali me numr m t vogl t simboleve sht kanali binar (Binary

Channel - BC), matrica e t cilit sht:

ku sht

v1 P1 / 1 dhe v 2 P0 / 0 jan gjasat kalimtare pr transmetim pa gabim,

ndrsa p1 P0 / 1 dhe p 2 P1 / 0 jan gjasat kalimtare pr transmetimi t
gabuar.
N vend t matrics s kanalit, kanali shpesh paraqitet edhe me graf, i cili
pr kanalin binar sht treguar n fig.

Nj form e veant e kanalit binar sht kanali binar simetrik (Binary

Symmetric Channel BSC), matrica e kanalit e t cilit sht:

59

Gjasa e gabimit te kanali binar

Simetria ndrlidhet me faktin q gjasat e kalimit nga 0 n 1 dhe nga 1 n 0

jan t barabarta ndrmjet veti.
Ky sht rasti i kanalit m t thjesht t mundshm q prcaktohet vetm
me parametrin p (v), pr t cilin njkohsisht tregohet se e ka vlern e
barabart me gjasn e gabimit (Pe). N kt rast gjasa e gabimit nuk varet
nga gjasa e paraqitjes s simboleve n hyrje t kanalit.
Por, te kanali i rndomt binar gjasa e gabimit sht
Pr sa i takon kanalit real, pr t cilin mund t shfrytzohet modeli i kanalit
BSC, ai do t ishte kanal pa interferenc t simboleve dhe me zhurm q
ka shprndarje simetrike t dendsis s gjass rreth vlers s saj
mesatare (gjas t njjt t kalimit nga 0 n 1 dhe nga 1 n 0), ndrsa
amplitudat n momentet e vendosjes jan statistikisht t pavarura, sepse
gabimet n kanal paraqiten n mnyr statistikisht t pavarur.
Ky sht n t vrtet kanal me zhurm t bardh t Gausit pa
interferenc t simboleve, i cili n praktik nuk haset aq shpesh, por BSC
shfrytzohen shpesh si model.

Kanali binar me fshirje

N fig. sht dhn kanali binar me fshirje (BEC), matrica e t cilit sht:

Shembull i kanalit diskret, i cili mund t paraqitet me modelin kanalit BEC,

sht sistemi q ka mundsi t lidhjes s kundrt, kshtu q marrsi ka
informacionin se a sht simboli q sht drguar paraprakisht i gabuar ose jo.
Te kanalet BEC, strategjia e puns optimale sht e qart nse n pranim
detektohet simboli i cili i prgjigjet fshirjes (rndom shnohet me E), dhnsi
duhet prsri t emetoj simbolin e till deri sa nuk pranohet njri prej simboleve
0 ose 1.

60

Lidhja kaskad e kanaleve binare simetrike

Pasi q kanali pr transmetimin e t dhnave n mnyr shum t

idealizuar mund t paraqitet si kanal BSC, edhe linja me m tepr
regjenerator
j
t pr
ttransmetimin
ti i di
digjital,
jit l gjithashtu
jith ht n
fform
shum
h t
idealizuar, mund t paraqitet si lidhje kaskad e m tepr BC-ve ose BSCve (dy n rastin n fig.)
Matrica e lidhjes kaskad e m tepr kanaleve BSC fitohet me shumzimin
e matricave t kanalit binar baz.
Kur numri i kanaleve t lidhur kaskad rritet, elementet e matrics s kanalit
ekuivalent BSC tentojn n vlern 0.5.

Zgjerimi i kanalit

Sikurse zgjerimi i burimeve, po ashtu edhe kanalet mund t zgjerohen duke

trajtuar sekuencn e n simboleve t kanalit fillestar si simbole t zgjerimit t
n-t.
t
P.sh., kur shqyrtohet zgjerimi i dyt i kanalit binar simetrik, pra (BCS)2,
matrica prkatse sht produkti i Kronekerit i matrics BSC.

61

RAPORTET E GJASAVE N KANAL

Le t jet dhn kanali diskret pa memorie i prcaktuar me matricn P,

me dimensione r x s.
Elementet e saj jan gjasat me kusht t paraqitjes s simboleve n
dalje, kur sht emetuar ndonj simbol n kanal - Pij P y j / xi - q
ndryshe quhen edhe gjas kalimtare ose gjas aposteriore e
simboleve n dalje.
Nse dihen edhe gjasat e simboleve n hyrje (gjasat hyrse ose gjasat
apriore) Pxi i 1,2,..., r , ather mund t njehsohen gjasat e
simboleve n dalje (gjasat dalse) si:
P y j P xi Pij
r

j 1,2,..., s .

i 1

Pra, n baz t gjasave hyrse dhe atyre kalimtare gjithmon mund t

njehsohen gjasat dalse. Kuptohet se gjasat hyrse dhe dalse duhet t
plotsojn edhe relacionet:

Por, n rastin e prgjithshm, nuk sht e thn t mund t njehsohen

gjasat hyrse n baz t gjasave kalimtare dhe atyre dalse.

SHEMBULL

Pr Kanalin BSC ku sht: p v 0.5, Px1 a dhe P x 2 b

baz t shprehjes paraprake kemi:

a b 1, n

Pra,
pa marr parasysh se sa jan gjasat n hyrje.
Duhet theksuar se ky sht megjithat rast ekstrem i kanalit kur a b 1

62

RAPORTET E GJASAVE N KANAL

Prve gjasave t prmendura, ekziston edhe bashksia e gjasave

aposteriore e simboleve n hyrje t kanalit, kur dihet se cili simbol sht
pranuar n
d
dalje,
lj t cilat
il t llogariten
ll
it duke
d k u nisur
i
nga rregulla
ll e B
Bajesit
j it pr

gjasn e prbashkt (joint probability) t dy ngjarjeve t dhn me shprehjen:

Gjasat aposteriore llogariten sipas shprehjes:

Ndrsa e shprehur prmes gjasave t hyrjes dhe atyre kalimtare sht:

sht e qart se duhet t vlej:

SHEMBULL

sht dhn kanali binar (BC), i prcaktuar me matricn:

Duhet njehsuar gjasat n dalje, nse gjasat n hyrje jan: P x1 3 / 4 dhe

Px 2 1 / 4

Kuptohet se duhet t vlej:

63

SHEMBULL - vazhdim

Gjasat aposteriore e simboleve n hyrje t kanalit jan:

SHEMBULL - vazhdim

Leht mund t llogariten edhe gjasat e prbashkta:

64

ENTROPIA APRIORE DHE APOSTERIORE

N fillim, kur sht trajtuar entropia, ajo sht prkufizuar me shprehjen:

Kjo entropi mund t quhet entropi apriore sepse llogaritet n baz t

gjasave apriore, dhe paraqet masn e pasiguris apriore pr at se cili
simbol do t drgohet.
Por, kur pranohet ndonj simbol konkret yj nga lista e simboleve Y, n kt
rast mund t flasim pr entropin aposteriore, q shprehet si:

Madhsia e till paraqet masn e pasiguris s mbetur aposteriore pr at

se cili simbol sht drguar, dhe mund t quhet entropi aposteriore parciale.

SHEMBULL vazhdim i shembullit paraprak

Pr shembullin numerik t dhn paraprakisht, pr entropin apriore dhe

aposteriore fitojm:
H(X )

3 4 1
bit
ld ld 4 0.811
4 3 4
simb

H X / y1

20 21 1
bit
ld
ld 21 0.276
21 20 21
simb

H X / y2

9 19 10 19
bit
ld ld
0.998
19 9 19 10
simb
i b

65

Entropia aposteriore

Entropin aposteriore parciale duhet mesatarizuar sipas t gjitha simboleve

dalse, n rast fitojm entropin aposteriore n formn:

Entropia e till aposteriore mesatare quhet edhe ekuivokacion (equivocation)

i X n lidhje me Y, dhe paraqet masn e pasiguris aposteriore pr at se
ka sht emetuar, nse dihet se ka sht pranuar.
Pr shembullin paraprak entropia aposteriore sht:

bit/simb
Pra, pasiguria pr at se ka sht drguar, nse dihet se ka sht pranuar,
megjithat n mesatare sht zvogluar ndaj asaj t fituar paraprakisht
(0.998 bit/simb).

INFORMACIONI RECIPROK

Le t marrim n shqyrtim vrojtuesin ideal i cili mund t prcjell hyrjen ose

daljen e kanalit, ose hyrjen dhe daljen njkohsisht. Vrojtuesi i till le t
ndjek
dj k n
nj
j momentt vetm
t simbolin
i b li xi t kkanalit.
lit Sasia
S i e iinformacionit
f
i it q

e merr nga pranimi i ktij simboli sht ld(1/p(xi)).

Nse sht pranuar simboli yj, masa e pasiguris mbi simbolin xi tash
ndryshon, dhe sht ld(1/p(xi/yj)).
Sasia e informacionit t transmetuar me iftin (xi,yj) sht e barabart me
ndryshimin e pasiguris fillestare dhe asaj prfundimtare

Vlern e till duhet mesatarizuar sipas t gjitha ifteve t simboleve (xi,yj).

Vlerat e tilla mesatare jan n t vrtet entropia apriore dhe aposteriore,
kshtu q sasia mesatare e informacionit t prcjellur pr nj simbol sht e
barabart me ndryshimin e entropis mesatare (pasiguris) apriore dhe
aposteriore n pranim:
bit/simb

66

INFORMACIONI RECIPROK

I(X,Y) paraqet sasin e informacionit t transmetuar (pr simbol), pr t ciln

do t prdorim emrin informacion reciprok (mutual information), q n form
m kompakte mund t shkruhet, duke prdor rregulln e Bajesit:

Pr shembullin paraprak:

= 0.194 bit/simb.

Vetit e informacionit reciprok

Nga shprehja e fundit pr informacion reciprok leht mund t prfundojm

se
, nse simbolet hyrse dhe dalse n ifte jan statistikisht t
pavarur, pra nse

.
Prfundimi i till edhe nj her intuitivisht vrteton qasjen e drejt gjat
prkufizimit t sasis s informacionit, sepse kur simbolet e pranuar nuk
varen nga simbolet e drguar, ather edhe nuk kemi kurrfar drgimi t
informacionit.
Gjithashtu mund t vrtetohet se informacioni reciprok sht madhsi m e
madhe ose e barabart me zero, pra
, ku shenja e barazimit vlen
vetm pr rastin paraprak t pavarsis statistikore.
Informacioni reciprok sht maksimal nse entropia aposteriore sht e
barabart me zero, sepse ather prcillen t gjitha informacionet q
emetohen, pra H(X) bit/simb. Kshtu q vlen:
.
Nga prkufizimi shihet se informacionit reciprok sht simetrik ndaj lists
hyrse dhe dalse, pra:

67

Llojet tjera t entropive

Entropia e prbashkt (joint entropy) e lists X dhe Y t simboleve, e cila

paraqet masn e pasiguris t ngjarjes s iftit (Xi,Yj) dhe duhet t jet
simetrike
i t ik ndaj
d j lists
li t X dhe
dh Y,
Y sht:
ht

Entropia (apriore) e lists dalse, q sht mas e pasiguris apriore pr

at se cili simbol do t pranohet, sht:

Entropia (aposteriore) me kusht e lists dalse, q prmban gjasat

kalimtare me kusht, dhe sht mas e pasiguris se ka do t pranohet
nse dihet se ka sht drguar, sht:

Raporti i informacionit reciprok dhe entropive t

ndryshme - rekapitulim

H(X) entropia apriore e lists hyrse, q sht mas e pasiguris apriore pr at se cili
simbol do t emetohet;
H(X/Y) entropia aposteriore e lists hyrse (ekuivokacioni) ose, si e quajn disa,
entropia e zhurms, q sht mas e pasiguris aposteriore pr at se ka sht emetuar,
nse dihet se ka sht pranuar;
H(X,Y) entropia e bashkuar e iftit t simboleve t lists hyrse dhe dalse, q sht
mas e pasiguris s sistemit telekomunikues n prgjithsi;
H(Y) entropia (apriore) e lists dalse ose entropi e marrsit, q sht mas e pasiguris
apriore pr at se cili simbol do t pranohet;
H(Y/X) entropia aposteriore me kusht e lists dalse, q sht mas e pasiguris
aposteriore pr at se cili simbol do t pranohet, nse dihet cili simbol sht emetuar.
I(X,Y)
H(X)

H(Y)

H(X/Y)
H(Y/X)
H(X,Y)

68

Raporti i informacionit reciprok dhe entropive t

ndryshme - rekapitulim

Duke u nisur nga simetrit evidente n shprehjet paraprake dhe duke

shfrytzuar veprime t ngjashme si n rastet paraprake, mund t
prcaktohen
kt h edhe
dh di
disa raporte
t ose marrdhnie
dh i t madhsive
dh i paraprake,
k si:i
H(X,Y) = H(X) + H(Y) - I(X,Y), ose
H(X,Y) = H(X) + H(Y/X), ose
H(X,Y) = H(Y) + H(X/Y).

Transmetimi i informacioneve npr kanal

Duke pas parasysh simetrin e prmendur, mund t shkruhet gjithashtu edhe shprehja
I(X,Y) = H(Y) H(Y/X).
Tash mund t shtohet pyetja a duhet interpretuar shprehjen sikur informacioni t
t
transmetohet
t h t n
drejtim
d jti t kundrt.
k d t Por,
P n
telekomunikacion
t l k
ik i sqarimi
i i lidhet
lidh t me vrojtuesin
jt
i i
cili n rastin paraprak ishte n pranim, tash ai sht n hyrje dhe sheh simbolet n hyrje
t kanalit por jo edhe n dalje.
H(Y) sht masa apriore e pasiguris s vrojtuesit se ka do t pranohet, ndrsa H(Y/X),
sht mas e pasiguris pr at se ka do t pranohet, kur dihet se ka sht drguar.
Gjithashtu formalisht mund t shkruhet se I(X,Y) = H(X) H(X/X) = H(X), pra q
informacioni reciprok i ndryshoreve t rastit me vetveten sht n t vrtet entropi e
ndryshores s rastit, prandaj entropia quhet edhe vetinformacion (selfinformation).
Informacione t padshirueshme
pr shkak t zhurms H(X/Y)
Inform. hyrse H(X)

Inform. dalse - H(Y)

Informacione t humbura
n kanal H(Y/X)

69

SHEMBULL

Pr kanalin BSC t prcaktuar me t dhnat e mposhtme, duhet njehsuar

informacionin reciprok I(X,Y).

H - funksion i entropis, i prkufizuar m hert:

SHEMBULL - vazhdim

Pr
, del:
kshtu q

ndrsa pr

kemi:

Kur
, kemi
bit/simb,
kshtu q vlera maksimale e informacionit reciprok n rastin e prgjithshm
sht:

Pr a=0 (dmth. a=1), informacioni reciprok sht i barabart me zero, sepse

n kt rast emetohet vetm nj prej dy simboleve t mundshm
mundshm, q dmth
dmth.
se nuk emetohet kurrfar sasie e informacionit, ndrsa cili simbol emetohet
sht e njohur edhe n pranim.

70

KAPACITETI I KANALIT

Duke u nisur nga fakti se rndom dihen gjasat hyrse dhe ato kalimtare,
Informacioni reciprok prmes s cilave shprehen edhe llojet tjera t gjasave,
kshtu q shprehja pr informacion reciprok sht:

Q t caktohet vlera e informacionit reciprok duhet t njihen gjasat hyrse

dhe ato kalimtare.
Informacioni reciprok nuk varet vetm nga kanali por edhe nga burimi i
shfrytzuar.
shfrytzuar
N nj kanal mund t kyen burime t ndryshme, kshtu q paraqitet
nevoja q t prkufizohet madhsia e cila prshkruan vetm kanalin.
Pasi q numri i simboleve n hyrje (r) sht i fiksuar, ather burimet e
veanta q paraqiten n hyrje t kanalit mund t dallohen vet pr nga
gjasat e simboleve ve e ve, por jo edhe pr nga numri i tyre

KAPACITETI I KANALIT

Pr nga ana praktike, sht e natyrshme t zgjidhen gjasat hyrse t tilla q

informacioni reciprok t jet maksimal. N at rast mund t prkufizojm
i f
informacionin
i i reciprok
i
k maksimal:
k i l

Maksimalizimi bhet me ndryshimin e bashksis s gjasave hyrse, duke

pas parasysh q gjasat e tilla t jen jonegative dhe shuma e tyre t jet e
barabart me nj.
N kt mnyr fitohet madhsia Imax e cila varet vetm nga gjasat
kalimtare dhe p
paraqet
q karakteristikn e vet kanalit.
Njsia pr informacionin reciprok maksimal sht bit/simb, dhe paraqet
sasin maksimale t informacionit q mesatarisht mund t transmetohet pr
nj simbol npr kanal (kur gjasat hyrse t jen zgjedhur me arsye).

71

KAPACITETI I KANALIT

Le t emetoj burimi simbole me shpejtsi vm(X,Y) simb/s, dhe le t jet kjo

shpejtsia maksimale me t ciln mund t transmetojm npr kanal.
N at rast shpejtsia maksimale me t ciln informacionet mund t
transmetohen npr kanal fitohet si produkt i shpejtsis s emetimit t
simboleve dhe informacionit reciprok maksimal.

C v max ( X , Y ) I max

simb bit
bit

s simb
s

Kjo madhsi quhet kapacitet i kanali ose aftsi lshimi e kanalit.

Disa autor, madhsia Imax e quajn edhe kapacitet t kanalit, pra mund t
thuhet se konsiderohet se shpejtsia e emetimit t simboleve sht 1
simb/s.

Fluksi i vrtet i informacioneve

N realitet edhe shpejtsia e puns edhe informacioni reciprok ose i

transmetuar mund t ken vlera m t vogla se ajo maksimale, dhe n at
rastt kemi
k i t bjm
bj me fluksin
fl k i e vrtet
t t t iinformacioneve,
f
i
i cili
ili sht:
ht
bit
( X , Y ) v( X , Y ) I ( X , Y )
s
ku v( X , Y ) dhe I ( X , Y ) jan vlerat reale nga kanali.

Duke pas parasysh fluksin e informacioneve dhe kapacitetin e kanalit, mund

t prkufizohet koeficienti i shfrytzimit t kanalit, i cili mund t shprehet
edhe n prqindje:
( X , Y )
c
C

72

Kapaciteti i kanalit pa humbje

Kanali sht pa humbje nse matrica e kanalit ka nga nj element n do

kolon, shih grafin dhe matricn prkatse t kanalit.

Pr kt kanal (pa humbje) sht e qart se H(X/Y) = 0, kshtu q:

ndrsa informacioni reciprok maksimal sht:

Kanali deterministik

Kanali sht deterministik nse matrica e kanalit ka vetm nga nj element

jozero n do rresht (kuptohet se elementi i till sht i barabart me nj),
shih grafin dhe matricn prkatse t kanalit
kanalit.

sht e qart se ktu H(Y/X) = 0, sepse pas drgimit t simboleve, sakt

dihet se cili simbol do t pranohet, prandaj informacioni reciprok sht:

ndrsa informacioni reciprok maksimal sht:

73

Kanali ideal

Kanali sht ideal nse matrica e kanalit ka nga nj element jozero n

secilin rresht dhe kolon, i cili sht zero, dhe me paranumrimin e
simboleve
i b l
kj
kjo matric
t i kkalon
l n
matric
t i di
diagonale,
l shih
hih grafin
fi dh
dhe matricn
ti
prkatse t kanalit.

Kanali i till sht njkohsisht deterministik dhe ideal.

Kanali uniform

Te kanali uniform elementet e do rreshti dhe do kolone t matrics s

kanalit paraqesin permutim t elementeve t klasit t par t elementeve t
njjta.
jjt
Nse matrica nuk sht katrore, kanali sht uniform nse elementet e do
rreshti paraqesin permutim t elementeve t njjta dhe elementet e do
kolone paraqesin permutim t elementeve t njjta.
Informacioni reciprok pr kanalin uniform mund t llogaritet leht:

Pasi q t gjitha rreshtat kan elemente t njjta

njjta, por vetm me renditje
tjetr, shuma e dyt n shprehjen paraprake nuk varet nga indeksi i, dhe si
e till mund t dali para shums s par, ndrsa ajo shum sht e
barabart me nj, pra:

74

Kanali uniform

Pasi q antari i dyt i shprehjes paraprake nuk varet nga gjasat hyrse,
por vetm nga kanali, informacioni reciprok maksimalizohet me gjetjen e
vlers maksimale t entropis s daljes H(Y).
H(Y)
Nse matrica e kanalit sht katrore (s = r), ather sht H(Y)max= ld r, dhe
arrihet nse t gjitha simbolet dalse kan gjasa t barabart.
N rastin e kanalit uniform mund t tregohet se simbolet dalse kan gjasa
t barabarta nse simbolet hyrse kan gjasa t barabarta. N at rast
informacioni reciprok maksimal sht:

Kanali binar simetrik (BSC)

Pasi q matrica pr kanalin BSC sht:

sht e qart se ky kanal sht uniform, kshtu q, me zvendsimin e

drejtprdrejt n shprehjen paraprake, kemi:

75

Kanali simetri r-ar

Ky kanal mund t prkufizohet si zgjerim logjik i kanalit BSC. sht kanal

uniform, matrica e kanalit e t cilit sht:

N baz t shprehjes s prgjithshme pr informacionit reciprok maksimal

te kanali uniform, fitohet drejtprdrejt:

Kanali binar me fshirje (BEC)

Pr kanalin e ktill, matrica e kanalit e t cilt sht:

mund t tregohet se:

Duke pas parasysh se burimi sht binar, vlera maksimale e H(X) sht e
barabart me nj dhe paraqitet ather kur t dy simbolet kan gjasa t
b b t pra ather
barabarta,
th kur
k gjasat
j
t e secils
il prejj tyre
t
sht
ht 0
0.5.
5
N at rast kemi:

76

Kanali diskret pa zhurma

Do t analizojm kanalin pa zhurma funksioni transmetues i t cilit i

prgjigjet filtrit t frekuencave t ulta, me frekuenc kufitare fg.
Sipas kriterit t par t Nikuistit, shpejtsia (rate) e emetimit t simboleve
sht vm(X,Y) = 2fg.
Pasi q n kanal nuk ka zhurma, marrsi do t prcaktoj sakt cilat
simbole jan drguar, gjegjsisht:
sepse sht

Informacioni reciprok do t jet maksimal ather kur entropia e lists s

simboleve hyrse sht maksimale
maksimale, pra kur t gjitha simbolet kan gjasa t
barabarta t paraqitjes. Ather sht:

Kapaciteti i kanalit t ktill sht:

KANALET DISKRETE ME MEMORIE

T kanalet
Te
k
l t di
diskrete
k t me memorie
i simbolet
i b l t n
d
dalje
lj varen nga simboli
i b li aktual
kt l
(current) i hyrjes si dhe simboleve paraprake hyrse dhe dalse.
Kanali diskret me memorie karakterizohet me:
bashksin e simboleve hyrse dhe dalse,
bashksin e gjendjeve,
bashksin e gjasave me kusht t paraqitjes s simbolit dals dhe i kalimit
n gjendje t re, kur dihet simboli aktual dhe gjendja paraprake.
Si edhe n rastin e kanalit pa memorie,
memorie edhe ktu do t konsiderojm se
gjasat me kusht nuk ndryshojn me kohn.
N vazhdim do t trajtohen kanalet me numr t fundm t gjendjeve, q
quhen kanale diskrete t fundm (Finite State Channels - FSC), duke u
prqendruar n modelet q si baz kan kanalet e caktuar reale

77

Kanali me zhurm impulsive

N kanal prve zhurms s Gausit paraqitet edhe zhurma impulsive,

kshtu q mund t konsiderohet si kanal jostacionar sepse gjat kohs
ndryshon
y
gjasa e g
gj
gabimit.
Zhurma impulsive paraqitet koh pas kohe n paketa t impulseve kshtu
q mund t konsiderohet se kanali pr nj koh punon si kanal i rndomt
me zhurm t Gausit ndrsa koh pas kohe paraqiten paketat e zhurms
impulsive.
N ato dy raste kemi gjasa t ndryshme t gabimit, sepse kanali praktikisht
ndodhet n njrn prej dy gjendjeve (me dhe pa pengesa impulsive).
Modelin e kanalit t ktill e ka propozuar Gilbert-i dhe ai prbhet prej dy
gjendjeve E MIR (M) dhe E KEQE (K).
N do gjendje kanali sillet si kanal BSC i cili, si dihet, prshkruhet vetm
m nj parametr (p),
(p) q njkohsisht sht gjasa e gabimit Pe.

KODET E KONTROLLIN T GABIMIT - Hyrje

N transmetimet digjitale pr masn e siguris (reliability) s sistemit n

prdorim t gjer sht gjasa e gabimit (error probability).

Pr pyetjet n lidhje me transmetimit t sigurt t informacionit pr shpejtsi

t caktuar t transmetimit (bite rate) npr nj kanal me kapacitet t dhn,
prgjigje jep teorema e dyt e Shanonit.

Pra, deri sa teorema e par e Shanonit sht baz pr komprimimin ose

kodimin statistikor t t dhnave, kjo e dyta sht teorem baz pr kodet e
kontrollit t gabimit.
g

78

Gjasa e gabimit

Le t marrim n shqyrtim kanalin binar t prcaktuar me matricn:

Gabimi n transmetim do t ndodh nse drgohet x1 ndrsa detektohet y2

ose drgohet x2 ndrsa pranohet y1.
Gjasa mesatare e gabimit (e ky sht mu ai nocion q nnkuptohet kur
thuhet gjasa e gabimit) sht:

N rastin e gjasave t barabarta hyrse

Nse kanali sht binar simetrik (BSC), ather

, kemi

A KA PYETJE?

79