Факултет техничких наука

Универзитет у Приштини

Семинарски рад

Тема: Капацитет канала за пренос података

Предмет: Теорија информација и кодови у телекомуникацијама

Професор: Студент:

др. Ђоко Банђур Алекса Мирић 36/17/23

Косовска Митровица, Јануар 2024.

 Садржај

Увод...........................................................................................................................................1
1. Појам информације..............................................................................................................2
1.1 Информацијска хијерархија..........................................................................................2
1.2 Дефиниција количине информација.............................................................................3
1.3 Дискретни извори без меморије....................................................................................6
1.4 Ентропија извора............................................................................................................7
1.4.1 Ентропија бинарног извора.....................................................................................7
1.4.2 Информациони флукс..............................................................................................8
1.5 Дискретни извори са меморијом...................................................................................9
1.5.1 Ентропија Марковљевог извора.............................................................................9
2. Комуникациони канали.....................................................................................................10
2.1 Трансинформација........................................................................................................11
2.2 Капацитет канала..........................................................................................................13
2.3 Капацитет дискретног канала без меморије..............................................................14
2.4 Капацитет континуалног канала.................................................................................15
2.5 Капацитет канала у присуству шума и интерференције...........................................19
Закључак.................................................................................................................................22
Литература..............................................................................................................................23
 Увод

У теорији информација централни појам заузима појам информације као феномен и

комуникација као процес.

Интуитивна представа појма информације је готово свима нама блиска, али научна
заснованост и интерпретација информације утемељена је тек половином прошлог
века рађањем нове научне дисциплине Теорије информација.

Информација је постала релевантан појам за све науке које се баве симболичком

комуникацијом у распону од математичке до рачунарске науке, или од логике до
лингвистике, односно од електронике до библиотекарства, као и од хуманистичких
наука и уметности до документалистике, али и од друштвених наука до медицине и
др.

То је информацији дало интердисциплинарну димензију, јер је свака наука

покушала и још покушава да протумачи тај комплексан појам.

Све ово указује да појам информација није лако схватити нити једноставно
протумачити.

Информација је реч латинског порекла „in formare“ и изворно је значила стављање

у одређену форму, односно, давање обликанечему, али је током времена изгубила
првобитно значење.

Теорију информација је засновао Клод Шенон (Claude Shannon) (1916-2001).

Шенон је радио у истраживачком центру BellLaboratories (1941-1956), а касније у

Massachusetts Institute of Technology (1956-1978).

Шенон је тражио одговор на два фундаментална питања теорије комуникација:

1. До које мере се неки скуп података може компримовати (одговор:

ентропија извора H)
2. Шта је крајња брзина комуницирања за задати комуникациони канал
(одговор: капацитет канала C)

1
 1. Појам информације

Данас нема јединственог приступа феномену информације, а још мање једнозначне и

опште прихваћене дефиниције информације.

Навешћемо неколико дефиниција информације:

- Људи су творци и носиоци информација;

- Информациј мора, пре свега, да има одређени смисао, она мора бити носилац
значења;
- Информација је све оно што даје нове податке, или нова обавештења о некој
чињеници или неком догађају, који нису били раније познати;
- Информације су они делови вести који за примаоца имају вредност новости и
који му омогућавају да боље изврши своје задатке;
- Информације су сазнања која постају доступна помоћу средстава комуникација а
поседују обавештајне вредности;
- Садржај оног што размењујемо са спољним светом док му се прилагођавамо и
док утичемо на њега;
- Свесна или циљна организованост података.

У универзитетској литератури најчешће дефиниције појма информација су:

- Информација је инкремент знања“,њеним постојањем је наше знање о нечему

увећано;
- Информација је значење које додељујемо податку
- Информација је скуп података у неком контексту
- Информација је примљена и схваћена порука

Важно је направити разлику између податка и информације, појмова који се често

поистовећују.

На пример број 17 је податак и он као такав нема посебно значење. „сада је 17 часова“
је информација јер је податку додељено неко значење.

Тако можемо увидети да се информација састоји од податка и значења које му је

додељено.

1.1 Информацијска хијерархија

PIZM - Подаци, Информција, Знање, Мудрост (engl. Data,Information,Knowledge,

Wisdom) је предлог структурирања података, информација, знања и мудрости у
једну информацијску хијерархију где сваки ниво додаје одређена својства изнад и

2
 испод оног претходног:

- Податак је најосновнији ниво;

- Информација додаје контекст;

- Знање додаје како га употребити;

- Мудрост додаје како и зашто га употребити.

На следећој слци (слика 1.1) приказана је хијерархијска пирамида:

Слика 1.1: Хијерархијски модел PIZM

PIZM модел се темељи на низу поступака:

- Податак долази у облику необрађених запажања и димензија,

- Информација се обликује анализирањем веза и односа између података,

- Знање се обликује користећи информацију за деловање,

- Мудрост се обликује кроз употребу знања, кроз комуникацију корисника знања и

кроз размишљања. Општеприхваћено је мишљење да је податак мањи од
информације, а информација је мања од знања, односно, да би се креирала
информација потребан је податак и само када постоји информација знање може
изаћи на видело.

1.2 Дефиниција количине информација

Посматрајмо пренос поруке о догађају који представља једно од могућих стања неког
стационарног, дискретног, стохастичког процеса ξ(t).
3
Потенцијални прималац односно корисник поруке већ познаје природу стохастичког
процеса и функцију расподеле вероватноћа његових стања.

Претпоставимо да је корисник заинтересован само за једно одређено дискретно стање

случајног процеса si и живи у очекивању поруке да је стање si наступило.

Уколико је вероватноћа датог дискретног стања Pξ ( si ) мања, утолико је већа

неизвесност у којој се налази корисник.

Међутим, у тренутку пријема поруке да је стање si наступило, степен неизвесности

код корисника нагло се смањује, или, у екстремном случају потпуно поуздане и
неизобличене поруке, неизвесност прелази у извесност.

Према томе количина информација Q( si) коју садржи порука о стању si и априорна
вероватноћа датог стања Pξ ( si) очигледно су обрнуто пропорционалне величине:

1
Q( si)÷ P ξ ( si ) (1.2.1)

Размотримо сада нешто сложенију ситуацију када корисник очекује поруку о

здруженом стању, тј. о догађају када дискретни стохастички процес из стања si
после τ секунди пређе у стање s ј.

Аналогно претходној једначини, количина информација Q( s1 i , s2 ј ; τ ) коју садржи

порука о здруженом стању је инверзно пропорционална одговарајућој вероватноћи:

1
Q( s1 i , s2 ј ; τ )÷ P ξ1 ξ 2 (s 1 i , s 2 ј ; τ ) (1.2.2)

при чему је Pξ 1 ξ2 (s1 i , s 2 ј ; τ) здружена вероватноћа да ће посматрани стохастички процес

у тренутку t 1 проћи кроз стање si, а y тренутку t 2=t 1+¿ τ кроз стање s2 ј .

Ако су стања s1 i и s2 ј за свакоτ статистички независна, онда можемо да пишемо:

1 1
Q( si , s ј) ÷ P ξ ( si ) P ξ (s ј ) (1.2.3)

што значи да је количина информација у поруци о здруженом стању обрнуто

пропорционална производу априорних вероватноћа респективних некорелисаних
стања.

Међутим, ми смо навикли да парцијалне информације о неком здруженом догађају

сабирамо а не да множимо.

Да би, дакле, и математички израз за количину информација имао својство

адитивности, уобичајено је да се количина информација дефинише као логаритам
реципрочне вредности вероватноће, те претходна једначина (1.2.3) постаје:

4
 1 1
Q( si , s ј) ÷ log P ξ (si ) + log P ξ (s ј ) (1.2.4)

Први сабирак на десној страни једначине (1.2.4) представља, очигледно, количину

информција коју садржи порука о стању si , док други сабирак представља одговарајућу
количину информација Q( s ј ¿ коју садржи порука о стању s ј.

Тако, дефиниција количине информација према једначини (1.2.4) задовољава наше

интуитивно стање о адитивности информација.

Даби се количина информација могла и бројчано изразити потребно је да се дефинише

и основа логаритма у једначини (1.2.4).

У свом пионирском раду о преносу информација R.V. (Hartley) је предложио да се

користи логаритамска мера за количину информација, па неки аутори у његову част
јединицу за меру количине информација, која се добија када се узме логаритам са
основом 10, називају „Hartley“ . Дакле:

1
Q( si) ¿ log10 P ξ (si ) [Hartley] (1.2.5)

У решавању неких проблема погодно је за основу логаритма узети природни број е и

тада се јединица за меру количине информација назива „nat“ , што је скраћеница
енглеског назива „natural unit“ (тј. „природна јединица“).

1
Q( si) ¿ ln Pξ (s i) [nat] (1.2.6)

Међутим, у већини радова из теорије информација усваја се бинарна (тј. двојна) основа
логаритма, па се јединица за меру количине информација назива „shannon“ у част
Clauda Shannona:

1 1
Q( si) ¿ log2 P (s i) = ld P (s i) [shannon] (1.2.7)

Где ld означава дуални логаритам.

Када је извор информација стохастички процес са свега два дискретна стања и када су
1
оба стања једнако вероватна, тј. Pξ (si ) = онда једначина (1.2.7) постаје:
2

Q( s1) = Q( s2) = ld2 = 1[Sh] (1.2.8)

Према томе 1 shannon је количина информације коју садрђи порука о догађају који има
два могућа стања, уз услов да су оба стања једнако вероватна.

5
 1.3 Дискретни извори без меморије

У општем случају, сваки стохастички процес може да представља извор информација.

На излазу извора информација појављују се, наиме, у неком просторном или

временском распореду, саопштења у виду симбола који представљају могућа стања
процеса.

Пошто у погледу појављивања неког одређеног стања не постоји извесност, то симбол

којим се саопштава да је наступило одређено стање доноси кориснику поруке извесну
количину информација.

У већини случајева симболи се појављују на излазу извора информација у временском

низу, при чему временски интервали између појављивања симбола могу бити
константни или променљиви.

Уколико је посматрани процес дискретног типа и уколико му је скуп могућих стања

коначан – говоримо о дискретном извору информација, с коначном листом симбола.

Ако је појављивање појединих симбола на излазу извора у статистичком смислу

потпуно независно, онда имамо најпростији тип извора који не памти своја претходна
стања. За такав извор обично се каже да је без меморије.

Овакав извор у потпуности је окарактерисан својом листом симбола S = s1, s2,…, sq

и простим вероватноћама појављивања тих симбола P( s1), P( s2),…, P(s q).

Када се на излазу извора појави неки симбол si, онда тај догађај носи количину
информација:

1
Q( si) = ld P (s i) [Sh] (1.3.1)

Међутим, у практичним ситуацијама нас обично не интересује колику количину

информација носи један одређени симбол, јер он не мора да буде типичан представник
свих симбола које генерише посматрани извор.

На пример, ако посматрамо симбол који се врло ретко појављује и поред тога што
такав симбол носи велику количину информација, његов допринос статистичкој
средњој вредности количине информација неће бити значајан.

Да би смо могли објективније да проценимо информациону моћ извора, потребно је

дакле да одредимо статистичку средњу количину информација по једном симболу
извора:
q q
1
∑ P (s i)Q(si ) = ∑
i=1
P ( si ) ld
P (s )
(1.3.2)
i=1 i

6
ово је израз који у Теорији информација означава ентропију извора као мерило
просечне неизвесности о појављивању неког симбола са листе S посматраног извора

1.4 Ентропија извора

Према дефиницији, пишемо да је ентропија извора:

q
1 Sh
H(s) = ∑ P (s i)ld P (s i ) [ simb ] (1.4.1)
i=1

при чему величина ентропије нумерички означава просечни број сханнона по једном
симболу извора.

Аналогно претходном изразу (1.4.1), може се дефинисати ентропија H m(S) за неку

произвољну основу логаритма “m”
q
1 m− j . k .i
H m(S) = ∑ P (s i)logm P (s ) [ simb ] (1.4.2)
i=1 i

Овако дефинисана ентропија представља просечни број м-арних јединица количине

информација по једном симболу извора.

Пошто је ентропија функција вероватноће појављивања изворних симбола, лако

можемо показати да је средња вредност степена неизвесности о појављивању неког
симбола максимална када је функција расподеле вероватноће изворних симбола
униформна, тј. ако је:

1
P(si ) = q , i = 1,2, … , q

У том случају једначина (1.4.1) постаје:

q
1 Sh
H(s)max = ∑ q ldq=ld q [ simb ] (1.4.3)
i=1

1.4.1 Ентропија бинарног извора

За случај бинарног извора, ако вероватноћу појављивања ових симбола означимо

скраћеницама P(“0”) = α, P(“1”) = β онда је ентропија:

7
 1 1
H(s) = α ld α +(1−α )ld (1−α )

видимо да је етропија бинарног извора функција само једне независно променљиве α.

Због тога је уобичајено да се ентропијска функција бинарног извора обележава
посебном ознаком H(α):

H(s) = - [αldα +(1−α )ld(1-α)]

Слика 1.4.1: Ентропијска функција бинарног извора

1.4.2 Информациони флукс

Поред сханнона по симболу, неки аутори приписују ентропији димензију сханнона у

секунди.

Ова друга димензија односи си се у ствари на појам информационог флукса, односно

на брзину генерисања информација која је у телекомуникацијама од прворазредног
значаја.

Информациони флукс датог извора је:

Sh
Ф(S) = H(s)v(s) [ s ]

где је v(s) брзина генерисања симбола извора, односно број симбола у јединици
времена.

8
 1.5 Дискретни извори са меморијом

У многим изворима информација симболи нису статистички независни, такви извори

се називају се Марковљеви извори.

Вероватноћа појављивања неког симбола у Марковљевом извору зависи и од

претходног стања извора, тј. зависи и од тога које симболе извор претходно генерисао,
у том случају кажемо да извор “памти” одређени број симбола из непосредне
прошлости.

Степен памћења односно величина меморије изражава се бројем симбола.

На пример, ако памти “к” претходних симбола, онда такав извор називамо
Марковљевим извором к-тог реда.

Извор без меморије се може сматрати специјалним случајем, тј. Марковљевим извором
за који је к=0.

Слика 1.5: Дијаграм стања бинарног Марковљевог извора другог реда.

1.5.1 Ентропија Марковљевог извора

Посматрајмо ергодични Марковљев извор к-тог реда који је задат листом симбола:

k S = s1 , s2, … , sq

9
И одговарајућим условним вероватноћама:

P( si/ s j 1, s j 2 , … , s jk ) за i = 1,2,…, q и j = 1,2,..., q

Нека се посматрани извор налази у једном од својих могућих стања ( s j 1, s j 2 , … , s jк ),
па из тог стања нека генерише симбол si.

Количина информација коју доноси тај симбол si је:

1
Q¿/ s j 1, s j 2 , … , s jk ) = ld P (s i /s j 1 , s j 2 , … , s jk )

Просечна количина информација коју доноси појављивање било којег симбола док се
налази у одређеном стању ( s j 1, s j 2 , … , s jк ) може се одредити усредњавањем претходног
израза по свим могућим симболима извора:
q

H(k S / s j1, s j 2 , … , s jк ) = ∑ P ¿/ s j 1, s j 2 , … , s jk ) Q¿/ s j 1, s j 2 , … , s jk )

i=1

Ова средња вредност назива се парцијална ентропија Марковљевог извора.

Она означава средњи број сханнона по једном симболу извора док се извор налази у
одређеном стању.

Да би смо одредили средњи број сханнона по једном симболу извора, без обзира у ком
стању се извор налази, потребно је одредити средњу вредност парцијалне ентропије
преко свих могућих стања извора.

2. Комуникациони канали

Пренос информација подразумева или њихово преношење из једне тачке у другу или
њихово преношење кроз време.

Пример преношења од једне тачке до друге је комуницирање између два мобилна

телефона у једној мрежи, док је пример преношења кроз време меморисање неког
садржаја на неком меморијском медијуму, а затим његово ишчитавање у неком
будућем тренутку времена.

У оба случаја, сусрећемо се са проблемом поузданог преноса информација, како услед

деловања шумова на каналу за пренос, тако и у недостатку меморијског простора или
његовог квара.

10
Све присутни шумови на каналима преноса могу деловати на један од следећих
начина:

- У условима изузетно високог шума није уопште могуће обавити поуздан пренос
порука.
- Ниво шума је такав да је могуће пренети поруке са прихватљивим нивоом
грешака у преносу.
- Могуће је пренети поруке са вероватноћом грешке која се може учинити по
жељи малом применом кодова за исправљање грешака.
Основна идеја заштитног кодовања је додавање редундансе у кодиране поруке,
тако даи поред грешака у преносу преостаје довољно непромењених
информација у кодованим порукама на основу којих се може реконструисати
послата порукаса задатим нивоом грешке реконструкције.

Слика 2: Модел комуникационог канала

Комуникациони канал, или краће канал, репрезентује све што се може догодити са
поруком у току њеног преноса од предајника до пријемника (Слика 2).

Порука је низ симбола. Симбол је елемент скупа кога називамо алфабет.

2.1 Трансинформација

Посматрајмо канал који је приказан на следећој слици (2.1), на улазу у канал налази се
отпремни случајни процес {Х}, односно дискретни извор информација без меморије,
који у посматрани канал шаље симболе са отпремне Х листе (Х = х 1, х 2 , … , х m).

За сваки отпремљени симбол са Х листе на пријемној страни канала појављује се по

један симбол са пријемне У листе (У = У 1,У 2 , … ,У n).

Важно је нагласити да се по отпремању симбола x i са Х листе на пријемној страни

може под утицајем сметњи појавити било који симбол У i са пријемне У листе, у складу
са условним вероватноћама Р( x i /У i) које карактеришу посматрани канал.

11
 Слика (2.1): Статистички модел дискретног преносног канала без меморије

Са аспекта корисника информација који се налази на пријемној страни канала, пре

почетка преноса, просечна вредност степена неизвесности о појављивању неког
симбола са отпремне Х листе одређена је ентропијом извора, која се у овом случају
назива априорном ентропијом:
m
1
H(x) = ∑ P (xi )log2 P(x ) (2.1.1)
i=1 i

Када отпремимо први симбол са отпремне Х листе у канал, корисник информација на

пријемној страни прима симбол У i са пријемне У листе, у складу са расподелом
условних вероватноћа Р( x i /У i), тада се просечна вредност степена неизвесност о
отпремној Х листи обично смањује за вредност:
m
1
H(X/У j) = ∑ Р (xi /У j)log 2 P (x /У )
(2.1.2)
i=1 i j

која се у теорији информација дефинише као апостериорна ентропија, тј. средња

неизвесност о отпремној X листи након пријема једног симбола са пријемне Y листе.

Пошто пријем једног симбола није довољно поу дан индицатор, а објективнију
процену преносног канала, неопходно је одредити статистичку средњу вредност
апостериорне ентропије усредњавањем претходног израза по целој пријемној Y листи,
чиме добијамо:
n n m
1
H(X/Y) = ∑ Р (У j ) H(X/У j) =∑ ∑ Р (x i /У j )log 2 P (x /У ) (2.1.3)
j=1 j=1 i=1 i j

Просечну апостериорну ентропију на ивамо још и еквивокацијом, и она показује

колика је просечна неизвесност код корисника информација о отпремној X листи након
пријема свих симбола Yлисте.

Очигледно је да је пре почетка преноса симбола просечна неизвесност корисника

информација о отпремној X листи максимална, за дату расподелу вероватноћа
појављивања симбола, да би са почетком преноса почела да се смањује, и након
пријема свих симбола Y листе, у статистичком смислу се усталила на вредност која
одговара разлици средње априорне и средње апостериорне неизвесности о отпремном
случајном процесу {X}.

12
Ова разлика средњих вредности априорне и апостериорне неизвесности о отпремном
случајном процесу {X}, са аспекта корисника информација на пријемној страни,
упућује на закључак да је преносом симбола кроз канал пренесена и одређена количина
информација о отпремном случајном процесу {X}.

Ова пренесена количина информација се назива трансинформација и дефинише као:

I(X,Y) = H(X) – H(X/Y) (2.1.4)

Трансинформација је важна величина, и квантитативно одређује апсолутну вредност

средњег броја сханнона по једном пренесеном симболу.

Трансинформација зависи како од особина самог канала, тј. условних вероватноћа

Р(x i /У j), тако и од статистичких особина конкретног отпремног случајног процеса
{X}, односно расподеле вероватноћа појављивања његових тренутних вредности.

У циљу бољег разумевања условљености трансинформације априорном и

апостериорном ентропијом, посматрајмо преносни канал са слике (2.1) и следећа два
случаја:

1. Након пријема свих симбола са Y листе, средња неизвесност корисника

информација о отпремној Х листи је остала непромењена, тј. H(X/Y) = H(X).
Ово значи да кроз канал није пренесена никаква информација тј. I(X,Y) = 0.
Другим речима , преносни канал је у прекиду.

2. Након пријемасвих имбола са Y листе, средња неизвесност кориника

информација о отпремној Х листи је сведена на нулу тј. H(X/Y) = 0.
Ово значи да је пријем свих симбола Y листе донео кориснику целокупну
расположиву информацију о отпремној Х листи.
Другим речима, преносни канал је пренео целокупну информацију без губитака.

2.2 Капацитет канала

Капацитет канала, у електротехници, рачунарству и теорији информација, је теоријска

максимална брзина којом се информације могу поуздано пренети преко
комуникационог канала

Теорија информација, коју је развио Клод Шенон, дефинише појам капацитета канала
и пружа математички модел помоћу којег се он може израчунати.

13
Кључни резултат каже да је капацитет канала, дат максимумом међусобне
информације између улаза и излаза канала, при чему је максимизација у односу на
дистрибуцију улаза.

Појам капацитет канала је био централни за развој модерних жичаних и бежичних

комуникационих система, са појавом нових механизама кодирања за исправљање
грешака који су резултирали постизањем перформанси веома близу границама које
обећава капацитет канала.

Основни математички модел за комуникациони систем је следећи:

Слика 2.2 Комуникациони систем

где је:

- W је порука коју треба пренети

- X је симбол улазног канала
- Y је излазни симбол канала
- је процена пренете поруке
- је функција кодирања за блок дужине n
- p(y|x) је канал са шумом, који је моделован условном дистрибуцијом вероватноће
- gn је функција декодирања за блок дужине n.

2.3 Капацитет дискретног канала без меморије

У теорији информација капацитет канала се дефинише као максимална могућа брзина

преноса информација кро посматрани канал, те се у складу с тим може представити као
производ максималне трансинформације max[I(X;Y)] и максималне могућебрзине
трансмисије симбола у јединици времена v(X;Y), тј:

Sh
C = v(X;Y) max[I(X;Y)] [ s ] (2.3.1)

14
Из једначине (2.3.1) следи да капацитет канала који се изражава у Шенонима у
секунди, зависи како од статичких (максимална трансинформација max[I(X;Y)] ), тако
и од детерминистичких особина канала, тј. граничне учестаности пропусног опсега
канала f g .

Наиме, уколико би се преносни канал апроксимирао идеалним нископропусним

филтрoм који беz слабљења и било каквих и обличења пропушта све спектралне
компоненте из опсега (0, f g ),на основу теореме о одмеравању брзина трансмисије
симбола би била једнака тзв. „Никвистовој брзини“ тј. v(X;Y) = 2 f g.

Међутим, у реалним системима постоје разна линерана, нелинеарна и временска

изобличења, тако да је трансмисиона брзина симбола очекивано мања од Никвистове
брзине, која са теоријског аспекта представља једну детерминистичку константу датог
преносног канала

2.4 Капацитет континуалног канала

Јасно једасе дискретни канали без меморије разликују од континуалних бежичних

канала који се срећу у реалним системима.

У општем случају, израчунавање капацитета континуалног канала у општем случају

није нимало једноставан задатак и зависи одпримењених ограничења.

Један такав случај представља комуникациони канал са шумом чији је модел приказан
на следећој слици:

Слика (2.4.1): Илустрација дискретног комуникационг канала без меморије

Ово је канал саједним улазом и једним излазом, односно канал са једном предајном иједном
пријемном антеном, те је уобичајено да се у том смислу у теорији телекомуникација означава
и као SISO канал, независно од његових других карактеристика.

На пријемној страни посматраног канала имамо континуални случајни процес y = {Y}

(y C ), који је сума отпремног случајног процеса са улаза у канал х = {Х} (х C ), и
случајног шума n = {N} (n C ), тј:

y = hx + n (2.4.1)

где је hC импулсни одзив канала понат на излазу.

15
Ако претпоставимо да су све стварне сметње и шумови у каналу „представљени“ у
виду случајног шума n = {N}, при преносу кроз такав канал не долази до губитака
информација, па са становишта идеалног посматрача који види здружену (Х,У) листу,
а не види N листу, имајући у виду једначину (2.4.1) мора постојати једнакост између
здружене ентропије отпремних процеса Н(Х,N) и просечне примљене информације
која је једнака здруженој ентропији Н(Х,У), тј:

H(X,N) = H(X,Y) (2.4.2)

Имајући увиду да су процеи {Х} и {N} статистички независни, тако да је:

H(X,N) = H(X) + Н(N)

Као и да је за идеалног посматрача који би познавао како отпремни тако и пријемни
сигнал:

H(X,Y) = H(Y) + H(X/Y)

Следи да се једначина (2.4.2) може представити као:

H(X) + Н(N) = H(Y) + H(X/Y) (2.4.3)

Односно, након погоднијег размештања чланова:

H(X) - H(X/Y) = H(Y) - Н(N) (2.4.4)

Израз на левој страни представља трансинформацију, тако да се једначина (2.4.4) може

записати као:

I(X;Y) = H(Y) - Н(N) (2.4.5)

Трансинформација се још дефинише и као мера количине информација коју

једнаслучајна променљива садржи о другој случајно променљивој.

Да би смо одредили капацитет посматраног канала неопходно је да нађемо максималну

вредност ентропије шума Н(N).

Може се показати, да максималну ентропију при ограниченој средњој снази има онај
извор информација, обележићемо га са ѕ = {Ѕ}, који се понаша као нормални процес,
2
чија је варијанса σ = коначна и средња вредност тј, процес који ћемо у складу
са стандардом нотификацијом означити као .

Максимална ентропија једног таквог извора информација, дата је следећим изразом:

(2.4.6)

16
Да би смо израчунали max I(X;Y) у једначини (2.4.5) претпоставићемо да случајни
процеси {Х} и {N} имају нормалну расподелу тренутних вредности, да су њихове
средње вредности једнаке нули, и да су њихове средње снаге σ 2х и σ 2n коначне тј.

представићемо и .

На основу овога, а имајући у виду једначину (2.4.1) следи да је и случајни процес на

излазу канала {У}, који је сума два нормална случајна процеса, такође нормални
процес средње вредности:

(2.4.7)

И варијансе:

(2.4.8)

Односно:

σ у = ¿ h∨¿ σ x ¿ + σ n ≤ ∞
2 2 2 2
(2.4.9)

Ако се сада вратимо на израз (2.4.5), ина десној страни уведемо одговарајуће изразе за
ентропију нормалних случајних процеса y = {Y} и n = {N}, добијамо:

(2.4.10)

Ако у овај израз сменимо једначину (2.4.8) и (2.4.8) добијамо израз за максималну
трансинформацију у континуалном каналу:

(2.4.11)

Или у сређеном облику:

(2.4.12)

Ово је просечна количина информација по једном пренесеном одмерку континуалног

сигнала.

Ако је гранична учестаност прпусног опсега посматраног канала f g , онда је на основу

теореме о одмеравању у временском домену број потребних одмерка у секунди 2 f g, те
је то уједно и трансмисиона брзина одмерака v(X;Y).

Производ трансмисионе брзине v(X;Y) = 2 f g и израза (2.4.10) добија се :

17
 (2.4.13)

тј.

(2.4.14)

Што је тражени израз за капацитет дискретног канала, под условом да важе учињене
претпотавке о карактеру сигнала и шума и уз услов да је h детерминистичке приороде
и познато на оба краја канала.

Међутим , уколико h није детерминистичке, већ стохастичке природе, и у посматраном

тренутку представља само једну реализацију неког ергодичног случајног процеса,
независног од улазног сигнала и шума, тада је капацитет посматраног канала дат
изразом (2.4.14) такође случајна величина.

Из тог разлога за фединг канале се дефинише тзв. ергодични капацитет, као

статистичка средња вредност израза (2.4.14):

(2.4.15)

Где је Е(∙) оператор очекивања, и односи се на импулсни одзив канала, тј. канални
коефицијент ¿ h∨¿2 ¿ .

Поред свега горе наведеног, вреди напоменути да изрази за капацитет (2.4.14) и (2.4.15)
имају форму која је типична у телекомуникацијама: log 2 (1+SNR) – логаритам са
основом два од израза који представља збир јединице и односа сигнал-шум.

Као што је илустровано на следећој слици (2.4.2), за мале вредности односа сигнал-
шум капацитет канала је приближно линеарна функција од SNR, док за веће вредности
односа сигнал-шум важи апроксимација :log 2 (1+SNR)≈ :log 2 (SNR), односно капацитет
канала је приближно логаритамска функција од SNR.

Ово указује на ависност капацитета канала од ангажоване снаге за емитовање сигнала

на предајној страни канала.

Наиме, повећање предајне снаге има за последицу повећање односа сигнал-шум, што
последично омогућава одговарајуће повећање брзине протока, у претпоставку да је
брзина протока више условљена снагом него преносним опсегом.

Међутим, када се једном достигне одговарајућа брзина протока ограничена преносним

опсегом, даље повећање брзине протока није могуће – улази се у зону засићења,
уколико не дође и до повећања преносног опсега.

18
 Слика (2.4.2): Капацитет канала у функцији односа сигнал-шум

Генерално гледано, SNR је у телекомуникацијама најрелевантнији и најчешће

коришћени параметар а процену квалитета преноса сигнала у неком каналу, те је стога
било за очекивати да се појави у изразу који дефинише капацитет канала.

У реалним условима, услед присуства фединга у каналу, тј. услед променљивог

импулсног одзива канала, SNR флуктуира, и није детерминистичке, већ стохастичке
природе, те је стога погодније користити средњу вредност односа сигнал-шум а
процену квалитета преноса сигнала у каналу, која се дефинише као:

SNR = σ 2x E ¿ ¿ (2.4.16)

где се оператор очекивања, израчунава на основу свих реализација канала h.

2
Фактор E(|h| )називамо просечним добитком канала, с обзиром да је то просечна
вредност фактора промене снаге сигнала у каналу.

2.5 Капацитет канала у присуству шума и интерференције

Преноси у ћелијским мрежама су генерално изложени негативном утицају сметњи, које

потичу од истовремених преноса у истој и другим ћелијама, суседним и генерално
гледано просторно блиским, које ћемо звати интерференцијским сметњама, односно
скраћено интерференцијом.

Увођењем утицаја интерференцијских сметњи у модел канала илустрован на слици

(2.5.1), добијамо дискретни канал без меморије са интерференцијом и шумом приказан
на слици (2.5.1).

19
Интерференција није увек независна од улазног сигнала x и импулсног одзива канала h
.

Тачан капацитет канала са интерференцијом је у општем случају непознат, али се

процене ради може одредити његова доња граница.

Слика (2.5.1): Илустрација комуникационог канала без меморије са интерференцијом и

шумом

Посматрајмо канал приказан на с лици (2.5.1) на чијем улазу је сигнал х  C.

Претпоставимо да је шум независан, као и да су импулсни одзив канала

hC и интерференција у каналу v  C познати на излазу.

Излаз посматраног преносног канала у  C је дат израом:

y = hx + v + n (2.5.1)

Ако је извор интерференције случајни процес v = {V} са нормалном раподелом

тренутних вредности случајне променљиве, коначном варијансом и средњом
вредношћу која је једнака нули и који уз све то још и некорелисан
са извором информација на улазу у канал х = {Х}, тј. Carr(X,V) = 0, тада је доња гранична
вредност капацитета канала дата изразом:
2 2
¿ h∨¿ σ x
C≥ f g log 2(1+ 2 2
¿ ) (2.5.2)
σ v +σ n

И постиже се улазни сигнал

Ако претпоставимо још и да постоји случајни процес u = {U}, такав да утиче на

варијансу интерференције, као и да су вредности h и u познате на излазу канала, тада
уколико је:

 Шум условно независан од интерференције за дато

hиu
 Условна средња вредност интерференција једнака нули, тј. Е( v∨¿ H =h ,U =u ¿) = 0
 Интрференција условно некорелисана са улазним сигналом Carr(
X , V ∨¿ H =h , U =u , ¿)=0

доња гранична вредност ергодичног капацитета канала је дата следећим изразом:

C≥ E ¿ (2.5.3)

20
где је σ 2v ( h ,u ) = Е(¿ v∨¿2∨¿ H =h , U =u ¿ ¿ ) условна варијанса интерференције.

Доња гранична вредност за капацитет канала у изразу (2.5.3) одговара случају када се
нтерференција третира као додатни извор шума, што не мора бити оптимално са
аспекта теорије информација.

Наиме, у случајевима када је интерференцијски сигнал веома јак, уколико би се исти

третирао као шум, могло би доћи до грешака у декодовању примљеног сигнала.

Овакви случајеви не би требало да буду део реалног сценарија у добро пројектованим

мобилним мрежама.

Насупрот томе, у режиму слабих интерференција оптимално је и оправдано третирати

интерференцијски сигнал као додатни шум.

Изрази (2.5.2) и (2.5.3) имају облик типичан а бежичне комуникације: логаритам са

основом два од израза кога чини збир јединице и израз

који се интерпретира као однос сигнала с једне и интерференције и шума с друге

стране.

У општем случају, с обзиром на стохастичку природу h и σ 2v, SINR је случајна

променљива, те ћемо једноставности ради, било који израз х који се појављује у изразу
E(log 2(1+ x )) третирати као тренутни SINR.

Јасно је да у стварности не можемо искористи цео расположиви капациет канала, јер је

стварна преносна моћ канала у информационом смислу обично мања од теоријски
максималне вредности, дате изразом (2.5.3), те је стога корисно дефинисати појам
спектралне ефикасности канала.

Ми користимо изразе за спектралну ефикасност (SE) типа (2.5.3) наглашавајући да то

можда нису највишевредности (SE) које могу достићи, већ оне вредности (SE) који се
постижу мање сложеном обрадом сигнала у пријемнику, где се сметње третирају као
шум.

Резултати капацитета узимају у обзир дискретне канале без меморије, који се разликују
од практичних континуалних бежичних канала.

Међутим, ширина опсега В може се поделити у уске подканале, који су у основи без
меморије ако је време трајања симбола много дуже од кашњења у каналу.

21
 Закључак

Капацитет канала за пренос података је од изузетне важности у савременом

информационом добу.

Зависи од различитих фактора као што су: ширина опсега, број канала, ниво шума
интерференција...

Капацитет канала је основни концепт у теорији информација и комуникацијским

системима и представља максималну количину података коју је могуће пренети у
јединици времена.

Капацитет канала је кључни фактор за успешну комуникацију јер брз раст

информационих технологија захтева брз пренос велике колиина података.

За повећање капацитета канала користе зе разне технологије: мултиплексирање,

модулација, кодирање податка....

Узимајући у обзир све ове факторе, важно је прецизно проценити капацитет канала за
пренос података како би се осигурао ефикасан и пусти капацитет.

Додатно, континуирано надгледање и ажурирање капацитета канала је неопходно како

би се задржала оптимална перформанса и задовољили захтеви корисника.

22
 Литература

1. https://drive.google.com/file/d/1jRh6focFZTWND_FYJPn9Hmt210whxFMt/view?
usp=drive_web
2. https://drive.google.com/file/d/1TGAyZQWR8cxZr9bLLoc0UmTw937YTJzK/view?
usp=drive_webв
3. https://drive.google.com/file/d/1_Se1au6aJEFlx6AYjy4K46abfSPj_iDG/view?
usp=drive_web
4. https://drive.google.com/file/d/1j8Tqc6HVTAv4PYuMRm34UQWcTdFzeCDd/view?
usp=drive_web

23