Professional Documents
Culture Documents
Tdesoder Pemod: Raloa
Tdesoder Pemod: Raloa
Soutce
Coder NUX channe Diqtal R Sul
Coder
Mod syre
Mull plexer hd
ond
pa
pos
itn
Sqnod
a k is to mutiplea m a
t
clasnnel
one
channed der
i job
eror detertio
comat eror
d e t o h r
is wed to
Channel
dis c r e t e
Amplitud.
dis Uete
convert
raloa
Analag.
to
nalog to dgital.
Caert&
Camparq Quantizaton
2qton
annon't Cotanty
C B o ,CItSNR)
1T th stgnal whih is oriqin
Baie Bard cigna
uch e at l o frey-Cmeiage S'qa
traum stter
tronmi sion medun
) receivey
InfonatHon
Courte ad input transduter:
e SourLe encoder:
muni catton, we convert the siqnal tror
T digital com
metioned. The ePtuency
Source ioto dig ita siqnal a
Tetr in ttle
e nepreentation Source ouutfut
Seauen
ce inas digi
) no Yedundancy thir
Cea n e n c e
.
i called inPowmation
o aftiucntty convetq he
h e otput ck
The proce
Source nto a seauente o otnay
aralog Co digi td
digit is cale as Sour c e encudinga
Channet encodcr
Tne 'nformation Seamence iPagec through the channel
an
eCever to overcome
&u CPfettt of moi e
RF Subsrte FOuwerto
ALS
Sterm Bplues
Rodiorequncy
The
o m i e r o a v e .
in the for)
clnannel comphed tranamh
Digdal Demodulator;
r o ceLey
and d o t a ceD
Temoves w a v e - f o r m
Yectutes the
and
www-form
sAAc numben.
Channel Deuodkr;
he orñgna ignal.
btncts
Thas
Soure Decodcr; ppron epicoa
formthe ppr
algoritb, th
Uring entoding
traimit1ed cn) oñgnsin
Outpt transodluA
Ftnal opt om
01-08-264
Iofomation he
ory and Cbung,
Infosmation meauute
fArq infomation S oined be rivg a set d
8t eent
Meaqe, Ocurente
Selt tormatfGon;
PCxi)
we ve 1,) ,
C ) =
1 o)+ IO)
Ped
T4) o i , PC;) =1
POi)et
3 I C )2 o be Caue OL
I -Log (Pt )
ee Binar
Binary source;o's OcccAY 3 +ymc a d ten a 1's
Find %e Tofomatidn. comlained in 1's and a's, Bt 2
Nat
31+ -
o 34
Io) =
+tog, 3u
Co, B) = o-uIc 6it.
2bt
-b-28 7 Nat
=
o2a s ) L o . 4 ) = 0-693
EntroP
to -Fg ofomation.
IF refert
i P(x:) i ,,3,-- L
HCX = E PCX)I
R itsm x R
itr
sel
0 SI bit Bgmbos1
isCrete Memory-let
IF a sourre prdua a CeaeKes messov
Siati ona
-6prior Prob. d Mgnot chongee t h eateh oulsut thn
is clerttonar
Etrop a celf introduction
X = 2
Tall car orth
P PP Pn Ceol Pro L.
R P P -Pp
L
)
P:LoP: Lo (L)
L
Lo LSP
Log LC ). -teq
HCK) log
Souree
TP take cloino
O
PC)= PCX o)
P P(X 1 ) - - P(x -
hen en
ee HOX) -[PCa)a,P{*) +P(x,) tP)
t0-p)
- P ) Lo,Pl) +(l-PC))
H(x)
proo(P)
iF (s
diccrete dta produùng mugt. ard
t7 t.
H)eipreb. lt= = 2bit o 26 hartlea
Jeint and condiHonal entropy
2R-V. X and
ad q=9:
eh P(;) P(4,) X =Xi
Pixi,)
X ad indeperdert
P i ,) = PMi) Ply:)
ae e prob.
P( y) P(xi E)
P(y:
t (4) Pa,4) Lo
Py=0
PCA.) "lu PCa)-"ly
Fid HCr) ad +L) a H() a H[X/M)
HO o tL =6t laymbol
P(1) PC*9
PCi)
PC4.) PC-
PCly.)
Mu
.
PC
.1
xIS+or
68ubit.
Mctua information
x= i, Y-
Te IC,) ,
omount d infomation hat ii'ootain-d\ okout- X-
at ter obtervdna = Yi
Coq P(il4)
PC
andA Creave statically ind e pendent,
PCi ly:) - P(Li)
PC)P|zi)
Pi)eliai)omp:tpush
Pxi)
HCx)HCx) + H(9(x)
j= PCxi)
n
P ) p(ri) j
T(X)H (r) -
4{x/yDI
I(x,1) HC4)-H(R)
Properties d mttal nformatiorn.
TX4) -I(1;X)
T(K1) 2o
T O ) = tIH) -HCY|X)
DC
PCI)
ran sithoh
PCx)
PC,1 Pl
PClz) t P(Y-/a,) -I
PC,)+ PCl1) -1
T PlyJ)=P P(a)zP
P(,)=l-P Plta) -1-P
t-P Transition Pro.
Biay symmetril
'cnnel
(-P
P(x) , -p
BSC
channe
P it
) 1 for ai
PCX)-P) PO)P(,) PCx)
PCx) P()-
P) P(
PCy,)
P )
PCu) PL3,)
HCR)-L: *0
channel mdels
lP, olP ard set o tranution
ie i=j
GNo error
eo
EPCila:) =ISi-,l,-7{.
J
ehanne MOdtI
Tancitiv)
(,x) PG|x) - - Pun Probatilty
Po mactnx.
-Pl|x«)
Pca) PCA,B)
P(a)
P) P(4)-P(xi)
eca9,) P(m
-
T
-|
e
special channel
one
and ony one Mon-zerd etcrentin every totu
b 2 bu bs
PCba)
Lost o
iforrehon =O.
mouut d
ICA,B) = H{a) -BH(Als)
ILA, D) -H{a)|
one aand
non-2ero elenent in voud.
Cto)
alwas, a 6
H CBA) =o fr elcminit
TCe.E)H CE)
C ax e,8)).
C ma [H(L)
PLA)- PP e
P P
Properties
ePCbi lai) =t
p a ) -PC°ilai) Pai)
S
pa)P(ilo) a,Plbila)
fron prop
=
let h
T(A,8) H(B)- HCBIn)
TCA,8)- HB) -h |
C Max (ILA,B))-91s
C Max (HB)-K).
C Loq,S -h
EMample
For the Channel matrii
lo b
eCla)
H }Pj a, 3 +2
G
C- S
-u)
,
ts9 bits kumbol.
C
ogSh
g -1.GS9 F1y -lsymse.
0.12S8 Lit (ee.
inar&ymmetric channel:
b P
PCDla) =a
C oas-h
J
h -PLoq( *po
Tn tk S-l.only
HCx)
P() t
= 0 389 + 0s7
0 4 bitr ot
HC)
PC)- PCx) P{Y[x) +Pla) P(|l,)
P) PC) Pl) P[1,1)
H) 12 S
O1857 ee
R 1 M
Redund.anca
PCXM) 2
SJ.
eras re channel (BEC)
Binary ye
be R PP
br
To Pind t(Ab
uola)-h a
P Cog, P
let pa) u ad w+ =
be 6
PA,B) P(ai, b,) .e wp
P P
eaB) P (at ,6s)
o
HCAB) S
J
P(a,b) og.
P o ote
HCA) wl
C
a H(A) -HCANB)} 1
-H(a) Cr-p)
A P.g
Cascaded chanel:
X
channelT ctahnel 2
TCx)H(1) - H(Y|*)
ICx,z) -
H(a) -u(-lx)
0.9
e O8
o.2
.
22
-P(Xa)0:S
TCx, Z) LI (X,V