Hình 14 - 19

Các chỉ số của các phần tử cuối cùng trong một cây, hoặc tương đương, của một chuỗi các
phân đôi tập hợp xác định một mã. Tất nhiên, có thể hình thành mã bằng cách khác; tuy nhiên, các mã
khác sẽ không được xem xét ở đây. Thuật ngữ "mã" ở đây sẽ chỉ đề cụ thể là một mã nhị phân được
xác định bởi một cây như đã nêu ở trên.
Trong Hình 14·18, chúng ta thể hiện các từ mã Xi của một nguồn S gồm N = 9 phần tử, cùng
với độ dài từ tương ứng Ij.

Định lí 14-8 : Nếu một nguồn S có N từ và độ dài các từ tương ứng là lj thì
N

∑ ❑ 214 =1 (14-166)
i=1

Chứng minh: Các nhánh của thế hệ cuối cùng của cây là những nhánh chấm và chúng tạo
thành các cặp. Hai nhánh của một cặp như vậy là hai đầu của hai đường đi có độ dài 1( hình 14-19).
Nếu chúng được loại bỏ, cây co lại thành một cây với N -1 điểm cuối. Trong quá trình này, hai đường
đi được thay thế bằng một đường đi có độ dài lr - 1 và hai biểu thức 2-lr trong (14-166) được thay thế bởi
biểu thức 2-(lr -1 ).

− (ar −1 )
2−l +2−l =2
r r
(14-167)

Vì tổng không thay đổi. Do đó, tổng độ dài nhị phân trong (14-166) không đổi sau một sự co
lại. Lặp lại quá trình cho đến khi chúng ta chỉ còn lại hai nhánh của thế hệ đầu tiên. Chúng ta duy trì
(14-166) bởi vì 2-1 + 2-1 = 1 .

Định lí 14-9 : ( Định lí nghịch) Cho N số nguyên li thỏa mãn (14-166) chúng ta có thể xây dựng một
mã hóa với độ dài của li
Chứng minh: Đủ để xây dựng một cây nhị phân với đọi dài đường đi li. Từ (14-166), ta có thể
suy ra rằng nếu lr là số nguyên lớn nhất trong các số nguyên li thì số n của các độ dài bằng lr là số chẵn.
Sử dụng n = 2m đoạn, chúng ta tạo ra các nhánh thế hệ cuối cùng của cây. Nếu mỗi trong m một cặp số
nguyên 1, được thay thế bởi một số nguyên duy nhất lr - 1 và tất cả các số khác không thay đổi, tập hợp
các số kết quả sẽ thỏa mãn (14 - 166) ( nhìn 14 - 167)
Tree construction

1 1 2 3 4 5 6 7 8
 li 2 2 3 3 4 4 4 4

2 2 3 3 3 3

2 2 2 2

1 1

xi 11 10 011 010 0011 0010 0001 0000

Hình 14 -20.
Vì vậy chúng ta tiếp tục quá trình này cho đến khi chúng ta chỉ còn lại phần tử. Những phần tử
này tạo ra hai nhánh của thể hệ đầu tiên. Quy trình này được minh họa trong Hình 14 - 20 cho N = 8.
Giải mã: Trong cuộc thảo luận trước đó, chúng tôi đã trình bày một phương pháp mã hóa các
từ ɛi của nguồn S. Mã hóa một tin nhắn hoàn chỉnh theo định dạng (14-164) có thế được thực hiện
bằng cách mã hóa từng từ theo thứ tự. Kết quả là một thông điệp đã được mã hóa như trong (14 - 165).
Giải mã là quá trình đảo ngược: Cho một thông điệp đã mã hóa, tìm thông điệp nguồn tương ứng. Vì
mã hóa từng tạo ra một mối tương ứng một - một giữa ɛi và xi , việc giải mã từng từ của một thông điệp
hoàn chỉnh cũng có thể đuợc giải mã như vậy vì không có khoảng trống ngăn cách các từ mã( điều này
sẽ yêu cầu một chữ cái bố sung bảng chữ cái mã) . Vấn đề về việc tách biệt không tồn tại đối với các
mã được xây dựng thông qua sự chia đôi ( như đã đuợc nêu ở trên) vì các mã như vật có thuộc tính sau:
Không có từ mã nào là phần đầu của một từ mã khác. Thuộc tính này là hậu quả của việc trong bất kỳ
cây nào, mỗi đường đi kết thúc tại một điểm cuối; do đó, nó không thể là một phần của một đường đi
khác. Các mã có thuộc tính này được gọi là "tức thời" vì chúng có thể được giải mã ngay lập tức; nghĩa
là, nếu chúng ta bắt đầu từ đầu của một thông điệp, chúng ta có thể xác định ngay lập tức điểm cuối của
mỗi từ mà không cần tham khảo đến tương lai.

Ví dụ 14 - 24 : Chúng tôi muốn giải mã thông điệp

10110100001010001011111000000010

Tạo ra bằng mã như được thể hiện trong hình 14-18. Bắt đầu từ đầu, chúng tôi xác định các từ mã bằng
cách gạch chân chúng theo sự hỗ trợ của bảng trong Hình 14-18:

10 1101 000 010 10 0010 111 1100 000 0010

Thông điệp tương ứng là chuỗi.

ζ 6ζ 8ζ 1ζ 4 ζ6 ζ2 ζ9 ζ7 ζ1 ζ2
Mã hóa tối ưu
Trong trường hợp thiếu thông tin trước, hai tập con của mỗi phân chia tập hợp được lựa chọn
sao cho chúng có gần như số phần tử bằng nhau. Kết quả là độ dài của mã sẽ gần như bằng log N. Tuy
nhiên, nếu có thông tin trước, thì có thể xây dựng các mã hiệu quả hơn. Thông tin thường được cung
cấp dưới dạng tần suất tương đối và được sử dụng để tạo mã với độ dài trung bình tối thiểu. Vì tần suất
tương đối được mô tả tốt nhất trong khái niệm xác suất, chúng ta sẽ giả định từ bây giờ rằng nguồn S là
một không gian xác suất.
ĐỊNH NGHĨA. Mã hóa ngẫu nhiên là quá trình gán cho mỗi từ nguồn ɛi một số nhị phân xi.
Vì ɛi là một phần tử của không gian xác suất S, một mã hóa ngẫu nhiên xác định một biến ngẫu nhiên xi
sao cho:
x ( ζ i )=x i

Độ dài của một mã hóa ngẫu nhiên là một biến ngẫu nhiên L sao cho
L ( ζ i ) =li (14 −168)

trong đó li là độ dài của từ mã xi được gán cho phần tử ɛi.

Giá trị kỳ vọng của L được ký hiệu bằng L và được gọi là độ dài trung bình của mã hóa ngẫu
nhiên x. Do đó
L=E { L}=∑ ❑ pi l i (14-169)
i

Trong đó pi=P { x=x i }=P { ζ i } .

Mã hóa tối ưu : Một mã hóa tối ưu là một mã mà độ dài trung bình không vượt quá độ dài
trung bình của bất kỳ mã hóa nào khác. Một mục tiêu cơ bản trong lý thuyết mã hóa là xác định mã hóa
tối ưu như vậy. Mã hóa tối ưu có những thuộc tính sau:
1. Giả sử rằng ɛa và ɛb là hai phần tử của không gian xác suất S sao cho:

pa=P { ζ a } p b=P { ζ b } l ( ζ a )=l a l ( ζ b ) =l b

Chúng tôi duy trì rằng nếu mã hóa là tối ưu và

pa > pb then l a ≤l b (14-170)

Chứng minh. Giả sử là la > lb. Bằng cách hoán đổi mã được gán cho các phần tử ɛa và ɛb, chúng ta thu
được một mã mới với độ dài trung bình
L1=L − ( pa l a + pb l b ) + ( pa l b + p b l a )=L − ( pa − pb )( l a −l b )

Và vì (pa - pb)(la - lb) > 0, chúng tôi kết luận rằng L1 < L. Tuy nhiên, điều này là không thể bởi vì L là
độ dài của mã tối ưu; do đó, la <= lb.
Áp dụng lặp lại của (14-170) dẫn đến kết luận rằng nếu

p1 ≥ p2 ≥ ⋯ ≥ p N then l 1 ≤ l 2 ≤ ⋯ ≤ l N (14-171)

2. Các phần tử (từ nguồn) có hai xác suất nhỏ nhất PN-1 và PN nằm trong thế hệ cuối cùng của cây; nghĩa
là, độ dài mã của họ là IN-1 và IN.
Chứng minh. Điều này là một hậu quả của (14-171) và sự thực rằng số lượng nhánh trong mỗi thế hệ
là số chẵn.
Bản định lý cơ bản sau đây cho thấy mối quan hệ giữa entropy
N
H (V )=− ∑ ❑ p i log ⁡pi
i=1
Của phân chia từ nguồn V và độ dài trung bình L của một mã hóa ngẫu nhiên x bất kì.

Định lí 14 - 10 :
H (V )≤ L (14-172)
Chứng minh. Như chúng ta đã thấy từ (14-166), nếu li là độ dài của các từ mã của x và qi = 1/2li, thì
tổng của các qi bằng 1. Với ai = pi và bi = qi, do đó theo (14-37), ta có (14-172) là kết quả.

− ∑ ❑ pi log ⁡pi ≤− ∑ ❑ p i log ⁡qi=∑ ❑ pi l i=L (14-173)

i i i

Nhìn chung, H(V) < L. Tuy nhiên, chúng tôi duy trì rằng H(V) = L nếu và chỉ nếu các xác suất pi là hệ
thập phân nhị phân, nghĩa là pi = 1 /2ni.

Chứng minh. Nếu H(V) = L, thì (14-173) là một đẳng thức; do đó pi = 1/2ni [xem (14-37)] và khẳng
định của chúng tôi là đúng vì độ dài Ii là số nguyên.
Ngược lại, nếu pi = 1/2ni, và ni là số nguyên, thì chúng ta có thể xây dựng một mã hóa với các độ dài Ii
= ni vì tổng của các pi bằng 1. Độ dài L của mã hóa này bằng H(V). Nói cách khác, nếu tất cả pi đều là
hệ thập phân nhị phân, thì mã hóa với các độ dài Ii = ni là mã hóa tối ưu.

Mã hóa Shannon, Fano, Huffman

Định lý cuối cùng cung cấp cho chúng ta một giới hạn dưới cho độ dài trung bình của mã L,
nhưng nó không nói rằng chúng ta có thể tiến đến giới hạn này gần như đến đâu. Cuối phần này, chúng
ta sẽ thấy rằng nếu chúng ta mã hóa không từng từ mà một thông điệp hoàn chỉnh, thì chúng ta có thể
xây dựng mã có độ dài trung bình trên mỗi từ nhỏ hơn H(V) + ɛ với mọi ɛ > 0.
Bây giờ, chúng tôi sẽ trình bày ba mã hóa nổi tiếng bao gồm mã hóa tối ưu (Huffman). Sự mô
tả về các mã hóa này sẽ được làm rõ trong Ví dụ 14-25.
MÃ HÓA SHANNON. Như chúng ta đã lưu ý, nếu tất cả các xác suất pi là hệ thập phân nhị phân, thì
mã hóa với độ dài Ii = -log(pi) là tối ưu. Dựa trên điều này, chúng ta sẽ xây dựng một mã hóa cho tất cả
các trường hợp khác.
Mỗi pi chỉ định một số nguyên ni sao cho
1 1
n
≤ pi < n −1 (14 - 174)
2 i
2 i

trong đó pi > 1/2ni ít nhất cho một pi (giả định). Với ni là số nguyên lớn nhất, kết quả từ (14-174) là
N

∑ ❑ 21n ≤1 − 21n i m
(14-175)
i=1

bởi vì phía trái là một số nguyên nhị phân nhỏ hơn 1. Nếu nm được thay đổi thành nm-1, giá trị kết quả
của tổng trong (14-175) sẽ không vượt quá 1. Chúng tôi tiếp tục quá trình giảm số nguyên lớn nhất đi 1
cho đến khi chúng tôi đạt được một tập hợp các số nguyên Ii sao cho
N

∑ ❑ 21l =1 li ≤n i
i
(14-176)
i=1

Với tập hợp số nguyên này, chúng ta xây dựng một mã hóa và chúng ta ký hiệu bằng La độ dài trung
bình của nó. Do đó,
N N
La=∑ ❑ pi l i ≤ ∑ ❑ pi ni
i=1 i=1
Chúng tôi khẳng định rằng

a
H (V )≤ L < H (V )+1 (14-177)

Chứng minh. Từ (14-174), chúng ta có ni < -log(pi) + 1. Nhân với Pi và cộng, chúng ta thu được:
N N

∑ ❑ pi ni <∑ ❑ pi ( − log ⁡pi +1 ) =H (V )+1

i=1 i=1

và (14-177) là kết quả [xem (14-172)].

MÃ HÓA FANO. Chúng ta sẽ mô tả mã hóa này dựa trên phân chia tập hợp dựa trên quy tắc chia tách
sau đây. Chúng ta đánh số các xác suất pi theo thứ tự giảm dần.
 p1 ≥ p2 ≥ ⋯ ≥ p N (14-178)

và chúng ta chọn các tập hợp A₀ và A₁ của thế hệ đầu tiên sao cho chúng có xác suất bằng nhau hoặc
gần bằng nhau. Để làm điều này, chúng ta xác định k sao cho :

p1 + ⋯ + p k ≤ 0.5 ≤ p k+1 + ⋯ + pN

và chúng ta thiết lập A₀ bằng {ɛ1 , ɛ2..., ɛk } hoặc {ɛ1, ..., ɛk+1}. Cùng quy tắc này được sử dụng trong tất
cả các phân chia sau này. Như chúng ta thấy trong Ví dụ 14-25, độ dài L của mã hóa kết quả gần với độ
dài mã hóa Shannon La.
Chúng tôi lưu ý rằng, do có sự mơ hồ trong việc lựa chọn các tập con trong mỗi phân chia, mã
hóa Fano không là duy nhất.
MÃ HÓA HUFFMAN. Chúng tôi ký hiệu xoN là mã hóa tối ưu gồm N phần tử và LoN là độ dài trung
bình của nó. Chúng tôi sẽ xác định xoN bằng cách sử dụng phép toán sau: Chúng tôi sắp xếp các xác
suất pi của các phần tử ɛi của S theo thứ tự giảm dần như trong (14-178) và đánh số các phần tử tương
ứng ɛi theo thứ tự đó. Sau đó, chúng tôi thay thế hai phần tử cuối cùng ɛN-1 và ɛN bằng một phần tử mới
và gán cho phần tử này xác suất pN-1 + pN. Một nguồn mới được tạo ra với N - 1 phần tử. Phép toán này
được gọi là sự thu nhỏ Huffman.
Trong bảng của Ví dụ 14-25, phần tử mới được xác định bằng một hộp trong đó các phần tử
được thay thế được hiển thị.
Bằng cách sắp xếp lại các xác suất của nguồn mới theo thứ tự giảm dần, chúng tôi lặp lại phép
toán thu nhỏ Huffman cho đến khi chúng tôi đạt được một tập hợp với chỉ còn hai phần tử.
Đối với mỗi phần tử ɛi của nguồn S, chúng tôi sẽ gán một từ mã xi bắt đầu từ chữ số cuối:
Chúng tôi gán các số 0 và 1, tương ứng, cho các chữ số cuối cùng của các từ mã của các phần tử ɛN-1 và
ɛN. Tại mỗi lần thu nhỏ tiếp theo, chúng tôi gán các số 0 và 1 bên trái của các từ mã đang hoàn thành
một phần của tất cả các phần tử được bao gồm trong hai hộp cuối cùng.
Mã hóa được tạo ra như vậy (Huffman) sẽ được ký hiệu bằng xcN; và độ dài trung bình của nó
bằng LcN;. Chúng tôi sẽ chỉ ra rằng mã hóa này là tối ưu.
Chứng minh. Chứng minh về tính tối ưu dựa trên quan sát sau đây. Chúng ta có thể dễ dàng thấy rằng
hai từ mã cuối cùng xN-1 và xN có cùng độ dài lr. Trong Ví dụ 14-25,

N=9 x 8 =00000 x 9=00001 l r=5

Nếu chúng ta thay thế hai từ mã này bằng một từ mã duy nhất bao gồm phần chung của
chúng, chúng ta sẽ thu được mã hóa Huffman xcN-1 cho tập hợp N - 1 phần tử và độ dài của phần tử mới
bằng lr-1. Điều này dẫn đến kết luận rằng

c c
LN − ( p N −1 + p N ) l r=L N −1 − ( p N − 1+ p N ) ( l r −1 )

Do đó
c c
LN =L N −1 + p N −1 + p N (14-179)

Trong ví dụ
7 7
Lc9=∑ ❑ pi l i+ 5 p 8+5 p9 Lc8=∑ ❑ pi l i+ 4 ( p8 + p 9 )
i =1 i=1

Chứng minh bằng quy nạp. Mã hóa Huffman là tối ưu cho N = 2 vì chỉ có một mã hóa với hai
từ mã. Chúng tôi giả định rằng nó là tối ưu cho mọi nguồn với k phần tử, trong đó k <= N - 1, và chúng
tôi sẽ chỉ ra rằng nó cũng là tối ưu cho k = N. Giả sử rằng có một nguồn S với N phần tử mà điều này
không đúng, tức là, giả sử rằng

0 c
L N < LN (14-180)

Như chúng ta biết, hai phần tử ɛN-1 và ɛN có xác suất nhỏ nhất nằm trong các nhánh thế hệ cuối
cùng của cây mã hóa tối ưu. Nếu chúng được loại bỏ, cây bị thu nhỏ sẽ xác định một mã hóa mới với
độ dài LN-1. Bằng cách lý luận giống như trong (14-179), chúng ta kết luận với (14-180) rằng
 0 c c
LN −1 + p N −1 + p N =L N < L N =L N −1 + p N −1 + p N

do đó LN-1 < LcN-1. Nhưng điều này là không thể bởi vì mã hóa Huffman cấp N - I được giả định là tối
ưu.
Ví dụ 14 - 25: Chúng tôi sẽ mô tả các mã hóa trên bằng cách sử dụng một nguồn là một tập hợp S với
chín phần tử. Xác suất của chúng được hiển thị trong bảng dưới đây:

i 1 2 3 4 5 6 7 8 9
pi 0.22 0.19 0.15 0.12 0.08 0.07 0.07 0.06 0.04

Entropy kết quả bằng

9
H (V )=− ∑ ❑ p i log ⁡pi =2.703
i=1

Mã hóa Arbitrary Chúng ta tạo mã hóa bằng cách sử dụng một chuỗi của các phân chia được
chọn tùy ý như trong Hình 14-19. Trong bảng dưới đây, chúng tôi hiển thị các từ mã và độ dài của
chúng.

i 1 2 3 4 5 6 7 8 9
xi 000 0010 0011 010 011 10 1100 1101 111
li 3 4 4 3 3 2 4 4 3

9
L= ∑ pi li=3.40
i=1

Mã hóa Shannon Trong bảng dưới đây, chúng tôi hiển thị các số nguyên ni được xác định từ
(14-174) và việc giảm cần thiết cho đến khi độ dài cuối cùng li; được đạt được. Cây mã hóa tương ứng
được hiển thị trong Hình 14-20.

pi 0.2 0.1 0.1 0.1 0.0 0.0 0.0 0.0 0.0

N
2 9 5 2 8 7 7 6 4

1 1 1 1 1 N1 1
3
≤ p i< 2 4
≤ pi < 3 5
≤ p i<∑i =1
4 n
2 2 2 2 2 2 2 i

nn 3
i
3 3 4 4 4 4 5 5 12/16
3 3 3 3 3 4 4 4 4 14 /16
ui 3 3 3 3 3 3 3 4 4 1

00 01 01 111 111
x i 000 100 101 110 a
L =3.1
1 0 1 0 1

Mã hóa Fano Trong bảng dưới đây, chúng tôi hiển thị các tập con được thu được với phân
chia Fano và xác suất tương ứng của chúng. Các tập cuối cùng của thế hệ cuối cùng là các phần tử ɛi
của S; xác suất của họ được hiển thị trên hàng đầu của bảng. Các phân chia bắt đầu từ
 Mã hóa Optinum Trong bảng dưới đây, chúng tôi hiển thị tập hợp gốc S9 gồm chín phần tử
và các tập con thu được với mỗi phép thu nhỏ Huffman. Các phần tử ɛi được xác định bằng chỉ số của
họ và các phần tử kết hợp bằng hộp. Mỗi hộp chứa tất cả các phần tử ɛi của nguồn gốc tham gia trong
mỗi phép thu nhỏ, và sự phát triển của từ mã của họ xi bắt đầu từ chữ số cuối cùng. Các hàng dưới mỗi
dòng Si hiển thị xác suất của các phần tử khác nhau trong Si. Ví dụ, số 0,10 trong dòng dưới dòng S7 là
xác suất của hộp (phần tử của S7) chứa các phần tử ɛ8 và ɛ9.

Cột ở phía bên phải cùng hiển thị tổng của hai xác suất nhỏ nhất của các phần tử trong Si. Số
này được sử dụng để tạo dòng Si+1 bằng cách sắp xếp lại các phần tử của Si.

Các từ mã hoàn thành xi được lấy từ dòng cuối cùng của bảng và độ dài mã hóa của họ li được
liệt kê dưới đây.

1 2 3 4 5 6 7 8 9
 xi 10 11 001 011 0001 0100 0101 00000 00001

li 2 2 3 3 4 4 4 5 5

∘
L =3.01
Định lí mã hóa Shannon
Trong bài thảo luận trước đó, chúng ta chỉ xem xét các mã của các phần tử ɛi trong một tập
hợp S và đã chỉ ra rằng mã hóa tối ưu nằm giữa H(V) và H(V) + 1:

0
H (V ) ≤ L ≤ H (V )+1 (14 - 181)

Điều này xuất phát từ (14-172) và (14-177). Chúng tôi sẽ chỉ ra tiếp theo rằng nếu chúng ta
mã hóa không chỉ từng từ mà cả các thông điệp hoàn chỉnh, thì độ dài mã hóa trên mỗi từ có thể được
giảm xuống dưới H(V) + ε với bất kỳ ε > 0.
Một thông điệp có độ dài n là bất kỳ phần tử nào của không gian sản phẩm SN. Số lượng các
thông điệp như vậy là Nn và một mã hóa của không gian Sn là một sự tương ứng giữa các phần tử của
nó và một tập hợp của Nn số nhị phân. Sự tương ứng này xác định biến ngẫu nhiên xn (mã hóa ngẫu
nhiên) trên không gian Sn và độ dài của các từ mã tạo thành một biến ngẫu nhiên khác Ln (độ dài mã
hóa ngẫu nhiên). Giá trị kỳ vọng Ln của Ln là độ dài mã hóa trung bình. Từ định nghĩa, ta có Ln là số
trung bình số chữ số cần thiết để mã hóa các phần tử của Sn. Tỷ lệ này

Ln
Ĺ= (14-182)
n
là độ dài mã hóa trung bình trên mỗi từ. Thuật ngữ "từ" tức là, tất nhiên, một phần tử của S.
Chúng tôi sẽ giả định rằng Sn là không gian của n lần thử độc lập.
Định lí 14 -11 Chúng ta có thể xây dựng một mã hóa của không gian S^n sao cho

1
H (V )≤ Ĺ ≤ H (V )+ (14-183)
n

Chúng tôi sẽ cung cấp hai chứng minh. Chứng minh đầu tiên là kết quả trực tiếp từ (14-181). Chứng
minh thứ hai dựa trên khái niệm về các chuỗi điển hình.
1. Áp dụng các kết quả trước đó cho nguồn Sn, chúng ta xây dựng một mã hóa Ln sao cho:

H ( V n ) ≤ Ln < H ( V n ) +1 (14-184)

Điều này dẫn đến (14-183) vì Ln = Ḹ, và H(Vn) = nH(V) [xem (14-67)].

2. Như chúng ta biết, không gian Sn có thể được chia thành hai tập: tập T của tất cả các chuỗi điển hình
và tập T của tất cả các chuỗi hiếm. Để chứng minh (14-183), chúng ta xây dựng một cây mã hóa gồm
2nH(V) - 1 đoạn đường ngắn có độ dài li = nH (V) và 2i đoạn đường có độ dài li + l. Các đoạn đường ngắn
được sử dụng làm các từ mã hóa của các chuỗi điển hình và các đoạn đường dài cho các chuỗi dài
(Hình 14-21). Vì P(T) ͌ 1 và P(T) ͌ 0, chúng ta kết luận rằng độ dài trung bình của mã hóa kết quả
bằng:

Ln=l l P(T )+ ( l+l t ) P( T́ )≃ l l=nH (V )

Do đó, Ĺ ≃ H (V ) và (14-183) là kết quả.

 Chúng tôi lưu ý rằng (14-184) vẫn đúng ngay cả khi các thử nghiệm không độc lập. Trong
trường hợp này, định lý vẫn đúng nếu H(V) được thay thế bằng H(Vn) / n.

14-6 Kết nối

Chúng ta muốn truyền một thông điệp từ điểm A đến điểm B thông qua một kênh truyền
thông (một cáp điện thoại, ví dụ). Thông điệp cần truyền là một quy trình tĩnh xn tạo ra ở đầu nhận một
quy trình khác yn. Đầu ra yn không chỉ phụ thuộc vào đầu vào xn mà còn phụ thuộc vào tính chất của
kênh. Mục tiêu của chúng ta là xác định tỷ lệ tối đa thông tin có thể được truyền qua kênh. Để đơn giản
hóa cuộc trò chuyện, chúng ta đưa ra các giả định sau:

1. Kênh là kênh nhị phân; nghĩa là đầu vào xn và đầu ra yn chỉ có giá trị 0 và 1.
2. Kênh là kênh không có bộ nhớ; nghĩa là giá trị hiện tại của yn chỉ phụ thuộc vào giá trị hiện tại của
xn.
3. Đầu vào xn là tiếng ồn trắng nghiêm ngặt. Từ các giả định 2 và 3, ta suy ra rằng yn cũng là tiếng ồn
trắng.
4. Các thông điệp được truyền tại tốc độ một từ mỗi giây.
Điều này chỉ là việc chuẩn hóa, nói rằng thời gian T của mỗi trạng thái truyền tải bằng một giây.
Ví dụ 14-26 :
Trong Hình 14-22, chúng ta thể hiện một hiện thực đơn giản của một kênh như một hệ thống với đầu
vào xn và đầu ra yn. Đầu vào vào kênh vật lý là tín hiệu thời gian x(t) có giá trị E và -E (truyền tải nhị
phân). Những giá trị này tương ứng với hai trạng thái 1 và 0 của xn. Tín hiệu nhận được y(t) là một
phiên bản bị biến dạng của x(t) có thể bị nhiễu. Đầu ra của hệ thống yn được thu được thông qua một
quy tắc quyết định (bộ phát hiện) chuyển đổi tín hiệu thời gian y(t) thành một tín hiệu rời rạc bao gồm
các số 0’s và 1’s.
Kênh kết nối nhiễu
Chúng ta sẽ nói rằng một kênh là "không nhiễu" nếu có một tương ứng một - một giữa đầu
vào xn và đầu ra yn. Đối với một kênh nhị phân, điều này có nghĩa rằng nếu xn = 0, thì yn = 0; nếu xn =
1, thì yn = 1.
Trong một kênh cụ thể, sự không chắc chắn cho mỗi từ truyền thông bằng tỷ lệ entropy H (x)
= 'H (x) của đầu vào xn. Nếu kênh là không nhiễu, thì đầu ra quan sát yn xác định xn một cách duy nhất;
do đó nó loại bỏ sự không chắc chắn này. Do đó, tỷ lệ thông tin truyền tải qua một kênh không nhiễu
đơn giản là bằng entropy của nguồn đầu vào.

Hình 14 -22
ĐỊNH NGHĨA VỀ KHẢ NĂNG KÊNH. Giá trị lớn nhất của H(x), khi x biến đổi qua tất cả các đầu
vào có thể, được ký hiệu là C và được gọi là khả năng của kênh.

C=max H (x ) (14-185)
xn

Có vẻ như C không phụ thuộc vào kênh, nhưng thực tế không phải vậy vì kênh xác định số trạng thái
đầu vào. Nếu nó là kênh nhị phân, thì Xn có hai trạng thái có xác suất p và q = 1 - P, lần lượt; do đó

H (x )=− p log ⁡p −(1− p)log ⁡(1− p)=ℎ( p) (14-

186)

Ở đây, h(p) là hàm được thể hiện trong Hình 14-2. Vì hàm h(p) đạt giá trị lớn nhất khi p = 0.5 và h(0.5)
= 1, nên ta kết luận rằng dung lượng của một kênh không nhiễu nhị phân bằng 1 bit/giây.
Tương tự, nếu kênh chấp nhận N trạng thái đầu vào, thì dung lượng của nó bằng log N
bit/giây.
Chúng ta lặp lại: Kênh truyền thông với tốc độ truyền tin là 1 từ/giây. Nó truyền thông tin với
tốc độ H(x) bit/giây. Tốc độ này phụ thuộc vào nguồn và nó là tối đa khi hai trạng thái của nguồn có
xác suất xảy ra bằng nhau.
Định lí 14 -12 :
Tốc độ tối đa là 1 bit/giây có thể được đạt được ngay cả khi đầu vào Xn là tùy ý, miễn là nó
được mã hóa đúng cách trước khi truyền đi.
Chứng minh:
I. Một tin nhắn có m từ là một số nhị phân với m chữ số. Có tổng cộng 2m tin nhắn như vậy tạo thành
không gian Smx, và mỗi thực hiện của đầu vào xn là một chuỗi các tin nhắn như vậy. Chúng ta mã hóa
tối ưu không gian Smx thành một tập hợp các số nhị phân xn bằng cách sử dụng các kỹ thuật của phần

trước (Hình 14-23). Số lượng chữ số (độ dài mã) của mỗi xn là một biến ngẫu nhiên Lm có trung bình là
Lm = E(Lm). Như chúng ta biết:
mH(x) ≤ Lm <¿ mH(x) + 1 (14-187)