BÀI TẬP CHƯƠNG 1

1) Cho nguồn X có 8 kí tự x0…x7 với xác suất tương ứng như sau: 1/4; 1/4; 1/8; 1/8; 1/16;
1/16; 1/16; 1/16. Tính I(X).
2) Cho nguồn U có 2 kí tự u1, u2 với xác suất p(u1) = a. Tính I(U)
3) Cho nguồn X gồm m phần tử x1…xm đẳng xác suất. Tính I(X)
4) Entropy của nguồn X gồm 2 kí tự x1, x2 có xác suất p(x1) = q
H  X   q log 2 q  1  q  log 2 1  q 

Chứng minh hàm có giá trị lớn nhất khi q = ½ và H(1/2) = 1.

5) Cho nguồn X đẳng xác suất có m kí tự, hãy tính Entropy H(X) của nguồn.
6) Cho nguồn X có 8 kí tự x0…x7 với xác suất tương ứng như sau: 1/2; 1/4; 1/8; 1/8; 1/16;
1/16; 1/16; 1/16. Tính H(X)
7) Cho kênh truyền BSC như hình vẽ

a) Tìm ma trận kênh

b) Tìm p(y1), p(y2) biết p(x1)=p(x2)=0.5
c) Tìm xác suất tương hỗ p(x1,y2); p(x2,y1) biết p(x1)=p(x2)=0.5
8) Cho mô hình kênh như hình sau:

Xác định ma trận kênh truyền tương đương của sơ đồ kênh như hình vẽ trên.
9) Cho ma trận truyền tin như sau:
0.5 0.2 0.3
[𝑃(𝑌⁄𝑋 )] = [0.3 0.5 0.2]
0.2 0.3 0.5
Xác suất truyền p(x1) = 0.5, p(x2)=p(x3)=0.25
a) Tính phân phối xác suất của đầu ra Y.
b) Tính các entropy H(Y); H(Y/X=x1); H(Y/X=x2); H(Y/X=x3); H(Y/X)
c) Tính tốc độ thiết lập tin R của nguồn X biết số ký hiệu được tạo ra trong một giây
là 2*10^6
d) Tính độ dư tương đối của nguồn tin X
10) Cho kênh truyền như hình vẽ:

a) Tính P(Y)
b) Tính P(X,Y)
c) Tính I(X;Y)
11) Cho ma trận truyền tin như sau:
1/2 1/3 1/6
[𝑃(𝑌⁄𝑋 )] = [1/3 1/6 1/2]
1/6 1/2 1/3
Xác suất truyền p(x1)=0.5, p(x2)=p(x3)=0.25
a) Tính phân phối xác suất của đầu ra Y.
b) Tính các entropy H(Y); H(Y/X=x1); H(Y/X=x2); H(Y/X=x3); H(Y/X)
c) Tính lượng tin của kênh I(Y/X)
12) Cho kênh truyền nhị phân đối xứng:
Giả sử p=0.2
a) Xác định ma trận kênh truyền,
b) Tính phân phối xác suất đầu ra biết p(x1)=p(x2)=0.5
c) Tính H(Y), Tính dung lượng kênh C
 d) Tính H(Y/X)
e) Tính I(Y/X)

13) Cho 2 kênh truyền được nối với nhau như hình vẽ:

a) Hãy tìm ma trận kênh truyền tương đương và vẽ sơ đồ của kênh truyền tương đương
b) Tìm p(z1), p(z2) biết p(x1)=0.6; p(x2)=0.4
14) Cho kênh truyền như hình vẽ:

a) Xác định ma trận kênh,

b) Tính xác suất P(z2); P(z1) biết P(x1)=0.5; P(x2)=0.5
15) Cho kênh truyền có ma trận kênh như sau:
1  p p 0 
 P Y / X    
 0 p 1  p 

Giả sử p = 0.4; xác suất của các đầu vào X bằng nhau.
a) Vẽ mô hình kênh truyền ứng với ma trận kênh như trên.
b) Tính P(Y).
c) Tính H(Y/X).
d) Tính lượng tin của kênh I(Y/X)
 BÀI TẬP CHƯƠNG 2
Hãy lập bảng thử mã cho những bộ mã sau. Cho biết mã có phân tách được không, nếu
được thì độ chậm giải mã (trong trường hợp xấu nhất) là bao nhiêu.
a) X1 = {00, 01, 100, 1010, 1011}
b) X2 = {00, 01, 101, 1010}
c) X3 = {00, 01, 110, 111, 1100}
d) X4 = {00, 01, 110, 111, 1110}
e) X5 = {00, 01, 110, 111, 0111}
f) X6 = {00, 01, 110, 111, 1011, 1101}
 BÀI TẬP CHƯƠNG 3
1) Cho nguồn X={x1,x2, x3,…,x5} với p(x1)=0.45; p(x2)=0.23; p(x3)=0.17; p(x4)=0.1;
p(x5)=0.05. Hãy dùng phương pháp Shannon mã hóa nguồn tin trên, tính hiệu suất mã hóa.
2) Cho nguồn U = {u1, u2, u3, u4, u5, u6, u7} với xác suất p1=0.34, p2=0.23, p3=0.19,
p4=0.1, p5=0.07, p6=0.06, p7=0.01. dùng phương pháp Shannon mã hóa nguồn trên, tính
hiệu suất mã hóa.
3) Hãy mã hóa các nguồn sau bằng phương pháp Shannon. Tính entropy của nguồn, chiều dài
trung bình và hiệu suất của phép mã hóa:
a) S1={a1,a2,a3,a4,a5,a6} với xác suất lần lượt là 0.25; 0.21; 0.19; 0.16; 0.14; 0.05
b) S2={a1…a8} với các xác suất lần lượt là 0.21; 0.18; 0.15; 0.14; 0.12; 0.1; 0.06; 0.04
c) S3={a1…a9} với các xác suất lần lượt là 0.25; 0.19; 0.15; 0.11; 0.09; 0.07; 0.06; 0.04;
0.04
4) Hãy mã hoá các nguồn sau bằng phương pháp Fano. Tính hiệu suất của phép mã hóa:
a) S1 = {a1, a2, a3, a4, a5, a6} với các xác suất lần lượt là 0,25; 0,21; 0,19; 0,16; 0,14; 0,05.
b) S2 = {a1, a2, a3, a4, a5, a6 , a7, a8} với các xác suất lần lượt là 0,21; 0,18; 0,15; 0,14;
0,12; 0,1; 0,06 ; 0,04.
c) S3 = {a1, a2, a3, a4, a5, a6 , a7, a8 , a9} với các xác suất lần lượt là 0,25; 0,19; 0,15; 0,11;
0,09; 0,07; 0,06; 0,04; 0,04.
5) Thực hiện mã hoá các nguồn sau bằng phương pháp Huffman theo các cơ số m = 2 và m=3.
Tính hiệu suất của phép mã hóa trong mỗi trường hợp:
a) S1 = {a1, a2, a3, a4, a5, a6} với các xác suất lần lượt là 0,25; 0,21; 0,19; 0,16; 0,14; 0,05.
b) S2 = {a1, a2, a3, a4, a5, a6 , a7, a8} với các xác suất lần lượt là 0,23; 0,2; 0,14; 0,12; 0,1;
0,09; 0,06 ; 0,06.
c) S3 = {a1, a2, a3, a4, a5, a6 , a7, a8} với các xác suất lần lượt là 0,21; 0,18; 0,15; 0,14;
0,12; 0,01; 0,06 ; 0,04.
d) S4 = {a1, a2, a3, a4, a5, a6 , a7, a8 , a9} với các xác suất lần lượt là 0,25; 0,19; 0,15; 0,11;
0,09; 0,07; 0,06; 0,04; 0,04.
6) Cho nguồn U có 13 kí tự với xác suất tương ứng như sau:
0.29; 0.21; 0.08; 0.07; 0.07; 0.07; 0.03; 0.03; 0.03; 0.03; 0.03; 0.03; 0.03;
Hãy mã hóa nguồn tin trên bằng phương pháp kết hợp mã hóa Huffman và mã đều.
Tính hiệu suất mã hóa.
7) Lập từ điển danh sách động cho chuỗi sau bằng phương pháp mã hóa Lempel Ziv:
1100010010010101011110001….
8) Cho nguồn đẳng xác suất X có 5 kí tự X={x1, x2, x3,…, x5}
Bằng phương pháp Shannon hãy mã hóa nguồn tin trên. Tính hiệu suất mã hóa
Lặp lại bằng phương pháp Fano và phương pháp Huffman. Tính hiệu suất, so sánh các phương
pháp mã hóa đưa ra nhận xét.
 BÀI TẬP CHƯƠNG 4
1) Cho mã khối tuyến tính có ma trận kiểm tra:

a. Xác định ma trận sinh G

b. Tìm từ mã khi nguồn tin là 101
c. Giả sử ta nhận được từ mã 110110. Hãy giải mã từ mã này bằng phương pháp thử
Syndrome.
2) Cho mã khối tuyến tính C(7,4) có ma trận kiểm tra như sau

a. Tìm ma trận sinh G

b. Tìm từ mã với thông tin truyền đi là 1010…….
c. Giả sử nhận 0001010, Hãy giải mã từ mã này bằng phương pháp thử Syndrome
3) Cho một mã khối tuyến tính C(7,3) có ma trận kiểm tra như sau:

1101000
0110100
H=
1110010
[ 1 0 1 0 0 01 ]
a. Xác định ma trân sinh G
b. Tìm từ mã với thông tin phát là 110
c. Giả sử từ mã nhận được là 0011100, Bằng phương pháp giải mã Syndromes giải mã từ
mã này.
4) Cho các ma trận sinh sau, hãy biến đổi thành ma trận sinh hệ thống: