BÀI ÔN TẬP

Môn học: Lý thuyết thông tin

Học kỳ: Mùa xuân 2023
Họ và tên Lê Quý Long Mã sinh viên B21DCCN076
Nhóm lớp tín chỉ 09 Lớp quản lý D21CQCN04-B

Chương 1:
1) Thông tin là những tính chất xác định của vật chất mà con người trực tiếp hoặc gián
tiếp thông qua hệ thống kỹ thuật thu nhận được từ thế giới vật chất bên ngoài hoặc
từ những quá trình xảy ra trong bản thân nó, nhằm mang lại sự hiểu hiểu biết về
chúng.

2) Tính chất của thông tin: khách quan và đa dạng

3) Tin là dạng vật chất cụ thể để biểu diễn hoặc thể hiện thông tin
4) 2 loại tin: tin liên tục và tin rời rạc
5) Tín hiệu là các đại lượng vật lý biến thiên, phản ánh tin cần truyền.
6) Sơ đồ tổng quát của hệ thống truyền tin

7) Nguồn là nơi sản sinh ra tin. Gồm 2 loại là nguồn liên tục và nguồn rời rạc
8) Máy phát là thiết bị biến đổi tập tin thành tập tín hiệu tương ứng để truyền đi.
 9) Kênh truyền tin là tập hợp các môi trường vật lý trong đó tín hiệu được truyền đi từ
nguồn đến nơi nhận tin.
10) Máy thu là thiết bị thu nhận tín hiệu và từ đó thiết lập lại thông tin.
11) Nhiễu là các yếu tố có ảnh hưởng xấu đến việc thu nhận tin.
12) Định dạng và mã hóa nguồn - Sử dụng tối thiểu tài nguyên để biểu diễn tin một
cách đầy đủ nhất: Lấy mẫu, lượng tử hóa, điều chế xung mã (PCM), PCM vi phân, mã
Huffman, etc
13) Mã hóa kênh - Sử dụng tối thiểu tài nguyên để đảm bảo việc truyền nhận thông
tin với lỗi ít nhất: mã hóa khối, mã hóa liên tục, etc
14) Điều chế - Truyền thông tin với tốc độ cao nhất, tốn ít năng lượng nhất: Điều
chế dịch khóa pha (PSK), Điều chế dịch khóa tần (FSK), etc.
15) Ghép kênh/đa truy nhập - Chia sẻ tài nguyên tốt nhất cho người dùng trong hệ
thống: TDM/TDMA, CDMA, MC-CDMA, etc.
16) Bảo mật - Đảm bảo tính bí mật, xác thực và toàn vẹn của tin trong quá trình
truyền.
17) Những tiêu chí đánh giá chất lượng một hệ thống thông tin
a. Tính hiệu quả
b. Độ tin cậy cao.
c. An toàn
d. Đảm bảo chất lượng dịch vụ

Chương 2:
1) Lượng (thông) tin riêng: Một tin (sự kiện) x với xác suất xuất hiện p(x) thì việc nó xuất
hiện sẽ mang lại lượng thông tin

2) Công thức tính lượng tin riêng

Công thức dạng Latex Công thức kết quả
I(x_k)=-log(p(x_k)) I ( x k ) =−log ( p ( x k ) )

3) Tính chất
 Công thức dạng Latex Công thức kết quả
I(x_k)\ge 0 I ( xk ) ≥ 0

I(x \cap y)=I(x)+I(y)

I(p(x) \times p(y))=I(p(x))+I(p(y))

4) Lượng tin hậu nghiệm / lượng tin tổn hao trên kênh: Lượng tin riêng về xk sau khi đã
có (biết) yl
5) Công thức tính lượng tin hậu nghiệm
Công thức dạng Latex Công thức kết quả
I\left(x_k \mid y_l\right) \triangleq-\log \
left(p\left(x_k \mid y_l\right)\right)
I\left(x_k \mid y_l\right) = I\left(x_k\
right)-I\left(x_k ; y_l\right)

6) Lượng tin tương hỗ: Lượng thông tin chéo về xk do yl mang

7) Công thức tính lượng tin tương hỗ

Công thức dạng Latex Công thức kết quả

I\left(x_k ; y_l\right) \triangleq I\left(x_k\
right)-I\left(x_k \mid y_l\right)

8) 2 trạng thái cực đoan của kênh

Kênh không nhiễu

Công thức dạng Latex Công thức kết quả

I\left(x_k \mid y_l\right)=0

I\left(x_k ; y_l\right)=I\left(x_k\right)

Kênh bị đứt
Công thức dạng Latex Công thức kết quả
 I( \left.x_k ; y_l\right)=0

I\left(x_k \mid y_l\right)=I\left(x_k\right)

9) Entropy: Entropy của nguồn rời rạc không nhớ X là trung bình thống kê của lượng
thông tin riêng của các tin xk thuộc nguồn

10) Công thức của Entropy

Công thức dạng Latex Công thức kết quả
\begin{aligned} H(X) & \triangleq E\left[I\
left(x_k\right)\right]=\sum_{k=1}^N p\
left(x_k\right) I\left(x_k\right)=-\
sum_{k=1}^N p\left(x_k\right) \log \
left(p\left(x_k\right)\right) \\ & =E\left[-\
log \left(p\left(x_k\right)\right)\right] \
end{aligned}

11) Tính chất của Entropy

Công thức dạng Latex Công thức kết quả
H(X) \geq 0
H(X) \leq \log |X|=\log (N)
H_b(X)=\left(\log _b(a)\right) H_a(X),
H_a(X)

12) Công thức của Entropy hợp

Công thức dạng Latex Công thức kết quả
\begin{aligned} H(X, Y) & \triangleq-\
sum_{x_k \in X} \sum_{y_l \in Y} p\
left(x_k, y_l\right) \log \left(p\left(x_k,
y_l\right)\right)=-\sum_{k=1}^N \
sum_{l=1}^M p\left(x_k, y_l\right) \log \
left(p\left(x_k, y_l\right)\right) \\ & =E\
left[-\log \left(p\left(x_k, y_l\right)\
right)\right]_{\left(x_k, y_k\right) \in(X,
 Y)} \end{aligned}

13) Tính chất Entropy hợp

Công thức dạng Latex Công thức kết quả
H(X, Y)=H(Y, X)=H(X)+H(Y \mid X)=H(Y)
+H(X \mid Y)
H\left(X_1, X_2, \ldots, X_n\right)=\
sum_{i=1}^n H\left(X_i \mid X_{i-1}, X_{i-
2}, \ldots, X_1\right)
H(X, Y) & \leq H(X)+H(Y)

H\left(X_{1}, X_{2}, \ldots, X_{n}\right)

& \leq \sum_{i=1}^{n} H\left(X_{i}\right)

H(X, Y \mid Z)=H(X \mid Z)+H(Y \mid X, Z)

14) Entropy có điều kiện từng phần: là Entropy có điều kiện về một nguồn tin này
khi đã nhận được một tin nhất định của nguồn kia.

15) Công thức Entropy có điều kiện từng phần

Công thức dạng Latex Công thức kết quả
\begin{aligned} H\left(X \mid Y=y_l\
right) & \triangleq E\left[I\left(x_k \mid
Y=y_l\right)\right]_{x_k \in X \mid Y=y_l}
\\ & =\sum_{x_k \in X} p\left(x_k \mid
Y=y_l\right) I\left(x_k \mid Y=y_l\
right) \\ & =-\sum_{x_k \in X} p\left(x_k \
mid Y=y_l\right) \log \left(p\left(x_k \mid
Y=y_l\right)\right) \\ & =-\sum_{k=1}^N
p\left(x_k \mid y_l\right) \log \left(p\
left(x_k \mid y_l\right)\right) \
end{aligned}
 \begin{aligned} H\left(Y \mid X=x_k\
right) & \triangleq E\left[I\left(y_l \mid
X=x_k\right)\right]_{y_l \in Y \mid
X=x_k} \\ & =\sum_{y_i \in Y} p\left(y_l \
mid X=x_k\right) I\left(y_l \mid X=x_k\
right) \\ & =-\sum_{y_i \in Y} p\left(y_l \
mid X=x_k\right) \log \left(p\left(y_l \
mid X=x_k\right)\right) \\ & =-\
sum_{l=1}^M p\left(y_l \mid x_k\right) \
log \left(p\left(y_l \mid x_k\right)\
right) \end{aligned}

16) Công thức Entropy có điều kiện

Công thức dạng Latex Công thức kết quả

\begin{aligned} H(X \mid Y) & \triangleq
E\left[H\left(X \mid Y=y_l\right)\
right]_{y_l \in Y}=\sum_{y_l \in Y} p\
left(y_l\right) H\left(X \mid Y=y_l\
right) \\ & =-\sum_{y_l \in Y} p\left(y_l\
right) \sum_{x_k \in X} p\left(x_k \mid
y_l\right) \log \left(p\left(x_k \mid y_l\
right)\right) \\ & =-\sum_{k=1}^N \
sum_{l=1}^M p\left(x_k, y_l\right) \log \
left(p\left(x_k \mid y_l\right)\right) \\ &
=E[-\log (p(X \mid Y))]_{p\left(x_k, y_l\
right)} \end{aligned}
\begin{aligned} H(Y \mid X) & \triangleq
E\left[H\left(Y \mid X=x_k\right)\
right]_{x_k \in X}=\sum_{x_k \in X} p\
left(x_k\right) H\left(Y \mid X=x_k\
right) \\ & =-\sum_{x_k \in X} p\left(x_k\
right) \sum_{y_k \in Y} p\left(y_l \mid
x_k\right) \log \left(p\left(y_l \mid x_k\
right)\right) \\ & =-\sum_{k=1}^N \
sum_{l=1}^M p\left(x_k, y_l\right) \log \
left(p\left(y_l \mid x_k\right)\right) \\ &
=E[-\log (p(Y \mid X))]_{p\left(x_k, y_l\
right)} \end{aligned}
17) Tính chất Entropy có điều kiện
Công thức dạng Latex Công thức kết quả
0 \leq H(X \mid Y) \leq H(X)

0 \leq H(Y \mid X) \leq H(Y)

H\left(X \mid Y=y_l\right)=H(X)

H(X \mid Y)=H(X)

H\left(Y \mid X=x_k\right)=H(Y)
H(Y \mid X)=H(Y)

18) Entropy tương đối: còn gọi là khoảng cách Kullback Leibler giữa hai phân bố rời
rạc p(xk) và q(xk) của một nguồn rời rạc X
19) Công thức Entropy tương đối
Công thức dạng Latex Công thức kết quả
D(p \| q) \triangleq \sum_{k=1}^N p\
left(x_k\right) \log \left(\frac{p\left(x_k\
right)}{q\left(x_k\right)}\right)

20) Tính chất Entropy tương đối

Công thức dạng Latex Công thức kết quả

D(p \| q) \neq D(q \| p)

21) Lượng thông tin tương hỗ: lượng thông tin mà X cho biết về Y cũng như lượng
thông tin Y cho biết về X
22) Công thức lượng thông tin tương hỗ
Công thức dạng Latex Công thức kết quả
\begin{aligned} I(X ; Y) & \triangleq E\
left[I\left(x_k ; y_l\right)\right]=\
sum_{k=1}^N \sum_{l=1}^M p\left(x_k,
y_l\right) \log \left(\frac{p\left(x_k \mid
y_l\right)}{p\left(x_k\right)}\right) \\ &
 =\sum_{k=1}^N \sum_{l=1}^M p\
left(x_k, y_l\right) \log \left(\frac{p\
left(x_k, y_l\right)}{p\left(x_k\right) p\
left(y_l\right)}\right) \\ & =D\left(p\
left(x_k, y_l\right) \| p\left(x_k\right) p\
left(y_l\right)\right) \end{aligned}

23) Tính chất lượng thông tin tương hỗ

Công thức dạng Latex Công thức kết quả
0 \leq I(X ; Y) \leq H(X)
0 \leq I(X ; Y) \leq H(Y)
I(X ; Y)=I(Y ; X)
I(X ; Y)=H(X)-H(X \mid Y)=H(Y)-H(Y \mid
X)
I(X ; Y)=H(X)+H(Y)-H(X, Y)
I(X ; X)=H(X)

24) Công thức Entropy vi phân

Công thức dạng Latex Công thức kết quả

h(X) \triangleq-\int_{S} f(x) \log (f(x)) d x

25) Tính chất Entropy vi phân

a. Có thể âm, dương
b. Có giá trị hữu hạn
Công thức dạng Latex Công thức kết quả
h(X) \leq \log \left(\sqrt{2 \pi e P_{x}}\
right)

26) Công thức tốc độ phát của nguồn rời rạc

Công thức dạng Latex Công thức kết quả
 v_{n}=\frac{1}{T_{n}}

27) Công thức khả năng phát của nguồn rời rạc
Công thức dạng Latex Công thức kết quả
H^{\prime}(X)=v_{n} H(X)=\frac{H(X)}
{T_{n}}
28) Tính chất khả năng phát của nguồn rời rạc
Công thức dạng Latex Công thức kết quả
H^{\prime}(X)_{\max }=v_{n} \log (N)=\
log (N) / T_{n}

29) Kênh rời rạc: xác suất nhận tin phụ thuộc vào nguồn phát tin đó

30) Đặc trưng kênh rời rạc

a. Trường tin lối vào X (input), trường tin lối ra Y (output)
b. Xác suất chuyển tin lối vào xk thành tin lối ra yl: p(yl|xk)
c. Tốc độ truyền tin của kênh vk hay thời gian trung bình để truyền một dấu tin

31) Kênh đồng nhất: Nếu p(yl|xk) không phụ thuộc vào thời gian t thì kênh được gọi
là kênh đồng nhất; ngược lại gọi là kênh không đồng nhất.

32) Kênh đối xứng: Xét một kênh rời rạc có xác suất chuyển p(yl|xk). Nếu p(yl|xk) = p
= const ∀k, l, k ≠ l và p(yl|xk) = q = const ∀k = l thì kênh được gọi là đối xứng.

33) Kênh không có nhớ: Nếu p(yl|xk) không phụ thuộc vào các tin (kí hiệu)
phát/nhận trước đó thì kênh được gọi là kênh không có nhớ (memoryless)
Công thức dạng Latex Công thức kết quả
p\left(y_{l} \mid x_{k}, x_{k-1}, \ldots,
x_{1}, y_{l-1}, \ldots, y_{1}\right)=p\
left(y_{l} \mid x_{k}\right)

34) Biểu diễn kênh không có nhớ

a. Giản đồ chuyển trên đó nhãn các đường chuyển là các p(yl|xk)
b. Các ma trận xác suất chuyển P = [pkl] với pkl = p(yl|xk)
Công thức dạng Latex Công thức kết quả
 \mathrm{P}=\left[\begin{array}{cccc} p\
left(y_{1} \mid x_{1}\right) & p\left(y_{2}
\mid x_{1}\right) & \ldots & p\
left(y_{M} \mid x_{1}\right) \\ p\
left(y_{1} \mid x_{2}\right) & p\left(y_{2}
\mid x_{2}\right) & \ldots & p\
left(y_{M} \mid x_{2}\right) \\ \vdots & \
vdots & \ddots & \vdots \\ p\left(y_{1} \
mid x_{N}\right) & p\left(y_{2} \mid
x_{N}\right) & \ldots & p\left(y_{M} \mid
x_{N}\right) \end{array}\right]

35) Công thức lượng thông tin truyền qua kênh trong một đơn vị thời gian
Công thức dạng Latex Công thức kết quả
p\left(y_{l} \mid x_{k}, x_{k-1}, \ldots,
x_{1}, y_{l-1}, \ldots, y_{1}\right)=p\
left(y_{l} \mid x_{k}\right)

36) 3 Loại kênh

a. Tk > Tn : kênh giãn tin
b. Tk = Tn : kênh thông thường
c. Tk < Tn : kênh nén tin

37) Dung lượng kênh rời rạc / khả năng thông qua của kênh rời rạc là giá trị cực
đại của lượng thông tin truyền qua kênh trong một đơn vị thời gian lấy theo mọi khả
năng có thể của phân bố nguồn phát.

38) Công thức dung lượng kênh rời rạc

Công thức dạng Latex Công thức kết quả
C^{\prime}=\max _{p(X)} I^{\prime}(X ;
Y)=\max _{X} I^{\prime}(X ; Y)=v_{k} \
max _{X} I(X ; Y) \quad[\text { bit } / s]

39) Tính chất của dung lượng kênh rời rạc

Công thức dạng Latex Công thức kết quả
 C^{\prime} \geq 0

C^{\prime} \leq v_{k} \log (N)

C^{\prime} \leq v_{k} \log (M)

40) Định lý mã hóa thứ hai của Shannon:

Nếu tốc độ dữ liệu cần truyền R truyền qua kênh có dung lượng C′ thỏa mãn R ≤
C′ thì tồn tại một phép mã hóa và giải mã sao cho việc truyền tin qua kênh có xác suất
lỗi nhỏ tùy ý khi độ dài từ mã đủ lớn. Ngược lại thì không tồn tại một phép mã hóa
nào như vậy.

41) Dung lượng của kênh AWGN băng tần hữu hạn

Công thức dạng Latex Công thức kết quả

C^{\prime}=W \log \left(1+\frac{\mu^{2}

P_{x}}{N_{0} W}\right)[b p s]

Chương 3:
1) Mục tiêu của mã hóa nguồn: Thực hiện tìm kiếm các phương thức biểu diễn dữ liệu
nhỏ gọn nhất có thể

2) Nguyên lý của mã hóa nguồn: Loại bỏ các thông tin dư thừa hoặc các thông tin dư
thừa và các thông tin không cần thiết.

3) Mã hóa: Mã hóa là một phép ánh xạ 1 − 1 từ tập các tin rời rạc xk lên tập các từ mã là
tổ hợp có thể của các dấu (các chữ mã) mk
Công thức dạng Latex Công thức kết quả

f: x_{k} \longmapsto m_{k}^{l_{k}}

4) Các thông số cơ bản của bộ mã

a. Độ dài từ mã: lk là độ dài từ mã thứ k; lk = const ∀ k gọi là mã đều, ngược lại gọi
là mã không đều.
 b. Độ dài trung bình: là trung bình thống kê của độ dài các từ mã
Công thức dạng Latex Công thức kết quả

\bar{l}=\sum_{k=1}^{N} p\left(x_{k}\
right) l_{k}

c. Cơ số mã: số các dấu (chữ mã) khác nhau được sử dụng trong bộ mã

d. Bộ mã đầy: bộ mã mà tất cả các tổ hợp dấu mã là từ mã của tập tin tương ứng,
ngược lại gọi là mã không đầy (mã vơi).
e. Tính hiệu quả của phép mã hóa
Công thức dạng Latex Công thức kết quả

\eta=\frac{\bar{I}_{\min}}{\bar{I}}=\
frac{H(X)}{\bar{I}} \rightarrow \eta \leq 1

f. Độ chậm giải mã: là số dấu (chữ mã) nhận được cần thiết trước khi có thể thực
hiện được việc giải mã.

g. Phương sai độ dài trung bình của bộ mã

Công thức dạng Latex Công thức kết quả
\sigma_{l}^{2}=\sum_{k=1}^{N} p\
left(x_{k}\right)\left(I_{k}-\bar{l}\
right)^{2}

5) Mã không suy biến (không dị thường): Một bộ mã được gọi là không suy biến (non-
singular) nếu mọi tin xk của nguồn X ánh xạ thành các từ mã khác nhau của bộ mã.
Công thức dạng Latex Công thức kết quả
x_{k} \neq x_{I} \Rightarrow
m_{k}^{l_{k}} \neq m_{l}^{l_{1}}

6) Từ mã mở rộng: là việc ánh xạ một chuỗi hữu hạn các tin thành các từ mã liên tiếp
nhau

7) Bộ mã có khả năng giải mã một cách duy nhất: Một bộ mã được gọi là bộ mã có khả
năng giải mã được một cách duy nhất nếu từ mã mở rộng của nó là một từ mã không
suy biến.
8) Bộ mã có tính prefix: Một bộ mã được gọi là bộ mã có tính prefix hay còn gọi mã có
khả năng giải mã tức thời nếu không có bất cứ từ mã nào là phần tiền tố (prefix) của
một từ mãkhác trong bộ mã.

9) Bất đẳng thức Kraft: Với bất cứ bộ mã prefix nào trên tập dấu (chữ mã) M có kích
thước (cơ số) q thì tập độ dài các từ mã có thể l1, l2, . . . , lN phải thỏa mãn bất đẳng
thức:
Công thức dạng Latex Công thức kết quả

\sum_{k=1}^{N} q^{-l_{k}} \leq 1

10) Nguyên tắc mã hóa tối ưu: Gán các từ mã có độ dài ngắn cho các tin có xác suất
xuất hiện lớn, và các từ mã có độ dài lớn cho các tin có xác suất xuất hiện nhỏ.

11) Phép mã hóa tối ưu: Một phép mã hóa được gọi là tiết kiệm (hay còn gọi là tối
ưu) nếu nó đạt được độ dài trung bình từ mã cực tiểu

12) Bất đẳng thức kẹp

Công thức dạng Latex Công thức kết quả

H_{q}(X) \leq \bar{I}^{*} < H_{q}(X)+1

13) Độ dài trung bình từ mã với mỗi ký hiệu khi thực hiện mã hóa khối đồng thời
thỏa mãn bất đẳng thức:
Công thức dạng Latex Công thức kết quả

H(X) \leq L_{n} < H(X) + \frac{1}{n}

14) Đặc điểm mã Huffman

a. Thuộc lớp mã hóa Entropy, mã hóa nén dữ liệu không tổn hao
b. Là lớp mã với độ dài từ mã thay đổi
c. Bộ mã thu được là bộ mã có tính prefix.
d. Yêu cầu phân bố của nguồn phải biết trước.
e. Thuộc dạng thuật toán "Greedy".
f. Là thuật toán mã hóa tối ưu.

15) Thuật toán mã hóa Huffman

 a. Khởi động danh sách cây nhị phân có một nút chứa các trọng số là xác suất
phân bố tương ứng của các tin xk, sắp xếp theo thứ tự tăng dần từ trái sang
phải.
b. Thực hiện lặp các bước sau đến khi thu được một nút duy nhất.
i. Tìm hai cây T′ và T′′ trong danh sách các nút gốc có trọng lượng tối thiểu
p′ và p′′. Thay thế chúng bằng một cây có nút gốc có trọng bằng p′ + p′′ và
các cây con là T′ và T′′
ii. Đánh nhãn 0 và 1 trên các nhánh từ gốc mới đến các cây T′ và T′′
iii. Sắp xếp các nút theo thứ tự tăng dần của trọng xác suất
c. Duyệt từ gốc cuối cùng đến nút lá với các bít là các nhãn ta được từ mã tương
ứng với các tin.

16) Nhận xét mã Huffman

a. Phép mã hóa tối ưu Huffman: tập các từ mã cho bộ mã tối ưu là không duy
nhất. Nói cách khác, có thể có nhiều hơn một tập các độ dài cho cùng độ dài
trung bình:
i. Việc gán nhãn "0" và "1" là tùy ý
ii. Việc sắp xếp các phân bố xác suất hợp (cây thay thế) có thể thực hiện:
xếp "trội" nhất, hoặc xếp "chìm" nhất
b. Việc xếp xác suất phân bố "trội" nhất sẽ cho bộ mã có phương sai độ dài từ mã
nhỏ nhất (gần bộ mã đều nhất)

Chương 4:
I.Mã khối tuyến tính
1) Trọng số của từ mã/cấu trúc lỗi: Trọng số của một từ mã c hoặc của một cấu trúc lỗi e là
số dấu mã khác 0 trong c hoặc e. Kí hiệu là w(c) hoặc w(e)

2) Tính chất trọng số của từ mã

Công thức dạng Latex Công thức kết quả

0 \leq w(c) \leq 1

3) Khoảng cách mã Hamming: Khoảng cách Hamming giữa hai từ mã c1 và c2 là tổng số vị

trí tương ứng trong hai từ mã mà dấu mã khác nhau
Công thức dạng Latex Công thức kết quả
d_{\text {Hamming }}\left(c_{1}, c_{2}\
right)=d\left(c_{1}, c_{2}\right)=\left|\
left\{i \mid c_{1, i} \neq c_{2, i}, i=0,1, \
 ldots, I-1\right\}\right|

4) Tính chất khoảng cách mã Hamming

Công thức dạng Latex Công thức kết quả
d\left(\mathrm{c}_{1}, \mathrm{c}_{2}\
right)=d\left(c_{2}, \mathrm{c}_{1}\right)

0 \leq d\left(c_{1}, c_{2}\right) \leq 1

d\left(\mathrm{c}_{1}, \mathrm{c}_{2}\
right)+d\left(\mathrm{c}_{2}, \
mathrm{c}_{3}\right) \geq d\left(\
mathrm{c}_{1}, \mathrm{c}_{3}\right)

5) Khoảng cách Hamming tối thiểu: Khoảng cách mã tối thiểu, hay khoảng cách Hamming
tối thiểu của một bộ mã khối C là khoảng cách Hamming tối thiểu giữa tất cả các cặp từ
mã phân biệt trong bộ mã

Công thức dạng Latex Công thức kết quả

d_{\min }=d_{0}=\min _{\forall c_{1},
c_{2} \in \mathfrak{C}^{, c_{1} \neq
c_{2}}} d\left(c_{1}, c_{2}\right)

6) Khả năng phát hiện lỗi của bộ mã: Một bộ mã có khoảng cách mã tối thiểu d0 có khả
năng phát hiện tất cả các cấu trúc lỗi có trọng nhỏ hơn hoặc bằng (d min – 1)

7) Một bộ mã có khoảng cách mã tối thiểu dmin có khả năng sửa được tất cả các cấu trúc lỗi
d min−1
có trọng nhỏ hơn hoặc bằng ⌊ 2
⌋

8) Tính chất mã khối tuyến tính

a. Tổ hợp tuyến tính của một tập các từ mã bất kỳ là một từ mã ⇒ C luôn chứa từ
mã toàn 0
b. Khoảng cách mã tối thiểu của bộ mã khối tuyến tính bằng trọng số của một từ mã
có trọng số nhỏ nhất khác từ mã toàn không
c. Các cấu trúc lỗi không thể phát hiện được của bộ mã độc lập với từ mã phát và
luôn chứa tập tất cả các từ mã không toàn 0.
9) Ma trận sinh của mã khối tuyến tính
Công thức dạng Latex Công thức kết quả
G=\left(\begin{array}{c}g_{0} \\g_{1} \\\
cdots \\ g_{k-1} \end{array}\right)=\left(\
begin{array}{cccc} g_{0,0} & g_{0,1} & \
cdots & g_{0, I-1} \\ g_{1,0} & g_{1,1} & \
cdots & g_{1, I-1} \\ \vdots & \vdots & \
ddots & \vdots \\ g_{k-1,0} & g_{k-1,1} &
\cdots & g_{k-1, I-1} \end{array}\right)

10) Từ mã thu c thu được từ bản tin a là:

Công thức dạng Latex Công thức kết quả

\begin{aligned} c & =a G=\left[a_{0},

a_{1}, \ldots, a_{k-1}\right] G \\ & =a_{0}
g_{0}+a_{1} g_{1}+\cdots+a_{k-1} g_{k-1}
\end{aligned}

11) Ma trận kiểm tra tính chẵn lẻ

Công thức dạng Latex Công thức kết quả
\mathrm{H}=\left(\begin{array}{c} \
mathrm{h}_{0} \\ \mathrm{~h}_{1} \\ \
ldots \\ \mathrm{h}_{/-k-1} \end{array}\
right)=\left(\begin{array}{cccc} h_{0,0} &
h_{0,1} & \ldots & h_{0, I-1} \\ h_{1,0} &
h_{1,1} & \ldots & h_{1, I-1} \\ \vdots & \
vdots & \ddots & \vdots \\ h_{I-k-1,0} &
h_{I-k-1,1} & \ldots & h_{I-k-1, I-1} \
end{array}\right)

12) Tính chất của ma trận kiểm tra tính chẵn lẻ

Công thức dạng Latex Công thức kết quả

\mathrm{GH}^{T}=0

\mathrm{cH}^{T}=0
13) Định lý:
Giả sử bộ mã C có ma trận kiểm tra tính chẵn lẻ H. Khoảng cách mã tối thiểu của bộ mã
C bằng số cột tối thiểu khác 0 của H mà tổ hợp tuyến tính không tầm thường của chúng
bằng 0.

14) Giới hạn Singleton

Công thức dạng Latex Công thức kết quả

d_{\min } \leq I-k+1

15) Mã khối tuyến tính dạng hệ thống: Mã khối tuyến tính hệ thống C(l, k) thực hiện việc
ánh xạ bản tin (khối dữ liệu) độ dài k thành một véc-tơ/từ mã độ dài l sao cho trong số l
bít có thể chỉ ra k bít bản tin và số còn lại l − k bít kiểm tra tính chẵn lẻ

16) Ma trận sinh dạng hệ thống:

Công thức dạng Latex Công thức kết quả
G=\left[\begin{array}{lll}\mathrm{P} & \
mid & I_{k}\end{array}\right]

17) Ma trận kiểm tra dạng hệ thống:

Công thức dạng Latex Công thức kết quả
\mathrm{H}=\left[\mathrm{I}_{l-k} \
mid-\mathrm{P}^{T}\right]

18) Tính chất ma trận kiểm tra dạng hệ thống

Công thức dạng Latex Công thức kết quả

\mathrm{GH}^{T}=0

19) Giới hạn Griesmer

Công thức dạng Latex Công thức kết quả

I \geq \sum_{i=0}^{k-1}\left\lceil\
frac{d_{\min }}{2^{i}}\right\rceil
20) Giới hạn Plotkin
Công thức dạng Latex Công thức kết quả

d_{\min } \leq \frac{I \times 2^{k-1}}

{2^{k}-1}

21) Giới hạn Hamming

Công thức dạng Latex Công thức kết quả

2^{l-k} \geq \sum_{i=0}^{t}\left(\

begin{array}{l} l \\ i \end{array}\right)

22) Đa thức mã
Vector mã c = (c0 , c1 , ..., c l-1 ) có thể biểu diễn ở dạng đa thức:
Công thức dạng Latex Công thức kết quả
c(x)=c_{0}+c_{1} x+c_{2} x^{2}+\
cdots+c_{l-1} x^{l-1}
f(x)+g(x)=\left(f_{0}+g_{0}\right)+\
left(f_{1}+g_{1}\right)x+\cdots+\left(f_{l-
1}+g_{l-1}\right) x^{I-1}
f(x) \times g(x)=\left(\sum_{i=0}^{l-1}
f_{i}x^{i}\right)\left(\sum_{j=0}^{l-1} g_{j}
x^{j}\right)modulo \left(x^{\prime}-1\
right)

23) Phép dịch vòng

 Nhân x i với f(x) thu được một véc-tơ là kết quả dịch vòng phải của véc-tơ ban đầu
đi i nhịp/cấp: f (i)(x). Chú ý: mod x l -1.
 Chia f(x) cho x i thu được một véc-tơ là kết quả dịch vòng trái của véc-tơ ban đầu đi
i nhịp/cấp.
Công thức dạng Latex Công thức kết quả
g(x)=x . f(x) \longleftrightarrow b=\
left(f_{l-1}, f_{0}, f_{1}, \ldots, f_{l-2}\
right)
g(x)=\frac{f(x)}{x} \longleftrightarrow \
mathrm{b}=\left(f_{1}, f_{2}, f_{3}, \
ldots, f_{l-1}, f_{0}\right)

24) Đa thức đối ngẫu

 Công thức dạng Latex Công thức kết quả
f^{*}(x)=x^{k} \times f\left(x^{-1}\
right)=f_{k}+f_{k-1} x+f_{k-2}
x^{2}+\cdots+f_{1} x^{k-1}+f_{0}
x^{k}

Nếu f *(x) = f (x) thì f (x) là đa thức tự đối ngẫu.

25) Định nghĩa mã vòng tuyến tính
Một mã khối tuyến tính C(l, k) được gọi là mã vòng tuyến tính nếu với mọi từ mã c = (c 0
, c1 , ..., c l-1 ) ∈ C thì kết quả của mỗi dịch vòng từ mã c cũng sẽ thu được một véc-tơ cũng
là một từ mã thuộc C.
26) Đa thức sinh
g(x) là đa thức sinh của C(l,k) nếu:
 deg(g(x)) = l - k;
 g(x) monic
 x l -1 chia hết cho g(x)
27) Đa thức kiểm tra
h(x) là đa thức kiểm tra của C(l,k) nếu:
 deg(h(x)) = k;
 x l -1 = g(x) * h(x)

28) Ma trận sinh

- G có kích thước k hàng, l cột
- G không có dạng hệ thống
Công thức dạng Latex Công thức kết quả
g(x)=g_{0}+g_{1} x+g_{2} x^{2}+\
cdots+g_{l-k} x^{l-k}
G=\left[\begin{array}{c} g(x) \\ x g(x) \\
x^{2} g(x) \\ \vdots \\ x^{k-1} g(x) \
end{array}\right]=\left[\begin{array}
{ccccccccc} g_{0} & g_{1} & g_{2} & \
cdots & g_{I-k} & 0 & 0 & \cdots & 0 \\ 0
& g_{0} & g_{1} & \cdots & g_{I-k-1} &
g_{I-k} & 0 & \cdots & 0 \\ 0 & 0 & g_{0}
& \cdots & g_{I-k-2} & g_{I-k-1} & g_{I-k}
& \cdots & 0 \\ \vdots & \vdots & \
vdots & \ddots & \vdots & \vdots & \
vdots & \ddots & \vdots \\ 0 & 0 & 0 & \
 cdots & \cdots & \cdots & \cdots & \
cdots & g_{I-k} \end{array}\right]

29) Ma trận kiểm tra

- H có kích thước l - k cột và l hàng
- GH T = 0
Công thức dạng Latex Công thức kết quả
h(x)=h_{0}+h_{1} x+h_{2} x^{2}+\
cdots+h_{k} x^{k}
\mathrm{H}=\left[\begin{array}
{ccccccccc} h_{k} & h_{k-1} & h_{k-2} & \
ldots & h_{0} & 0 & 0 & \ldots & 0 \\ 0 &
h_{k} & h_{k-1} & \ldots & h_{1} & h_{0}
& 0 & \ldots & 0 \\ 0 & 0 & h_{k} & \
ldots & h_{2} & h_{1} & h_{0} & \ldots &
0 \\ \vdots & \vdots & \vdots & \ddots
& \vdots & \vdots & \vdots & \ddots & \
vdots \\ 0 & 0 & 0 & \ldots & \ldots & \
ldots & \ldots & \ldots & h_{0} \
end{array}\right]

30) Mã vòng tuyến tính dạng hệ thống

Từ mã dạng hệ thống c = [p | a] hoặc c = [a | p]

31) Xây dựng từ mã dạng hệ thống từ đa thức sinh g(x) <Thuật toán chia>

 Bài toán:
Nhập vào: C(l,k), g(x) khối tin cần mã hóa a = (a0 , a1 , ..., a k-1 )
In ra: Từ mã dạng hệ thống tương ứng c
 Thuật toán:
B1: Biểu diễn đa thức a(x)
B2: Tính a l-k (x) = x l-k . a(x)
B3: Chia a l-k (x) cho g(x) được phần dư p(x)
B4: Lập c(x) = p(x) + a l-k (x) => Từ mã c tương ứng
32) Xây dựng từ mã dạng hệ thống từ đa thức kiểm tra h(x) <Thuật toán nhân>

 Bài toán:
Nhập vào: C(l,k), h(x) khối tin cần mã hóa a = (a0 , a1 , ..., a k-1 )
In ra: Từ mã dạng hệ thống tương ứng c
 Thuật toán:
B1: Từ mã dạng hệ thống c = (c0 , c1 , ..., c l-k-1, a0 , a1 , ..., a k-1 )
 c l-k = a 0 , c l-k+1 = a 1 , ..., c l--1 = a k-1.

B2: Tính toán c0 , c1 , ..., c l-k-1 từ công thức

Công thức dạng Latex Công thức kết quả
c_{l-k-i}=\sum_{j=0}^{k-1} h_{j} c_{l-j-i} \
quad(1 \leq i \leq I-k)
 Từ mã c cần tìm

33) Ma trận sinh, ma trận kiểm tra dạng hệ thống

Công thức Latex Công thức kết quả
G=\left[\begin{array}{lll}\mathrm{P} & \
mid & \mathrm{I}_{k}\end{array}\right] \
Rightarrow \mathrm{H}=\left[\
begin{array}{lll}I_{I-k} & \mid & \
mathrm{P}^{T}\end{array}\right]
G=\left[\begin{array}{lll}I_{k} & \
mathrm{P}\end{array}\right] \Rightarrow
\mathrm{H}=\left[\begin{array}{lll}\
mathrm{P}^{T} & \mid & I_{l-k}\
end{array}\right]

34) Mạch nguyên lý mã hóa vòng xây dựng từ đa thức sinh

 Nguyên lý :
+ Đầu tiên, nội dung các thanh ghi được xóa về 0.
+ k nhịp đầu tiên, véc-tơ tin (a) được dịch trực tiếp ra đầu ra và đồng thời được
dịch vào mạch để tính các bít kiểm tra. Sau k nhịp, nội dung các thanh ghi là các bít
kiểm tra.
+ l − k nhịp tiếp theo, mạch thực hiện dịch nội dung các bít kiểm tra trong thanh
ghi ra đầu ra.
 + Quá trình mã hóa kết thúc khi toàn bộ khối bít kiểm tra được dịch ra ngoài.
 Sơ đồ :

35) Mạch nguyên lý mã hóa vòng xây dựng từ đa thức kiểm tra

o Sơ đồ :

36) Phương pháp giải mã ngưỡng

a. Hệ tổng kiểm tra
Công thức dạng Latex Công thức kết quả
A=w_{0} e_{0}+w_{1} e_{1}+\
cdots+w_{l-1} e_{l-1}

Bit lỗi e k được kiểm tra bằng tổng kiểm tra nếu w k = 1
b. Hệ tổng kiểm tra trực giao
Một hệ gồm J tổng kiểm tra được gọi là hệ tổng kiểm tra trực giao với vị trí bít lỗi e l-1 nếu:
 Tất cả các hệ số của e l-1 trong hệ J tổng kiểm tra bằng 1.
  Với k ≠ l − 1 chỉ có nhiều nhất một véc-tơ trong hệ tổng kiểm tra mà hệ số của e k
bằng 1.
Công thức dạng Latex Công thức kết quả
A_{k}=e_{l-1}+\sum_{i \neq l-1} w_{i}
e_{i}

c. Giải mã ngưỡng dựa trên hệ tổng kiểm tra trực giao

Bít lỗi e l-1 được quyết định là 1 nếu có phần lớn các véc-tơ trong tổng kiểm tra trực
giao bằng 1. Ngược lại thì bít lỗi e l-1 được quyết định là 0.

d. Bộ mã vòng có khả năng trực giao đầy đủ

Một bộ mã vòng C(l, k, d 0) gọi là có khả năng trực giao đầy đủ một bước nếu và chỉ
nếu nó có thể tạo được hệ J = d 0 − 1 tổng kiểm tra trực giao với một vị trí bít lỗi nào đó.
 J<l–k
 Không phải mọi mã vòng C(l, k, d 0) đều là có khả năng trực giao đầy đủ.

e. Hệ tổng kiểm tra có khả năng trực giao

Một tập gồm J tổng kiểm tra A1, A2, . . . , AJ là hệ tổng kiểm tra trực giao với tập M vị trí
bít lỗi E = {e i1 , e i2 , . . . , e iM } (0 ≤ i1 < i2 < · · · < iM < l) nếu:
 Mọi vị trí bít lỗi e ij của E đều được kiểm tra bởi mọi tổng kiểm tra A j (1 ≤ j ≤ J)
 Không có bất cứ vị trí lỗi nào khác được kiểm tra ở nhiều hơn 1 tổng kiểm tra.

37) Phương pháp bẫy lỗi – Thuật toán chia dịch vòng

 Bài toán
Nhập vào: Vector thu r(x) và thông số bộ mã C(l,k) như đa thức sinh g(x) và d min
In ra: Từ mã đã được sửa sai

 Thuật toán
B1: Với i = 0, 1, ...., l - 1
r (x)
+ Tính s i (x) là phần dư của phép chia x i r(x) [ hoặc ] cho g(x)
xi
d min−1
+ Tính trọng của s i (x) : w(s i (x)) , t = ⌊ 2
⌋

+ Nếu w(s i (x)) ≤ t => Chuyển sang bước 2

+ Nếu w(s i (x)) > t => Tăng i lên 1 đơn vị
+ Nếu i = l => Chuyển lên bước 3

B2: Đa thức ma được sửa bởi công thức

Công thức Latex Công thức kết quả
\hat{r}(x)=\frac{x^{i} r(x)+s_{i}(x)}{x^{i}}

\left.\hat{r}(x)=x^{i}\left\{\frac{r(x)}{x^{\
prime}}+s_{i}(x)\right\}\right]

In ra từ mã đã được sửa lỗi tương ứng . Kết thúc

B3: Thông báo không sửa được lỗi ( số lỗi vượt quá khả năng sửa lỗi). Kết thúc