Cơ sở lý thuyết truyền tin

Tài liệu tham khảo:

1. Bài giảng lý thuyết thông tin - Nguyễn Bình, Học viện Công nghệ Bưu chính
viễn thông, 2006
2. Cơ sở lý thuyết truyền tin - Bùi Minh Tiêu, Nhà xuất bản Đại học và Trung
học chuyên nghiệp, 1979
3. Cơ sở lý thuyết truyền tin - Nguyễn Bình, Trần Thông Quế, Học viện Kỹ
thuật quân sự, 1985
4. Cơ sở lý thuyết truyền tin - Đặng Văn Chuyết, Nguyễn Tuấn Anh, Nhà xuất
bản giáo dục, 1998
5. John G, Proakis: Digital Telecommunication. McGrow-Hill International
Edition, 1995
 Sơ lược lịch sử phát triển môn học
✓ Người đặt viên gạch đầu tiên để xây dựng lý thuyết thông tin là
Hartley . Năm 1928, ông đã đưa ra khái niệm “số đo lượng thông tin”
✓ Năm 1933, Kachenhicov chứng minh một loạt những luận điểm quan
trọng của lý thuyết thông tin.
✓ Năm 1935, Ageev đưa ra công trình “Lý thuyết tách tuyến tính”
✓ Năm 1946, Kachenhicov thông báo công trình “Lý thuyết chống
nhiễu’’
✓ Trong hai năm 1948 – 1949, Shanon công bố một loạt các công trình
vĩ đại, đưa sự phát triển của lý thuyết thông tin lên một bước tiến mới
chưa từng có.
 Đặc điểm và nhiệm vụ của môn học

✓ Lý thuyết thông tin toán học:

Xây dựng những luận điểm thuần tuý toán học và những cơ sở toán học

chặt chẽ của lý thuyết thông tin.

✓ Lý thuyết thông tin ứng dụng:

Chuyên nghiên cứu các bài toán thực tế quan trọng do kỹ thuật liên lạc

đặt ra có liên quan đến vấn đề chống nhiễu và nâng cao độ tin cậy của

việc truyền tin.

 Nội dung môn học

➢Tổng quan về lý thuyết truyền tin

➢Cơ sở lý thuyết thông tin

➢Cơ sở lý thuyết mã

➢Cơ sở lý thuyết tín hiệu

Chương 1 Tổng quan về lý thuyết thông tin

➢ Một số định nghĩa và khái niệm cơ bản

➢ Sơ đồ khối của một hệ thống truyền tin

➢ Các chỉ tiêu chất lượng cơ bản của một hệ thống truyền tin

➢ Một số phương pháp biến đổi thông tin số

➢ Giới thiệu một số hệ thống thông tin

➢ Xu hướng phát triển của các thiết bị đầu cuối trong các hệ
thống thông tin
1.1 Một số định nghĩa và khái niệm cơ bản

✓Thông tin

- Thông tin là những tính chất xác định của vật chất mà con người hoặc

hệ thống cảm nhận được.

- Thông tin được truyền đi dưới những dạng năng lượng khác nhau như

âm điện, sóng điện từ, sóng ánh sáng…

- Thông tin là sự đa dạng được thể hiện bằng nhiều cách: Cấu trúc,

thuộc tính, tính ngẫu nhiên, trình độ tổ chức…

1.1 Một số định nghĩa và khái niệm cơ bản

✓Tin

- Là dạng vật chất cụ thể biểu diễn thông tin: Bức thư, bức ảnh…

- Như vậy: Tin là cái biểu đạt, thông tin là cái cần biểu đạt; tin là hình
thức, thông tin là nội dung; tin là vỏ còn thông tin là lõi của vấn đề.

✓Tín hiệu

- Các đại lượng vật lý biến thiên phản ánh tin được truyền đi gọi là tín
hiệu (Dòng điện, trường điện từ, sóng âm...)

- Không phải bản thân đại lượng vật lý là tín hiệu mà các tham số biến
thiên mới là tín hiệu.
1.2 Sơ đồ khối của hệ thống truyền tin

➢ Sơ đồ khối tổng quát của hệ thống thông tin

PHÁT TIN KÊNH TIN THU TIN

1.2 Sơ đồ khối của hệ thống truyền tin

➢ Sơ đồ khối tổng quát của hệ thống thông tin

Đường truyền tin

NGUỒN TIN MÁY PHÁT MÁY THU NHẬN TIN
1.2 Sơ đồ khối của hệ thống truyền tin
✓Nguồn tin
- Khái niệm: Là nơi sản sinh ra tin tức (thông tin)
- Phân loại:
+ Nguồn liên tục
+ Nguồn rời rạc
- Tính chất:
+ Tính thống kê : P(a) ≠ P(b)
+ Tính hàm ý : P(a/x) ≠ P(a/y)
1.2 Sơ đồ khối của hệ thống truyền tin

✓Máy phát

- Là thiết bị biến đổi tập tin thành tập các tín hiệu
tương ứng để truyền đi

- Phép biến đổi trên phải là phép biến đổi đơn trị, hai
chiều
1.2 Sơ đồ khối của hệ thống truyền tin

✓Đường truyền tin

- Khái niệm:
Là môi trường vật lý trong đó tín hiệu được
truyền từ nơi phát đến nơi nhận.
- Ảnh hưởng đối với tín hiệu trên đường truyền:
+ Tổn hao năng lượng
+ Mất mát thông tin
1.2 Sơ đồ khối của hệ thống truyền tin

✓ Máy thu

- Là thiết bị tái tạo lại thông tin từ tín hiệu nhận

được.

- Máy thu thực hiện phép biến đổi ngược lại so với
máy phát. Biến tập tín hiệu thu được thành tập tin
tương ứng.
1.2 Sơ đồ khối của hệ thống truyền tin

✓Nhận tin
- Tiếp nhận thông tin từ máy thu và thực hiện việc
phục hồi lại thông tin ban đầu.
- Thực hiện ba chức năng chính sau:
+ Lưu giữ tin
+ Xử lý tin
+ Biểu hiện tin
1.2 Sơ đồ khối của hệ thống truyền tin

✓Nhiễu

- Là tất cả những yếu tố xấu, làm ảnh hưởng tới độ

chính xác của việc truyền tin.

- Nhiễu là những tác động gây rối loạn quá trình trao
đổi tin tức.
1.3 Các chỉ tiêu cơ bản của một hệ thống
truyền tin

✓Tính hữu hiệu

✓Độ tin cậy

✓Tính kinh tế

✓An toàn sử dụng

1.4 Một số phương pháp biến đổi thông tin số trong
các khối chức năng

• Xét mô hình hệ thống thông tin chi tiết

Từ các nguồn khác

Đa
Nguồn Tạo Mã Mã Mã Ghép Điều Trải Máy
truy
tin khuôn nguồn mật kênh kênh chế phổ phát
nhập

* * ∆ ∆ ∆
* * *

* Chuỗi bít ∆ Chuỗi dạng sóng Đồng Kênh

bộ truyền

* * * * * ∆ ∆ ∆
Giải Giải Giải Giải Giải Giải Đa
Nhận Tạo Máy
mã mã mã ghép điều trải truy
tin khuôn thu
nguồn mật kênh kênh chế phổ nhập

Tới các đích nhận tin khác

1.4 Một số phương pháp biến đổi thông tin số
1.4 Một số phương pháp biến đổi thông tin số
1.4 Một số phương pháp biến đổi thông tin số
1.4 Một số phương pháp biến đổi thông tin số
1.4 Một số phương pháp biến đổi thông tin số
1.5 Giới thiệu một số hệ thống thông tin
1.6 Xu hướng phát triển của các thiêt bị đầu cuối
trong các hệ thống thông tin
THIẾT BỊ CŨ THIẾT BỊ MỚI

Analog Digital
Narron band Broad band
simplex Duplex
Off line Online
Clear Security
Mono media Multi media
Passive Active
Idle Intelligent
Public Privacy
Mono access Multi access
Mono chanel Multi chanel
Non adative Adative
Chương 2 Cơ sở lý thuyết thông tin

➢ Lượng thông tin, số đo lượng thông tin

➢ Entropie của nguồn rời rạc

➢ Entropie có điều kiện, lượng thông tin tương hỗ

➢ Các tham số đặc trưng của nguồn và kênh rời rạc

2.1 Lượng thông tin, số đo lượng thông tin

✓ Mối quan hệ giữa thông tin và độ bất định

✓ Mối quan hệ giữa thông tin và xác suất

✓ Các tiên đề về thông tin

✓ Số đo lượng thông tin

✓ Lượng thông tin tương hỗ

2.1.1 Mối quan hệ giữa thông tin và độ bất định

✓ Ví dụ:
Thông tin
+ Với một bức điện vừa nhận nhận được
được, khi chưa đọc thì ta chỉ có
Độ bất định
thể phỏng đoán nội dung hoặc thế
trước khi
này hoặc thế khác...
nhận tin
+ Nói cách khác bức điện chứa
Độ bất định sau
một độ bất định nào đó. Khi đọc
khi nhận tin
bức điện rồi nghĩa là ta đã biết
được thông tin thì độ bất định nói
trên không còn. A B
2.1.1 Mối quan hệ giữa thông tin và độ bất định

- Khái niệm “thông tin” gắn liền với khái niệm “độ bất định”

- Thông tin là mức độ thủ tiêu của độ bất định

- Lượng thông tin (độ lớn nhỏ của thông tin) được xác định bằng:

+ Độ bất định trước trừ độ bất định sau khi nhận tin

(Độ bất định tiên nghiệm trừ độ bất định hậu nghiệm)

+ Thông tin trước khi nhận tin trừ thông tin sau khi nhận

(Thông tin tiên nghiệm trừ thông tin hậu nghiệm)

2.1.2 Mối quan hệ giữa thông tin và xác suất

✓ Ví dụ: Số lượng tin Xác suất Độ bất định

(sự kiện…) xuất hiện (thông tin)
1 1 0
2 1/2 ≠0
… … ≠0
n 1/n ≠0
… … ≠0
→∞ →0 →∞
2.1.2 Mối quan hệ giữa thông tin và xác suất

Giữa thông tin (độ bất định) và xác suất có mối quan hệ phụ

thuộc lẫn nhau.

Gọi:

I(xi) – thông tin về tin (sự kiện, biến cố) xi

p (xi) – xác suất xuất hiện tin (sự kiện, biến cố) xi

Nếu xem thông tin là hàm của xác suất, ta có: I(xi) = f[p(xi)]
2.1.3 Các tiên đề về thông tin
✓Tiên đề 1: Thông tin là đại lượng không âm

I ( xi )  0
✓Tiên đề 2: Biến cố chắc chắn không cho thông tin
I ( xi ) p = 0
( xi )=1
✓Tiên đề 3: Nếu xi, xj là hai sự kiện độc lập thống kê.

( )
I xi x j = I ( xi ) + I x j ( )
Nếu xi, xj là hai sự kiện phụ thuộc.

( )
I xi x j = I ( xi ) + I x j xi( )
2.1.4 Số đo lượng thông tin
✓Từ những vấn đề nêu trên ta xác định được:
I(x) = k.lnp(x) (1.1)
k: hệ số, k < 0
• k = -1 I(x) = - lnp(x) [Nat] (1.2)
• k = -1/ln2 I(x) = - log2 p(x) [Bit] (1.3)
• k = -1/ln10 I(x) = - lgp(x) [Hart] (1.4)
Đơn vị thông tin dùng trong các hệ thống thông tin là bit
vì vậy công thức hay được sử dụng là:
I(x) = - log2p(x) (1.5)
2.1.5 Lượng thông tin tương hỗ
Xét mô hình kênh truyền tin
a b
Lượng thông tin tương hỗ:
I (a, b) = I (a) − I (a / b)
Theo định nghĩa:

p(a)
I (a, b) = − log (1.6)
p ( a / b)

I(a,b) - Lượng thông tin tương hỗ (lượng thông tin

truyền qua kênh rời rạc)
2.2 Entropie của nguồn rời rạc

➢ Bản chất thống kê của nguồn rời rạc

➢ Entropie của nguồn rời rạc

➢ Một số thuộc tính của entropie

➢ Entropi của nguồn nhị phân

➢ Entropi của trường các sự kiện đồng thời

2.2.2 Bản chất thông kê của nguồn rời rạc

Số liệu thống kê của Bake Pipe (1982):

Kí tự A B C D E F G H I J K L M

Xác suất xuất hiện

8,2 1,5 2,8 4,3 12,7 2,2 2,0 6,1 7,0 0,2 0,8 4,0 2,4
(tính theo %)

Kí tự N O P Q R S T U V W X Y Z

Xác suất xuất hiện

6,7 7,5 1,9 0,1 6,0 6,3 9,1 2,8 1,0 2,2 0,1 2,0 0,1
(tính theo %)
2.2.1 Bản chất thống kê của nguồn rời rạc

Xét một nguồn rời rạc:

 a1 a2 ... an 
A= 
 p (a1 ) p(a2 ) ... p ( as ) 
s
 p(ai ) = 1
i =1
0  p(ai )  1
p (ai )  p (a j ), i  j
I (ai ) = − log p(ai )

I(ai) - Lượng thông tin riêng về mỗi tin thuộc nguồn

2.2.2 Entropie của nguồn rời rạc
✓ Khái niệm: Entropie của nguồn rời rạc, là trung bình thống kê

của lượng thông tin riêng chứa trong các tin của nguồn rời rạc.
H1 ( A) = M I (ai )
s
=  p (ai ) I (ai )
i =1
s
= − p (ai )log p (ai ) (1.7)
i =1

* Lượng thông tin trung bình I(A) cũng được xác định như

(1.7) nhưng về ý nghĩa thì chúng lại khác nhau

2.2.2 Entropie của nguồn rời rạc

• H1(A): Biểu thị thông tin trung bình trên mỗi tin của nguồn
trước khi nhận tin.
• I(A): Biểu thị thông tin trung bình của mỗi tin sau khi nhận
tin.
• Một vài giá trị của H1(A) :
H1(Anh ngữ) = 4,19 bit
H1(Nga ngữ) = 4,35 bit
H1(Việt ngữ) = 4,517 bit
2.2.3 Một số thuộc tính của Entropie

✓ Tính chất 1: Entropie của nguồn rời rạc là đại lượng không âm.

H1( A)  0 (1.8)
✓ Tính chất 2: Nguồn rời rạc gồm có s tin đồng xác suất, cho entropie
cực đại và giá trị cực đại là logs
H1( A)  log s (1.9)
✓ Tính chất 3: Entropie của nguồn rời rạc là một đại lượng giới nội

0  H1( A)  log s (1.10)

2.2.4 Entropie của nguồn rời rạc nhị phân
Nguồn nhị phân được cho như sau: H1 ( A)

 a1 a2  1
A= 
 p 1 − p 
s
H1 ( A) = − p (ai )log p (ai )
i =1 0 1/ 2 1 p
= − p log p − (1 − p)log(1 − p)
✓Định nghĩa: 1 bit là Entropie của một hệ vật lý có hai trạng thái độc
lập, đồng xác suất
2.2.5 Entropie của trường các sự kiện đồng thời

• Có hai nguồn rời rạc A và B được cho như sau:

 a1 a2 ... as   b1 b2 ... bt 
A=  B=
 p (a1 ) p (a2 ) ... p ( as )   p (b1 ) p (b2 ) ... p (bt ) 
0  p(ai )  1 i = 1  s 0  p(b j )  1 j = 1  t
s t
 p(ai ) = 1  p(b j ) = 1
i =1 i =1

A và B được coi là trường các sự kiện cơ bản, ai và bj là các

sự kiện cơ bản
2.2.5 Entropie của trường các sự kiện đồng thời

Xét sự kiện tích:

ck = (aib j )  p(ck ) = p(aib j )

Trường sự kiện C được gọi là tích (giao) của hai trường

sự kiện cơ bản A và B, hay C gọi là trường sự kiện đồng thời.

 a1b1 a2b2 ... asbt 

C = AB = 
 p (a1b1 ) p (a2b2 ) ... p (asbt ) 
s t
0  p(ai b j )  1 i = 1  s, j = 1  t ,  p(aib j ) = 1
i =1 j =1
2.2.5 Entropie của trường các sự kiện đồng thời

Hai trường A và B được gọi là độc lập với nhau nếu:

p(aib j ) = p(ai ). p(b j )

Ta có Entropie của trường sự kiện đồng thời:

H(C) = H(A) + H(B) (1.11)

Xét các nguồn độc lập hay các trường sự kiện độc lập:

n
 
X = Xk , k =1 n → H (X ) =  H (X k ) (1.12)
k =1
2.3 Entropie có điều kiện, lượng thông tin tương hỗ

➢ Entropie có điều kiện về một trường tin khi biết trường tin khác

➢ Một số thuộc tính của entropie có điều kiện

➢ Hai trạng thái đặc biệt của kênh truyền tin

➢ Entropie hai chiều và nhiều chiều của nguồn rời rạc

➢ Lượng thông tin tương hỗ

➢ Mô hình kênh truyền tin

2.3.1 Entropie có điều kiện về một trường tin khi
biết trường tin khác
• Lượng thông tin tương hỗ giữa hai tin ai và bj :
I (aib j ) = I (ai ) − I (ai / b j )

I(ai / bj ) - lượng thông tin tổn hao (do nhiễu)

• Khi phía phát và phía thu không chỉ có mỗi tin mà là cả một trường tin:

 a1 a2 ... as   b1 b2 ... bt 
A=  B=
 p (a1 ) p (a2 ) ... p ( as )   p (b1 ) p (b2 ) ... p (bt ) 
0  p(ai )  1 i = 1  s 0  p(b j )  1 j = 1  t
s t
 p(ai ) = 1  p(b j ) = 1
i =1 i =1
2.3.1 Entropie có điều kiện về một trường tin khi
biết trường tin khác
✓ Entropi có điều kiện về trường tin A khi xác định bj của trường tin B.

a1 b1
a2 b2

ai bj

as bt
s
H ( A / b j ) = − p(ai / b j )log p(ai / b j )
i =1
• Ý nghĩa: H(A/bj) là lượng thông tin tổn hao trung bình của mỗi tin ở
phía phát khi phía thu thu được bj
2.3.1 Entropie có điều kiện về một trường tin khi
biết trường tin khác
•Entropi có điều kiện về trường tin B khi xác định ai của trường tin A
a1 b1
a2 b2

ai bj

as bt
t
( ) (
H ( B / ai ) = −  p b j / ai log p b j / ai )
j =1

• Ý nghĩa: H(B/ai) là lượng thông tin riêng trung bình chứa trong mỗi tin
ở phía thu khi phía phát phát đi một tin là ai
2.3.1 Entropie có điều kiện về một trường tin khi
biết trường tin khác

• Entropie có điều kiện của trường tin A khi xác định được trường tin B
a1 b1
a2 b2

ai bj

as bt
s t
H ( A / B) = − p(aib j )log p(ai / b j )
i =1 j =1
• Ý nghĩa: H(A/B) là lượng thông tin tổn hao trung bình của mỗi tin ở

phía phát khi phía thu đã nhận được một tin nào đó
2.3.1 Entropie có điều kiện về một trường tin khi
biết trường tin khác

• Entropie có điều kiện của trường tin B khi xác định được trường tin A
a1 b1
a2 b2

ai bj

as bt
s t
H ( B / A) = − p(aib j )log p(b j / ai )
i =1 j =1
• Ý nghĩa: H(B/A) là lượng thông tin riêng trung bình của mỗi tin ở phía

thu khi phía phát đã phát đi một tin nào đó

2.3.1 Entropie có điều kiện về một trường tin khi
biết trường tin khác

• Vậy ta có các trường hợp cụ thể sau:

s
( ) ( ) (
H A / b j = − p ai / b j log p ai / b j )
i =1
t
( ) (
H ( B / ai ) = −  p b j / ai log p b j / ai )
j =1
s t
( ) (
H ( B / A) = − p aib j log p b j / ai )
i =1 j =1
s t
( ) (
H ( A / B ) = − p aib j log p ai / b j )
i =1 j =1
2.3.2 Hai trạng thái cực đoan của kênh truyền tin

✓ Kênh bị đứt (nhiễu tuyệt đối)

s
( ) ( ) ( )
H A / b j = − p ai / b j log p ai / b j = H ( A )
i =1
t
( ) ( )
H ( B / ai ) = −  p b j / ai log p b j / ai = H ( B )
j =1
s t
( ) ( )
H ( A / B ) = − p aib j log p ai / b j = H ( A )
i =1 j =1
s t
( ) ( )
H ( B / A) = − p aib j log p b j / ai = H ( B )
i =1 j =1
2.3.2 Hai trạng thái cực đoan của kênh truyền tin

✓Kênh không nhiễu

s
( ) ( ) ( )
H A / b j = − p ai / b j log p ai / b j = 0
i =1
t
( ) ( )
H ( B / ai ) = −  p b j / ai log p b j / ai = 0
j =1
s t
( ) ( )
H ( A / B ) = − p aib j log p ai / b j = 0
i =1 j =1
s t
( ) (
H ( B / A) = − p aib j log p b j / ai = 0)
i =1 j =1
2.3.3 Một số thuộc tính của Entropie có điều kiện

✓Tính chất 1: Nếu A và B là hai trường tin bất kỳ, Entropie của trường
tin đồng thời:

H(AB) = H(A)+ H(B/A) = H(B) + H(A/B) (1.14)

✓Tính chất 2: Entropie có điều kiện là một đại lượng giới nội:

0  H(A/B)  H(A) (1.15)

✓Tính chất 3: Entropie của trường sự kiện đồng thời không lớn hơn tổng
Entropie của các trường của các trường sự kiện cơ bản:

H(AB)  H(A)+H(B) (1.16)

2.3.4 Lượng thông tin tương hỗ trung bình

Xét 2 trường tin A và B


A = ai , p (ai ); i = 1  s  
B = b j , p (b j ); j = 1  t 
Lượng thông tin tương hỗ giữa hai tập tin A và B

(Lượng thông tin trung bình truyền qua kênh rời rạc )

 
I ( A, B) = M I (aib j )
s t
p (ai )
= − p (ai b j )log (1.20)
i =1 j =1 p (ai / b j )
= H ( A) − H ( A / B)
2.3.4 Lượng thông tin tương hỗ trung bình

• I(AB): Lượng thông tin tương hỗ trung bình

• H(A): Là lượng thông tin trung bình của mỗi tin của nguồn phát

• H(A/B): Lượng thông tin tổn hao

Tóm lại: I(A,B) = H(A) – H(A/B)

Tương tự, ta có: I(A,B) = H(B) – H(B/A)

Hay: I(A,B) = H(A) + H(B) – H(A.B)

2.3.4 Lượng thông tin tương hỗ trung bình

• Tính chất 1

I(A,B) ≥ 0

• Tính chất 2

I(A,B) ≤ H(A)

•Tính chất 3

I(A,A) = H(A)

•Tính chất 4

I(A,B) = I(B,A)
2.3.5 Mô hình kênh truyền tin

H(A) I(AB) = I(BA) H(B)

H(A/B) H(B/A)
Lượng thông tin tổn hao Lượng thông tin do sửa sai
2.4 Các tham số đặc trưng của nguồn và kênh rời rạc

➢ Các tham số đặc trưng của nguồn rời rạc

➢ Các tham số đặc trưng của kênh rời rạc

➢ Lượng thông tin truyền qua kênh rời rạc trong một đơn

vị thời gian

➢ Thông lượng của kênh rời rạc

2.4.1 Các tham số đặc trưng của nguồn rời rạc

Tốc độ tin phát của nguồn rời rạc:

Nguồn phát phát các tin bằng những xung có độ rộng là Tn

1  sè xung (sè dÊu hiÖu) 

Vn = 
T n  1 ®¬n vÞ thêi gian 
Tn

Tốc độ phát tin của nguồn thường được tính bằng (baud)

Baud là số dấu hiệu nguồn phát ra trong 1 đơn vị thời gian

2.4.1 Các tham số đặc trưng của nguồn rời rạc

Khả năng phát của nguồn rời rạc

Khả năng phát của nguồn rời rạc được định nghĩa:
1
H ( A) = Vn .H ( A) = .H ( A) ( bit / sec, bps ) (1.21)
Tn

1
H ( A) max = Vn .H ( A) max = .H ( A) max
Tn
1
= log s ( bit / sec, bps )
Tn
Khả năng phát của nguồn biểu thị lượng thông tin trung
bình mà nguồn phát ra được trong một đơn vị thời gian
2.4.1 Các tham số đặc trưng của nguồn rời rạc

Độ dư của nguồn rời rạc

Độ dư của nguồn rời rạc được định nghĩa bởi biểu thức sau:
H ( A) max − H ( A)
Dn = = 1−  (1.22)
H ( A) max
H ( A)
Trong đó:  = gọi là hệ số nén tin
H ( A) max
Với nguồn rời rạc gồm s tin : H ( A) max = log s
H ( A)
Độ dư của nguồn rời rạc: Dn = 1 − (1.23)
log s
Độ dư đặc trưng cho hiệu suất, khả năng chống nhiễu của nguồn.
2.4.2 Các tham số đặc trưng của kênh rời rạc

Một kênh rời rạc được đặc trưng bởi 3 tham số cơ bản sau:

+ Trường dấu lối vào và trường dấu lối ra kênh:


A = ai , p (ai ); i = 1, s 
B = b j , p (b j ); j = 1, t
+ Các xác suất chuyển:
p (b j / ai ),  i = 1, s; j = 1, t

+ Tốc độ truyền tin qua kênh: Vk

2.4.2 Các tham số đặc trưng của kênh rời rạc

✓Định nghĩa 1:

• p(bj/ai) không phụ thuộc vào thời gian: kênh đồng nhất

• p(bj/ai) phụ thuộc vào thời gian: kênh không đồng nhất

• p(bj/ai) không phụ thuộc vào dấu đã phát trước nó: kênh không nhớ

• p(bj/ai) phụ thuộc vào dấu đã phát trước nó: kênh có nhớ
2.4.2 Các tham số đặc trưng của kênh rời rạc
Định nghĩa 2: Nếu một kênh có xác suất chuyển thỏa mãn:

 p® = const;i = j
p(b j / ai ) =  ;i = 1, s; j = 1, t
 ps = const;i  j
Ta có kênh đối xứng

Ví dụ: Kênh nhị phân đối xứng có xác suất chuyển và mô hình
được cho như sau:
Pđ
a1 b1
 p(b1 / a1 ) = p(b2 / a2 ) = p®

 p(b1 / a2 ) = p(b2 / a1 ) = ps ps
P® + Ps = 1 a2 b2
Pđ
2.4.3 Lượng thông tin truyền qua kênh rời rạc

I ( AB)
I ( AB) = = Vk .I ( AB) (1.24)
Tk

Tk - Thời gian truyền một dấu qua kênh

1
Vk = - Số dấu truyền trong một đơn vị thời gian
Tk
Tk  Tn - Ta có kênh nén tin
Tk  Tn - Ta có kênh giãn tin

Thông thường: Tk = Tn = 1/ Vk = 1/ Vn
2.4.4 Thông lượng của kênh rời rạc
✓Định nghĩa:
C  = max I ( AB) = Vk .max I ( AB) (1.25)
A A

Đặt:
C = max I ( AB)
A
Ta có:

C  = Vk .C [bit / sec]
✓Tính chất:

+C   0
+C   Vk .log s
2.4.4 Thông lượng của kênh rời rạc

✓Định lý:

Để có thể mã hóa và giải mã các tin khi truyền qua với khả

năng thông qua của kênh hay có thể truyền tin với tốc độ xấp xỉ

khả năng thông qua của kênh thì cần thỏa mãn điều kiện sau:

H ( A)  C 

Trong đó: H’(A) khả năng phát của nguồn rời rạc

C’ là khả năng thông qua kênh truyền

 Bài tập
1. Cho kênh truyền nhị phân đối xứng, với xác suất tương ứng
P(x1) = 3/4, P(x2) = 1/4.
Do có nhiễu xác suất thu đúng mỗi tin chỉ còn 7/8.
Hãy xác định:
a/ Lượng thông tin riêng có điều kiện I(x2/y2)
b/ Lượng thông tin chéo I (x2, y2)
c/ Các lượng thông tin trung bình: I(XY), H(X), H(X/Y)
x1 y1

x2 y2
 Bài tập
2. Cho mô hình kênh rời rạc không nhớ, đối xứng, đồng
nhất, được cho như hình vẽ:
Cho biết: p(a1) = a, Do có nhiêu nên xác suất thu đúng
mỗi tin chỉ còn p. Giả sử: tốc độ phát tin của nguồn Vn, tốc độ
truyền tin qua kênh là Vk .
a1 b1
Tính:
-I(a1b1), I(a2b2),I(a1/b1),I(a2/b2)
-H(A/B), H(B/A)
a2 b2
-H’(A), Dn, C’
 Bài tập

3. Học viện KTMM có a % là sinh viên ATTT, trong

số các sinh viên ATTT có b % là Sinh viên giỏi, còn

SV giỏi cả Học viện chiếm c %.

Tìm lượng thông tin chứa trong biến cố, tìm được 1

SV giỏi là sinh viên ATTT

 Bài tập

4. SV ATTT của HVKTMM có 50% là SV K13, 30% là

SV K12, 20% là SV K11. Biết số SV giỏi K13 là 5%, SV

giỏi K12 là 3%, SV giỏi K11 là 2%.

a) Chọn ngẫu nhiên 1SV, tìm lượng thông tin về SV đó là

giỏi.

b) b) Tìm lượng thông tin về SV giỏi là SV K13.

Chương 3: Cơ sở lý thuyết mã

➢ Một số định nghĩa và khái niệm cơ bản

➢ Mã thống kê tối ưu

➢ Những khái luận về mã khống chế sai

➢ Mã Cyclic
3.1 Một số định nghĩa và khái niệm cơ bản

✓ Mã hóa, Mã hiệu

✓ Phân loại mã

✓ Độ dư của bộ mã

✓ Khoảng cách mã
3.1.1 Mã hóa, mã hiệu
✓ Ví dụ

• Xét một nguồn tin A = {a, b, c, d}.

Chúng ta có thể thiết lập một ánh xạ A vào tập các chuỗi {0, 1}

a → 00 c → 10

b → 01 d → 11

• Vậy thay vì truyền bản tin baba, phía phát sẽ phát đi chuỗi
01000100.

• Khi phía thu nhận được chuỗi bít này thì phải xác định được
bản tin bên phát đã phát đi là baba.
3.1.1 Mã hóa, mã hiệu

✓ Mã hoá là một phép biến đổi từ nguồn tin thành mã hiệu,

hay mã hoá là phép biến đổi từ một tập tin này thành một tập

tin khác có đặc tính thống kê yêu cầu.

f : ai  ⎯⎯
1−1
 
→  ini

✓ Quá trình ngược lại quá trình mã hoá được gọi là giải mã.
3.1.1 Mã hóa, mã hiệu
✓ Mã hiệu là tập hữu hạn các kí hiệu và phép ánh xạ các
tin/bản tin của nguồn tin thành các dãy kí hiệu tương ứng.

✓ Số lượng các kí hiệu trong mã hiệu được gọi là cơ số mã,

và thường kí hiệu là m.

Nếu m = 2: mã nhị phân

Nếu m = 3: mã tam phân

…………

Nếu m = p thì bộ mã tương ứng được gọi là mã p phân.

3.1.1 Mã hóa, mã hiệu

✓Từ mã là chuỗi kí hiệu mã biểu diễn cho tin của nguồn.

 in : là từ mã thứ i có ni dấu mã (có độ dài ni) dùng để mã

i

hóa cho tin ai của một nguồn rời rạc nào đó

✓Tập tất cả các từ mã tương ứng với các tin của nguồn được

gọi là bộ mã.

 
V =  ini , i = 1, s
3.1.1 Mã hóa, mã hiệu
✓ Chiều dài từ mã, chiều dài trung bình
• Chiều dài từ mã là số bit (số dấu mã) có trong từ mã thường
được kí hiệu là n.
• Chiều dài trung bình của bộ mã thường được kí hiệu là n
s
n =  p ( ai ) ni
i =1

Trong đó:
s là số tin của nguồn
ni là chiều dài từ mã tương ứng với tin ai của nguồn.
3.1.1 Mã hóa, mã hiệu
✓ Điều kiện thiết lập mã:

• Điều kiện để thiết lập bộ mã, đó chính là phải giải mã đúng

và duy nhất.

• Ta có thể nói: Để giải mã đúng thì phép biểu diễn này nhất
thiết là một phép biến đổi đơn trị, hai chiều. Như vậy mã hóa
là hàm tương ứng 1 – 1 giữa các tin của nguồn với các từ mã
của các bộ mã
3.1.2 Độ dư của bộ mã

• Cho nguồn rời rạc A gồm s tin: 

A = ai ;i = 1, s 
• Xét phép mã hóa f sau: 
f : ai →  in ;V =  in , i = 1, N 

• V là bộ mã cơ số mã là m, độ dài n. Khi đó số từ mã

có thể có là: N = m n.
3.1.2 Độ dư của bộ mã
• Độ dư của bộ mã đều được xác định theo biểu thức:

H (V ) - H ( A)
D = max max = 1- log s (2.1)
m H (V ) n log m
max

• Khi s = m n → Dm = 0 , khi này số tất cả các từ mã đều được

dùng để mã hóa cho các tin của nguồn. Bộ mã không có độ
dư (còn được gọi là mã hóa đơn giản)

• Khi: s  m n → Dm  0 , bộ mã có độ dư.
3.1.3 Phân loại mã
✓ Người ta có thể phân loại mã theo nhiều cách khác nhau

• Theo cơ số m của bộ mã: mã nhị phân, mã tam phân…

• Theo độ dài ni của từ mã: mã đều, mã không đều

• Theo độ dư của bộ mã: mã đơn giản, mã có độ dư

✓ Các mã nhị phân được dử dụng phổ biến, phần này ta chỉ xét

tới mã nhị phân.

3.1.4 Biểu diễn mã
✓Bảng mã

• Bảng đối chiếu mã – Trình bày bộ mã dưới dạng

bảng

• Liệt kê các tin của nguồn và từ mã tương ứng trong

một bảng
Tin a1 a2 a3 a4 a5

Tư mã 1 00 011 0101 0100

3.1.4 Biểu diễn mã
✓ Mặt tọa độ mã

• Mỗi từ mã được mô tả bởi hai thông số: độ dài từ mã ni và trọng số từ

mã bi bi
ni 6
bi =   k 2 k −1 5
a4
k =1 a5
4
a3
3
• k: Số thứ tự của ký
2
a1
hiệu trong từ mã 1
a2

• σk=0 hoặc 1 1 2 3 4 5 6 ni
3.1.4 Biểu diễn mã
✓ Cây mã

• Là cách biểu diễn các từ mã bằng các 0 1

nút lá của một cây. Mỗi nút lá biểu diễn

a1
0 1
cho từ mã từ nút gốc đến nút lá này.
a2
• Mã có cơ số m thì cây mã tương ứng 0 1

sẽ là cây m phân. 1 a3
0

• Phương pháp cây mã chỉ cho phép

a5 a4
biểu diễn những mã prefix
3.1.4 Biểu diễn mã
✓ Đồ hình kết cấu mã

• Là một dạng đặc biệt của cây 1

0
mã, trong đó các nút lá trùng với
nút gốc và ngoài ra mỗi cạnh của 0
đồ hình kết cấu mã đều là cạnh có 0, 1
1
hướng. 1

• Vì vậy một từ mã được biểu diễn

0
bằng một chu trình xuất phát từ nút
gốc và quay trở về lại nút gốc.
3.1.4 Biểu diễn mã
✓ Hàm cấu trúc mã

Thống kê số lượng từ mã có độ dài ni – G(ni)

Ví dụ: với bộ mã 0, 00, 11, 100, 101, 110, 1011. Ta có

G(ni) được biểu diễn như sau:

1 ni = 1

2 ni = 2
G ( ni ) = 
3 ni = 3
1 ni = 4
3.1.5 Khoảng cách mã (khoảng cách Hamming)

✓ Khoảng cách Hamming giữa hai từ mã bất kỳ của một bộ mã

là số dấu mã khác nhau tính theo cùng 1 vị trí giữa hai từ mã.

𝑑 𝛼𝑖𝑛 , 𝛼𝑗𝑛 - Khoảng cách giữa hai từ mã: 𝛼𝑖𝑛 , 𝛼𝑗𝑛

Ví dụ:
 in = 1011000
 jn = 0101100
*** *
( )
d  in , jn = 4
3.1.5 Khoảng cách mã (khoảng cách Hamming)

✓ Thuộc tính

d ( in nj ) = 0 Với i = j
d ( in nj )  0 Với i  j
d ( in nj ) = d ( nj  in ) Với i, j
d ( in nj ) + d ( nj  kn )  d ( in kn ) Với i, j , k
1  d ( in nj )  n Với i  j
✓ Trọng số của từ mã: là số các dấu khác 0 trong từ mã

W ( in ) Trọng số của từ mã:  i

n

( ) (
Khoảng cách mã: d  in nj = W  in   nj )
3.2 Mã thống kê tối ưu

✓ Giới hạn tối ưu cho độ dài trung bình của từ mã

✓ Định lý Shannon

✓ Mã thống kê tối ưu Huffman

3.2.1 Giới hạn tối ưu cho độ dài trung bình của từ mã

✓Độ dài trung bình L của từ mã:

s
L =  ni p ( ai ) (2.9)
i =1

𝑛
ni :Độ dài của từ mã 𝛼𝑖 dùng đề mã hóa cho tin ai

p(ai): Xác suất xuất hiện tin ai của nguồn


 ai   s
A=  , i = 1, s,  P ( ai ) = 1
 P ( ai ) 
  i =1
3.2.1 Giới hạn tối ưu cho độ dài trung bình của từ mã

✓ Để xây dựng một từ mã có tính kinh tế:

• Lượng thông tin chứa trong từ mã không thể nhỏ hơn lượng thông tin

chứa trong tin tương ứng: ( )

I  ini  I ( ai )

• Việc mã hóa càng kinh tế khi mỗi dấu mã chứa được một lượng

thông tin càng lớn.

- Lượng thông tin cực đại chứa trong mỗi dấu mã là: logm

- Lượng thông tin riêng cực đại chứa trong từ mã là:

( )
I  ini
max
= ni log m
3.2.1 Giới hạn tối ưu cho độ dài trung bình của từ mã

✓ Nếu coi tất cả các dấu mã trong từ mã là độc lập thống kê thì:

( )
I  ini  I ( ai )  ni log m  − log p ( ai )

− log p ( ai )
ni  ( 2.10 )
log m
H ( A)
L
log m
✓ Điều kiện (2.10) được chọn như sau:

 − log p ( ai ) 
ni    +1
 log m 
[X] – chỉ phần nguyên
3.2.1 Giới hạn tối ưu cho độ dài trung bình của từ mã

✓ Nếu để ý đến tính kinh tế của bộ mã thì

 H ( A) 
L=  +1
 log m 
✓ Giới hạn tối ưu cho độ dài trung bình từ mã

 H ( A)   H ( A) 
 L  +1
 log m   log m 
3.2.2 Định lý Shannon
✓ Định lý:

H ( A)
L
log m

Khi mã hóa bằng các nhóm từ mã có độ dài đủ lớn thì độ

dài trung bình của từ mã L có thể tiến tới gần tùy ý giá trị trên

✓ Ý nghĩa:

Xác định khả năng giới hạn cho tính kinh tế của bộ mã hay
xác định số bit nhị phân tối thiểu trung bình cho một tin.
3.2.3 Mã thống kê tối ưu Huffman
✓ Phương pháp lập mã theo Huffman:

• Viết tất cả các tin theo thứ tự giảm dần

• Hai xác suất nhỏ nhất được nối và cộng lại với nhau. Một
xác suất được ghi “1”, và một xác suất được ghi “0”

• Quá trình hợp hai tin có xác suất nhỏ nhất được tiếp tục
cho đến khi tổng xác suất của hai tin bằng 1

• Từ mã ứng với mỗi tin, là các dấu nhị phân viết từ nút gốc
đến nút lá.
3.2.3 Mã thống kê tối ưu Huffman
ai p(ai) Quá trình tổ hợp các tin Từ mã

a1 1/2 1/2 1/2 1/2 1/2 0 0

1
a2 1/8 1/8 0 1/4 0 1/2 1 100

a3 1/8 1/8 1 1/4 1 101

a4 1/8 1/8 0 110

a5 1/16 0 1/8 1 1110

a6 1/16 1 1111
3.2.3 Mã thống kê tối ưu Huffman
a1 a2 a3 a4 a5 a6
1/2 1/8 1/8 1/8 1/16 1/16

0 1

0 1 0 1/8

1/4 1/4
0
0 1

1/2

1
3.2.3 Mã thống kê tối ưu Huffman
✓ Giải mã: Dùng đô thị hình cây mã

• Đặt con trỏ vào nút gốc

• Di con trỏ theo nhánh có trị là bit nhận được, khi con trỏ đến nút lá:

- Làm xuất hiện tin tương ứng

- Con trỏ quay trở về nút gốc

• Quá trình giải mã lại được tiếp tục như trên cho đến khi hết tin.

Ví dụ: Giải mã cho dãy bít nhận được

101100111001110001011101001101110

p p p pp ppp p p p p
a3 a2 a5 a1 a5a1a1 a3 a4 a2 a4 a5
 Ví dụ:mã Huffman
Một nguồn rời rạc được cho như sau:

Tin a1 a2 a3 a4 a5 a6 a7 a8
Xác
0.09 0.14 0.13 0.10 0.02 0.12 0.36 0.04
suất

a) Lập cây mã Huffman cho nguồn tin trên

b) Viết từ mã cho các tin tương ứng

c) Đánh giá tính kinh tế của bộ mã

d) Giải mã cho dãy bit nhận được

3.3 Những khái luận về mã khống chế sai

✓ Biểu diễn véc tơ cho tổ hợp mã

✓ Cơ chế phát hiện sai và sửa sai của bộ mã

✓ Mối liên hệ giữa khoảng cách cực tiểu và khả năng

sửa sai của bộ mã

3.3.1 Biểu diễn véc tơ cho tổ hợp mã
in  ( x1, x2,..., xn ) = ai in  ( y1, y2,..., yn ) = bi
✓ Các phép toán đối với véc tơ mã:
c = a + b = ( x1  y1 , x2  y2 ,..., xn  yn )

ca = c ( x1 , x2 ,..., xn ) = ( cx1 , cx2 ,..., cxn )

c = ab = ( x1 y1  x2 y2  ...  xn yn )
n
b = c1 a1 + c2 a2 + ... + cn an =  ci ai
i =1
✓Véc tơ mã nhận được: bi = ai + ei
Véc tơ sai 𝑒Ԧ đặc trưng cho nhiễu trên kênh truyền
Trọng số của véc tơ sai 𝑒Ԧ là W(𝑒)
Ԧ gọi là bội sai.
3.3.2 Cơ chế phát hiện sai và sửa sai của bộ mã

✓Giả sử bộ mã dùng có độ dài từ mã là n. Như vậy:

• Số từ mã có thể có là: N0 = 2n

• Số từ mã dùng: N = 2k

• Số từ mã cấm: No – N = 2n – 2k
3.3.2 Cơ chế phát hiện sai và sửa sai của bộ mã

1 1
Không
2 2 phát
Từ mã hiện
dùng được
sai
N N
Có thể
Từ mã phát
cấm  No  N0 hiện sai
3.3.2 Cơ chế phát hiện sai và sửa sai của bộ mã

✓ Số trường hợp chuyển có thể có khi truyền N từ mã là: N.N0

✓ Trong đó:

• Số trường hợp truyền đúng: N

• Số trường hợp chuyển thành các từ mã dùng khác (không phát

hiện được sai): N.(N-1)

• Số trường hợp chuyển sai có thể phát hiện được:N.(N0 - N)

3.3.2 Cơ chế phát hiện sai và sửa sai của bộ mã

• Tỷ số giữa số trường hợp truyền sai có thể phát

hiện được và số trường hợp chuyển có thể có:
N ( N0 − N ) N
= 1−
N .N 0 N0
• Tỷ số giữa số trường hợp chuyển sai có thể sửa
được và số trường hợp sai có thể có:
N0 − N N
= 1−
N ( N0 − N ) N0
3.3.3 Khoảng cách cực tiểu và khả năng sửa sai của bộ mã

✓ Để đánh giá khả năng phát hiện sai và khả năng sửa sai của một

bộ mã ta dùng khái niệm khoảng cách mã cực tiểu của bộ mã

✓ Định nghĩa:

Khoảng cách nhỏ nhất giữa hai từ mã bất kỳ của bộ mã gọi

là khoảng cách cực tiểu.

𝑑0 = 𝑚𝑖𝑛 𝛼𝑖𝑛 , 𝛼𝑗𝑛 ; ∀𝑖 ≠ 𝑗, 𝑖 = 1 ÷ 𝑠, 𝑗 = 1 ÷ 𝑠

3.3.3 Khoảng cách cực tiểu và khả năng sửa sai của bộ mã

✓ Định lý 1: Một bộ mã đều nhị phân 𝑑0 > 1có thể phát hiện được tất
cả các véc tơ sai 𝑒 có 𝑊 𝑒Ԧ ≤ 𝜎 nếu thỏa mãn:
𝑑0 > 𝜎 + 1

✓ Định lý 2: Điều kiện cần và đủ để một bộ mã đều nhị phân (𝐷𝑚 > 0)
sửa được tất cả các véc tơ sai 𝑒 có 𝑊 𝑒Ԧ ≤ 𝑡 nếu thỏa mãn:
𝑑0 ≥ 2𝑡 + 1

✓ Định lý 3: Điều kiện cần và đủ để một bộ mã đều nhị phân (𝐷𝑚 > 0)
phát hiện được tất cả các véc tơ sai 𝑒 có 𝑊 𝑒Ԧ ≤ 𝜎 và sửa được tất cả
véc tơ sai 𝑒 có 𝑊 𝑒Ԧ ≤ 𝑡; (t ≤ σ) nếu thỏa mãn:
𝑑0 ≥ 𝜎 + t + 1
3.4 Mã Cyclic

✓ Biểu diễn đa thức cho tổ hợp mã

✓ Các định nghĩa của mã Cyclic

✓ Thiết bị tạo mã Cyclic

✓ Giải mã cho các mã Cyclic

3.4.1 Biểu diễn đa thức cho tổ hợp mã

✓ Cho từ mã:  in = a0 a1...a j ...an−1

✓ Từ mã trên có thể được biểu diễn theo đa thức sau:

n −1
ax =  ai x i

i =0

= a0 x 0 + a1 x1 + ... + a j x j + ... + an−1 x n−1

ai - Các dấu mã

xi - Ẩn hình thức, dùng để chỉ vị trí các dấu mã

3.4.1 Biểu diễn đa thức cho tổ hợp mã
✓Các phép toán đối với đa thức mã

• Phép cộng hai đa thức mã

n −1 n −1
ax =  ai x Vi
bx =  b j x V
j

i =0 j =0

n −1
ax + bx V → ax + bx =  (ai  bi ) x i (2.30)
i =0

• Phép nhân đa thức mã với một vô hướng

n −1
c.ax =  c.ai x i V (2.31)
i =0
3.4.1 Biểu diễn đa thức cho tổ hợp mã
• Phép nhân hai đa thức mã
n −1 n −1
ax =  ai xi V bx =  b j x j V
i =0 j =0

ax .bx V → ax .bx (2.32)

(
mod x +1 n
)
Ví dụ: phép nhân với x

x.ax
(
mod x +1n
) (
= x a0 x + a1 x + ... + an−1 x
0 1 n −1
) (
mod x n +1 )
(
= a0 x + a1 x + ... + an−1 x
1 2 n
) (
mod x n +1 )
= (a n −1 x 0
+ a0 x1
+ a1 x 2
+ ... + a n−2 x n −1
V )
3.4.1 Biểu diễn đa thức cho tổ hợp mã
✓ Ví dụ: phép chia cho x

1
.ax
x mod( x +1)
n
−1
(
= x a0 x + a1 x + ... + an−1 x
0 1 n −1
) (
mod x n +1 )
( −1
= a0 x + a1 x + ... + an−1 x
0 n−2
) (
mod x n +1 )
(
= a1 x 0 + a2 x1 + ... + an−2 x n−1 + a0 x n−1 V )
* Kết luận: Phép nhân một đa thức mã với x cho kết quả tương
đương như việc dịch vòng đa thức mã sang phải một dấu mã. Phép
chia một đa thức mã cho x tương đương như việc dịch vòng đa thức
mã sang trái một dấu mã.
3.4.2 Các định nghĩa của mã Cyclic
✓ Mã Cyclic:
Mã Cyclic là một bộ mã hệ thống tuyến (n,k) tính có đặc điểm
sau:
f x V , → x . f x V
i
(2.33)
✓ Đa thức sinh:
• Ký hiệu g(x) - Đa thức sinh của bộ mã:
deg g(x) = mindeg f(x)
• Biểu diễn:
r −1
g ( x) =  gi x i
(2.34)
i =0
3.4.3 Thiết bị tạo mã
✓ Nguyên tắc tạo mã

Gọi a(x) – tổ hợp mã gốc (tổ hợp k dấu mang tin)

• Thực hiện: x n−k .a( x)

• Tổ hợp các dấu không mang tin của từ mã, là phần dư của phép chia:
x n −k .a( x) / g ( x)
• Từ mã tương ứng với tổ hợp mã gốc a(x) có dạng:
f ( x ) = r ( x ) + x n−k .a( x) (2.36)

r ( x) a( x)

a0 a1 ar-2 ar-1 ar an-2 an-1

3.4.4 Giải mã cho các mã Cyclic
✓ Phương pháp giải mã theo thuật toán chia dịch vòng:
Giả sử f(x) là đa thức mã nhận được
Nếu f(x) V thì f(x) ⋮ g(x).
Nếu f(x) không chia hết cho g(x) thì sẽ có dư, phần dư sẽ phản ánh
cấu trúc sai. Phân tích phần dư, ta có thể đưa ra phương thức giải mã
hiệu quả.
✓ Thuật toán chia dịch vòng có thể tóm lược như sau:
• b1: Chia đa thức mã nhận được cho đa thức sinh, xác định phần dư
và tính trọng số của phần dư
Nếu: W(rx)  t, ta thực hiện theo b2
Nếu: W(rx) > t, ta thực hiện theo b3
3.4.3 Giải mã ngưỡng dựa trên các tổng kiểm tra trực giao

• b2: Lấy phần dư cộng với đa thức mã nhận được, ta thu được đa thức
mã đúng.
• b3: Dịch vòng đa thức mã nhận được sang phải (hoặc trái) một dấu
mã. Chia đa thức mã đã dịch cho đa thức sinh, xác định phần dư và tính
trọng số của phần dư
Nếu: W(rx)  t, ta thực hiện theo b4
Nếu: W(rx) > t, ta thực hiện theo b5
• b4: Lấy phần dư cộng với đa thức mã đã dịch, sau đó đem kết quả
dịch vòng ngược trở lại sang trái (hoặc sang phải), ta thu được đa thức
mã đúng.
• b5: Thực hiện như b3 cho tới khi W(rx)  t .*
 Bài tập

Bộ mã sửa sai Cyclic (7,3), có đa thức sinh:

g ( x) = 1+ x + x + x
2 3 4

1) Thiết lập từ mã cho các tin có tổ hợp dấu mang tin

sau:  = 001

2) Tìm dấu mã sai trong tổ hợp mã nhận được sau:

 = 1001001
 Chương 4 Cơ sở lý thuyết tín hiệu

➢ Biểu diễn phổ cho thể hiện của tín hiệu

➢ Các đặc trưng thống kê và đặc trưng vật lý của

tín hiệu ngẫu nhiên và nhiễu

➢ Biểu diễn phức và biểu diễn hình học cho thể

hiện của tín hiệu ngẫu nhiên và nhiễu

4.1 Biểu diễn phổ cho thể hiện của tín hiệu

✓ Khai triển trực giao

✓ Biến đổi Fourrier

✓ Một số thuộc tính của biến đổi Fourrier

4.1.1 Khai triển trực giao
• Họ hàm: {Un(t), n = 0 ÷ } được gọi là trực giao trong
khoảng T, nếu thỏa mãn:

C = const m=n
T U n (t ).U m (t )dt =  0 mn
(3.1)

• Như vậy một tín hiệu vật lý đều có thể được viết:

x(t ) =  anU n (t ) (3.2)
n =0

• (3.2) gọi là khai triển của x(t) theo họ hàm trực giao Un(t)
4.1.1 Khai triển trực giao
an - hệ số của phép thay thế được xác định từ điều kiện
trực giao:
1
an =  x(t ).U n (t )dt (3.3)
cT
Khi khai triển tín hiệu dưới dạng (3.2) ta luôn có:

x(t ) −  anU n (t )   (3.4)
n =0

 - sai số của phép biểu diễn tín hiệu và dãy thay thế
Khi  = 0 ta đã biểu diễn chính xác tín hiệu x(t)
4.1.2 Biến đổi Fourrier của những hàm tuần hoàn

✓ Xét tín hiệu x(t) là hàm tuần hoàn chu kỳ T

• Chọn họ hàm trực giao:

U n (t ) = 1,cos n0t ,sin n0t ; n = 1  

• Trong đó:
2
0 = 2 f 0 =  rad / s 
T
• Ta có thể biểu diễn x(t) dưới dạng như sau:

x(t ) =  ( an cos n0t + bn sin n0t ) (3.5)
n =0
(3.5) chuỗi Fourier dưới dạng thực
4.1.2 Biến đổi Fourrier của những hàm tuần hoàn

• Với giả thiết:

T m=n=0

T cos not cos motdt = T 2 m = n  0
 0 mn


0 m=n=0

T sin not sin motdt = T 2 m = n  0
 0 mn

4.1.2 Biến đổi Fourrier của những hàm tuần hoàn

• Các hệ số: ao, an ,bn được xác định như sau:

1
ao =  x(t )dt
TT
2
an =  x(t )cos notdt (3.6)
TT
2
bn =  x(t )sin notdt
TT
4.1.2 Biến đổi Fourrier của những hàm tuần hoàn

• Định lý Parceval


Với: x(t ) =  anU n (t )

n =0

1 C
Ta có: TT X 2
( t ) dt = 
T n =0
a 2
n

Vế trái là công suất tín hiệu, vế phải là tổng công

suất các thành phần phổ

4.1.2 Biến đổi Fourrier của những hàm tuần hoàn

Theo định lý Parceval


Với: x(t ) =  ( an cos n0t + bn sin n0t )
n =0


Ta có:
1
TT X 2
()
t dt = a0
2
+
1

2 n=1
(an
2
+ bn
2
)
Trong đó:

1
(
a02 +  an2 + bn2
2 n=1
) : công suất thành phần phổ
4.1.2 Biến đổi Fourrier của những hàm tuần hoàn

• Sử dụng công thức Euler:

 j
e = cos   j sin 
• Tính toán đơn giản, ta có thể viết (3.5) dưới dạng:

x(t ) =  n
C e
n =−
jnot
(3.7)

(3.7) Chuỗi Fourier dưới dạng phức.

• Trong đó:
1 1
Cn = ( an − jbn ) =  x (t )e − jnot dt (3.8)
2 TT
4.1.2 Biến đổi Fourrier của những hàm tuần hoàn

✓ Cn - phổ tần số: biểu diễn dưới dạng modul và argument

• Phổ biên độ (modul):

1 2
Cn = Re Cn  + Im Cn  =
2 2
a + b2 (3.9)
2
• Phổ pha (argument):

 Im Cn    bn 
n = arctg   = arctg  −  (3.10)
 Re Cn    an 
4.1.3 Biến đổi Fourrier của những hàm không tuần hoàn

• Với những hàm tuần hoàn, ta có cặp biến đổi Fourier


1 
x(t ) =  Cn e jnot Cn =  x(t )e − jnot (3.11)
T n=− −

• Với những hàm không tuần hoàn. Để sử dụng được kết quả
trên, ta có thể coi sự không tuần hoàn như kết quả của việc tăng
chu kỳ đến vô hạn.
T →   o→d
no→ (Các vạch phổ xít lại gần nhau)
Cn→X( )
4.1.3 Biến đổi Fourrier của những hàm không tuần hoàn

✓ Ta có thể viết lại (3.11) như sau:



 x(t )e
− jt
X ( ) = dt
−

1
x(t ) =
2 
−
X ( )e jt d  (3.12)

• (3.12) Cặp tích phân Fourier cho hàm không tuần hoàn

• X() Phổ tần số, đặc trưng cho phân bố biên độ trên các
thành phần tần số.
4.1.4 Một số thuộc tính của biến đổi Fourier
• Thuộc tính tuyến tính:

𝑢 𝑡 ⇌𝑈 𝜔
ൠ ⟹ 𝑎. 𝑢 𝑡 + 𝑏. 𝑣 𝑡 ⇌ 𝑎. 𝑈 𝜔 + 𝑏. 𝑉 𝜔
𝑣 𝑡 ⇌𝑉 𝜔

• Thuộc tính tịnh tiến(dịch trễ):

𝑥 𝑡 ⇌ 𝑋 𝜔 ⇒ 𝑥 𝑡 − 𝜏 ⇌ 𝑒 −𝑗𝜔τ 𝑋 𝜔

• Thuộc tính đồng dạng:

1 𝜔
𝑥 𝑡 ⇌ 𝑋 𝜔 ⇒ 𝑥 𝑎𝑡 ⇌ 𝑋
𝑎 𝑎
4.1.4 Một số thuộc tính của biến đổi Fourier
• Thuộc tính của phần thực và phần ảo của phổ:

Xét tín hiệu thực x(t)

Phổ của tín hiệu: X ( ) = A( ) − jB ( )

Theo biến đổi ngược Fourier:


1
x(t ) =
2   A( ) − jB( )( cos t + j sin t ) d
−

 A( ) = A(− )
 (3.16)
 B ( ) = − B(− )
4.1.4 Một số thuộc tính của biến đổi Fourier
✓ Công thức Reileight tổng quát:
• Giả thiết:
𝑢 𝑡 ⇌𝑈 𝜔
𝑣 𝑡 ⇌𝑉 𝜔
• Xét tích vô hướng của 2 tín hiệu trên:
 
1
(u.v) =  u (t )v(t )dt =  V ( ).U (− )d (3.17)
−
2 −

(3.17) - Công thức R tổng quát

• Trường hợp đặc biệt: 𝑢 𝑡 ⇔ 𝑣 𝑡
 
1
− u (t ) dt = 2  U ( ) d
2 2
(3.18)
−
(3.18) - định lý Parseval
4.2 Các đặc trưng thống kê và đặc trưng
vật lý của tín hiệu ngẫu nhiên và nhiễu

✓ Các đặc trưng thống kê

✓ Các đặc trưng vật lý

4.4.1 Các đặc trưng thống kê của tín hiệu
ngẫu nhiên và nhiễu

➢ Bản chất ngẫu nhiên của tín hiệu và nhiễu

➢ Phân loại nhiễu

➢ Các quy luật thống kê

➢ Các đặc trưng thống kê

4.4.1.1 Bản chất ngẫu nhiên của tín hiệu và nhiễu

• Với tín hiệu xác định x(t) ta có thể xác định các đặc trưng
vật lý thông qua phép biến đổi Fourier
1 
x(t ) =  Cn e jnot
T n=−

Cn = 
−
x(t )e − jnot

• Về mặt tổng quan, ta phải coi tín hiệu là một quá trình ngẫu
nhiên, nhiễu là một quá trình ngẫu nhiên
X =  x(t ),W ( x, t )
4.4.1.2 Phân loại nhiễu
• Theo bề rộng phổ: Nhiễu giải rộng, Nhiễu giải hẹp

• Theo quy luật biến đổi theo thời gian: Nhiễu xung, Nhiễu
tập trung

• Theo nguồn gốc: Nhiễu công nghiệp, Nhiễu vũ trụ

• Theo phương thức tác động vào tín hiệu: Nhiễu cộng, Nhiễu
nhân, Nhiễu hỗn hợp

• Theo phương thức bức xạ: Nhiễu tích cực, Nhiễu tiêu cực
4.4.1.3 Các quy luật thống kê
• Hàm mật độ phân bố xác suất một chiều:
f ( x, t1 )
W1 ( x, t1 ) =
x
• Hàm mật độ phân bố xác suất hai chiều:
f1 ( x1 , t1 ; x2 , t2 )
W2 ( x1 , t1 ; x2 , t2 ) =
x1x2
• Hàm mật độ phân bố xác suất nhiều chiều:
f n ( x1 , t1 ; x2 , t2 ;..xn , tn )
Wn ( x1 , t1 ; x2 , t2 ;..xn , tn ) =
x1x2 ...xn
4.4.1.4 Các đặc trưng thống kê

• Kỳ vọng toán học:


x(t ) = mx (t ) = M  x(t )  =  x(t )W ( x, t )dx
−

• Phương sai:

D  x(t )  = Dx ( t ) = M  x(t ) − m (t ) 
x
2

  x(t ) − m (t ) W ( x, t )dx
2
= x
−
4.4.1.4 Các đặc trưng thống kê

• Hàm tự tương quan:

Rx (t1 , t2 ) = M  x(t1 ) − mx (t1 )  x(t2 ) − mx (t2 ) 

 
=    x (t ) − M (t )  x (t ) − M (t )W ( x , t ; x , t ) dx dx
− −
1 x 1 2 x 2 2 1 1 2 2 1 2

• Hàm tự tương quan đặc trưng cho sự phụ thuộc thống

kê giữa 2 giá trị thuộc cùng một thể hiện của QTNN
4.4.1.4 Các đặc trưng thống kê
• Khi: t1  t2 = t → Rx (t1 , t2 ) = Dx (t )
• Trung bình bình phương:

 x (t ) = Dx (t )
• Hàm tự tương quan chuẩn hóa:
Rx ( t1 , t2 )
rx (t1 , t2 ) =
Rx ( t1 , t1 ) Rx ( t2 , t2 )
Rx ( t1 , t2 ) Rx ( t1 , t2 )
= =
Dx ( t1 ) Dx ( t2 )  x ( t1 ) . x ( t1 )
4.4.2 Các đặc trưng vật lý của tín hiệu
ngẫu nhiên và nhiễu

➢ Cơ sở lý thuyết phổ của quá trình ngẫu nhiên

➢ Biến đổi Khichin Wiener

➢ Bề rộng phổ công suất

4.4.2.1 Cơ sở lý thuyết phổ của quá trình ngẫu nhiên

• Xét:
  −T T 
 x(t ) t   2  2 
  
xT (t ) =  (3.19)
 0 t   −T  T 
  
 2 2 

• Với điều kiện trên 𝑥𝑇 𝑡 thỏa mãn điều kiện khả tích tuyệt
đối:
T /2
X T ( ) = 
−T /2
xT (t )e − jt dt (3.20)
4.4.2.1 Cơ sở lý thuyết phổ của quá trình ngẫu nhiên

• Theo định lý Parseval, Năng lượng của một thể hiện

của QTNN
T /2 T /2
1
ET =  x (t )dt =  X T ( ) d 
2 2
(3.21)
2
T
−T /2 −T /2

• Công suất của một thể hiện của tín hiệu nói trên
T /2
ET 1 1
 X T ( ) d 
2
PT = = (3.22)
T 2 −T /2
T
4.4.2.1 Cơ sở lý thuyết phổ của quá trình ngẫu nhiên

• Ký hiệu:
X T ( )
2

GT ( ) = (2.23)
T
• GT(ω) – Mật độ phổ công suất của thể hiện QTNN trong
khoảng T hữu hạn.

• Khi cho T → ∞ ta có:

X T ( )
2

Gx ( ) = lim GT ( ) = lim (3.24)

T → T → T
• Gx(ω) – Mật độ phổ công suất của một thể hiện của một
QTNN
4.4.2.1 Cơ sở lý thuyết phổ của quá trình ngẫu nhiên

• Lấy kỳ vọng của đại lượng ngẫu nhiên trên ta thu được:

G ( ) = M Gx ( )
 X T ( ) 
2

= M  lim 
T → T
 
• G(ω) – Mật độ phổ công suất của quá trình ngẫu nhiên

• Mật độ phổ công suất của quá trình ngẫu nhiên đặc trưng
cho sự phân bố công suất một cách bình quân của QTNN
dừng theo thang tần số
4.4.2.2 Biến đổi Khinchin Wiener
 X T ( ) 
2
 X T ( ) X T* ( ) 
G ( ) = M  lim  = M  lim 
T → →
 T  T T 
T T
2 2
1
= lim   M  xT (t1 ) xT (t2 ) e − j (t1 −t2 ) dt1dt2
T → T
−T −T 2 2

• Giả sử QTNN ta xét là những QTNN quy tâm

T T
2 2
1
G ( ) = lim   Rx (t1t2 )e − j ( t1 −t2 )
dt1dt2
T → T
−T −T 2 2

= 
−
R ( )e − j d (3.25)
4.4.2.2 Biến đổi

Khinchin Wiener
G ( ) =
−
 R ( )e − j d (3.26)
• G(ω): là biến đổi thuận Fourier của hàm tự tương quan R(τ), do
vậy cũng tồn tại biến đổi ngược

1
 G ( ) e
j
R ( ) = d (3.27)
2 −

• (3.26),(3.27) – cặp biến đổi Khichin Wiener, là sự mở rộng của

cặp biến đổi Fourier cho các tín hiệu ngẫu nhiên dừng. Biến đổi
Khichin Wiener chỉ cho biết giữa các QTNN thì hàm tương
quan có mối quan hệ thế nào với mật độ phổ công suất hay công
suất của tín hiệu.
4.4.2.3 Bề rộng phổ công suất
• Là một trong những đặc trưng của THNN. Bề rộng phổ công
suất được định nghĩa bởi biểu thức sau:


 G ( ) d 
 ( ) = −
(3.28)
G ( o )

G(ω0) Là giá trị cực đại của mật độ phổ công suất
• Về mặt vật lý, bề rộng phổ công suất đặc trưng cho sự tập
trung công suất (năng lượng của tín hiệu) ở quanh tần số
trung tâm nào đó
4.3 Biểu diễn phức và biểu diễn hình học cho
thể hiện của tín hiệu ngẫu nhiên và nhiễu

✓ Biểu diễn phức và biến đổi Hillbert của tín hiệu

✓ Biểu diễn hình học

4.3.1 Biểu diễn phức và biến đổi Hilbert

✓ Biểu diễn phức cho thể hiện của tín hiệu điều hòa

✓ Biến đổi Hilbert

✓ Các yếu tố của tín hiệu giải tích

4.3.1.1 Biểu diễn phức cho thê hiện của tín hiệu điều hòa

• Các tín hiệu có dạng là hàm điều hòa theo thời gian đều có thể

biểu diễn một cách quy ước dưới dạng phức như sau:
x(t ) = A(t )cos (ot + o ) = A(t )cos  (t ) = A(t )e j ( t )

•
X (t ) = A(t )e j ( t ) = A(t )cos  (t ) + jA(t )sin  (t )
(3.29)
= X (t ) + j X ( t )
• Trong đó:

- φ0: pha ban đầu

- θ(t): pha tức thời (pha chạy)

- A(t)biên độ tức thời

4.3.1.1 Biểu diễn phức cho thê hiện của tín hiệu điều hòa

Im
X (t ) M

A(t )
 (t )
X (t ) Re

• ሶ có độ dài A(t) quay ngược chiều kim đồng hồ với

Véc tơ 𝑋(𝑡)
 (t )
vận tốc góc:  (t ) = (3.30)
t
4.3.1.2 Biến đổi Hilbert
✓ Định lý:

• Phần thực và phần ảo của tín hiệu phức liên hệ với nhau bởi cặp
biến đổi tích phân đơn trị hai chiều:

 •  1 X ( )
X (t ) = Im  X (t )  =  d = H  X (t )  (3.31)
   − t − 

 •
 1 X ( )
− t −    X (t ) 
−1
X (t ) = Re  X (t )  = − d = H   (3.32)
  

Cặp công thức (3.31), (3.32) gọi là cặp biến đổi Hilbert
ത
X(t), 𝑋(𝑡): Gọi là hàm liên hợp Hilbert
4.3.1.2 Biến đổi Hilbert
✓ Thuộc tính của biến đổi Hilbert

• Cặp biến đổi Hilbert là phép biến đổi tuyến tính

f ( x1 + x2 ) = f ( x1 ) + f ( x2 )
(3.33)
f ( k .x ) = k . f ( x )

• Định nghĩa tín hiệu giải tích: Tín hiệu phức có phần
thực và phần ảo thỏa mãn biến đổi Hilbert, được gọi
là tín hiệu giải tích
4.3.1.2 Biến đổi Hilbert
• Trường hợp 1: khi tín hiệu là hàm tuần hoàn

X (t ) = 
k =−
( ak cos kot + bk sin kot ) (3.34)

Liên hợp Hilbert của tín hiệu X(t) là:


X (t ) = H  X (t )  =  ( ak sin kot − bk cos kot ) (3.35)
k =−

• Trường hợp 2: Khi tín hiệu là không tuần hoàn


1
X (t ) =  ( A( )cos t + B( )sin t ) d (3.36)
0

1
X (t ) = H  X (t )  =  ( A( )sin t − B( )cos t ) d (3.37)
 0
4.3.1.3 Các yếu tố của tín hiệu giải tích
✓ Xét tín hiệu giải tích:
•
j ( t )
X (t ) = X (t ) + j X (t ) = A(t )e

• Biên độ tức thời (đường bao của tín hiệu giải tích):
2
A(t ) = X (t ) + X (t )
2
(3.38)

• Pha tức thời (pha chạy của tín hiệu giải tích):
X (t )
 (t ) = arctg (3.39)
X (t )
4.3.1.3 Các yếu tố của tín hiệu giải tích

• Tần số góc tức thời:

 (t ) X (t ) X  (t ) − X (t ) X (t )
 (t ) = = (3.40)
t 2
X (t ) + X (t )
2

• Các tính chất của đường bao(biên độ tức thời)

+ 𝐴 𝑡 ≥ 𝑋 𝑡 ; ∀𝑡 (3.41)

+ Tốc độ biến thiên của đường bao

A(t ) X (t ) X  (t ) − X (t ) X  (t )
A(t ) = = (3.42)
t 2
X (t ) + X (t )
2
4.3.1.3 Các yếu tố của tín hiệu giải tích

x(t ) A(t )
X (t )

0 t

Minh họa các yếu tố giải tích

• Khi: 𝑋ሶ 𝑡 = 0
+ 𝐴 𝑡 = 𝑋(𝑡)
+ 𝐴′ 𝑡 = 𝑋′(𝑡)
4.3.2 Biểu diễn hình học

✓ Chuỗi Kachennhicov

✓ Năng lượng chuỗi Kachennhicov

✓ Biểu diễn hình học

4.3.2.1 Chuỗi Kachennhicov

✓ Xét một thể hiện của tín hiệu ngẫu nhiên, sử dụng hệ hàm
trực giao:
sin c (t − k t )
U k (t ) =
c (t − k t )
ωc: Tần số cao nhất trong phổ của tín hiệu, nghĩa là:

X(ω)=0 nếu như : ω>ωc

Ta có biểu diễn x(t) dưới dạng như sau:


x(t ) =  Ck .U k (t ) (3.43)
k =0
4.3.2.1 Chuỗi Kachennhicov

Ck =  x(t )U
−
k (t )dt = x( k t ) = x( k )
x(t ) x( k )
x(kt) = x(k) : gọi là các giá trị
mẫu của tín hiệu. Nghĩa là, ta có
thể biểu diễn tín hiệu thông qua
các mẫu của nó, nếu:
 0 k t t
t
t 
c Minh họa tín hiệu bị lấy mẫu

sin c (t − k t )
x(t ) =  xk . (3.44)
k =− c (t − k t )
(3.44) – gọi là chuỗi Kachennhicov
4.3.2.2 Năng lượng chuỗi Kachennhicov
• Giả sử ta chỉ xét tín hiệu trong một khoảng thời gian T.
Năng lượng của đoạn thể hiện này:
T T 2
2 2
n
sin c (t − k t ) 
E =  x (t )dt =    xk .
2
 dt
− T2 − T2  k =1
c (t − k t ) 

T
1 n 2 sin 2 
2

=  xk  d
c k =1 − T 
2

 n 2 1 n 2
=  xk =  xk
c k =1 2 f c k =1
4.3.2.2 Năng lượng chuỗi Kachennhicov

 n 2 1 n 2
E =  xk =  xk (3.45)
c k =1 2 f c k =1

(3.45) – Công thức năng lượng chuỗi Kachennhicov.

Trong đó:
n – số lượng các giá trị rời rạc (số các điểm dọc)
của thể hiện trong khoảng quan sát T
xk – là điểm dọc thứ k của x(t) tại thời điểm k∆t
ωc - tần số cao nhất trong phổ tín hiệu
4.3.2.3 Biểu diễn hình học

Từ (3.44), (3.45) ta có thể biểu diễn dưới dạng:

x(t ) = x1 , x2 ,...xk ...xn (3.46)

Hoặc: x(t ) = ( x1 , x2 ,...xk ...xn ) (3.47)

Chuẩn của véc tơ (độ dài) biểu diễn tín hiệu:

n
X =  k = 2 fc E = 2 fcTP = nP (3.48)
x 2

k =1

P - Công suất của tín hiệu

n – Số lượng các giá trị rời rạc của x(t)

4.3.2.3 Biểu diễn hình học

• Đáy của tín hiệu:

B = f cT (3.49)
• Chuẩn của véc tơ biểu diễn tín hiệu:
X = 2 BP (3.50)
• Tín hiệu nào có đáy càng lớn, thì véc tơ biểu diễn tín
hiệu càng lớn, dễ phân biệt tín hiệu đó với các tín hiệu
khác và nhiễu. Như vậy ta sẽ nhận được đúng tín hiệu
với xác suất cao
4.3.2.3 Biểu diễn hình học

M
x(t ) n(t )
M
A(t )

x(t ) n(t ) M’
y (t )
n(t ) n(t )
A(t )
B(t )
y(t )
B(t )

M’
Biểu diễn hình học cho thể hiện tín hiệu