Cơ Sở Lý Thuyết Truyền Tin

1.
1 SƠ LƯỢC LỊCH SỬ PHÁT TRIỂN

ĐẶC ĐIỂM, NHIỆM VỤ MÔN HỌC
1.1.1 Sơ lược lịch sử phát triển

1.1.2 Đặc điểm và nhiệm vụ của môn học
5 8
Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông
- Hartley là người đầu tiên đưa ra khái niệm “số đo lượng thông
tin”(1928).
- Sau đó là một loạt những công trình nghiên cứu của các nhà khoa
hoc: D.V Geev với “lý thuyết chọn tuyến tính”, Kachenhicov với
“lý thuyết thế chống nhiễu”, … Môn học chỉ xét các mô hình toán học
- C.E Shanon đã chứng minh một loạt các định lý về khả năng cho của việc truyền nhận, biến đổi và xử lý
thông qua của kênh truyền khi có nhiễu có xét đến cấu trúc thống tin. Nó tách khỏi bản chất vật lý cụ thể
của nguồn tin, tin, tín hiệu và kênh
kê của tin, và các định lý mã hóa là nền tảng vững chắc của lý truyền…
thuyết thông tin (1948- 1949).
- Lý thuyết thông tin phát triển theo hai hướng chủ yếu
+ Lý thuyết thông tin toán học
+ Lý thuyết thông tin ứng dụng
9 10
1.1.2 ĐẶC ĐIỂM VÀ NHIỆM VỤ CỦA MÔN HỌC
1.2 MỘT SỐ ĐỊNH NGHĨA VÀ KHÁI NIỆM CƠ BẢN
1.2.1 Một số khái niệm cơ bản

1.2.2 Các khối cơ bản của hệ thống truyền tin
11 12
1.2.1 MỘT SỐ KHÁI NIỆM CƠ BẢN 1.2.1 MỘT SỐ KHÁI NIỆM CƠ BẢN
❖ Tin
❖ Thông tin (tin tức)
Khái niệm
Khái niệm
Thông tin là những tính chất xác định của vật chất được con người hay Tin là dạng vật chất cụ thể biểu diễn thông tin.
hệ thống thụ cảm cảm nhận được từ thế giới bên ngoài hoặc từ những quá Phân loại tin: Tin có hai dạng cơ bản
trình xảy ra bên trong nó.
+ Tin liên tục
Thông tin là sự đa dạng được thể hiện bằng nhiều cách khác nhau:
+ Tin rời rạc
Cấu trúc, thuộc tính, trình độ tổ chức…
Thực chất của tất cả các ngành khoa học là thu thập và xử lý thông tin. ➢ Thông tin là lõi của vấn đề, tin là vỏ của vấn đề. Thông tin là nội dung,
tin là hình thức. Tin là thứ biểu đạt, thông tin là thứ cần biểu đạt.
13 14
1.2.1 MỘT SỐ KHÁI NIỆM CƠ BẢN 1.2.2 CÁC KHỐI CƠ BẢN CỦA HỆ THỐNG TRUYỀN TIN
❖ Tín hiệu
NHIỄU
Khái niệm
Tín hiệu là các đại lượng vật lý biến thiên phản ánh tin cần truyền.
- Các đại lượng vật lý: Dòng điện, điện áp, ánh sáng… NGUỒN MÁY MÁY NHẬN
TIN PHÁT ĐƯỜNG THU TIN
- Tín hiệu là hàm của thời gian, hoặc là TRUYỀN TIN
không gian, hoặc là hàm xác định hoặc
ngẫu nhiên của thời gian.
KÊNH TRUYỀN TIN
Sơ đồ khối tổng quát của hệ thống thông tin
15 16
1.2.2 CÁC KHỐI CƠ BẢN CỦA HỆ THỐNG TRUYỀN TIN 1.2.2 CÁC KHỐI CƠ BẢN CỦA HỆ THỐNG TRUYỀN TIN
❖ Máy phát
❖ Nguồn tin
- Khái niệm
- Là nơi sản sinh ra tin tức (thông tin) để truyền đi
- Phân loại Là thiết bị thực hiện biến đổi tập tin thành tín hiệu tương ứng để truyền đi.
+ Nguồn rời rạc
- Yêu cầu
+ Nguồn liên tục
- Tính chất Phép biến đổi trên phải là phép biến đổi đơn trị hai chiều
+ Tính thống kê: A = a1 , a2  , p (a1 )  p (a2 )
+ Tính hàm ý: p ( y / ca )  p ( y / ta )
17 18
❖ Đường truyền tin
- Khái niệm
❖Máy thu
Là môi trường vật lý trong đó tín hiệu được
truyền từ nơi phát đến nơi thu.
- Là thiết bị lặp lại (khôi phục lại) tin ban đầu từ tín hiệu nhận được.
- Hậu quả truyền tin trên đường truyền tin - Máy thu thực hiện phép biến đổi ngược lại phép biến đổi ở máy phát.
+ Mất mát thông tin
+ Tổn hao năng lượng
20
❖ Nhận tin: Là thiết bị thực hiện ba chức năng ❖ Kênh truyền tin
- Lưu giữ tin Là tập hợp mọi thiết bị kỹ thuật dùng cho việc
truyền tin từ nguồn tới nơi nhận.
- Biểu thị tin
- Xử lý tin
21 22
1.2.2 CÁC KHỐI CƠ BẢN CỦA HỆ THỐNG TRUYỀN TIN
1.3 SƠ ĐỒ KHỐI TỔNG QUÁT CỦA MỘT HỆ
THỐNG TRUYỀN TIN SỐ
❖ Nhiễu
1.3.1 Sơ đồ khối của một hệ thống truyền tin số
Là tất cả những tác động bên ngoài vào hệ thống truyền tin, làm 1.3.2 Một số phương pháp biến đổi thông tin số
mất mát thông tin hoặc gây rối loạn quá trình trao đổi tin tức.
Nói cách khác, nhiễu là tất cả yếu tố xấu làm ảnh hưởng đến độ
chính xác của việc truyền tin.
23 24
1.3.1 SƠ ĐỒ KHỐI CỦA MỘT HỆ THỐNG TRUYỀN TIN SỐ 1.3.1 SƠ ĐỒ KHỐI CỦA MỘT HỆ THỐNG TRUYỀN TIN SỐ
❖ Sơ đồ khối của một hệ thống thông tin số đơn giản ❖ Sơ đồ khối của một hệ thống thông tin số chi tiết
25 26
1.3.2 MỘT SỐ PHƯƠNG PHÁP BIẾN ĐỔI THÔNG TIN SỐ 1.3.2 MỘT SỐ PHƯƠNG PHÁP BIẾN ĐỔI THÔNG TIN SỐ
❖ Định dạng/ Mã nguồn ❖ Mã mật
Định dạng/Mã nguồn - Thực hiện biến đổi tin tức từ dạng rõ (có thể hiểu) thành ra dạng
mã (không thể hiểu) theo một khóa xác định.
- Bảo đảm bảo mật tin tức.
Mã hóa ký tự Các bộ mã hóa nguồn
Các hệ mật mã
Lấy mẫu Mã Huffman
Lượng tử hóa Mật mã cổ điển
Mật mã khóa công

Mã hóa khai
27 28
1.3.2 MỘT SỐ PHƯƠNG PHÁP BIẾN ĐỔI THÔNG TIN SỐ 1.3.2 MỘT SỐ PHƯƠNG PHÁP BIẾN ĐỔI THÔNG TIN SỐ
❖ Mã kênh
❖ Điều chế
- Là phương pháp mã hóa làm giảm thiểu lỗi tại đầu thu. - Điều chế là quá trình ánh xạ (gửi, gắn) thông
tin vào sóng mang, bằng cách thay đổi các
- Thực hiện chèn thêm bít vào bản tin cần truyền. Các bít chèn thêm thực thông số của sóng mang theo quy luật của tín
hiệu tin.
hiện chức năng phát hiện lỗi và sửa lỗi.
- Sóng mang: Là một dao động cao tần dạng sin
- Mã kênh gồm: hoặc cos.
+ Mã khối: Mã Cyclic, mã Hamming, mã Berger - Một số phương pháp điều chế:
+ Mã liên tục: Mã xích Chuỗi bit được truyền đi (T)
+ ASK
n bit + FSK
k bit thông tin kiểm tra
+ PSK
Nội dung (M) CRC (R)

29 30
1.3.2 MỘT SỐ PHƯƠNG PHÁP BIẾN ĐỔI THÔNG TIN SỐ
❖ Ghép kênh/ Đa truy nhập
❖ Trải phổ
- Ghép kênh
- Thực hiên trải rộng phổ tín hiệu.
+ Thực hiện truyền tin từ nhiều nguồn tin
khác nhau trên cùng một hệ thống truyền dẫn. - Chống nhiễu (cố ý, do kẻ địch gây ra)
+ Mục đích: Tận dụng tài nguyên kênh truyền. và bảo mật tin tức.
- Đa truy nhập
+ Cho phép nhiều người dùng có thể truy nhập

vào mạng thông tin để sử dụng các dịch vụ.
31 32

1.4 CÁC CHỈ TIÊU CHẤT LƯỢNG CƠ BẢN
❖ Đồng bộ
CỦA MỘT HỆ THỐNG TRUYỀN TIN
- Máy thu căn cứ vào tín hiệu tham
chiếu để điều chỉnh các bộ dao động
đồng bộ với máy phát.
- Tín hiệu tham chiếu mang thông tin 1.4.1 Tính hữu hiệu và độ tin cậy
về pha và thông tin định thời. 1.4.2 Tính kinh tế và tính an toàn
33 34
1.4.1 TÍNH HỮU HIỆU VÀ ĐỘ TIN CẬY 1.4.2 TÍNH KINH TẾ VÀ TÍNH AN TOÀN
❖ Tính kinh tế
❖ Tính hữu hiệu
Tính kinh tế được thể hiện bởi chi phí cho mục
o Tốc độ truyền tin cao
đích thông tin: s/bit
o Truyền được đồng thời nhiều tin
❖ Độ tin cậy ❖ Tính an toàn
o Độ chính xác của việc thu nhận tin cao o Truyền tin bí mật, xác thực
(Tỷ lệ lỗi bit (BER) thấp) o Bảo đảm tính toàn vẹn của thông tin
35 36
1.5.1 GIỚI THIỆU MỘT SỐ HỆ THỐNG THÔNG TIN

1.5 GIỚI THIỆU MỘT SỐ HỆ THỐNG THÔNG TIN
HỆ THỐNG THÔNG TIN
Môi trường truyền Loại hình dịch vụ Dải tần số làm việc
1.5.1 Giới thiệu một số hệ thống thông tin Thông tin vô tuyến Hệ thống truyền số Hệ thống thông tin
(Viba, vệ tinh…) liệu sóng ngắn
1.5.2 Xu hướng phát triển hệ thống thông tin
Hệ thống thông tin
Thông tin hữu tuyến
Hệ thống truyền hình sóng cực ngắn
(Thông tin quang…)
…
Hệ thống thông tin

thoại
37 38
1.5.1 GIỚI THIỆU MỘT SỐ HỆ THỐNG THÔNG TIN 1.5.1 GIỚI THIỆU MỘT SỐ HỆ THỐNG THÔNG TIN
Ví dụ
Ví dụ
Hệ thống thông tin sóng ngắn
Đặc điểm: Hệ thống thông tin song cực ngắn
- Dải tần công tác: 0,1-30Mhz Đặc điểm:
- Dạng điều chế chính: AM, FM, SSB - Dải tần công tác: 30Mhz- 150Mhz
- Cự ly liên lạc: 102 ÷ 103 km
- Tốc độ truyền: 50 Baud - 3000bps. - Dạng điều chế chính: FM
- Một số tính năng đặc biệt: - Truyền tin: Voice, Audio, Fax
+ Tự động nhảy tần
+ Tự động thiết lập đường truyền - Cự ly liên lạc lớn: Dùng trong thông tin vũ trụ
+ Tự động mở máy thu theo mã
39 40
1.5.1 GIỚI THIỆU MỘT SỐ HỆ THỐNG THÔNG TIN 1.5.2 XU HƯỚNG PHÁT TRIỂN CỦA CÁC THIẾT BỊ ĐẦU CUỐI
TRONG CÁC HỆ THỐNG THÔNG TIN
THIẾT BỊ CŨ THIẾT BỊ MỚI

Ví dụ
Hệ thống thông tin Viba Analog Digital
Narron band Broad band
Đặc điểm:
simplex Duplex
- Dải tần công tác: 150Mhz ÷ 20Ghz Off line Online
Clear Security
- Số kênh liên lạc: n.10 ÷ n.103 Mono media Multi media
Passive Active
- Cự ly liên lạc: Trong tầm nhìn thẳng
Idle Intelligent
Public Privacy
Mono access Multi access
Mono chanel Multi chanel
Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông
41 Non adative Adative 42
Câu 1: Hãy trình bày khái niệm về thông tin và tin? Nêu ví dụ?
Câu 2: Trình bày khái niệm và nêu đặc điểm của nguồn tin.
Câu 3: Trình bày các chức năng của thiết bị nhận tin.
Câu 4: Trình bày về khái niệm tín hiệu và đường truyền tin? Những hậu
quả xảy ra trên đường truyền tin?
Câu 5: Trình bày những chỉ tiêu chất lượng cơ bản của hệ thống truyền tin?
43 1
2.1.2 MỐI QUAN HỆ GIỮA THÔNG TIN VÀ XÁC SUẤT

2.1 LƯỢNG THÔNG TIN, SỐ ĐO LƯỢNG THÔNG TIN
Ví dụ
- Điều gì đã xác định (đã biết hay
2.1.1 Mối quan hệ giữa thông tin và độ bất định có thể đoán chắc được) thì điều đó
không có thông tin.
2.1.2 Mối quan hệ giữa thông tin và xác suất
- Điều gì không xác định (không
2.1.3 Các tiên đề về thông tin đoán chắc chắn được, có độ bấp
bênh…) thì điều đó có thông tin.
2.1.4 Đơn vị thông tin
- Độ bất định về đối tượng cần
2.1.5 Lượng thông tin tương hỗ nghiên cứu (tìm hiểu, xem xét) càng
lớn thì thông tin di nó mang lại
càng lớn.
Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 4 5
2.1.1 MỐI QUAN HỆ GIỮA THÔNG TIN VÀ ĐỘ BẤT ĐỊNH 2.1.2 MỐI QUAN HỆ GIỮA THÔNG TIN VÀ XÁC SUẤT
▪ Khái niệm ‘thông tin’ gắn liền với khái niệm ‘độ bất định’. Ví dụ
▪ Thông tin là mức độ thủ tiêu của độ bất định.
▪ Độ lớn nhỏ của thông tin (lượng thông tin) được xác định bằng mức độ
thủ tiêu của độ bất định:
Độ bất định trước khi nhận tin trừ độ bất định sau khi nhận tin ↔ Độ bất
định tiên nghiệm trừ đi độ bất định hậu nghiệm ↔ Thông tin trước khi nhận
tin trừ thông tin sau khi nhận tin ↔ Thông tin tiên nghiệm trừ thông tin hậu
nghiệm.
6 7
2.1.2 MỐI QUAN HỆ GIỮA THÔNG TIN VÀ XÁC SUẤT 2.1.3 CÁC TIÊN ĐỀ VỀ THÔNG TIN
❖Tiên đề 1: Thông tin là đại lượng không âm
Kết luận I 𝑥𝑖 ≥ 0
+ Khái niệm “Thông tin (Độ bất định)” và khái niệm ❖Tiên đề 2: Biến cố chắc chắn không cho thông tin
“Xác suất” có mối quan hệ phụ thuộc lẫn nhau. 𝐼(𝑥𝑖 )ቚ =0

𝑝 𝑥𝑖 =1
+ Gọi 𝐼 𝑥𝑖 là thông tin về tin về tin (sự kiện, biến cố…) 𝑥𝑖 ❖Tiên đề 3: Tiên đề về sự cộng tính của thông tin
Nếu 𝑥𝑖 , 𝑥𝑗 là hai sự kiện độc lập thống kê
𝑝(𝑥𝑖 ) xác suất xuất hiện tin (sự kiện, biến cố) 𝑥𝑖
I ( xi x j ) = I ( xi ) + I ( x j )
Ta có thể viết:
Nếu xi, xj là hai sự kiện phụ thuộc.
𝐼 𝑥𝑖 = 𝑓 𝑝(𝑥𝑖 ) I ( xi x j ) = I ( xi ) + I ( x j / xi )

2.1.3 CÁC TIÊN ĐỀ VỀ THÔNG TIN
2.1.4 ĐƠN VỊ THÔNG TIN
Theo tiên đề 3, Nếu xi, xj là hai sự kiện phụ thuộc.
❖ Từ những nhận xét trên ta chứng minh được:
I ( xi x j ) = I ( xi ) + I ( x j / xi )
𝐼 𝑥 = 𝑘. ln[𝑝 𝑥 ] (2.1)
Ta có: f [ p ( xi x j )] = f [ p ( xi ). p ( x j / xi )] = f [ p ( xi )] + f [ p ( x j / xi )]
Đặt p ( xi ) = p, p ( x j / xi ) = q → f ( pq ) = f ( p ) + f (q) Trong đó k là hệ số, k< 0
Vi phân hai vế theo p: qf ' ( pq ) = f ' ( p ) +k = -1 I(x) = - lnp(x) [Nat] (2.2)

Nhân hai vế với p: pqf ( pq) = pf ( p ) đặt pq =  →  f ( ) = pf ( p )
' '' '
+ k = -1/ln2 I(x) = - log2 p(x) [Bit] (2.3)
Hay ta có phương trình vi phân: + k = -1/ln10 I(x) = - logp(x) [Hart] (2.4)
pf ' ( p ) = k = const → f ( p ) = k ln p + C
Đơn vị thông tin thường dùng là Bit, vì vậy công thức hay được sử
Theo tiên đề 2: f ( p ) = k ln p
dụng là: I(x) = - log2 p(x)
Như vậy: I ( xi ) = k ln p
10 11
2.1.5 LƯỢNG THÔNG TIN TƯƠNG HỖ 2.1.5 LƯỢNG THÔNG TIN TƯƠNG HỖ
❖ Xét mô hình kênh truyền tin như sau: ❖ Lượng thông tin có điều kiện I (a / b)
Khi kênh không có nhiễu:
b  a  p ( a / b) = p ( a / a ) = 1  I ( a / b) = 0
❖ Lượng thông tin tương hỗ: I (ab) = I (a )
Khi kênh có nhiễu:
I (ab) = I (a ) − I (a / b)
b  a  p ( a / b)  1  I ( a / b)  0
log 2 p (a ) (2.5) I (ab)  I (a )
I (ab) = −
log 2 p (a / b) Do vậy, I (a / b) đặc trưng cho lượng thông tin tổn hao do nhiễu.
Lượng thông tin tương hỗ còn được gọi là lượng thông tin truyền
qua kênh truyền.
12 13
2.2.1 BẢN CHẤT THỐNG KÊ CỦA NGUỒN RỜI RẠC
2.2 ENTROPI CỦA NGUỒN RỜI RẠC
❖ Xét một nguồn rời rạc A

A = ai , p (ai ), i = 1  s
2.2.1 Bản chất thống kê của nguồn rời rạc
Hoặc viết dưới dạng tường minh:
2.2.2 Entropie của nguồn rời rạc 𝑎1 𝑎2 𝑎𝑛
𝐴= …….
𝑝(𝑎1 ) 𝑝(𝑎2 ) 𝑝(𝑎𝑛 )
2.2.3 Một số thuộc tính của Entropie
n
2.2.4 Entropie của nguồn nhị phân  p(a ) = 1, 0  p(a )  1
i =1
i i
2.2.5 Entropie của trường các sự kiện đồng thời

I (ai ) = − log 2 p (ai ) Lượng thông tin riêng về mỗi tin thuộc nguồn
14 15
2.2.2 ENTROPIE CỦA NGUỒN RỜI RẠC

2.2.1 BẢN CHẤT THỐNG KÊ CỦA NGUỒN RỜI RẠC
Số liệu thống kê của Bake Pipe (1982) Định nghĩa

Entropie của nguồn rời rạc là trung bình thống kê lượng
thông tin riêng, chứa trong các tin của nguồn.
H ( A) = M  I (ai )
s
=  p (ai ) I (ai ) (2.6)
i =1
s
= −  p (ai ) log 2 p (ai ) = H1 ( A)
i =1

2.2.2 ENTROPIE CỦA NGUỒN RỜI RẠC 2.2.2 ENTROPIE CỦA NGUỒN RỜI RẠC
Ví dụ
Ý nghĩa Tính Entropie của nguồn rời rạc sau:
- 𝐻1 𝐴 : Biểu thị độ bất định trung bình về mỗi tin của nguồn A a1 a2 a3 a4
trước khi nhận tin. Nghĩa là một cách trung bình nó cho ta P(ai) 1/2 1/4 1/8 1/8
những hiểu biết tiên nghiệm về mỗi tin của nguồn.
- I(𝐴): Cho ta những hiểu biết hậu nghiệm một cách trung bình
về mỗi tin của nguồn. Nghĩa là những hiểu biết về từng tin
của nguồn sau khi độ bất định bị thủ tiêu.
Một vài giá trị của 𝐻1 𝐴

H1(Anh ng÷) = 4,19 bit, H1(Nga ng÷) = 4,35 bit,
H1(ViÖt ng÷) = 4,517 bit

2.2.4 ENTROPIE CỦA NGUỒN NHỊ PHÂN

2.2.3 MỘT SỐ THUỘC TÍNH CỦA ENTROPIE
❖Nguồn nhị phân được cho như sau Entropie của nguồn nhị
❖Tính chất 1: Entropie của nguồn rời rạc là đại lượng không âm phân nhận giá trị cực đại,
𝐻1 (𝐴) ≥ 0 (2.7) a a2  cực tiểu khi nào? Vì sao?
A= 1 
 p 1− p  H1 ( A)
❖Tính chất 2: Nguồn rời rạc có s tin đồng xác suất, cho 1
❖ Entropie của nguồn
Entropie cực đại và giá trị cực đại là 𝑙𝑜𝑔2 𝑠 .
s
𝐻1 𝐴 ≤ 𝑙𝑜𝑔2 𝑠 (2.8) H1 ( A) = − p (ai ) log p (ai )
i =1
❖Tính chất 3: Entropie của nguồn rời rạc là một đại lượng giới nội = − p log p − (1 − p ) log(1 − p )
0 1/ 2 1 p
0 ≤ 𝐻1 (𝐴) ≤ 𝑙𝑜𝑔2 𝑠 (2.9)
Định nghĩa: Bit là Entropie của một hệ vật lý có hai trạng
thái độc lập đồng xác suất.
20 21
2.2.5 ENTROPIE CỦA TRƯỜNG CÁC SỰ KIỆN ĐỒNG THỜI 2.2.5 ENTROPIE CỦA TRƯỜNG CÁC SỰ KIỆN ĐỒNG THỜI
❖Trường sự kiện đồng thời
❖Xét hai nguồn rời rạc A và B Xét sự kiện tích
( ) ( )
ck = (ai b j ), p (ck ) = p (ai b j )
A= a1 a2
p ( a1 ) p ( a2 ) ...aps( as ) B= a1 a2
p ( a1 ) p ( a2 ) ...apt( at )
Trường sự kiện C được gọi là tích (giao) của hai trường sự kiện A và
0  p(ai )  1, i :1, s 0  p (a j )  1, j :1, t B hay còn gọi là trường sự kiện đồng thời:
s
 p(a ) = 1
i =1
i
t
 p(a ) = 1
j =1
j
C = AB = ( a1b1
p ( a1b1 )
a1b2 a1bt a2 b j as bt
p ( a1b2 ) ... p ( a1bt )... p ( a2b j )... p ( as bt ) )
0  p (aib j )  1; i = 1  s, j = 1  t
Trong đó: A, B: Các trường sự kiện 𝑠 𝑡
ai , b j : Các sự kiện cơ bản ෍ ෍ 𝑝 𝑎𝑖 𝑏𝑗 = 1
𝑖=1 𝑗=1
Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 22 Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 23
2.2.5 ENTROPIE CỦA TRƯỜNG CÁC SỰ KIỆN ĐỒNG THỜI

2.2.5 ENTROPIE CỦA TRƯỜNG CÁC SỰ KIỆN ĐỒNG THỜI
Lượng thông tin riêng trung bình của trường sự kiện đồng
❑ Entropie của trường sự kiện đồng thời H(C)
thời bằng tổng lượng thông tin riêng trung bình của các trường sự
Entropie của trường sự kiện đồng thời C = ( AB ) bằng tổng
kiện cơ bản.
Entropie của các trường sự kiện cơ bản A và B nếu A và B độc lập
Tổng quát: Với n nguồn độc lập (n trường sự kiện độc lập)
thống kê:
n
𝐻 𝐶 = 𝐻 𝐴𝐵 = 𝐻 𝐴 + 𝐻(𝐵) (2.10) X =  X k , k = 1  n  H ( X ) =  H ( X k ) (2.11)

k =1
24 25
2.3.1 ENTROPIE CÓ ĐIỀU KIỆN VỀ MỘT TRƯỜNG TIN KHI ĐÃ
2.3 ENTROPI CÓ ĐIỀU KIỆN BIẾT TRƯỜNG TIN KHÁC
- Lượng thông tin tương hỗ giữa hai tin 𝑎𝑖 và 𝑏𝑗 :

I (ai b j ) = I (ai ) − I (ai / b j )
2.3.1 Entropie có điều kiện về một trường tin khi đã biết trường I (ai / b j ) - Lượng thông tin có điều kiện về 𝑎𝑖 khi đã rõ 𝑏𝑗
tin khác - Khi phía phát, phía thu không phải chỉ có một tin mà là cả
2.3.2 Một số thuộc tính của Entropie có điều kiện một trường tin:
 a a2 ... as   b b2 ... bt 
A= 1  B= 1
p (bt ) 
2.3.3 Hai trạng thái đặc biệt của kênh truyền
 p (a1 ) p (a2 ) ... p ( as )   p (b1 ) p (b2 ) ...
2.3.4 Entroropiepie hai chiều và nhiều chiều của nguồn rời rạc 0  p (ai )  1 i = 1  s 0  p (b j )  1 j = 1  t
s t
 p(ai ) = 1  p(b j ) = 1
26
i =1 i =1 27
2.3.1 ENTROPIE CÓ ĐIỀU KIỆN VỀ MỘT TRƯỜNG TIN KHI ĐÃ BIẾT 2.3.1 ENTROPIE CÓ ĐIỀU KIỆN VỀ MỘT TRƯỜNG TIN KHI ĐÃ BIẾT
TRƯỜNG TIN KHÁC TRƯỜNG TIN KHÁC
Trường hợp 1
Phía phát phát cả tập tin A, phía thu chỉ nhận được một tin 𝑏𝑗
H ( A / b j ) được xác định như sau:
a1 H ( A / b j ) = M I (ai / b j )
b1
s
a2 b2 H ( A / b j ) = −  p (ai / b j ) log 2 p (ai / b j ) (2.12)
i =1
ai (
I ai b j ) bj ➢Ý nghĩa: H(A/𝑏𝑗 ) Đặc trưng cho lượng thông tin tổn hao trung bình
as bt của mỗi tin ở phía phát khi phía thu thu được tin 𝑏𝑗 .
❖ Entropie có điều kiện về trường tin A khi đã rõ một tin 𝑏𝑗 của trường
tin B: H ( A / b j )
28 29
2.3.1 ENTROPIE CÓ ĐIỀU KIỆN VỀ MỘT TRƯỜNG TIN KHI ĐÃ BIẾT
TRƯỜNG TIN KHÁC
TRƯỜNG TIN KHÁC
Trường hợp 2
Trường hợp 3
Khi phía phát phát đi một tin 𝑎𝑖 , phía thu thu được một tâp tin B.
a1 b1 Trường hợp cả phía phát và phía thu là những tập tin
a2 b2 𝐴 = {𝑎𝑖 , 𝑖 = 1 ÷ 𝑠} , 𝐵 = {𝑏𝑗 , 𝑗 = 1 ÷ 𝑡}
❖ Entropie có điều kiện về trường tin A khi đã rõ trường tin B: H(A/B)
ai (
I b j ai ) bj
a1 b1
as bt a2 b2
Tương tự trên ta có:
Entropie có điều kiện về trường tin B khi đã rõ một tin 𝑎𝑖 của trường ai bj
(
H A bj )
tin A: H(B/ 𝑎𝑖 )
( )
t
(
H ( B / ai ) = M I b j ai = −  p b j / ai log 2 p b j / ai (2.13) ) ( ) as bt
j =1
➢Ý nghĩa: H(B/𝑎𝑖 ) đặc trưng cho lượng thông tin riêng trung bình
của mỗi tin ở phía thu khi phía phát phát đi một tin 𝑎𝑖 . 30 31
2.3.1 ENTROPIE CÓ ĐIỀU KIỆN VỀ MỘT TRƯỜNG TIN KHI ĐÃ BIẾT 2.3.1 ENTROPIE CÓ ĐIỀU KIỆN VỀ MỘT TRƯỜNG TIN KHI ĐÃ BIẾT
TRƯỜNG TIN KHÁC TRƯỜNG TIN KHÁC
Lượng thông tin tổn hao trung bình của mỗi tin ở đầu phát khi phía thu ❖ Entropie có điều kiện về trường tin B khi đã rõ trường tin A: H(B/A)
chỉ thu được thông tin bj là H(A/bj). a1 b1
Khi bj là một đại lượng ngẫu nhiên thì H(A/bj) cũng là một đại lượng a2
ngẫu nhiên. Do đó: b2
H ( A / B ) = M H ( A / b j ) H ( B ai )
 s  ai bj
=  P ( b j )  − P ( ai b j ) log 2 P ( ai b j ) 
t
j =1  i =1 
Tương tự trên ta có: as bt
= − P ( b j ) P ( ai b j ) log 2 P ( ai b j )
t s
s t
j =1 i =1
s t
H ( B / A) = M H ( B ai ) = −  p (aib j )log 2 p (b j / ai ) (2.15)
= − p (ai b j )log 2 p (ai / b j ) (2.14) i =1 j =1
i =1 j =1
➢ Ý nghĩa: H(B/A) là lượng thông tin riêng trung bình của mỗi tin
➢Ý nghĩa: H(A/B) đặc trưng cho lượng thông tin tổn hao trung
bình của mỗi tin ở phía phát khi nhận được một tin nào đó ở phía thu. ở phía thu khi phía phát đã phát đi một tin nào đó
32 33
TRƯỜNG TIN KHÁC
2.3.2 MỘT SỐ THUỘC TÍNH CỦA ENTROPIE CÓ ĐIỀU KIỆN
Tổng quát, ta có các trường hợp cụ thể như sau:
s ❖Thuộc tính 1: Nếu A và B là hai trường tin bất kỳ, entropie của trường tin
( ) (
H A / b j = − p ai / b j log 2 p ai / b j) ( ) đồng thời
i =1 H ( AB ) = H ( A) + H ( B / A) = H ( B ) + H ( A / B ) (2.16)
t
( )
H ( B / ai ) = −  p b j / ai log 2 p b j / ai ( ) ❖Thuộc tính 2: Entropie có điều kiện là một đại lượng giới nội
j =1 0  H ( A / B )  H ( A) (2.17)
s t
( )
H ( A / B ) = −  p aib j log 2 p ai / b j ( ) ❖Thuộc tính 3: Entropie đồng thời không lớn hơn tổng Entropie của các
i =1 j =1 trường sự kiện cơ bản
s t
( ) ( ) H ( AB)  H ( A) + H ( B ) (2.18)
H ( B / A ) = −  p aib j log 2 p b j / ai
i =1 j =1
34 35
2.3.3 HAI TRẠNG THÁI ĐẶC BIỆT CỦA KÊNH TRUYỀN 2.3.3 HAI TRẠNG THÁI ĐẶC BIỆT CỦA KÊNH TRUYỀN
Trường hợp 1 Trường hợp 2

Kênh không nhiễu (tin nhận trung thực với tin gửi) Nhiễu trầm trọng - Kênh bị đứt (tin thu được hoàn toàn độc lập
t = s; i = 1, s với tin gửi):
p (ai / b j ) = p (ai ); p (b j / ai ) = p (b j )
• i = j → ai = b j
→ p (ai b j ) = p (ai ) p (b j )
P ( ai ) = P ( b j ) ; P ( ai b j ) = P ( b j ai ) = 1
• i  j → ai  b j H ( A / b j ) = H ( A)
P ( ai )  P ( b j ) ; P ( ai b j ) = P ( b j ai ) = 0  H ( B / ai ) = H ( B)
H ( A / B = H ( A)
 H ( A b j ) = 0 H ( B a j ) = 0
 H ( B / A) = H ( B )
 H ( A B ) = 0 H ( B A ) = 0 36 37
2.3.4 ENTROPIE HAI CHIỀU VÀ NHIỀU CHIỀU CỦA NGUỒN RỜI RẠC 2.3.4 ENTROPIE HAI CHIỀU VÀ NHIỀU CHIỀU CỦA NGUỒN RỜI RẠC
Trong nhiều trường hợp các tin của trường tin B cũng là Khi kể đến sự phụ thuộc của một bộ gồm có n tin, ta có:
các tin của trường tin A, khi này 𝑝(𝑎𝑖 /𝑏𝑗 ) là xác xuất có
điều kiện để xuất hiện tin 𝑎𝑖 khi đã rõ tin 𝑏𝑖 . Biểu thức (2.14) H n ( A) = H ( A / A... A)
trở thành: (2.20)
nA
s s s
s s = − ... p (ai a j ...ak )log 2 p (ai / a j ...ak )
H ( A / A) = −  p (ai a j )log 2 p (ai / a j ) = H 2 ( A) (2.19)
i =1 j =1 k =1
i =1 j =1
H n ( A) : Gọi là Entropie n chiều của nguồn rời rạc
- Entropie hai chiều của nguồn rời rạc: Đặc trưng Một vài giá trị của H n ( A)
H 2 ( A)
cho lượng thông tin (độ bất định) trung bình của H2(ViÖt ng÷) = 3,22 bit
nguồn khi kể đến sự phụ thuộc giũa một bộ gồm H2(Nga ng÷) = 3,52 bit
có hai tin.
H2(Anh ng÷) = 3,32 bit
2.4.1 LƯỢNG THÔNG TIN TƯƠNG HỖ

2.4 LƯỢNG THÔNG TIN TƯƠNG HỖ
MÔ HÌNH KÊNH TRUYỀN TIN
❖Lượng thông tin tương hỗ giữa hai tin ai , b j được xác định:
p (ai ) p (ai / b j )
I (aib j ) = − log 2 = log 2
p (ai / b j ) p (ai )
2.4.1 Lượng thông tin tương hỗ ❖Mở rộng biểu thức tính lượng thông tin tương hỗ cho hai tập
2.4.2 Mô hình kênh truyền tin tin A và B, trong đó:
  
A = ai , p(ai ); i = 1  s , B = b j , p(b j ); j = 1  t 
I ( AB) = M I (aib j ) =   p (aib j )I ( aib j )
s t
i =1 j =1
40 Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 41

2.4.2 MÔ HÌNH KÊNH TRUYỀN TIN
❖ Trường hợp các trường tin A và B là độc lập thống kê ❖Trường hợp các tin A và B là phụ thuộc thống kê
H ( A / B)
I ( A / B) H ( B / A)
Lượng thông
Lượng thông tin Lượng thông
tin tổn hao
𝐴∩𝐵 =∅ truyền qua kênh tin hồi phục
𝐻 𝐴 Τ𝐵 = 𝐻 𝐴 I ( AB ) = H ( A) − H ( A / B )
→ 𝐼 𝐴𝐵 = 0 = H ( B ) − H ( B / A)
42 43

2.5 CÁC THAM SỐ ĐẶC TRƯNG CỦA NGUỒN VÀ
KÊNH RỜI RẠC
❖ Mô hình kênh truyền tin
H(A) I(AB) = I(BA) H(B)

2.5.1 Các tham số đặc trưng của nguồn rời rạc
2.5.2 Các tham số đặc trưng của kênh rời rạc
2.5.3 Lượng thông tin truyền qua kênh rời rạc

H(A/B) H(B/A)
2.5.4 Khả năng thông qua (thông lượng) của kênh rời rạc
Lượng thông tin tổn hao Lượng thông tin do sửa sai

2.5.1 CÁC THAM SỐ ĐẶC TRƯNG CỦA NGUỒN RỜI RẠC
❖Tốc độ phát tin của nguồn rời rạc
Giả sử nguồn phát ra những xung có độ rộng 𝑇𝑛 Tốc độ phát tin của nguồn rời rạc được tính bằng [Baud].
Baud là số dấu hiệu mà nguồn phát ra trong một đơn vị thời gian
Ví dụ: Điện báo tay - Vn = 25 baud
Điện báo truyền chữ - Vn = 50 ÷ 300 baud
Điện báo truyền số liệu - Vn = 500 ÷ n.104 baud
Tốc độ phát tin của nguồn được định nghĩa theo biểu thức
1 𝑠ố 𝑥𝑢𝑛𝑔,𝑠ố 𝑑ấ𝑢 ℎ𝑖ệ𝑢

𝑉𝑛 = (2.22)
𝑇𝑛 1 đơ𝑛 𝑣ị 𝑡ℎờ𝑖 𝑔𝑖𝑎𝑛
46 47

❖Độ dư của nguồn rời rạc: Được định nghĩa theo biểu thức sau
❖Khả năng phát tin của nguồn rời rạc H ( A) max − H ( A)

Dn = = 1−  (2.24)
Được định nghĩa theo biểu thức sau: H ( A) max
H ( A) = Vn .H ( A) Trong đó :  = H ( A)
H ( A)
gọi là hệ số nén tin
max
1
= .H ( A) bit/sec, bps (2.23) Một nguồn rời rạc gồm s tin, độ dư của nguồn:
Tn
H ( A)
Dn = 1 −
Khả năng phát tin biểu thị lượng thông tin trung bình mà nguồn log 2 s
phát ra được trong một đơn vị thời gian. Độ dư của nguồn rời rạc đặc trưng cho hiệu suất của
nguồn tin (Đặc trưng cho khả năng chống nhiễu của nguồn tin)

2.5.1 CÁC THAM SỐ ĐẶC TRƯNG CỦA NGUỒN RỜI RẠC 2.5.1 CÁC THAM SỐ ĐẶC TRƯNG CỦA NGUỒN RỜI RẠC
Một vài giá trị của Dn Ví dụ: Tính độ dư Dn của nguồn rời rạc sau
Việt ngữ: A a1 a2 a3 a4
H 0 (V ) = 5,1713 bit , H1 (V ) = 4,5167 bit
P(ai) 1/2 1/4 1/8 1/8
H1 ( A)
1 = = 87 o o → D1 = 13 o o
H 0 ( A)
H 2 (V ) = 3, 2223 bit. 2 = 62 o o , D2 = 38 o o
Nga ngữ: 1 = 87 o o → D1 = 13 o o
3 = 60 o o → D3 = 40 o o
Anh ngữ:
1 = 84 o o → D3 = 16 o o
8 = 38 o o → D8 = 62 o o
2.5.2 CÁC THAM SỐ ĐẶC TRƯNG CỦA KÊNH RỜI RẠC 2.5.2 CÁC THAM SỐ ĐẶC TRƯNG CỦA KÊNH RỜI RẠC
❖ Một kênh rời rạc được đặc trưng bởi ba tham số cơ bản: ❖Một số định nghĩa về kênh rời rạc
+ Trường dấu lối vào và trường dấu lối ra kênh

A = ai , p (ai ); i = 1  s  + Kênh đồng nhất:
B = b j , p (b j ); j = 1  t Nếu một kênh có xác suất chuyển không phụ thuộc vào
+ Các xác suất chuyển thời gian, ta có kênh đồng nhất.
p (b j / ai )  i = 1  s, j = 1  t + Kênh không đồng nhất:
+ Tốc độ truyền tin qua kênh Vk Nếu một kênh có xác suất chuyển phụ thuộc vào thời gian, ta
có kênh không đồng nhất.

52 53
2.5.2 CÁC THAM SỐ ĐẶC TRƯNG CỦA KÊNH RỜI RẠC
2.5.2 CÁC THAM SỐ ĐẶC TRƯNG CỦA KÊNH RỜI RẠC
+ Kênh đối xứng
Nếu một kênh có xác suất chuyển thỏa mãn:
+ Kênh không nhớ:
 p = const i = j
Nếu một kênh có xác suất chuyển không phụ thuộc p (b j / ai ) =  d
 ps = const i  j (2.25)
vào dấu đã phát trước đó, ta có kênh không nhớ.
Ta có kênh đối xứng.
+ Kênh có nhớ: p
Ví dụ: Một kênh nhị a1 > ® b1
Nếu một kênh có xác suất chuyển phụ thuộc vào dấu phân đối xứng, có
ps
nhiễu. Mô hình và
đã phát trước đó, ta có kênh có nhớ. xác suất chuyển a2 > b2
được cho như sau:
p®

2.5.4 THÔNG LƯỢNG KÊNH RỜI RẠC

2.5.3 LƯỢNG THÔNG TIN TRUYỀN QUA KÊNH RỜI RẠC
Định nghĩa
❖Lượng thông tin truyền qua kênh rời rạc trong một Thông lượng (Khả năng cho thông qua) của kênh rời rạc là giá
đơn vị thời gian được định nghĩa theo biểu thức sau: trị cực đại của lượng thông tin trung bình truyền qua kênh rời
I ( AB ) =
I ( AB )
= Vk .I ( AB ) (2.26) rạc trong một đơn vị thời gian, lấy theo mọi phân bố xác suất
Tk có thể có của nguồn tin.
Trong đó : Tk - Thời gian truyền một dấu qua kênh
Vk - Tốc độ truyền tin qua kênh
C  = max I ( AB ) = Vk .max I ( AB)
A, B A, B (2.27)
Thông thường thì: Tk = Tn = 1/ Vn = 1/ Vk Đặt C = max I ( AB) - Khả năng thông qua của kênh đối với một
A, B
dấu (một ký hiệu)
Trường hợp: Tk  Tn - Ta có kênh nén tin Ta có: C ' =Vk .C
Tk  Tn - Ta có kênh giãn tin Thuộc tính
+C  0
+C   Vk .log s
2.5.4 THÔNG LƯỢNG KÊNH RỜI RẠC 2.5.4 THÔNG LƯỢNG KÊNH RỜI RẠC
Ví dụ
❖ Định lý mã hóa thứ 2 của Shannon
Một kênh nhị phân đối xứng, có nhiễu. Mô hình và các xác xuất
chuyển được cho như sau: Nếu khả năng phát của nguồn rời rạc nhỏ hơn khả năng thông
qua của kênh [H ( A)  C ] . Ta luôn có thể tìm được một cách mã
hóa và giải mã để truyền tất cả các tin của nguồn với tốc độ rất
gần với khả năng thông qua của kênh.
Nếu khả năng phát của nguồn rời rạc lớn hơn khả năng thông
qua của kênh [H ( A)  C ] . Thì không tồn tại phép mã hóa như
Tính khả năng thông qua của kênh? vậy.
58 59
2.6.1 TIN, TÍN HIỆU LIÊN TỤC
2.6 TRUYỀN TIN TỪ NGUỒN LIÊN TỤC
Tùy theo vấn đề cần nghiên cứu mà trong cùng một hệ thống truyền
tin, ta có thể xét tới các kênh khác nhau (rời rạc hoặc liên tục).
2.6.1 Tin, tín hiệu liên tục
Ví dụ:
2.6.2 Entropie của nguồn liên tục
2.6.3 Các tham số đặc trưng của kênh liên tục
2.6.4 Lượng thông tin truyền qua kênh liên tục không nhớ
2.6.5 Thông lượng của kênh Gausse

2.6.1 TIN, TÍN HIỆU LIÊN TỤC 2.6.1 TIN, TÍN HIỆU LIÊN TỤC
Phân loại tín hiệu liên tục
Giải
Tín hiệu cao tần s(t) là hàm của thời gian, giá trị của s(t) biến thiên liên
Điều tục trong khoảng (smin ÷ smax). Nhưng đối số thời gian lại có thể liên tục
chế
Đường truyền tin điều
chế hoặc rời rạc.
Kªnh liªn tôc
Kªnh rêi r¹c chøa kªnh liªn tôc

Có hai loại tín hiệu liên tục:
+ Tín hiệu liên tục với đối số thời gian liên tục
Với kênh liên tục nếu ta biết trước phương pháp điều chế và giải điều + Tín hiệu liên tục với đối số thời gian rời rạc
chế, xem lối vào của bộ điều chế là lối vào của kênh, lối ra của bộ điều
chế là lối ra của kênh. Ta có kênh rời rời rạc chứa kênh liên tục.
Để không mất mát thông tin

𝑪′𝒍𝒊ê𝒏 𝒕ụ𝒄 ≥ 𝑪′𝑹ờ𝒊 𝒓ạ𝒄 𝒄𝒉ứ𝒂 𝒌ê𝒏𝒉 𝑳𝑻
2.6.2 ENTROPIE CỦA NGUỒN LIÊN TỤC 2.6.2 ENTROPIE CỦA NGUỒN LIÊN TỤC
Chuyển nguồn liên tục thành nguồn rời rạc

❖ Xét nguồn liên tục s(t) mà các giá trị của nó nằm trong
Chia toàn bộ khoảng ( smin − smax ) thành n phần bằng nhau, mỗi phần
khoảng (smin ÷ smax) có độ lớn s . Giả thiết s(t) nhận giá trị si nếu s (t )  si , Với phân
bố xác suất 𝑝 𝑠𝑖 = 𝑤1 (𝑠𝑖 ). ∆𝑠.
❖ Để xác định Entropie của nguồn liên tục:
- Thực hiện chuyển nguồn liên tục thành
nguồn rời rạc.
- Tính Entropie của nguồn rời rạc.
- Chuyển nguồn rời rạc thành nguồn liên tục.
 n

Entropie của nguồn rời rạc H ( S ) = lim H ( S ') = lim  − W1 ( si )log 2  W1 ( si ) s 
Chuyển nguồn liên tục thành nguồn rời rạc s →0 s →0
 i =1 
Như vậy, ta đã thực hiện chuyển nguồn liên tục S Entropie của tập các giá trị rời rạc theo định nghĩa  1 n 
+ lim  log 2  W1 ( si ).s 
n s →0
 s i =1 
thành nguồn rời rạc 𝑆 ′ : H ( S ) =  p ( si ) log 2 p ( si )
1  
 
1 
𝑆 = 𝑠 𝑡 , 𝑤1 (𝑠) ↔ 𝑆 ′ = 𝑠𝑖 , 𝑝 𝑠𝑖 , 𝑖 = 1 ÷ 𝑛 i =1 H ( S ) =  W1 ( s)log 2 ds +  lim    W1 ( s)ds 
Để tính Entropie của nguồn liên tục ta có thể viết: −
W1 ( s)  s→0 s   − 
=1
n
H ( S ) = − w( s ).s log 2 [w( s ).s ]
i =1
n n
1 1
H ( S ) =  w( s ).
s +  w( s ).s log 2
i =1 log 2 w( s ) i =1 s
Chuyển nguồn rời rạc thành nguồn liên tục:

1 1
H ( S ) = lim H ( S ) =
s →0  W ( s) log
−
2
W (s)
ds + lim log 2
s → 0 s
Nhận xét ❖ Thuộc tính
- Số hạng thứ 2 trong biểu thức không phụ thuộc vào tính thống kê + Entropie của nguồn liên tục có thể âm, dương nhưng các giá trị này là
của nguồn. Nó chỉ phản ánh độ chính xác của việc thu nhận tin hữu hạn.
tức. Nếu ∆𝑠 càng nhỏ thì sai số khi thu lại tin càng nhỏ. + Entropie của nguồn liên tục mang tính chất cộng như entropie của
nguồn rời rạc nhưng không cụ thể như entropie của nguồn rời rạc. Nói
- Số hạng thứ nhất phản ánh bản chất thống kê của nguồn tin. Để
cách khác nó chỉ được dùng để so sánh giữa các nguồn với nhau.
đặc trưng cho tính chất thống kê của nguồn hoặc để so sánh
+ Entropie của nguồn liên tục phụ thuộc vào thang tỷ lệ
chúng, người ta lấy số hạng thứ nhất làm Entropie của nguồn liên 1
Nghĩa là nếu: s = a.s → W ( s) = W ( s )
tục. 
1
a
h( S ) =  W (s)log
−
2
W (s)
ds  h( S ) = h( S ) + log a
h( S ) - Entropie vi phân của nguồn liên tục

68 69
2.6.3 CÁC THAM SỐ ĐẶC TRƯNG CỦA KÊNH LIÊN TỤC
2.6.3 CÁC THAM SỐ ĐẶC TRƯNG CỦA KÊNH LIÊN TỤC
n(t)
❖ Kênh liên tục được coi là đã xác định nếu biết trước:
❖Kênh liên tục đơn giản s(t) u(t)
+ Trường dấu lối vào, ra và mật độ phần bố xác suất Kênh liên tục
Phương trình mô tả kênh liên tục đơn giản:
S = {s(t), W(s)}, U = {u(t), W(u)}
u(t) = .s(t) + n(t) (2.29)
+ Mật độ phần bố đồng thời của hai biến ngẫu nhiên
 - Hệ số truyền đạt của kênh
W2(su) hoặc W(u/s)
n(t) – Nhiễu cộng

2.6.3 CÁC THAM SỐ ĐẶC TRƯNG CỦA KÊNH LIÊN TỤC 2.6.4 LƯỢNG THÔNG TIN TRUYỀN QUA KÊNH LIÊN TỤC
KHÔNG NHỚ
- Nếu biết mật độ phân bố xác suất của nhiễu cộng, ta sẽ tính được
mật độ phân bố xác suất có điều kiện của tín hiệu lối ra kênh
❖ Xét kênh liên tục là kênh Gausse không đổi
W(u/s)
S U
- Nếu tín hiệu lối ra kênh được xác định bởi (2.29), n(t) có phân bố s(t ),W ( s ) u (t ),W (u )
Gausse, kênh liên tục tương ứng với nó gọi là kênh Gausse.
Phương trình tín hiệu lối ra kênh
▪ Nếu 𝜇 = 𝑐𝑜𝑛𝑠𝑡, các tham số của nhiễu cộng không thay đổi theo
thời gian, kênh tương ứng là kênh Gausse không đổi ( kênh rời rạc u (t ) =  .s (t ) + n(t )
không nhớ). Trong đó, μ = const, các tham số của nhiễu cộng không
thay đổi theo thời gian.
▪ Nếu 𝜇 và các tham số của nhiễu cộng không thay đổi theo thời
gian, kênh tương ứng là kênh Gausse thay đổi ( kênh có suy lạc).
72 73
2.6.4 LƯỢNG THÔNG TIN TRUYỀN QUA KÊNH LIÊN TỤC 2.6.4 LƯỢNG THÔNG TIN TRUYỀN QUA KÊNH LIÊN TỤC
KHÔNG NHỚ KHÔNG NHỚ
❖Rời rạc hóa các nguồn liên tục S, U ❖Lượng thông tin trung bình truyền qua kênh rời rạc:
 
n m p ( si / u j )
S → S  = si p ( si ), i = 1, n I ( S U ) =  p ( si u j )log 2
i =1 j =1 p ( si )
U → U  = u p (u ), j = 1, m n m w( si / u j )
=  w( si u j ) log 2
j j
su
Với điều kiện: i =1 j =1 w( si ).w(u j )
❖Lượng thông tin truyền qua kênh liên tục không nhớ
p ( si ) = W ( s ) s, p (u j ) = W (u ) u
(2.30)  
p ( si u j ) = W ( su ) su W2 ( su )
I ( SU ) = lim I ( S U ) =
s →0   W (su ) log W (s)W (u ) dsdu
− −
2
u →0
 W2 ( su )  (2.31)
= M log 
 W ( s )W (u ) 
74 75
2.6.4 LƯỢNG THÔNG TIN TRUYỀN QUA KÊNH LIÊN TỤC

2.6.4 LƯỢNG THÔNG TIN TRUYỀN QUA KÊNH LIÊN TỤC KHÔNG NHỚ
KHÔNG NHỚ
Ta có: Nhận xét
▪ Về mặt hình thức:
 1   W2 ( su ) 
I ( SU ) = M log  + M log 
 W ( s )   W (u )  Lượng thông tin truyền qua kênh liên tục được xác định như
  
lượng thông tin truyền qua kênh rời rac.
1 W ( su )
=  W (s) log
−
W (s)
ds +   W2 ( su ) log 2
− −
W (u )
dsdu I ( AB) = H ( A) − H ( A / B )
Lượng thông tin truyền qua kênh Gausse không đổi được xác
I ( SU ) = h( S ) − h( S / U ) (2.32) định bằng Entropie vi phân của nguồn trừ đi entropie vi phân
có điều kiện.
Trong đó: I ( SU ) = h( S ) − h( S / U ) = h(U ) − h(U / S )
 
W2 ( su )
h( S / U ) =   W (su ) log
2 dsdu ▪ I ( SU ) Thỏa mãn điều kiện I ( SU )  0

− −
W (u )
 
1 I ( SU ) = 0 Nhiễu trầm trọng
=   W (su ) log W (s / u ) dsdu
− −
2  Kênh không nhiễu
h( S / U ) - Entropie vi phân của nguồn tin S khi biết nguồn tin U

76 77
2.6.5 THÔNG LƯỢNG CỦA KÊNH GAUSSE 2.6.5 THÔNG LƯỢNG CỦA KÊNH GAUSSE
Thông lượng kênh Gausse với đối số thời gian rời rạc Thông lượng kênh Gausse với đối số thời gian rời rạc
▪ Định nghĩa ▪ Khả năng thông qua của kênh
Kênh Gausse không đổi với đối số thời gian rời rạc là kênh Theo định nghĩa:
Gausse không đổi có tín hiệu lối vào s(t) là hàm liên tục của C  = Vk max I ( SU )
biến thời gian rời rạc. S ,U
Trong đó 1 1
Ta có thể coi tín s (t ) Vk = =
hiệu s(t) là một Tk t
smax
chuỗi xung có độ Từ những quan điểm của kênh nêu trên ta có:
rộng ∆𝑡, chu kỳ
∆𝑡 , có biên độ 
C  = Vk max h(U ) − log 2 2 epn
U

 
thay đổi trong smin
khoảng: = Vk max h(U ) − log 2 2 epn
o t U
smin  smax t
78 79
Thông lượng kênh Gausse với đối số thời gian liên tục trong
Thông lượng kênh Gausse với đối số thời gian rời rạc một dải tần hạn chế
▪ Khả năng thông qua của kênh Xét tín hiệu (nguồn) s(t) là tín hiệu liên tục với đối số thời
Dễ dàng thấy rằng gian liên tục, có tần số cao nhất trong phổ của tín hiệu là F.
C
Dùng họ hàm trực giao:
max[h(U )] = log 2 2 epu
sin 2 F (t − k t )
U k (t ) =
1  p  2 F (t − k t )
 C  = Vk log 2 1 +  s  (2.33)
2  pn  p s F: Tần số cao nhất trong phổ tín hiệu
Ta có thể biểu diễn s(t) dưới dạng là tổ hợp tuyến tính của
0 4 8 pn
12 các hàm sơ cấp đơn giản:

s (t ) =  ckU k (t )
k =0
80 81
Thông lượng kênh Gausse với đối số thời gian liên tục trong Thông lượng kênh Gausse với đối số thời gian liên tục trong một
một dải tần hạn chế dải tần hạn chế
ck - là hệ số của phép khai triển được xác định:


ck =  s (t )U k (t )dt = s (k t ) = s (k )
−
1
Nếu thỏa mãn t 
2F
Trong đó sk là các giá trị mẫu của tín hiệu s(t). Nghĩa là ta có
thể biểu diễn tín hiệu thông qua các giá trị mẫu của nó:
 sin 2 F (t − k t ) Như vậy, nguồn (tín hiệu) S gồm vô hạn các thể hiện s(t) được
s (t ) =  s (k ). thay thế bởi nguồn S ' gồm vô vàn các thể hiện với đối số thời
k =− 2 F (t − k t )
gian rời rạc sk
82 83
Thông lượng kênh Gausse với đối số thời gian liên tục trongmột Thông lượng kênh Gausse với đối số thời gian liên tục trong một dải
dải tần hạn chế tần hạn chế
▪ Khả năng cho thông qua của kênh ▪ Nhận xét
1  p  • Có thể thu chính xác được tín hiệu (Giữ được khả năng thông qua
C ' = Vk log 1 +  s  của kênh) bằng cách mở rộng dải tần của tín hiệu. Bằng cách mở
2  pn  rộng dải tần của tín hiệu, ta có thể thu chính xác tín hiệu ngay cả
Trong đó 1 1 khi tín hiệu chìm trong tạp âm.
1
Vk = = , t =
Tk t 2F • Công thức trên được được gọi là công thức Shannon. Nó chỉ áp
Vậy dụng được với kênh Gausse (kênh có tham số không đổi, chịu tác
 p  p động của nhiễu trắng chuẩn). Nếu mật độ phân bố xác suất của
C ' = F log 2 1 +  s  = F log 2 (1 +  s ) nhiễu khác lệch chuẩn hoặc phổ của nhiễu trong dải thông của
 pn  F .N 0
kênh không đều, hoặc ngoài nhiễu cộng còn có nhiễu nhân thì
N 0 - Mật độ phổ công suất của nhiễu (tạp âm trắng, chuẩn) công thức trên không áp dụng được.
84 85
Thông lượng kênh Gausse với đối số thời gian liên tục trong một Thông lượng kênh Gausse với đối số thời gian liên tục trong một
dải tần vô hạn dải tần vô hạn
Khả năng cho thông qua của kênh Gausse với đối số thời gian
Khi F = 
liên tục như trình bày ở trên: F
 p 
p s C = lim C ' = lim F .log 2 1 +  s 
F → F →
C ' = F log 2 (1 + )  F .N o 
F .N 0 Đặt p s p s
Khi F=0 = →F=
 p  F .N 0  N0
C0 = lim C ' = lim F .log 2 1 +  s  p s
F →0 F →0
 F .N o  p s 1+ 
C = lim log 2 (1 +  ) F . No
= lim log 2 ( )
 p   →0 No  →0 
log 1 +  s 
= lim  F .N o  = 0 p s p s
F →0 1 = log 2 e = 1, 443
No No
F 86 87
Thông lượng kênh Gausse với đối số thời gian liên tục trong một Thông lượng kênh Gausse với đối số thời gian liên tục trong một dải
dải tần vô hạn tần vô hạn
▪ Nhận xét ▪ Nhận xét
• Khả năng thông qua của kênh Gausse với đối số thời gian liên • Việc tăng quá mức dải tần (bề rộng phổ) của tín hiệu hoặc dải thông
p
tục bị chặn trên bởi giá trị 1, 443 N s
của kênh là không cần thiết vì sự tăng thông lượng của kênh tới một
0
giá trị nào đó là rất chậm.

• Trong mọi trường hợp, tạp âm nhiệt luôn tồn tại trong mọi hệ vật
chất. Vì vậy, nó cũng tồn tại trong bất cứ kênh liên lạc nào khác.
Nói cách khác
Mật độ phổ của tạp âm nhiệt: N 0 = k .T
p s Trong đó k là hằng số Boltzman
0  C '  1, 443.
N0 T là nhiệt độ Kelvin
88 89
2.6.5 THÔNG LƯỢNG CỦA KÊNH GAUSSE
BÀI TẬP
1. Có ba hộp đựng bút chì màu: Hộp A gồm 9 bút màu xanh, 9 bút màu
Tóm lại
đỏ, 12 bút màu vàng. Hộp B gồm 9 bút màu xanh, 10 bút màu đỏ, 11 bút
▪ Khả năng phát tin của nguồn liên tục có thể là vô hạn, nhưng màu vàng. Hộp C gồm 11 bút màu xanh, 12 bít màu đỏ, 7 bút màu vàng.
khả năng cho thông qua của kênh là hữu hạn. Rút ngẫu nhiên từ mỗi hộp ra một chiếc bút, hỏi phép rút nào có độ bất
định lớn nhất.
▪ Nghĩa là không thể thu chính xác được tín hiệu mà bao giờ
cũng có sự mất mát thông tin. 2. Có 81 đồng tiền xu cùng mệnh giá, trong đó có một đồng xu giả (có
trọng lượng lớn hơn). Để xác định đồng tiền giả ta sử dụng một chiếc cân
bàn. Tính số lần cân trung bình tối thiểu để tìm ra đồng tiền giả, chỉ ra
thuật toán cân.
BÀI TẬP BÀI TẬP
3. Một hộp đựng linh kiện điên tử gồm các IC cùng loại (các IC tương
4. Một thiết bị vô tuyến điện có 8 thiết bị có độ tin cậy như nhau và được
đương) trong đó: 10% là của Nhật bản, 50% là của Mỹ, 40% là của Trung
mắc nối tiếp với nhau. Để tìm ra sự hỏng hóc của mỗi khối, người ta dung
quốc. Biết tỷ lệ IC hỏng của Trung quốc là 2%, Nhật bản là 3%, Mỹ là 1%.
thiết bị đo và kiểm tra tín hiệu ở đầu ra của mỗi khối.
Lấy ngẫu nhiên 1 IC để lắp mạch.
a) Tính số lần đo trung bình tối thiểu để tìm ra một khối hỏng.
a) Tìm lượng thông tin chứa trong biến cố lấy phải một IC hỏng.
b) Trình bày thuật toán đo.
b) Tìm lượng thông tin chứa trong biến cố khi lấy phải IC hỏng là của Mỹ.
92 93
BÀI TẬP
BÀI TẬP
6. Mô hình kênh truyền tin nhị phân đối xứng, đồng nhất, có nhiễu có
5. Một kênh rời rạc đối xứng nhị phân có nhiễu, đồng nhất, không nhớ. Với giả xóa, được cho như sau:
thiết, p(a1 ) = 2 /13 . Do có nhiễu nên xác suất thu đúng mỗi tin chỉ còn 10/11.
Hãy tính: a1 b1
a) Lượng thông tin tương hỗ I (a1b1 ), I (a2b2 )
b) Tìm lượng thông tin tổn hao H(A/B). a2 b2 Cho biết: p (a1 ) = 2 / 5 , do có nhiễu nên xác suất thu đúng còn 12/13,
p (b3 / a1 ) = p (b3 / a2 ) = 1/125
c) Tính lượng thông tin truyền qua kênh truyền I(AB)
a) Tính lượng thông tin tương hỗ I (a1b1 ), I (a2b2 )
d) Tính lượng thông tin H ( A / b j ) b) Tính lượng thông tin tổn hao H(A/B)
c) Tính thông lượng kênh rời rạc biết tốc độ truyền tin qua kênh là Vk

7. CMR trong số các đại lượng ngẫu nhiên liên tục có kỳ vọng bằng 0, 8. CMR trong số các đại lượng ngẫu nhiên liên tục có kỳ vọng
phương sai đã biết. Đại lượng ngẫu nhiên có phân bố chuẩn (Phân cho trước, mật độ phân bố xác suất triệt tiêu với s  0 . Đại
bố Gausse): lượng ngẫu nhiên có phân bố xác suất theo luật hàm mũ:
s2
−
1
W( s ) = e 2 2
w( s ) = .e −  .s
2 2
e
Cho Entropie vi phân cực đại và giá trị cực đại đó bằng: Cho Entropie vi phân cực đại và giá trị đó là: h( s )  log 2

h( s )  log 2 2 e 2
96 97
9. CMR ta có thể biểu diễn (khôi phục lại) tín hiệu thông qua 10. Hãy so sánh khả năng thông qua của hai kênh thông tin nếu
s
các giá trị mẫu: k của tín hiệu rời rạc.
kênh thứ nhất chịu một tác động của một tạp âm trắng, chuẩn
 sin 2 F (t − k t ) trong giải tần F với phương sai 2 = 1V 2 , còn kênh thứ hai chịu
s (t ) =  s (k ).
k =−  F (t − k t )
tác động của một tạp âm trắng, phân bố đều trong khoảng
1 ±1,5 với giải tần 2F. Coi rằng công suất của tín hiệu rất lớn
Nếu tần số lấy mẫu Ts thỏa mãn: Ts = t =
2F
hơn công suất của tạp âm.
F là tần số cao nhất trong phổ tín hiệu
98 99
3.1 NHỮNG VẤN ĐỀ CHUNG

NHỮNG KHÁI NIỆM CƠ BẢN
3.1.1 Mã hóa, mã hiệu
3.1.2 Độ dư của bộ mã
3.1.3 Phân loại mã
3.1.4 Biểu diễn mã
3.1.5 Khoảng cách mã

3.1.1 MÃ HÓA, MÃ HIỆU 3.1.1 MÃ HÓA, MÃ HIỆU
❖ Mã hóa ❖ Mã hóa
Ví dụ Định nghĩa:
Xét một nguồn tin A = {a, b, c, d}. Mã hóa là phép biểu diễn (biến đổi, thay thế) s tin khác nhau
Thực hiện ánh xạ A vào tập các chuỗi {0, 1} theo quy tắc:
của một nguồn rời rạc nào đó trong một bộ các ký hiệu xác định nào
a → 00 c → 10 đó, chứa m ký hiệu (dấu hiệu) khác nhau. Nhằm mục đích tận dụng
b → 01 d → 11 khả năng cho thông qua của kênh, cũng như thỏa mãn những tiêu chí
Để truyền bản tin baba, phía phát sẽ phát đi chuỗi 01000100. nhất định của hệ thống truyền tin.
Phía thu nhận được chuỗi bít này phải xác định được bản tin - m: Cơ số của bộ mã
bên phát đã phát đi là baba.
5 6
❖ Mã hóa ❖ Mã hóa
m ≥ s: Mỗi tin của nguồn được thay thế bởi một ký hiệu thuộc bộ ký hiệu m < s: Mỗi tin của nguồn sẽ được đặt tương ứng với một dãy (tổ hợp)
gồm n ký hiệu của bộ ký hiệu. Dãy này được gọi là từ mã.
Ví dụ
m = 2: s1 → 00
s = 4 : s1 , s2 , s3 , s4 s2 → 01
s3 → 11
s4 → 10
7 8
3.1.1 MÃ HÓA, MÃ HIỆU
❖ Mã hiệu
❖ Mã hiệu
Mã (bộ mã) là sản phẩm của phép mã hóa, là tập các từ mã - Độ dài từ mã 𝑛𝑖 : Số dấu mã trong từ mã dùng để mã hóa cho tin 𝑎𝑖
được lập ra theo một luật đã được định trước. của nguồn.
Bộ mã đều: Các từ mã có độ dài bằng nhau (𝑛𝑖 =3).
Ký hiệu  i i - Tổ hợp mã (từ mã) thứ i có ni dấu mã (độ dài ni )
n
dùng để mã hóa cho tin ai của một nguồn rời rạc nào đó. V = {001, 100, 101, 010}
Ngược lại ta có bộ mã không đều (n1 = n2 = 1, n3 = 2, n4 = 3)
Sử dụng bộ mã đều
Tập các từ mã này tạo ra bộ mã:
 
U = {0, 1, 01, 101} cơ số m=2, độ dài n = 3.
V =  ini , i = 1  s - Tổng số từ mã của bộ mã Tính số từ mã có thể có
của bộ mã?
Nếu từ mã cơ số m độ dài n, số từ mã có thể có của bộ mã: mn


❖ Điều kiện thiết lập mã (yêu cầu của phép mã hóa)
Điều kiện thiết lập mã là phải giải mã được và giải một cách duy ❖ Điều kiện thiết lập mã (yêu cầu của phép mã hóa)
nhất. Nghĩa là các từ mã phải thỏa mãn điều kiện không phủ nhau. + Bộ mã có tính Prefix nếu bất kỳ tổ hợp mã nào của nó cũng không
Một bộ mã như vậy được gọi là một bộ mã có tính Prepfix. phải là Prefix của tổ hợp mã nào khác thuộc bộ mã.
+ Prefix của một tổ hợp mã là bộ phận của tổ hợp mã đó sau khi bỏ đi
Ví dụ:
ký hiệu cuối cùng.
 in = 1011001
Bộ mã gồm các từ mã: 1, 00, 011, 0101, 0100
101100 
10110 
Các Prefix
➢ Đây là bộ mã có tính Prefix.
của tổ hợp
1011  𝑛
 mã 𝛼𝑖
101 
10 


11 12
Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 1 Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông
❖ Điều kiện thiết lập mã (yêu cầu của phép mã hóa) ❖ Điều kiện thiết lập mã (yêu cầu của phép mã hóa)
Xảy ra các trường
Ví dụ: Bộ mã gồm các từ mã được cho như sau:
hợp như sau:
a1 :10 a4 :1101
a2 : 01 a5 :10110
a3 :101 a6 :101110
Cho dãy tin: 110110111011011011010111010011101
Giải mã cho dãy tin trên.
13 14
3.1.1 MÃ HÓA, MÃ HIỆU 3.1.2 ĐỘ DƯ CỦA BỘ MÃ
❖ Điều kiện thiết lập mã (yêu cầu của phép mã hóa) ❑Xét với bộ mã đều:
Có thể nói: Mã hóa nhất thiết là phép biến đổi đơn trị hai chiều. Mã hóa là Nguồn tin rời rạc A gồm s tin: 𝐴 = 𝑎𝑖 ; 𝑖 = 1 ÷ 𝑠
Xét phép mã hóa f như sau: 𝑓: 𝑎𝑖 → 𝛼𝑖𝑛 , 𝛼𝑖𝑛 𝜖 𝑉.
làm tương ứng một – một giữa các tin thuộc nguồn và các tổ hợp của các
❑ Độ dư của bộ mã
dấu mã. 𝐻(𝑉)𝑚𝑎𝑥 −𝐻(𝐴)𝑚𝑎𝑥 𝐻 𝐴 𝑚𝑎𝑥
𝐷𝑚 = =1− (3.1)
𝐻(𝑉)𝑚𝑎𝑥 𝐻 𝑉 𝑚𝑎𝑥
log 2 s
= 1−
n log 2 m
- s = m → Dm = 0 : Bộ mã không có độ dư (bộ mã đơn giản)
n
- s  m n → Dm  0 : Bộ mã có độ dư
15 16
3.1.2 ĐỘ DƯ CỦA BỘ MÃ
3.1.3 PHÂN LOẠI MÃ
Ví dụ ❖Các cách phân loại mã

Tính độ dư của bộ mã đều nhị phân có độ dài n = 3 được sử Mã nhị phân
dụng để mã hóa cho 4 tin A, B, C, D. Theo cơ số m
của bộ mã
Mã tam phân…
Các cách phân loại mã

Mã đều
Theo độ dài của
từ mã Mã không đều
Mã có độ dư
Theo độ dư của
bộ mã Mã đơn giản

3.1.3 PHÂN LOẠI MÃ

3.1.4 BIỂU DIỄN MÃ
❖ Bảng đối chiếu mã

❖ Phân loại mã nhị phân - Trình bày dưới dạng bảng: Liệt kê các tin và từ mã tương
ứng
- Ưu điểm: Cho biết một cách trực quan từ mã tương ứng

dung
để mã hóa cho các tin.
- Nhược điểm: Kích thước cồng kênh.
❖ Mặt tọa độ mã
- Mỗi từ mã được mô tả bởi hai thông số là độ dài ni của từ mã và ❖ Hàm cấu trúc mã
trọng số bi của từ mã. bi
4 Thống kê số lượng các từ mã có độ dài ni - G(ni)
n −1 10
bi =  ak 2 k Ví dụ
k =0
Với bộ mã V={1, 00, 011, 0101, 0100 }
k: Số thứ tự của bit 6 3
G(ni) Được biểu diễn như sau
1 ni = 1
trong từ mã,ak=0 hoặc 1 
1 ni = 2
Ví dụ 5 G ( ni ) = 
2 1 ni = 3
V={1, 00, 011, 0101, 0100 }
1 2 1
ni 2 ni = 4
0 1 2 3 4 5
3.1.4 BIỂU DIỄN MÃ 3.1.4 BIỂU DIỄN MÃ

1
❖ Đồ hình kết cấu 0 0 ❖ Cây mã
- Một từ mã được biểu diễn 1 Ví dụ
0
bằng một chu trình xuất phát Biểu diễn các từ mã của bộ mã
0/ 1
1 V={1, 00, 011, 0101, 0100 }
từ nút gốc và quay trở về lại 1
3
nút gốc. 2
0
- Cho biết cấu trúc của thiết bị tạo mã và giải mã
Ví dụ
Với bộ mã V={1, 00, 011, 0101, 0100 }
23 24
3.1.5 KHOẢNG CÁCH MÃ
❖Khái niệm
❖ Tính chất
Khoảng cách Hamming giữa hai từ mã bất lỳ của một bộ
mã đều là số những vị trí (thành phần) của chúng tính theo cùng (
+ d  in , nj = 0 i = j ) (3.2)
một thứ tự mà tại đó chúng có các dấu khác nhau. + d ( ,  i

n n
j )  0 i  j (3.3)
+ d ( ,  ) = d ( , ) i, j
❖ Kí hiệu
( )
n n n n
d  in , nj - Khoảng cách giữa hai từ mã  in , nj i j j i
(3.5)
Ví dụ
 i7 = 1011000
+ d ( ,  i
n n
j ) + d ( , ) = d ( , ) i, j, k
n
j
n
k i
n n
k
(3.6)
 7j = 0101100 + 0  d ( i
n
, )  n i  j
n
j
(3.7)
*** *
(
d  i7 , 7j = 4 )
❖ Trọng số của từ mã 3.2 MÃ THỐNG KÊ TỐI ƯU
Là số các dấu khác “0” trong từ mã đó.
( )
W  in - Trọng số của từ mã:  n
i 3.2.1 Các giới hạn tối ưu cho độ dài trung bình của từ mã
* Quãng cách mã d ( in , nj ) = W ( in   nj ) (3.8) 3.2.2 Định lý Kraft

Ví dụ
3.2.3 Định lý Shannon
 in = 1 0 1 0 0 1 1  in = 1 0 1 0 0 1 1
 nj = 1 0 1 1 0 0 0   nj = 1 0 1 1 0 0 0 3.2.4 Mã thống kê tối ưu Huffman
  
 =0 0 0 1 0 1 1
n
d ( in ,  nj ) = 3 k
W ( kn ) = 3

3.2.1 CÁC GIỚI HẠN TỐI ƯU CHO ĐỒ DÀI TRUNG BÌNH CỦA TỪ MÃ 3.2.1 CÁC GIỚI HẠN TỐI ƯU CHO ĐỒ DÀI TRUNG BÌNH CỦA TỪ MÃ
Nhận xét
❖ Độ dài trung bình của từ mã
Đặc trưng cho tính kinh tế của bộ mã, ta dùng khái - Để phép mã hóa không làm tổn hao tin tức, thì lượng thông tin
niệm độ dài trung bình của từ mã: chứa trong từ mã không thể nhỏ hơn lượng thông tin chứa trong
s
L =  ni p (ai ) (3.9) tin tương ứng.
i =1
ni – Độ dài của từ mã  i i dùng để mã hóa cho tin ai
n - Việc mã hóa càng có tính kinh tế khi lượng thông chứa trong mỗi
p(ai) – Xác suất xuất hiện tin ai của nguồn dấu mã càng lớn, lượng thông tin này đạt cực đại khi tất cả các
dấu mã xuất hiện đồng xác suất.
Ta có: I ( ini )  I ( i ) (3.10)

29 30
3.2.1 CÁC GIỚI HẠN TỐI ƯU CHO ĐỒ DÀI TRUNG BÌNH CỦA TỪ MÃ
3.2.1 CÁC GIỚI HẠN TỐI ƯU CHO ĐỒ DÀI TRUNG BÌNH CỦA TỪ MÃ Điều kiện (3.11) được chọn như sau:
 log 2 p ( ai ) 
ni =  − +1
- Nếu coi tất cả các dấu mã trong từ mã là độc lập thống kê:  log 2 m 
I ( ini )  I (ai ) → ni l o g 2 m  − l o g 2 p (ai )  X  - chỉ phần nguyên của X

- Nếu để ý đến tính kinh tế của bộ mã thì:
log 2 p ( ai )
ni  − (3.11)  H ( A) 
log 2 m Lmax =   +1
H ( A)  log 2 m 
L
log 2 m H ( A)  H ( A) 
L  +1
Trong biểu thức (3.11) 𝑛𝑖 là độ dài của từ mã 𝛼𝑖 𝑖 . Do đó, 𝑛𝑖 ∈ 𝑁
𝑛 log 2 m  log 2 m 
Biểu thức trên được gọi là giới hạn tối ưu cho độ dài trung
bình của từ mã (giới hạn Shannon)
31 32
3.2.2 ĐỊNH LÝ KRAFT 3.2.2 ĐỊNH LÝ KRAFT
❖ Ý nghĩa
❖ Định lý Kraft
- Định lý không khẳng định rằng một bộ mã bất kỳ gồm các từ mã
- Nếu n1 , n2 ,..., ns là độ dài các từ mã thì điều kiện cần và đủ để
có độ dài thỏa (3.12) đều có tính không phủ nhau:
các từ mã không phủ nhau với các độ dài đã cho là ni (i = 1, s ) phải
Ví dụ: Tập các từ mã nhị phân 0, 00, 11
thỏa mãn bất đẳng thức sau:
s
- Định lý chỉ khẳng định rằng tồn tại tồn tại một bộ mã có tính
− ni
m 1 (3.12)
không phủ nhau với các độ dài như vậy. Nó không chỉ ra thuật
i =1
toán xây dựng các bộ mã có tính không phủ nhau, vì vậy nó chỉ
m là cơ số bộ mã. là một định lý tồn tại.
Ví dụ: Bộ mã có các từ mã: 0, 10, 11

33 34
3.2.3 ĐỊNH LÝ SHANNON 3.2.3 ĐỊNH LÝ SHANNON
❖ Định lý Shannon ❖ Ý nghĩa
- Khi mã hóa các tin của nguồn bởi một bộ ký hiệu m dấu với điều + Định lý xác định giới hạn cho kinh tế của bộ mã.
kiện không có tạp âm, thì độ dài trung bình của từ mã không thể + Định lý không chỉ ra cụ thể phương pháp để xây dựng bộ mã tối
H ( A)
nhỏ hơn ưu. Nhưng ta có thể đạt được độ dài trung bình của từ mã là nhỏ
log 2 m
- Nếu xác suất xuất hiện các tin của nguồn không phải là lũy thừa nhất. Đó là phải thực hiện sau cho các dấu mã là đồng xác suất và
nguyên âm của cơ số m, thì ta không thể đạt tới giới hạn trên. độc lập thống kê.
Nhưng ta có thể tiến tới gần tùy ý giới hạn trên khi mã hóa các tin + Cho biết ý nghĩa của Entropie: Entropie của tập các tin có thể
của nguồn bằng các nhóm có độ dài đủ lớn. xem là số dấu nhị phần tối thiểu tính trung bình cho một tin.
35 36
 a1 a2 a3 a4 a5 a6 
3.2.4 MÃ THỐNG KÊ TỐI ƯU HUFFMAN 3.2.4 MÃ THỐNG KÊ TỐI ƯU HUFFMAN
A= 1 1 1 1 1 1 
 
❖ Phương pháp lập mã theo Huffman Minh họa Phương pháp lập mã Huffman cho nguồn rời rạc sau  2 4 8 16 32 32 
+ Viết tất cả các tin theo thứ tự xác suất xuất hiện giảm dần. Từ
ai p(ai) Quá trình tổ hợp các tin
+ Hai tin có xác suất nhỏ nhất được nối với nhau. Một xác suất được mã
gán là ‘1’ và một xác suất được gán là ‘0’. Đồng thời các xác suất này a1 1/2 1/2 1/2 1/2 1/2 0 1 0
được cộng lại kết quả được ghi lại vào khoảng giữa các xác suất gần
a2 1/4 1/4 1/4 1/4 0 1/2 1 10
nó nhất.
a3 1/8 1/8 1/8 0 1/4 1 110
+ Quá trình hợp nhất hai tin có xác suất nhỏ nhất này được thực
hiện cho đến khi nào tổng xác suất hai tin bằng 1. 1/16 0 1/8 1
a4 1/16 1110
+ Từ mã ứng với mỗi tin là các dấu nhị phân mà ta đã gán cho các
Mô phỏng a5 1/32 0 1/16 1 11110
xác xuất được viết từ phải sang trái, theo đường ngược lên về bên
Mã Huffman
phải bắt đầu từ xác suất của tin tương ứng. a6 1/32 1 11111
37 38
11110 11111
3.2.4 MÃ THỐNG KÊ TỐI ƯU HUFFMAN a5 a6 3.2.4 MÃ THỐNG KÊ TỐI ƯU HUFFMAN
1/ 1/
1110
32 ............................... 32 n=5
❖Giải mã cho các mã thống kê tối ưu
...............................
a4
0 1
110 1/
............................... 1/16 ............................... n=4
a3
16 Dùng đồ hình cây mã
0 1
10 1/8 ............................... 1/8 ............................... n=3 + Đặt con trỏ vào nút gốc của cây mã.
a2
0 1 + Di con trỏ theo nhánh có trị là bít nhận được. Khi con trỏ chỉ đến nút lá:
0 1/4 ............................... 1/4
........................................................
n=2
a1
0 - Làm xuất hiện tin tương ứng.
1
1/2 ............................... 1/2 n =1
........................................................
- Con trỏ quay về nút gốc
1
0 n=
1 ........................................................... 0 + Quá trình giải mã được tiếp tục như trên cho đến khi hết tin.
Minh họa cây mã Huffman

39 40
3.2.4 MÃ THỐNG KÊ TỐI ƯU HUFFMAN
3.3 MỘT SỐ KHÁI LUẬN VỀ MÃ KHỐNG CHẾ SAI
Ví dụ: Giải mã cho dãy bít nhận được

3.3.1 Biểu diễn véc tơ cho các tổ hợp mã
101100111001110001011101001101110
3.3.2 Cơ chế phát hiện sai và sửa sai của bộ mã
p p p pp pp p p p p p p 3.3.3 Mối liên hệ giữa khoảng cách cực tiểu và
a2 a3 a4 a a4a1a1 a2 a4 a2a1 a3 a4
1
khả năng sửa sai của bộ mã
3.3.4 Xây dựng các mã có khả năng sửa sai
cho trước.

3.3.1 BIỂU DIỄN VÉC TƠ CHO TỔ HỢP MÃ

3.3.1 BIỂU DIỄN VÉC TƠ CHO TỔ HỢP MÃ
- Tích của véc tơ mã với một vô hướng

❖ Mỗi từ mã có độ dài n được xem như một véc tơ trong không
an V , c = const
gian véc tơ n chiều.
 in = ( a0 , a1 ,...ak ,...an−1 )  ai  En c.an = ( c.a0 ,...c.ak ,...c.an−1 ) = bn
❖ Các phép toán đối với véc tơ mã: bn V

Tích của một véc tơ mã với một vô hướng là một véc tơ mã
- Tổng của các véc tơ mã: an , bn V
thuộc bộ mã.
an + bn = ( a0  b0 ,...ak  bk ,...an−1  bn−1 ) = vn c = 0 → c.an = 0
Khi
vn V c = 1 → c.an = an
3.3.1 BIỂU DIỄN VÉC TƠ CHO TỔ HỢP MÃ 3.3.1 BIỂU DIỄN VÉC TƠ CHO TỔ HỢP MÃ
❖ Ta có thể coi véc tơ mã nhận được là tổng của véc tơ phát và

- Tích vô hướng hai véc tơ
véc tơ sai (do nhiễu)
bi = ai + e
( a .b ) = c = ( a .b  ...  a .b  ...  a
(3.13)
n n 0 0 j j n −1.bn −1 )
- Véc tơ sai e đặc trưng cho nhiễu trên kênh truyền
- Tổ hợp tuyến tính của các véc tơ mã - Trọng số của véc tơ sai W(e) gọi là bội sai
→
m W( e ) = 1: Ta có sai đơn
bn = c1.a1 + c2 .a2 + ... + cm .am =  ci .ai →
W( e ) = 2 : Ta có sai kép
i =1
→
W( e ) = t : Ta có sai bội t

3.3.2 CƠ CHẾ PHÁT HIỆN SAI VÀ SỬA SAI CỦA BỘ MÃ 3.3.2 CƠ CHẾ PHÁT HIỆN SAI VÀ SỬA SAI CỦA BỘ MÃ
❖ Do có nhiễu tác động, một từ mã dùng có thể chuyển

thành N 0 = 2n tổ hợp mã có thể có.
❖ Giả sử bộ mã dùng có độ dài từ mã là n
+ Số tổ hợp mã nhị phân n dấu có thể có: No = 2n
+ Số tổ hợp mã dùng: N = 2k
+ Số tổ hợp mã còn lại No – N = 2n – 2k , gọi là

số tổ hợp mã cấm
Số trường hợp chuyển có thể có→
khi
→
truyền N tổ hợp mã: N.No.
Xét cả trường hợp véc tơ sai: e = 0
3.3.2 CƠ CHẾ PHÁT HIỆN SAI VÀ SỬA SAI CỦA BỘ MÃ
3.3.2 CƠ CHẾ PHÁT HIỆN SAI VÀ SỬA SAI CỦA BỘ MÃ
❖ Tỷ số giữa số trường hợp chuyển sai có thể phát hiện được và số

❖ Trong đó:
trường hợp chuyển có thể có:
+ N = 2k Trường hợp chuyển đúng (không sai).
(
2k 2n − 2k ) = 1− 2 k
= 1−
N
+ 2k.(2k- 1) Trường hợp chuyển thành các tổ hợp mã dùng khác k n
(3.14)
2 .2 2n N0
(không phát hiện được sai). Nghĩa là, không thể phát hiện được tất cả các sai→ không
Như vậy, số trường hợp chuyển sai có thể phát hiện được: thể sửa được tất cả các sai.
  ( ) ( )
2k .2n −  2k + 2k 2k − 1  = 2k 2n − 2k = N ( N 0 − N )
49 50
3.3.2 CƠ CHẾ PHÁT HIỆN SAI VÀ SỬA SAI CỦA BỘ MÃ 3.3.3 MỐI LIÊN HỆ GIỮA KHOẢNG CÁCH CỤC TIỂU
VÀ KHẢ NĂNG SỬA SAI CỦA BỘ MÃ
❖ Tỷ số giữa trường hợp chuyển sai có thể sửa được và số trường

❖ Định nghĩa
hợp sai có thể phát hiện được: Khoảng cách cực tiểu là khoảng cách nhỏ nhất giữa hai từ mã
bất kỳ của bộ mã
N0 − N 1
=
N ( N0 − N ) N (3.15) ( )
d o = min d  in , nj ; i  j , i = 1  s, j = 1  s
Tỷ số này không phụ thuộc vào phương pháp phân hoạch, tức là ❖ Khả năng sửa sai của bộ mã
không phụ thuộc vào phương pháp mã hóa và giải mã. Nghĩa là ta chỉ Định lý 1: Một bộ mã đều nhị phân có thể phát hiện được tất cả các
có thể sửa được một số sai nào đó bởi những cách phân hoạch nào đó. trường hợp sai có bội W e   nếu thỏa mãn: ()
do   + 1 (3.16)
51 52
3.3.3 MỐI LIÊN HỆ GIỮA KHOẢNG CÁCH CỤC TIỂU 3.3.3 MỐI LIÊN HỆ GIỮA KHOẢNG CÁCH CỤC TIỂU
VÀ KHẢ NĂNG SỬA SAI CỦA BỘ MÃ VÀ KHẢ NĂNG SỬA SAI CỦA BỘ MÃ
Định lý 2
Điều kiện cần và đủ để một bộ mã đều nhị phân có thể sửa được tất
cả các trường hợp sai có bội W e  t nếu thỏa mãn: ()
d o  2t + 1 (3.17)
Định lý 3
Điều kiện cần và đủ để một bộ mã đều nhị phân có thể phát hiện được
()
tất cả các trường hợp sai có bội W e   và có thể sửa được tất cả các
()
trường hợp sai có bội W e  t , t   nếu thỏa mãn:
do  t +  + 1 (3.18)
53 54
3.3.4 XÂY DỰNG CÁC MÃ CÓ KHẢ NĂNG SỬA SAI CHO TRƯỚC
❖ Với mỗi tổ hợp mã được chọn làm từ mã dùng, ta loại bỏ

❖ Giới hạn Gilbert
d0 −1
Bước 1: Viết ra tất cả các THM có độ dài n có thể có 2n được không lớn hơn C
i =0
i
n tổ hợp mã.
Bước 2: Chọn ra một tổ hợp mã tùy ý làm từ mã dùng, sau đó loại ❖ Sau khi chọn được N từ mã dùng. Thủ tục chọn từ mã kết thúc ta có:
từ mã đã chọn và các tổ hợp mã cách từ mã đã chọn một khoảng
do −1
2n
do -1 ra khỏi 2n tổ hợp trên. N .  Cni  2n  N do −1 (3.19)
Bước 3: Quá trình chọn từ mã được tiến hành như bước 2 cho đến
i =0
C
i =0
i
n
khi không còn tổ hợp mã nào. Trường hợp ngược lại, tiếp tục thực
(3.19) – Giới hạn dưới của số từ mã dùng, khi cho trước độ dài từ mã
hiện như bước 2. và bội sai cần sửa (Giới hạn Gilbert)
❖ Giả thiết: Xây dựng bộ mã dùng để mã hóa cho nguồn rời rạc A với số véc
❖ Giới hạn Hamming tơ sai cần sửa T: A = ai , p ( ai ) ; i = 1  s
Bước 1: Dùng một bộ mã đều có độ dài k để mã hóa cho các tin cần mã - Số dấu mang tin cần thiết được xác định như sau:
hóa. k được gọi là số dấu mang tin trong từ mã.
k =  log 2 ( s − 1)  + 1 (3.20)
Bước 2: Thêm vào một số dấu (r dấu) không mang tin, ta có thể đảm bảo
- Số tổ hợp sai cần sửa
được khả năng sửa sai đã cho của bộ mã.
N .T = 2k .T (3.21)
a0 a1 ak-1 ak an-1
- Số tổ hợp mã cấm
k dấu mang tin r dấu kiểm tra N o − N = 2n − 2k (3.22)
57 58
3.4 Mã Cyclic
- Điều kiện cần để bộ mã sửa được T kiểu sai: ( No − N )
( N o − N )  N .T → N o  N (1 + T ) (3.23)
- Bộ mã sửa được tất cả các sai đơn ( W e = 1 ) () 3.4.1 Biểu diễn đa thức cho các tổ hợp mã
N o  N (1 + n)  2  2 .(1 + n)
n k
(3.24) 3.4.2 Các định nghĩa về mã Cyclic
- Bộ mã sửa dược các sai có bội t ( W ( e ) = t )
3.4.3 Thiết bị tạo mã Cyclic
 t 
n  k + log 2   Cni  (3.25) 3.4.4 Giải mã cho các mã Cyclic
 i =0 
(3.25)- Giới hạn Hamming: Giới hạn dưới cho độ dài từ mã khi cho trước số
tin cần mã hóa và bội sai cần sửa.
3.4.1 BIỂU DIỄN ĐA THỨC CHO CÁC TỔ HỢP MÃ 3.4.1 BIỂU DIỄN ĐA THỨC CHO CÁC TỔ HỢP MÃ
❖ Các phép toán đối với đa thức mã
❖ Một từ mã có thể biểu diễn dưới dạng sau + Phép cộng hai đa thức mã
n −1 n −1
 in = a0 a1...a j ...an−1 ax =  ai x i V , bx =  b j x j V
= ( a0 , a1 ,...a j ,...an−1 ) = a
i =0 j =0
n −1
= a0 x + a1 x + ... + a j x + ... + an−1 x

0 1 j n −1 ax + bx V → ax + bx =  (ai  bi ) x i (3.27)
i =0
n −1
(3.26)
=  ai x = ax i + Phép nhân đa thức mã với một vô hướng
i =0
a ( x) V , c = const (3.28)
(3.25)- Biểu diễn đa thức cho tổ hợp mã n −1
ai - Là các dấu mã  c.ax =  c.ai x i V
i =0
x i - Vị trí các dấu mã
3.4.1 BIỂU DIỄN ĐA THỨC CHO CÁC TỔ HỢP MÃ 3.4.1 BIỂU DIỄN ĐA THỨC CHO CÁC TỔ HỢP MÃ
+ Phép nhân hai đa thức mã
n −1 n −1
✓Phép chia cho x
ax =  ai x i V , bx =  b j x j V n −1
i =0
 in = (a0 a1...ai ...an −1 )  a ( x) =  ai x i  V
j =0 i =0
ax .bx V → ax .bx
( ) ( )
(3.29) 1
mod x n +1
→ .ax = x −1 a0 x 0 + a1 x1 + ... + an−1 x n−1
✓Phép nhân với x x (
mod x n +1 )
 in = (a0 a1...ai ...an −1 )  a ( x) =  ai x i  V
n −1
(
= a1 + a2 x1 + ... + an−1 x n−2 + a0 x n−1 )
i =0
 ( a1 a2 ...an−1 + a0 ) =  kn V
(
→ x.ax = x a0 x 0 + a1 x1 + ... + an−1 x n−1 ) ( n
mod x +1 )
(
= an−1 x + a0 x + a1 x + ... + an−2 x
0 1 2 n −1
) ➢Kết luận: Phép nhân một đa thức mã với x cho kết quả tương
đương việc dịch vòng đa thức mã sang phải một dấu mã. Phép
chia một đa thức mã cho x cho kết quả tương đương việc dịch đa
→ ( an−1 a0 a1...an−2 ) =  nj V thức mã sang trái một dấu mã.

3.4.2 CÁC ĐỊNH NGHĨA VỀ MÃ CYCLIC
❖ Mã Cyclic
Mã Cyclic là một bộ mã hệ thống tuyến tính + Một số thuộc tính g(x)
f x V , → xi . f x V (3.30) - Thành phần tự do của g(x) luôn bằng 1: go = 1
❖ Đa thức sinh - Bậc cao nhất của đa thức sinh xác định số dấu kiểm tra của bộ mã
+ Ký hiệu g(x)- Đa thức sinh của bộ mã - Đa thức là một nhân tử của nhị thức x n + 1:
deg g(x) = mindeg f(x)
xn + 1
+ Biểu diễn ( x n + 1) g ( x ) h( x) =
g ( x)
h ( x ) .g ( x ) = 0
r
g ( x) =  gi xi (3.31)
i =0

Ví dụ
❖ Ma trận sinh của bộ mã
x 7 + 1 = (1 + x).(1 + x + x 3 ).(1 + x 2 + x 3 ) = g1 ( x).g 2 ( x).g 3 ( x)
+ Ma trận sinh ra bộ mã gọi là ma trận sinh
+ Ma trận sinh của bộ mã có thể được xây dựng như sau:
 g ( x) 
 x.g ( x) 
G( n ,k ) = 
 ......... 
 k −1 
 x .g ( x ) 
3.4.2 CÁC ĐỊNH NGHĨA VỀ MÃ CYCLIC 3.4.2 CÁC ĐỊNH NGHĨA VỀ MÃ CYCLIC
❖ Ma trận sinh của bộ mã ❖ Ma trận kiểm tra của bộ mã

+ Ký hiệu H(n,k) – Ma trận kiểm tra của bộ mã
Ví dụ
h ( x) = x deg h ( x ) .h( x −1 )
G( n ,k ) .H (Tn ,k ) = 0
Ma trận sinh của bộ mã Cyclic (7,4) có đa thức sinh
xn + 1
+ Biểu diễn  h(*x )  h( x ) = h ( x ) .g ( x ) = 0
𝑔 𝑥 = 1 + 𝑥 + 𝑥 3 có dạng như sau: g ( x)
 
 x.h( x ) 
*
1 1 0 1 0 0 0  H ( n ,k ) = 
011 0 1 0 0  (3.32)
 ......... 
G (7, 4) =  
 x r −1.h* 
0 011 0 1 0  ( x) 
 
 0 0 0 1 1 0 1 Trong đó: ℎ∗ 𝑥 là đa thức đối ngẫu với đa thức trực giao
của đa thức sinh g(x)
3.4.2 CÁC ĐỊNH NGHĨA VỀ MÃ CYCLIC 3.4.3 THIẾT BỊ TẠO MÃ CYCLIC
❖ Ma trận kiểm tra của bộ mã ❖ Nguyên tắc tạo mã

Ví dụ: Tìm ma trận kiểm tra của mã Cyclic (7,4) có đa thức sinh
+ Viết tổ hợp mã gốc gồm k dấu mang tin a(𝑥)
g ( x) = 1 + x + x 3
+ Dịch tổ hợp mã gốc sang phải r dấu mã: 𝑥 𝑟 . 𝑎 (𝑥)
Ta có: xn + 1
h( x).g ( x) = 0 → h( x) = = 1 + x + x2 + x4
g ( x) + Chia 𝑥 𝑟 . 𝑎 (𝑥) cho g(x) lấy phần dư 𝑟 𝑥
1 1 1
 h ( x) = x k .h(1/ x) = x 4 .(1 + + 2 + 4 )
x x x + Từ mã tương ứng với tổ hợp mã gốc
= 1 + x 2 + x3 + x 4 𝑓 𝑥 = 𝑟 𝑥 + 𝑥 𝑛−𝑘 𝑎 (𝑥)
Ma trận kiểm tra có dạng như sau:
1 0 1 1 1 0 0 
H (7,4) = 0 1 0 1 1 1 0 
 
0 0 1 0 1 1 1
3.4.3 THIẾT BỊ TẠO MÃ CYCLIC 3.4.3 THIẾT BỊ TẠO MÃ CYCLIC
❖ Nguyên tắc tạo mã
❖ Thiết bị tạo mã
Ví dụ: Khi truyền tin trên kênh có nhiễu, ta sử dụng bộ mã
+ Mạch chia và tính phần dư
Cyclic (7,4) có đa thức sinh: g ( x) = 1 + x 2 + x.3
- Gồm r triger mắc nối tiếp
Hãy tìm tổ hợp mã ứng với tổ hợp dấu mang tin a1 = 1001 - Số mạch cộng modul 2 phụ thuộc vào dạng thức của đa thức sinh
Link mô phỏng
tạo mã Cyclic
Sơ đồ mạch chia tính phần dư
3.4.3 THIẾT BỊ TẠO MÃ CYCLIC 3.4.3 THIẾT BỊ TẠO MÃ CYCLIC

+ Mạch cộng phần dư với tổ hợp mã gốc
➢Sau k nhịp đầu mã thực hiện phép chia và tính dư (mạch và 𝑉1 mở). Ví dụ: Thiết bị mã hóa cho mã Cyclic (7,4), có đa thức sinh
Phần dư nằm trong các triger 1  r g ( x) = 1 + x + x 3
Với giả thiết đa thức cần mã là: ai ( x) = x + x
3
➢Từ nhịp (k + 1)  n phần dư được đẩy ra (mạch và 𝑉2 mở). Kết hợp
với tổ hợp mã gốc để tạo thành từ mã thông qua mạch hoặc H. Giải:
Sơ đồ thiêt bị tạo mã:
Sơ đồ nguyên lý mạch tạo mã

3.4.3 THIẾT BỊ TẠO MÃ CYCLIC 3.4.4 GIẢI MÃ CHO CÁC MÃ CYCLIC
Quá trình hoạt động của bộ mã:

❖ Hai thủ tục giải mã
Xung nhịp Vào Trạng thái các ô nhớ Ra
+ Dẫn ra véc tơ sai từ dấu mã nhận được
1 2 3
1 1 1 1 0 1
2 0 0 1 1 0
3 1 0 0 1 1
4 0 1 1 0 0
5 0 0 1 1 0
+ Dẫn ra từ mã từ dãy dấu mã nhận được
6 0 0 0 1 1
7 0 0 0 0 1
Từ mã được thiết lập là: 1010011

3.4.4 GIẢI MÃ CHO CÁC MÃ CYCLIC

❖Phương pháp giải mã ngưỡng

❖ Phương pháp giải mã theo Syndrom Giả sử f(x) là đa thức mã nhận được f(x)  V thì
f x .H T (n, k ) = 0 →Ta có hệ r phương trình kiểm tra (Hệ tổng
v : véc tơ mã nhận được
kiểm tra).
H ( n ,k ) : Ma trận kiểm tra của bộ mã
+ Nếu có thể thiết lập được r phương trình kiểm tra đối với một
Syndrom của một véc tơ mã, được định nghĩa như sau: dấu mã, dùng nguyên tắc biểu quyết theo đa số ta có thể biểu quyết
cho giá trị của dấu mã đó.
Sr = v.H (Tn ,k ) (3.33)
+ Nếu có thể lập được r phương trình kiểm tra đối với một tổ hợp
Phân tích r thành phần của Sr sẽ cho ta kết luận về dấu tuyến tính của m dấu mã, dùng nguyên tắc biểu quyết theo đa số, ta
có thể biểu quyết cho giá trị của m dấu mã đó. Để tìm giá trị cụ thể
mã sai cần sửa.
của một dấu mã nào đó ta phải căn cứ vào các ngưỡng phụ tiếp theo.

3.4.4 GIẢI MÃ CHO CÁC MÃ CYCLIC 3.4.4 GIẢI MÃ CHO CÁC MÃ CYCLIC
❖ Phương pháp giải mã theo thuật toán chia dịch vòng

❖ Phương pháp giải mã theo thuật toán chia dịch vòng
Giả sử u(x) là đa thức mã nhận được.
Bước 1: Lấy đa thức mã nhận được f(x) chia cho g(x). Tình phần
Nếu 𝑢 𝑥 𝜖𝑉, thì: 𝑢(𝑥) ⋮ 𝑔(𝑥)
Nếu 𝑢 𝑥 không chia hết cho 𝑔(𝑥) thì sẽ có phần dư. Phân tích dư r(x). Xác định trọng số phần dư w(r(x)).
phần dư, ta có kết luận về cấu trúc sai và đưa ra phương thức • Nếu w(r(x))≤ 𝑡 → Thực hiện theo bước 2
giải mã hiệu quả
• Nếu w(r(x))> 𝑡 → Thực hiện theo bước 3.
Bước 2: Lấy r(x) cộng đa thức mã nhận được→ Đa thức mã đúng
r(x)+f(x)→y(x)
3.4.4 GIẢI MÃ CHO CÁC MÃ CYCLIC 3.4.4 GIẢI MÃ CHO CÁC MÃ CYCLIC
Bước 3: Dịch vòng đa thức mã nhận được sang phải (hoặc trái) 1 dấu mã.
Chia đa thức mã đã dịch cho đa thức sinh g(x), xác định phần dư r(x) và Ví dụ
tính w(r(x)). Khi truyền tin trên kênh có nhiễu, người ta sử dụng bộ mã
• Nếu w(r(x))≤ 𝑡→ Thực hiện theo bước 4 Cyclic (7,4) có đa thức sinh 𝑔 𝑥 = 1 + 𝑥 + 𝑥 3 . Dùng thuật toán
• Nếu w(r(x))> 𝑡 → Thực hiện theo bước 5 chia dịch vòng, xác định dấu mã sai trong các từ mã nhận được. (Tìm
Bước 4: Lấy phần dư r(x) cộng với đa thức mã đã dịch x.f(x) hoặc f(x)/x tổ hợp mã đúng khi nhận được THM sau):
sau đó đem kết quả này dịch vòng ngược trở lại sang trái hoặc (sang phải).
17 = 1110110
Ta thu được đa thức đúng.
 27 = 0101010
r ( x) + x. f ( x)
Hoặc f ' ( x) =  r ( x) + f ( x)  .x
1
f ' ( x) =
x  x 
Bước 5: Thực hiện như bước 3 cho đến khi w(r(x))≤ 𝑡
BÀI TẬP
Hiệu suất hệ thống sử dụng và không sử dụng mã Hamming, Cyclic
1. Khi truyền tin trên kênh không nhiễu, bộ mã nào sau đây được
dùng và không được dùng để mã hóa cho các tin của nguồn rời rạc.
A. 00, 01, 10, 111, 1101, 11000, 11011.

B. 10, 11, 01, 000, 0010, 00110, 00101.
C. 00, 10, 01, 111, 1100, 11011, 10010.
D. 01, 10, 11, 000, 0011, 00100, 00101.
85 86

3. Khi truyền tin trên kênh có nhiễu, người ta sử dụng bộ mã Cyclic (7,4) có đa thức
2. Một nguồn rời rạc được cho như sau: sinh 𝑔 𝑥 = 1 + 𝑥 2 + 𝑥 3 . Tìm từ mã ứng với tin có tổ hợp dấu mang tin sau:
 a1 a2 a3 a4 a5 a6 a7 a8 a9  0110, 1011, 1100, 1000.
A= 1 1 1 1 1 1 1 1 1 
 
 2 8 8 16 16 16 32 64 64  4. Khi truyền tin trên kênh có nhiễu, người ta sử dụng bộ mã Cyclic (7,4) có đa thức
a. Viết từ mã cho các tin tương ứng theo phương pháp lập sinh 𝑔 𝑥 = 1 + 𝑥 2 + 𝑥 3 . Dẫn ra véc tơ sai khi thu được tổ hợp mã:
mã Huffman. 1001100, 1001010
b. Kiểm tra tính kinh tế của bộ mã.
c. Giải mã cho dãy bít nhận được. 5. Khi truyền tin trên kênh có nhiễu, người ta sử dụng bộ mã Cyclic (7,4) có đa thức
1 0 0 11 0 0 111 0 0 0 1 0 1111 0 1 0 0 sinh 𝑔 𝑥 = 1 + 𝑥 2 + 𝑥 3 . Chỉ ra dấu mã sai khi thu được tổ hợp mã:
1001100, 1001010
87 88
4.1 BIỂU DIỄN PHỔ CHO
THỂ HIỆN CỦA TÍN HIỆU
4.1.1 Khai triển trực giao
4.1.2 Biến đổi Fourier của những hàm tuần hoàn
4.1.3 Biến đổi Fourier của những hàm không tuần hoàn
4.1.4 Một số thuộc tính của biến đổi Fourier

4.1.1 KHAI TRIỂN TRỰC GIAO 4.1.1 KHAI TRIỂN TRỰC GIAO
❖ Hệ hàm {Un(t), n = 0 ÷ } được gọi là trực giao trong khoảng Các hệ số 𝑎𝑛 được xác định như sau:
thời gian T [t0  t0 +T ] nếu thỏa mãn:
1
c T
an = x(t ).U n (t )dt (4.2)
khi m = n

c
U n (t ).U m (t )dt = ,c=const
0 khi m  n ❖ Sai số của phép biểu diễn:
T
Khi c=1, hệ hàm U n (t ) được gọi là hệ hàm trực chuẩn.


Một tín hiệu vật lý x(t) nào đó, đều có thể được biểu diễn dưới x(t ) −  anU n (t )   (4.3)
dạng: n =0

x(t ) = anU n (t ) 
n =0
(4.1)
 - sai số của phép biểu diễn tín hiệu và dãy thay thế
5 6
4.1.2 BIẾN ĐỔI FOURIER CỦA NHỮNG HÀM TUẦN HOÀN
❖ Chọn họ hàm trực giao
U n (t ) = 1,cos n0t ,sin n0t ; n = 1  
❖Xét một tín hiệu x(t) là hàm tuần hoàn chu kỳ T.
2
x(t) luôn thỏa mãn (xét trong một chu kỳ) Trong đó: 0 = 2 f 0 =  rad / s 
T
f 0 = 1/ T [Hz]
+ x (t )dt   : Điều kiện khả tích.
2
T n0 hài bậc n của thành phần tần số 0

+ x(t) chỉ có hữu hạn các điểm gián đoạn.
❖ Ta có thể biểu diễn x(t) dưới dạng như sau:
+ x(t) chỉ có hữu hạn các cực trị. 
1
x(t ) = a0 +  ( an cos n0t + bn sin n0t ) (4.4)
2 n =1
(4.4) - Chuỗi Fourier dưới dạng thực

7 8
4.1.2 BIẾN ĐỔI FOURIER CỦA NHỮNG HÀM TUẦN HOÀN 4.1.2 BIẾN ĐỔI FOURIER CỦA NHỮNG HÀM TUẦN HOÀN
Theo quan hệ Paseval

Với giả thiết
T / 2 m = n
 cos n t cos m tdt =  0
o o
mn
...
1 2 1  2
T
Các hệ số: ao, an, bn được xác định như sau:


TT
x (t )dt = a0
2
+ 
2 n=1
(an + bn2 )
1
T T
ao = x(t )dt
Công suất tín hiệu Công suất các
2 thành phần hài f  0
an =  x(t )cos notdt (4.5)
Công suất thành phần
TT một chiều (f=0)
2
T T
bn = x(t )sin notdt
9 10
❖ Phổ tần số Cn
❖ Sử dụng công thức Euler
1 1
e  j = cos   j sin  (4.6) Cn = ( an − jbn ) =  x(t )e − jnot dt (4.8)
❖Ta có thể biểu diễn chuỗi (4.4) dưới dạng 2 TT
1  - Phổ biên độ (Modul)
x(t ) = a0 +  [(an - jbn )e jn0t +(an + jb)e− jn0t ]
2 n =1 1 2
❖ Đặt 1 Cn = Re 2 Cn  + Im 2 Cn  = a + b2 (4.9)
Cn = ( an − jbn ) 2
2 - Phổ pha (Argument)
Ta có

x(t ) = Ce jnot
(4.7)  Im Cn    bn 
n
 n = arctg   = arctg  −  (4.10)
 Re Cn  
n =−
 an 
(4.7) – Chuỗi Fourier dưới dạng phức
11 12
4.1.3 BIẾN ĐỔI FOURIER CỦA NHỮNG HÀM KHÔNG TUẦN HOÀN
4.1.3 BIẾN ĐỔI FOURIER CỦA NHỮNG HÀM KHÔNG TUẦN HOÀN
❖ Đối với những hàm tuần hoàn chu kỳ T có phổ tần số:
T ❖ Ta có cặp công thức
2
 x(t )e
− jnot 
Cn = dt (4.11)
 x(t )e
− jt
X ( ) = dt Biến đổi Fourier thuận (FT)
T
− −
2
❖ Với những hàm không tuần hoàn, để có thể áp dụng kết quả ở trên. Ta 
1
 X ( )e
jt
coi sự không tuần hoàn như kết quả của việc tăng chu kỳ đến vô hạn (T x(t ) = d  Biến đổi Fourier ngược (IFT)
2 −
→)
T →   o→d X() – Phổ tần số, đặc trưng cho sự phân bố biên độ của tín hiệu
no→ (Các vạch phổ xít lại gần nhau) trên các thành phần tần số.
Cn→X( )
13 14
4.1.4 MỘT SỐ THUỘC TÍNH CỦA BIẾN ĐỔI FOURIER 4.1.4 MỘT SỐ THUỘC TÍNH CỦA BIẾN ĐỔI FOURIER
❖ Thuộc tính tuyến tính ❖Thuộc tính tịnh tiến (dịch trễ)
Giả sử
Giả sử:
u (t ) U ( )
x(t ) X ( )
v(t ) V ( )
Thì
Ta có: x(t −  ) e − j X ( ) (4.13)
a.u (t ) + b.v(t ) a.U ( ) + bV

. ( ) (4.12) Biến đổi Fourier của 𝑥(𝑡) và x(t −  ) có modul như nhau, nhưng
Biến đổi Fourier là một thuật toán tuyến tính. biến đổi Fourier của x(t −  ) có thêm di pha  .
15 16
4.1.4 MỘT SỐ THUỘC TÍNH CỦA BIẾN ĐỔI FOURIER

4.1.4 MỘT SỐ THUỘC TÍNH CỦA BIẾN ĐỔI FOURIER
❖Thuộc tính của phần thực và phần ảo của phổ
Xét tín hiệu thực x(t)
❖ Thuộc tính đồng dạng
Phổ của tín hiệu: X ( ) = A( ) − jB( )
Theo biến đổi Fourier ngược ta có:
Giả sử: 
1
x(t ) X ( ) x(t ) =
2   A( ) − jB( )( cos t + j sin t ) d
−
Vì tín hiệu x(t) là thực nên ta có:
Thì  
1    A( ).sin td  = 0  B( ).cos td = 0 (4.15)

x(at ) X  − −
a a (4.14)
Phần thực của phổ tín hiệu là hàm chẵn: A( ) = A( − )
Phần ảo của phổ tín hiệu là hàm lẻ: B ( ) = − B ( − )
17 18
4.1.4 MỘT SỐ THUỘC TÍNH CỦA BIẾN ĐỔI FOURIER 4.1.4 MỘT SỐ THUỘC TÍNH CỦA BIẾN ĐỔI FOURIER
❖ Công thức Reileight tổng quát

❖ Định lý Parseval
Giả thiết
u (t ) U ( ) Trong biểu thức (4.16) khi u (t )  v(t ) thì:
v(t ) V ( ) 
1

  U ( ) d
2 2
u (t ) dt = (4.17)
Xét tích vô hướng hai tín hiệu trên:
−
2 −
 
1 Biểu thức (4.17) là nội dung của định lý Parseval: Năng
(u.v) =  u (t )v(t ) dt =  V ( ).U (− )d (4.16)
−
2 −
lượng chứa trong tín hiệu không phụ thuộc vào phương thức biểu
diễn. Biểu diễn theo hàm của thời gian hay hàm của tần số thì năng
(4.16) – Công thức Reileight tổng quát lượng của tín hiệu không thay đổi.

4.2.1 BẢN CHẤT NGẪU NHIÊN CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU
4.2 ĐẶC TRƯNG THỐNG KÊ CỦA
TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU ❖ Với tín hiệu xác định x(t ), ta có thể xác định các đặc trưng
vật lý thông qua cặp biến đổi Fourier:
1 
x(t ) = 
T n=−
Cn e jnot
4.2.1 Bản chất ngẫu nhiên của tín hiệu và nhiễu

 x(t )e
− jnot
4.2.2 Phân loại nhiễu Cn =
−
4.2.3 Các quy luật thống kê ❖ Về mặt tổng quan, ta phải coi tín hiệu là một quá trình
4.2.4 Các đặc trưng thống kê ngẫu nhiên, nhiễu là một quá trình ngẫu nhiên:
X =  x(t ),W ( x, t )
4.2.2 PHÂN LOẠI NHIỄU
Theo bề rộng phổ Theo phương thức

bức xạ nhiễu
Theo nguồn gốc
23 24
4.2.3 CÁC QUY LUẬT THỐNG KÊ

❖ Hàm mật độ phần bố xác suất một chiều W1 ( x1 , t1 )

Theo phương thức tác
động vào tín hiệu Luật phân bố xác suất một chiều là xác suất để đại lượng ngẫu nhiên
x(t1 ) không vượt quá mức x1 cho trước.
f1 ( x1t1 ) = p  x(t1 )  x1 (−  x1  )
Nếu tồn tại đạo hàm riêng cấp 1 theo x1 ta có:

f ( x1 , t1 )
W1 ( x1 , t1 ) =
x1
25 26
4.2.3 CÁC QUY LUẬT THỐNG KÊ 4.2.3 CÁC QUY LUẬT THỐNG KÊ
❖ Hàm mật độ phần bố xác suất hai chiều W2 ( x1 , t1 ; x2 , t2 )

❖ Hàm mật độ phần bố xác suất nhiều chiều Wn ( x1 , t1 ; x2 , t2 ;..xn , tn )
Luật phân bố xác suất hai chiều là xác suất để đại lượng ngẫu nhiên
Tương tự như trên:
x(t1 ) không vượt quá mức x1 cho trước, x(t2 ) không vượt quá mức x2 cho
trước.
f n ( x1t1 ,..., xntn ) = p  x(t1 )  x1 ,..., x(tn )  xn 
f 2 ( x1t1 , x2t2 ) = p  x(t1 )  x1 ; x (t2 )  x2  (−  x1 ,..., xn  )...
(−  x1 , x2  )
Nếu tồn tại đạo hàm riêng cấp n của theo x1 ,..., xn ta có:
Nếu tồn tại đạo hàm riêng cấp 2 theo x1 và x2 ta có:
f 2 ( x1 , t1 , x2 , t2 ) f ( x1 , t1 ;...; xn , tn )
W2 ( x1 , t1 , x2 , t2 ) = Wn ( x1 , t1 ;...; xn , tn ) =
x1.x2 x1.x2 ...xn
27 28
4.2.4 CÁC ĐẶC TRƯNG THỐNG KÊ

4.2.4 CÁC ĐẶC TRƯNG THỐNG KÊ ❖ Hàm tự tương quan
❖ Kỳ vọng (trung bình thống kê) Rx (t1 , t2 ) = M  x(t1 ) − mx (t1 )  x(t2 ) − mx (t2 ) 
 
  [ x(t ) - m (t )][ x(t ) - m (t )]W ( x t


= x t )dx1dx2
x(t ) = mx (t ) = M  x(t )  =  x(t )W ( x, t )dx − −
1 x 1 2 x 2 2 1 1, 2 2,
−
Hàm tự tương quan đặc trưng cho sự phụ thuộc thống kê giữa hai giá
❖ Phương sai
 trị, thuộc cùng một thể hiện của quá trình ngẫu nhiên.
D  x(t )  = M  x(t ) − m (t )  =   x(t ) − m (t ) W ( x, t )dx
x
2
−
x
2
Trường hợp đặc biệt
t1  t2 = t → Rx (t1 , t2 ) = D  x (t ) 
Phương sai đặc trưng cho độ tản mạn của các giá trị
của quá trình ngẫu nhiên quanh kỳ vọng của nó.
Phương sai là trường hợp riêng của hàm tự
Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 29
tương quan, khi hai thời điểm trùng nhau. 30
4.2.4 CÁC ĐẶC TRƯNG THỐNG KÊ 4.2.4 CÁC ĐẶC TRƯNG THỐNG KÊ
Khi xét sai số của
việc đánh giá một ❖ Quá trình ngẫu nhiên Ergodic
❖Trung bình bình Phương
QTNN, ta còn dùng  
 x (t ) = D  x(t ) 
khái niệm trung bình
bình phương.
mx (t ) = mx = 
−
x(t )W ( x, t )dx =  x(t )dt
−
Rx (t1 , t2 ) = M  x(t ) − mx  x (t +  ) − mx 
❖ Hàm tự tương quan chuẩn hóa

=   x(t ) − m  x(t +  ) − m  dt = R ( )
−
x x
Để so sánh một cách tương
đối hàm tự tương quan của ❖ Quá trình ngẫu nhiên quy tâm
các quá trình ngẫu nhiên với
nhau, ta dùng hàm tự tương mx (t ) = mx = 0
quan chuẩn hóa.
4.3.1 CƠ SỞ LÝ THUYẾT PHỔ CỦA TÍN HIỆU NGẪU NHIÊN

4.3 ĐẶC TRƯNG VẬT LÝ CỦA
TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU
❖ Khi xét tới các đặc trưng vật lý trong trường hợp tín hiệu là QTNN, ta
không thể áp dụng biến đổi Fourier vì:
+ Tín hiệu x(t ) là tập vô hạn các thể hiện, do đó sẽ có vô hạn cặp biến đổi mà
4.3.1 Cơ sở lý thuyết phổ của tín hiệu ngẫu nhiên ta không kiểm soát được.
4.3.2 Biến đổi Khinchin Wiener + Các thể hiện của QTNN không thỏa mãn điều kiện khả tích tuyệt đối:
4.3.3 Bề rộng phổ công suất T /2
lim
T → 
−T /2
xi (t ) dt = 

❖Khai triển fourier cho đoạn thể hiện xT (t )
❖Xét một thể hiện của x(t) trong khoảng thời gian xác T /2
định T nào đó ( T = −T / 2  T / 2 ) với giả thiết: X T ( ) = 

−T /2
xT (t )e − jt dt (4.19)
❖Theo quan hệ Parseval, năng lượng của một đoạn của một thể hiện
của tín hiệu ngẫu nhiên:
T /2 T /2
1
  X T ( ) d 
2
ExT (t ) = xT2 (t )dt = (4.20)
−T /2
2 −T /2
Chia cả hai vế của biểu thức (4.20) cho T, ta có:

❖ Công suất của một đoạn của một thể hiện của tín hiệu ngẫu nhiên
 x(t ) t  ( −T / 2  T / 2 ) E xT ( t ) 1
T /2
1
 X T ( ) d 
2
xT (t ) =  (4.18) PT = = (4.21)
0 t  ( −T / 2  T / 2 ) T 2 −T /2
T
35 36

❖ Ký hiệu
X ( )
2 ❖ Mật độ phổ công suất của tín hiệu ngẫu nhiên G ( )
GT ( ) = T (4.22) Lấy kỳ vọng của Gx ( ) ta được:
T
GT ( ) - Mật độ phổ công suất của một đoạn của một thể hiện G ( ) = M Gx ( )
của tín hiệu ngẫu nhiên
 X T ( ) 
2
Khi cho T →  ta có: = M  lim 

T → T
X ( )
2  
Gx ( ) = lim GT ( ) = lim T (4.23)
T → T → T
➢Ý nghĩa: G ( ) đặc trưng cho sự phân bố công suất của tín
Gx ( ) - Mật độ phổ công suất của một thể hiện của THNN hiệu trên các giải tần số.
37 38
4.3.2 BIẾN ĐỔI KHINCHIN WIENNER 4.3.2 BIẾN ĐỔI KHINCHIN WIENNER
❖ Với QTNN là QTNN quy tâm

❖ Từ (4.23) ta có:
QTNN quy tâm là QTNN có kỳ vọng triệt tiêu (𝑚𝑥 = 0). Khi đó:
 M [ xT (t1 ).xT (t2 )] = RxT (t1 , t2 ) = R( )

X ( ) 
2
 X T ( ) X T* ( ) 
G ( ) = M  lim T  = M T →
lim 
T →
 T   T  Hàm mật độ phổ công suất được viết lại như sau:
T T T T
1 2 2 1 2 2
= lim   M  xT (t1 ) xT (t2 ) e − j (t1 −t2 ) dt1dt2 G ( ) = lim   RxT (t1t2 )e − j (t1 −t2 ) dt1dt2
T → T T → T
−T −T −T −T 2 2
2 2

 R( )e
− j
= d (4.24)
−

4.3.2 BIẾN ĐỔI KHINCHIN WIENNER 4.3.2 BIẾN ĐỔI KHINCHIN WIENNER
❖Nếu tồn tại tích phân trên, thì R ( ) phải thỏa mãn điều kiện khả
❖Từ (4.24) theo biến phép biến đổi Fourier ngược ta có
tích tuyệt đối.

Nghĩa là: 1
 G ( ) e
 j
R ( ) = d (4.25)

−
R ( ) d   2 −
Đặc trưng cho sự phân bố Ta có cặp biến đổi Winner- Khinchin

Biểu thức:  công suất một cách quân
 R( )e
− j
G ( ) = d bình của QTNN quy tâm ∞
− trên các giải tần số. 𝐺(𝜔) = 𝑅(𝜏). 𝑒 −𝑗𝜔𝜏 𝑑𝜏

−∞
G ( )- Mật độ phổ công suất của QTNN. ∞
1
𝑅(𝜏) = . 𝐺(𝜔). 𝑒 𝑗𝜔𝜏 𝑑𝜔
2𝜋
−∞
41 42
4.3.2 BIẾN ĐỔI KHINCHIN WIENNER 4.3.3 BỀ RỘNG PHỔ CÔNG SUẤT
❖Trường hợp đặc biệt khi t1 = t2   = 0 ta có: ❖ Bề rộng phổ công suất được định nghĩa theo biểu thức:
  
 G ( ) d 
1 1
 G( )e d =  G( )d = px = Dx (t )
jt
R ( ) =
2 −
2 −
 ( ) = − (4. 26)
Do G ( ) là hàm chẵn nên: G ( ) = G (− ) G ( o )
Cặp biến đổi Winner- Khinchin có thể được viết lại như sau:

G ( o ) - Là giá trị cực đại của mật độ phổ công suất G ( )
G ( ) = 2. R( ) cos  d
0

1
R ( ) =
  G( ) cos  d
0
43 44
4.3.3 BỀ RỘNG PHỔ CÔNG SUẤT

4.4 BIỂU DIỄN PHỨC VÀ BIỂU DIỄN HÌNH HỌC CHO
THỂ HIỆN CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU
❖ Ý nghĩa bề rộng phổ công suất
+ Về mặt hình học:
4.4.1 Biểu diễn phức cho thể hiện của tín hiệu
Bề rộng phổ công suất là đáy của hình chữ
nhật có chiều cao là G (o ) , có diện tích 4.4.2 Biến đổi Hibert
bằng diện tích của tam giác cong giới hạn
bởi đường cong G ( ) và trục ngang. 4.4.3 Các yếu tố của tín hiệu giải tích
+ Về mặt vật lý:

4.4.4 Chuỗi Kachennhicov
Bề rộng phổ công suất đặc trưng cho sự tập trung công suất (năng lượng) tín 4.4.5 Năng lượng chuỗi kachennhicov
hiệu quanh tần số trung tâm o nào đó. 4.4.6 Biểu diễn hình học cho thể hiện của tín hiệu
4.4.1 BIỂU DIỄN PHỨC CHO THỂ HIỆN CỦA TÍN HIỆU 4.4.1 BIỂU DIỄN PHỨC CHO THỂ HIỆN CỦA TÍN HIỆU
❖ Tín hiệu là hàm điều hòa theo thời gian

Theo biểu thức (4.27) biểu diễn phức cho thể hiện của tín hiệu ngẫu nhiên:
x(t ) = A(t ) cos (ot + o ) = A(t ) cos  (t ) = A(t )e j ( t )
❖ Biểu diễn phức của tín hiệu điều hòa trên •
X (t ) = X (t ) + j X (t )
•
X (t ) = A(t )e j ( t ) = A(t )cos  (t ) + jA(t )sin  (t )
•
Như vậy, véc tơ phức X (t ) có độ dài 𝐴(𝑡) quay ngược chiều kim đồng hồ
= X (t ) + j X (t ) (4.27)
xung quanh gốc tọa độ với vận tốc góc:
Trong đó: o - Pha ban đầu
 (t ) - Pha tức thời (pha chạy)  (t )
 (t ) = (4.28)
t
A(t ) - Biên độ tức thời
47 48
4.4.1 BIỂU DIỄN PHỨC CHO THỂ HIỆN CỦA TÍN HIỆU 4.4.2 BIẾN ĐỔI HILBERT
• ❖ Định lý
Im [X (t )] Phần thực và phần ảo của tín hiệu phức liên hệ với nhau bởi cặp biến đổi
X (t ) M tích phân đơn trị hai chiều như sau:

•  1 X ( )
X (t ) = Im  X (t )  =  d = H  X (t )  (4.29)
   −
t −
A(t )
 (t ) •  1

X ( )
• X (t ) = Re  X (t )  = −  d = H −1  X (t )  (4.30)
Re [X (t )]    t −  
X (t ) −
Cặp công thức (4.29) (4.30) được gọi là cặp biến đổi Hilbert
Biểu diễn của tín hiệu trong mặt phẳng phức X (t ), X (t ) : Gọi là hàm liên hợp Hilbert
49 50
4.4.2 BIẾN ĐỔI HILBERT 4.4.2 BIẾN ĐỔI HILBERT
Ví dụ
❖ Thuộc tính của biến đổi Hilbert
Cho tín hiệu hình sin x(t ) = cos(0t ) . Tìm hàm liên hợp Hilbert.
- Biến đổi Hilbert là một thuật toán tuyến tính
Ta có:
x(t ) = cos(0t ) = X (t )
f ( x1 + x2 ) = f ( x1 ) + f ( x2 )
(4.31)
f ( k .x ) = k . f ( x ) Hàm liên hợp Hilbert:
 
 1 X ( ) 1 cos[0 (t −  ) − 0t ]
X (t ) =  d =  d
- Định nghĩa tín hiệu giải tích  − t −   − t −
Tín hiệu phức có phần thực và phần ảo thỏa mãn biến đổi Hilbert được 1

cos 0 (t −  ).cos 0t + sin 0 (t −  ).sin 0t
gọi là tín hiệu giải tích. =
 − t −
d
 
cos 0t cos 0 (t −  ) sin 0t sin 0 (t −  )
=
 
−
t − 
d +
 − t −  d
4.4.2 BIẾN ĐỔI HILBERT Hàm biến thực, đơn trị, hữu
4.4.2 BIẾN ĐỔI HILBERT hạn, liên tục từng khúc (có
❖ Biến đổi Hilbert cho các thể hiện tín hiệu phức tạp một số hữu hạn các điểm
  Trường hợp 1 gián đoạn).
Lưu ý cos az sin az
 z
dz = 0, 
z
dz =  Khi tín hiệu là hàm tuần hoàn thỏa mãn điều kiện Dirichlet
Ta được: − −

x(t ) = A cos(t +  ) = X (t ) X (t ) =  (a k cos kot + bk sin kot ) (4.32)
 k =−
X (t ) = H [X (t )]=A sin(t +  )
Do Hilbert là phép biến đổi tuyến tính
Tương tự như trên:

x(t ) = A sin(t +  ) = X (t ) X (t ) = H  X (t )  =  (a
k =−
k sin kot − bk cos kot ) (4.33)

X (t ) = H [X (t )]= - A cos(t +  ) Cặp công thức trên được gọi là chuỗi liên hợp Hilbert
4.4.2 BIẾN ĐỔI HILBERT 4.4.3 CÁC YẾU TỐ CỦA TÍN HIỆU GIẢI TÍCH
Trường hợp 2
Khi tín hiệu là không tuần hoàn (phổ liên tục) được biểu diễn bởi tích phân ❖ Xét tín hiệu giải tích
Fourier:

•
1 X (t ) = X (t ) + j X (t ) = A(t )e j ( t )
x (t ) =
  ( A( ) cos t + B( ) sin t ) d = X (t )
0
(4.34)
- Biên độ tức thời
X (t ) = A(t ).cos  (t )
Liên hợp Hilbert của nó:
 
1 X (t ) = A(t ).sin  (t )
X (t ) = H  X (t )  =  ( A( )sin t − B ( ) cos t ) d  (4.35)
 0 2
Cặp biến đổi trên được gọi là tích phân liên hợp Hilbert.  A(t ) = X 2 (t ) + X (t ) (4.36)

4.4.3 CÁC YẾU TỐ CỦA TÍN HIỆU GIẢI TÍCH 4.4.3 CÁC YẾU TỐ CỦA TÍN HIỆU GIẢI TÍCH
- Pha tức thời (pha chạy của tín hiệu giải tích)
❖ Các tính chất của đường bao
X (t )
 (t ) = arctg (4.37 ) - A(t )  X (t ) t (4.39)
X (t )

- Tần số góc tức thời - A(t ) = X (t ) khi X (t ) = 0
 
  - Tốc độ biến thiên của đường bao
 (t )  X (t )  X (t ) / X (t )
 (t ) = = arctg =
t  X (t )   2 
  A(t ) X (t ) X  (t ) − X (t ) X (t )
1+ X A(t ) =
(t ) =
X 2 (t ) t 2 (4.40)
(4.38) X 2 (t ) + X (t )

X (t ) X (t ) − X (t ) X (t )
= 2
X 2 (t ) + X (t ) 57 58
4.4.3 CÁC YẾU TỐ CỦA TÍN HIỆU GIẢI TÍCH 4.4.4 CHUỖI KACHENNHICOV
x(t ) A(t ) Xét một thể hiện của tín hiệu ngẫu nhiên sử dụng hệ hàm trực giao
X (t )
sin c (t − k t )
U k (t ) =
c (t − k t )
o t
c : Tần số cao nhất trong phổ của tín hiệu, nghĩa là
X ( ) = 0 Nếu như   c
Minh họa các yếu tố của một tín hiệu giải tích
Ta có thể biểu diễn x(t ) dưới dạng như sau

Khi: X (t ) = 0 A(t ) = X (t ) nghĩa là tại những điểm mà tại đó X (t ) = 0
x(t ) =  Ck .U k (t ) (4.41)
thì tốc độ biến thiên của A(t) và X(t) là như nhau. k =0

4.4.4 CHUỖI KACHENNHICOV

4.4.4 CHUỖI KACHENNHICOV
Trong đó: ❖ Chuỗi Kachennhicov


x( k ) 
sin c (t − k t )
Ck = 
−
x(t )U k (t )dt = x( k t ) = x( k ) x(t ) x(t ) = x.
k =−
k
c (t − k t ) (4.42)
x(kt) = x(k) : Gọi là các giá trị mẫu của

tín hiệu. (4.42- Gọi là chuỗi Kachennhicov)

t  o t Kết luận:
c t Ta có thể biểu diễn x(t) thông qua các mẫu xk của nó.
Chỉ cần biết thông tin về xk ta sẽ biết thống tin về x(t).

4.4.5 NĂNG LƯỢNG CHUỖI KACHENNHICOV 4.4.5 NĂNG LƯỢNG CHUỖI KACHENNHICOV
Giả sử xét tín hiệu trong một khoảng thời gian T. Ta có

Năng lượng của đoạn thể hiện này:
 n 2 1 n 2
T
2
T
2
n
2
sin c (t − k t ) 
E= x = x
c k =1 k 2 f c k =1 k
(4.43)
E=  x 2 (t )dt = T  xk .
c (t − k t ) 
dt
− T2 − 2 k =1
(4.43) - Công thức tính năng lượng chuỗi Kachennhicov
T
Trong đó:
1 n 2 sin 2  2
= x
c k =1 k −T 
d n - Số lượng các giá trị rời rạc (số các điểm dọc) của thể
hiện trong khoảng thời gian quan sát T
2
 n
1 n 2 xk - Là điểm dọc thứ k của x(t ) tại thời điểm k t
= 
c k =1
xk2 =  xk
2 f c k =1 c - Tần số cao nhất trong phổ của tín hiệu
63 64
4.4.6 BIỂU DIỄN HÌNH HỌC CHO THỂ HIỆN CỦA TÍN HIỆU 4.4.6 BIỂU DIỄN HÌNH HỌC CHO THỂ HIỆN CỦA TÍN HIỆU
Một tín hiệu có thể biểu diễn dưới dạng:

❖ Đáy của tín hiệu
x(t ) = x1 , x2 ,...xk ...xn (4.44)
B = f cT (4.47)
Hoặc
x(t ) = ( x1 , x2 ,...xk ...xn ) (4.45) ❖ Chuẩn của véc tơ biểu diễn tín hiệu
❖ Chuẩn (độ dài) của véc tơ tín hiệu được định nghĩa: X = 2 BP (4.48)
n
X = x 2
k = 2 f c E = 2 f cTP = nP (4.46) Với một công suất đã cho, chuẩn của véc tơ biểu diễn tín hiệu tỷ
k =1 lệ với căn bậc hai của “đáy tín hiệu”. Nghĩa là tín hiệu nào có đáy
càng lớn (tín hiệu càng phức tạp), thì véc tơ biểu diễn tín hiệu
P - Công suất của tín hiệu trong khoảng thời gian quan sát càng lớn. Tức là càng dễ phân biệt tín hiệu đó với các tín hiệu
n - Số lượng các giá trị rời rạc của x(t) trong khoảng thời gian khác và nhiễu.
quan sát. 65
66
4.4.6 BIỂU DIỄN HÌNH HỌC CHO THỂ HIỆN CỦA TÍN HIỆU
BÀI TẬP
m
x(t ) n(t )
m 1. Một dãy xung vuông tuần hoàn, với chu kỳ T biên độ A có dạng như sau:
A(t )
x(t ) n(t ) M’
y (t )
n(t )
A(t ) n(t )
B (t )
y(t )
B(t )
M’ Hãy xác định phổ biên độ của dãy xung trên.
Biểu diễn hình học cho thể hiện của tín hiệu
67 68
BÀI TẬP
BÀI TẬP
2. Cho dãy xung điện báo ngẫu nhiên. Dãy xung này nhận các giá trị +h và –h
với cùng xác suất là ½ và giữ nguyên giá trị nhận được trong khoảng thời gian
3. Hãy tính năng lượng của tín hiệu được biểu diễn như sau:
ít nhất là T=const . Hơn nữa dãy xung này nhận các giá trị khác nhau và độc
lập thống kê với nhau tại các thời điểm khác nhau.
a) Tìm kỳ vọng và phương sai của quá trình ngẫu nhiên này.
b) Tìm hàm tự tương quan với điều kiện khoảng tương quan
 = t2 − t1  T
69 70

5. Tính mật độ phổ công suất của tín hiệu ngẫu nhiên:
4. Cho tín hiệu giải tích: S a (t ) = x(t ) + j x(t )
x(t ) = A.cos(0t +  )
Hãy chứng tỏ rằng đường bao của tín hiệu giải tích có thể biểu
diễn bằng công thức sau:
Trong đó: A- Biên độ
A(t ) = S a (t ).S a (t ) 0 - Tần số góc

Trong đó: S a (t ) là hàm liên hợp phức của S a (t )  - Đại lượng ngẫu nhiên có phân bố đều
 21 -  
W1 ( ) =  0  

71 72

Cơ Sở Lý Thuyết Truyền Tin

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Cơ Sở Lý Thuyết Truyền Tin

Uploaded by

Copyright:

Available Formats

1.

1 SƠ LƯỢC LỊCH SỬ PHÁT TRIỂN

1.1.1 Sơ lược lịch sử phát triển

1.2 MỘT SỐ ĐỊNH NGHĨA VÀ KHÁI NIỆM CƠ BẢN

1.2.1 Một số khái niệm cơ bản

Sơ đồ khối tổng quát của hệ thống thông tin

❖ Đường truyền tin

❖ Định dạng/ Mã nguồn ❖ Mã mật

Lượng tử hóa Mật mã cổ điển

Mật mã khóa công

Nội dung (M) CRC (R)

+ Cho phép nhiều người dùng có thể truy nhập

1.3.2 MỘT SỐ PHƯƠNG PHÁP BIẾN ĐỔI THÔNG TIN SỐ

1.5.1 GIỚI THIỆU MỘT SỐ HỆ THỐNG THÔNG TIN

HỆ THỐNG THÔNG TIN

Hệ thống thông tin

THIẾT BỊ CŨ THIẾT BỊ MỚI

2.1.2 MỐI QUAN HỆ GIỮA THÔNG TIN VÀ XÁC SUẤT

▪ Thông tin là mức độ thủ tiêu của độ bất định.

“Xác suất” có mối quan hệ phụ thuộc lẫn nhau. 𝐼(𝑥𝑖 )ቚ =0

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 8 9

Vi phân hai vế theo p: qf ' ( pq ) = f ' ( p ) +k = -1 I(x) = - lnp(x) [Nat] (2.2)

❖ Xét một nguồn rời rạc A

2.2.5 Entropie của trường các sự kiện đồng thời

2.2.2 ENTROPIE CỦA NGUỒN RỜI RẠC

Số liệu thống kê của Bake Pipe (1982) Định nghĩa

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 16 17

Một vài giá trị của 𝐻1 𝐴

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 18 19

2.2.4 ENTROPIE CỦA NGUỒN NHỊ PHÂN

2.2.5 ENTROPIE CỦA TRƯỜNG CÁC SỰ KIỆN ĐỒNG THỜI

𝐻 𝐶 = 𝐻 𝐴𝐵 = 𝐻 𝐴 + 𝐻(𝐵) (2.10) X =  X k , k = 1  n  H ( X ) =  H ( X k ) (2.11)

- Lượng thông tin tương hỗ giữa hai tin 𝑎𝑖 và 𝑏𝑗 :

Trường hợp 1 Trường hợp 2

2.4.1 LƯỢNG THÔNG TIN TƯƠNG HỖ

2.4.2 Mô hình kênh truyền tin tin A và B, trong đó:

40 Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 41

2.4.2 MÔ HÌNH KÊNH TRUYỀN TIN

H(A) I(AB) = I(BA) H(B)

2.5.2 Các tham số đặc trưng của kênh rời rạc

2.5.3 Lượng thông tin truyền qua kênh rời rạc

44 Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 45

1 𝑠ố 𝑥𝑢𝑛𝑔,𝑠ố 𝑑ấ𝑢 ℎ𝑖ệ𝑢

2.5.1 CÁC THAM SỐ ĐẶC TRƯNG CỦA NGUỒN RỜI RẠC

❖Khả năng phát tin của nguồn rời rạc H ( A) max − H ( A)

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 48 49

có kênh không đồng nhất.

54 Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 55

2.5.4 THÔNG LƯỢNG KÊNH RỜI RẠC

2.6.1 TIN, TÍN HIỆU LIÊN TỤC

2.6 TRUYỀN TIN TỪ NGUỒN LIÊN TỤC

2.6.3 Các tham số đặc trưng của kênh liên tục

2.6.5 Thông lượng của kênh Gausse

Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 60 61

Kªnh rêi r¹c chøa kªnh liªn tôc

Để không mất mát thông tin

Chuyển nguồn liên tục thành nguồn rời rạc

- Thực hiện chuyển nguồn liên tục thành

nguồn rời rạc.

- Tính Entropie của nguồn rời rạc.

- Chuyển nguồn rời rạc thành nguồn liên tục.

h( S ) - Entropie vi phân của nguồn liên tục

70 Bộ môn Kỹ thuật Viễn thông - Khoa Điện tử Viễn thông 71

2.6.4 LƯỢNG THÔNG TIN TRUYỀN QUA KÊNH LIÊN TỤC