1

KHOA: CÔNG NGHỆ THÔNG TIN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc

ĐỀ CƢƠNG CHI TIẾT MÔN HỌC

LÝ THUYẾT THÔNG TIN – INFORMATION THEORY

1. Thông tin về giáo viên

TT Họ tên giáo viên Học hàm Học vị Đơn vị công tác (Bộ môn)
1 Nguyễn Quang Uy GV TS Bộ môn An Ninh Mạng

Thời gian, địa điểm làm việc: Bộ môn An ninh mạng, Nhà A1, Phòng 1305.
Địa chỉ liên hệ: Phú Diễn, Từ Liêm, Hà Nội.
Điện thoại, email: 0966854324, quanguyhn@gmail.com.
Các hướng nghiên cứu chính: Mạng máy tính, An ninh mạng, Lập trình Gen.
Thông tin về trợ giảng (nếu có) (họ và tên, địa chỉ liên hệ, điện thoại, e-mail):

2. Thông tin chung về môn học

- Tên môn học: Lý thuyết thông tin.

- Mã môn học: 12465151
- Số tín chỉ: 3TC, Số tiết (LT, BT, TL, TH) – (30, 15, 6, 9)
- Môn học:
 Bắt buộc: X
 Lựa chọn:
- Các môn học tiên quyết: Lý thuyết mạng máy tính.
- Các môn học kế tiếp:
- Các yêu cầu đối với môn học (nếu có): Môn học được xây dựng dành cho các sinh
viên hệ chính quy quân sự và dân sự hệ đại học.
- Giờ tín chỉ đối với các hoạt động:
 Nghe giảng lý thuyết: 30 tiết
 Làm bài tập trên lớp: 15 tiết
 Thảo luận: 6 tiết
 Thực hành, thực tập (ở PTN, nhà máy, thực tập...): 9 tiết
 Hoạt động theo nhóm: 20 tiết
 Tự học: 60 tiết
- Địa chỉ Khoa/ Bộ môn phụ trách môn học: Khoa Công nghệ Thông tin, Bộ môn An
ninh mạng,

3. Mục tiêu của môn học

- Kiến thức: Có kiến thức cơ bản về lý thuyết thông tin bao gồm các vấn đề entropy,
nén dữ liệu, độ phưc tạp thông tin.
 2

- Kỹ năng: Có khả năng đọc hiểu các kiến thức mở rộng của môn học lý thuyết thông
tin trong nghiên cứu các vấn đề chuyên sâu.
- Thái độ, chuyên cần: Rèn luyện được thái độ nghiêm túc và có khả năng đọc hiểu và
nghiên cứu chuyên sâu trong lĩnh mạng máy tính, khoa học máy tính.

4. Tóm tắt nội dung môn học:

Môn học giới thiệu vấn đề kiến thức cơ bản và nâng cao về lý thuyết thông tin, nén dữ liệu
và độ phức tạp thông tin. Thông qua kiến thức môn học, học viên nắm bắt được các các kiên thức
cơ bản về lý thuyết Entropy, nén dữ liệu và độ phức tạp Kolmogorov.

5. Nội dung chi tiết môn học:

Số
Chƣơng Nội dung TLTK
tiết
Tổng quan vể môn học 3 1-6
1. Mục đích yêu cầu của môn học
1 2. Các nội dung chính của môn học
3. Một số khái niệm cơ bản
Entropy, Entroy quan hệ và thông tin tƣơng quan 6 1-6
1. Entropy
2 2. Entropy kết hợp và Entropy điều kiện
3. Entropy quan hệ và thông tin tương quan
4. Mối quan hệ giứa Entropy điều kiện và thông tin tương
quan
5. Các luật cho Entropy, Entropy điều kiện và thông tin tương
quan
6. Bất đẳng thức Jensen và hệ quả
7. Bất đẳng thức Log Sum và ứng dụng
8. Bất đẳng thức Fano
Thuộc tính cân bằng tiệm cận 3 1-6
1. Định lý thuộc tính cân bằng tiệm cận
3
2. Các hệ quả của định lý cân bằng tiệm cận
3. Các tập xác suất cao và tập tiêu biểu
Tỷ lệ Entropy của quá trình ngẫu nhiên 3 1-6
1. Chuỗi Markov
4
2. Tỷ lệ Entropy
3. Tỷ lệ Entropy của đường đi trên đồ thị
 3

4. Luật thứ hai của nhiệt động học

5. Các hàm của chuỗi Markov
Nén dữ liệu 9 1-6
1. Ví dụ về mã
2. Bất đẳng thức Kraft
3. Mã tối ưu
4. Giới hạn về độ dài của mã tối ưu
5
5. Bất đẳng thức Kraft cho các mã có thể giải mã duy nhất
6. Mã Huffman
7. Tính tối ưu của mã Huffman
8. Mã Shannon–Fano–Elias
9. Tính tối ưu của mã Shannon
Độ phức tạp Kolmogorov 6 1-6
1. Mô hình máy tính Turring
2. Độ phức tạp Kolmogorov
3. Độ phức tạp Kolmogorov và Entropy
6 4. Độ phức tạp Kolmogorov của số tự nhiên
5. Ngâu nhiên số học và dãy không thể nén được
6. Xác suất vũ trụ
7. Độ phức tạp Kolmogorov và xác suất vũ trụ
8. Nguyên lý độ dài mô tả cực tiểu
Tổng 30

6. Giáo trình, tài liệu tham khảo

Tình trạng tài liệu

Có Giáo viên hoặc Đề Đề
trên Khoa có, cho nghị nghị
Tên tài liệu
TT thư mượn để TV pho mua biên
viện tô hoặc có File mới soạn
Điện tử mới
1 Thomas M. Cover, Joy A. Thomas. File điện tử
Elements of information theory. Wiley
Publishing, Inc., 2006.

2 Roberto Togneri, Christopher J.S deSilva. File điện tử

Fundamentals of information theory and
coding design. CRC Press. 2002.

3 David J. C. MacKay. Information File điện tử

Theory, Inference & Learning
 4

Algorithms. Cambridge University Press,

2003.
File điện tử
4 Robert M. Gray. Entropy and
Information Theory, Springer. 2011.
File điện tử
5 D.C. Hankerson, Greg A. Harris, Peter D.
Johnson Jr. Introduction to information
theory and data compression. CRC Press,
2003.
File điện tử
6 Chaitin G.J.. Algorithmic information
theory. Cambridge University Press. 2003.

7. Hình thức tổ chức dạy học

7.1. Lịch trình chung: (Ghi tổng số giờ cho mỗi cột)

Hình thức tổ chức dạy học môn học

Lên lớp Tự học,
Thực hành,
Nội dung tự Tổng
thí nghiệm,
Lý thuyết Bài tập Thảo luận nghiên
thực tập...
cứu
Chương 1 3 10 3
Chương 2 6 3 3 10 22
Chương 3 3 3 3 10 19
Chương 4 3 3 10 16
Chương 5 9 3 3 3 10 28
Chương 6 6 3 3 10 22

7.2. Lịch trình tổ chức dạy học cụ thể

Tuần 1

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB Giới thiệu môn học. Chuẩn bị tài
liệu
Một số khái niệm cơ
bản về thông tin, lý
thuyết thông tin
Bài tập Theo TKB
Thảo luận Theo nội dung lý
thuyết trên lớp
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý Đọc trong tài
thuyết và bài tập đã liệu đã cho và
học tìm kiếm thêm
 5

thông tin

Tuần 2

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB 1. Entropy Chuẩn bị tài
liêu
2. Entropy kết hợp và
Entropy điều kiện
3. Entropy quan hệ và
thông tin tương quan

Bài tập Phương pháp tính

entropy của một quá
tình ngẫu nhiên
Thảo luận Theo nội dung lý
thuyết trên lớp
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 3

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết 1. Mối quan hệ giứa
Entropy điều kiện và
thông tin tương quan
2. Các luật cho Entropy,
Entropy điều kiện và
thông tin tương quan
3. Bất đẳng thức
Jensen và hệ quả
4. Bất đẳng thức Log
Sum và ứng dụng
5. Bất đẳng thức Fano
Bài tập Theo TKB Đọc trước tài
liệu
Thảo luận Theo nội dung lý
thuyết trên lớp
 6

Thực hành, thí nghiệm,

thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 4

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB Đọc trước tài
liệu
Bài tập Theo TKB Bài tập chương 2
Thảo luận Theo nội dung lý
thuyết trên lớp
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 5

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB 1. Định lý thuộc
tính cân bằng
tiệm cận
2. Các hệ quả của
định lý cân bằng
tiệm cận
3. Các tập xác suất
cao và tập tiêu
biểu
Bài tập Theo TKB Đọc trước tài
liệu, chạy thử
phần mềm
Thảo luận Theo nội dung lý
thuyết trên lớp
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 6
 7

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB Đọc trước tài
liệu
Bài tập Theo TKB Bài tập chương 3
Thảo luận Theo nội dung lý
thuyết trên lớp
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 7

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB 1. Chuỗi Markov
2. Tỷ lệ Entropy
3. Tỷ lệ Entropy
của đường đi trên
đồ thị
4. Luật thứ hai của
nhiệt động học
5. Các hàm của
chuỗi Markov
Bài tập Theo TKB Đọc trước tài
liệu, triển khai
phần mềm
Thảo luận Theo nội dung lý
thuyết trên lớp
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 8

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB Đọc trước tài
liệu
Bài tập Theo TKB Bài tập chương 4
Thảo luận Theo nội dung lý
thuyết trên lớp
 8

Thực hành, thí nghiệm,

thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 9

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB 1. Ví dụ về mã Đọc trước tài
liệu, triển khai
2. Bất đẳng thức phần mềm
Kraft
3. Mã tối ưu

Bài tập Theo TKB

Thảo luận Theo nội dung lý
thuyết trên lớp
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 10

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB 1. Giới hạn về độ Đọc trước tài
dài của mã tối ưu liệu
2. Bất đẳng thức
Kraft cho các mã
có thể giải mã
duy nhất
3. Mã Huffman

Bài tập Theo TKB

Thảo luận Theo nội dung lý
thuyết trên lớp
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học
 9

Tuần 11

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB 1. Tính tối ưu của Đọc trước tài
mã Huffman liệu
2. Mã Shannon–
Fano–Elias
3. Tính tối ưu của
mã Shannon
Bài tập Theo TKB
Thảo luận
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 12

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB Đọc trước tài
liệu
Bài tập Theo TKB Bài tập chương 5
Thảo luận
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 13

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB 1. Mô hình máy
tính Turring
2. Độ phức tạp
Kolmogorov
3. Độ phức tạp
Kolmogorov và
Entropy
4. Độ phức tạp
Kolmogorov của
số tự nhiên
 10

Bài tập Theo TKB Đọc trước tài

liệu
Thảo luận
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 14

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB 1. Ngâu nhiên số Đọc trước tài
học và dãy không liệu
thể nén được
2. Xác suất vú trụ
3. Độ phức tạp
Kolmogorov và
xác suất vú trụ
4. Nguyên lý độ dài
mô tả cực tiểu
Bài tập Theo TKB
Thảo luận
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

Tuần 15

Hình thức tổ chức Thời gian, Nội dung chính Yêu cầu SV Ghi
dạy học địa điểm chuẩn bị chú
Lý thuyết Theo TKB
Bài tập Theo TKB Bài tập chương 6 Đọc trước tài
liệu
Thảo luận
Thực hành, thí nghiệm,
thực tập, rèn nghề…
Tự học, tự nghiên cứu Tự chọn Nghiên cứu phần lý
thuyết và bài tập đã
học

PHẦN THỰC HÀNH TẠI PTN: 9 tiết

 11

TT Bài TH, TN Số tiết PTN TLTK

1 Tính toán Entropy 3 PTN An ninh mạng 1-6

2 Tính toán tỷ lệ nén dữ liệu 3 PTN An ninh mạng 1-6
3 Tính độ phức tạp Komogorov 3 PTN An ninh mạng 1-6
Tổng 9

PHẦN THẢO LUẬN: 6 tiết

TT Nội dung Số tiết Địa điểm TLTK
Entropy, Entroy quan hệ và thông tin tương quan Phòng học 1-6
1 3
Nén dữ liệu Phòng học 1-6
2 3
Tổng 6

8. Chính sách đối với môn học và các yêu cầu khác của giáo viên

Sinh viên cần có mặt tại lớp đủ số tiết theo yêu cầu, tích cực tham gia thảo luận, tham
gia các hoạt động giáo viên tổ chức.
Chuẩn bị bài tốt trước khi tới lớp học.
Thực hiện tốt các bài tập giáo viên giao về nhà: nộp bài đúng hạn, chất lượng từ trung
bình trở lên.
Tham gia bài thi hết môn.

9. Phƣơng pháp, hình thức kiểm tra - đánh giá kết quả học tập học phần
Phân chia các mục tiêu cho từng hình thức kiểm tra - đánh giá
9.1. Điểm chuyên cần: 10%
Mục đích: Nhằm hỗ trợ thúc đẩy việc học tập đầy đủ của sinh viên, rèn luyện
cho sinh viên ý thức học tập tốt.
Các kỹ thuật đánh giá:
Điểm danh các buổi lên lớp
Gọi lên bảng làm bài tập tại các buổi giảng bài
9.2. Điểm thường xuyên: 20%
Mục đích: Nhằm hỗ trợ thúc đẩy việc học tập thường xuyên của sinh viên,
đồng thời qua đó có được những thông tin phản hồi giúp giảng viên, sinh viên điều
chỉnh cách dạy, cách học, thay đổi phương pháp dạy, học cho phù hợp.
Các kỹ thuật đánh giá:
Đọc phần tài liệu đã hướng dẫn theo từng phần;
Bài tập theo từng nội dung môn học;
 12

Kiểm tra giữa kỳ

9.3. Thi kết thúc học phần: 70%

Nội dung thi, kiểm Lịch thi Lịch kiểm tra Ghi chú
STT tra
1. Theo toàn bộ chương Thi cuối Theo lịch chung
trình môn học kỳ của Học viện
2. Thi lại Theo lịch chung
của Học viên

Chủ nhiệm Khoa Chủ nhiệm Bộ môn Giảng viên biên soạn
(Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên)