Download as pdf or txt
Download as pdf or txt
You are on page 1of 7

7/7/2023

Q-Chương 1
1.1. Thế nào là dữ liệu ảnh số/ video số, audio số?
1.2. Phân biệt dữ liệu không phụ thuộc thời gian và dữ liệu phụ
IT4622_Questions thuộc thời gian. Thế nào là bitrate của dữ liệu?
1.3. Trình bày về định dạng và cấu trúc dữ liệu ảnh số/ video
số, audio số (định dạng biểu diễn, định dạng lưu trữ)
1.4. Hãy cho biết vai trò mã hóa trong hệ thống truyền thông đa

Câu hỏi ôn tổng quát phương tiện.


1.5 Làm rõ nội hàm (chức năng tổng quát) bộ CODEC dữ liệu
đa phương tiện (thu nhận thông tin, số hóa- mã hóa tín hiệu, nén
dữ liệu, lưu trữ/ tái tạo)
1.6 Thế nào là mã hóa nén không tổn hao và có tổn hao
(Lossless and lossy compression)
1.7 Cách tính các độ đo hiệu năng nén: Tỷ số nén, Độ tổn hao?
1 2

Q-Chương 2: DPCM Q-Chương 3: Mã hóa VQ


3.1 Thế nào là mã hóa VQ. Cơ sở lý thuyết và nguyên lý phương
2.1. Nguyên lý mã hóa dự đoán DPCM, làm rõ đặc pháp VQ? Tại sao mã hóa theo phương pháp VQ cần 2 giai đoạn:
điểm về hiệu năng của phương pháp này và cách tính Pha huấn luyện (học: Learning vector quantization LVQ); Pha mã
các độ đo hiệu năng. hóa/ Giải mã
2.2. Trình bày sơ đồ và thuật toán mã hóa DPCM vòng 3.2 Mã hóa ảnh phương pháp VQ và thiết kế bộ mã hóa VQ
mở và áp dụng đối với các ma trận dữ liệu.
3.2.1 Xây dựng bộ codebook cho ảnh đa xám với độ phân giải
2.3. Trình bày sơ đồ và thuật toán mã hóa DPCM vòng
dùng bộ lọc dự đoán tuyến tính. MN pixel dùng thuật toán K-Mean (hoặc LBG) . Tùy chọn tham
số thiết kế bộ codebook và khảo sát ảnh hưởng của tham số
2.4. Mã hóa dự đoán DPCM phù hợp với dữ liệu nào để
đạt tỷ số nén cao.? Độ tổn hao của DPCM phụ thuộc chọn đến hiệu năng nén
vào điều kiện gì? Tính tỷ số nén với ví dụ cụ thể 3.2.2 Tính các độ đo hiệu năng nén và điều chỉnh thiết kế bộ
2.5. Thuật toán áp dụng DPCM vòng mở để nén các mã hóa nén đạt tỷ số nén lớn hơn 10:1, độ tổn hao SNR > 25db
thành phần DC của khối dữ liệu ảnh theo chuẩn JPEG. 3.2.3 Cài đặt bộ mã hóa CODEC (dùng nhiều lần bộ codebook)
3.3. Mã hóa nén ảnh màu RGB theo VQ thực hiện thế nào?
3 4
7/7/2023

Ví dụ: Dữ liệu ảnh số


Q-Chương 4: Subband Coding Tích chập với bộ lọc phân tách được
4.1. Mô hình nguyên lý phân tích tín hiệu thành các tín hiệu dải tần
con (Subband) và các kỹ thuật cơ sở (Sampling, Downsampling, Ma trận dữ liệu ảnh đa mức xám
Linear filter/ Digital filter, Filter bank…) 124 125 122 120 122 119 117 118
121 121 120 119 119 120 120 118
4.3 Hai kiểu sơ đồ phân tách tín hiệu thành dải tần con và thuật 126 124 123 122 121 121 120 120
toán triển khai các sơ đồ phân tách 124 124 125 125 126 125 124 124
4.2 Tổng quan hệ thống mã hóa dải tần con (SBC) gồm 2 giai đoạn: 127 127 128 129 130 128 127 125
(1) Analysis Subband; (2) Quantization and Coding, mỗi khối có 143 142 143 142 140 139 139 139
nhiệm vụ gì? 150 148 152 152 152 152 150 151
156 159 158 155 158 158 157 156
4.4 Thuật toán mã hóa dải tần con (Coding) có đặc điểm thế nào?
4.5 Thuật toán phân tách tín hiệu số ảnh 2D (video số) thành các tín The most frequently used filter banks in subband coding consist of a
hiệu dải tần con dùng bộ lọc phân tách được (Separable filter) cascade of images. Each stage consists of:
• A low-pass filter and a high-pass filter.
Bộ lọc ngang (hàng): Hx(k) = ¼ 1 2 1 ;
• Down sampling
1 Áp dụng bộ lọc phân tách được thực hiên phân tách ảnh số thành 4 ảnh
Bộ lọc dọc (cột): Hy(l) = 1/4 2 dải tần con theo sơ đồ Subband dùng băng lọc thông thấp, thông cao
1 Tích chập:
X(m,n)* H(k,l) = X(m,n) * [Hx(k)*Hy(l)] = [X(m,n)* Hx(k)] * Hy(l)
5 6

Một số bộ lọc phân tách được (Separable filter) Ví dụ về các bộ lọc phân tách được
và tích chập 2D dùng bộ lọc phân tách (Separable filter: LPF và HPF)
Bộ lọc 2D phân tách được (Separable filter): H(k,l) = Hx(k)*Hy(l) 1 1 1 1 2 1 
1   1   
Tích chập: X(m,n)* H(k,l) = X(m,n) * [Hx(k)*Hy(l)] = [X(m,n)* Hx(k)] * Hy(l) 1  1  1  1  1  1  
1 1 1 * 1  1 1 1 ; 1 2 1 * 2  2 4 2
trong đó X(m,n) là ma trận dữ liệu ảnh. Tác dụng giảm độ phức tạp tich chập 3   3   9 4   4   16
1   1   
1 1 1 1 2 1 
1    
1 1 1 2 1 
1    1   
1  1  1   1   1   1  
1 1 1 * 1  1 1 1 ; 1 2 1 * 2  2 4 2
3   3   9 
 
4   4   16 
    1  3 1  1 0 1 
1 
1 1 1 1 
1 2 1   1   1   
   
1 * 2   2 0 2
     1 3  1 *  3   3 9  3 ;  1 0
       
  1 3 1  1 0 1   1 1  3 1
 1   
  1   1         1 0 1 
 1       1        
31 * 3  3 9  3 ; 0 1 * 2   2 0 2
        
  1  1  1    1 
    3 1 



0 1 
 • Separable filter: H(k,l) = Hx(k)*Hy(l)
 Horizontal low-pass filter (HLP), ví dụ: HLP có Hx(k) = ¼ [ 1 2 1 ]  Horizontal low-pass filter (HLP), ví dụ: HLP là: Hx(k) = ¼ [ 1 2 1 ]
 Horizontal high-pass filter (HHP), HHP có Hy(k) = [-1 3 -1 ]  Vertical low-pass filter (VLP), ví dụ: HLP là:
 Vertical low-pass filter (VLP), ví dụ: HLP có
Các bộ lọc Wavelet phân tách được:
 Vertical high-pass filter (VHP)
DWT (Separable filters): Daubechies filters, Haar filters
7 8
7/7/2023

Sơ đồ và thuật toán phân tách ảnh thành 4 ảnh dải tần con
và khôi phục ảnh từ các dải tần con Sơ đồ tháp băng lọc thông thấp phân tích
đa phân giải ảnh

9 10

Chương 5: Transform Coding, JPEG200 Chương 5: Transform Coding, JPEG200


5.1 Mã hóa nén dùng phép biến đổi (TC) dựa trên những cơ
5.4 Phép biến đổi DWT: Tóm tắt cơ sở lý thuyết, sơ đồ và thuật toán
sở lý thuyết nào, có kết hợp các phương pháp gì? Tại sao thực hiện DWT cho ảnh 2D/ video
phương pháp TC này hiện nay được dùng nhiều trong chuẩn 5.5 Sơ đồ và thuật toán nén dữ liệu ảnh JPEG (Baseline JPEG)
nén dữ liệu ảnh/video, audio? Tại sao TC có thể đạt tỷ số nén - Sơ đồ khối tổng quan CODEC ảnh JPEG: Dữ liệu vào/ra;
cao và làm thế nào để hiệu chỉnh hiệu năng nén? - Sơ đồ và thuật toán nén dữ liệu ảnh JPEG : Tiền xử lý, DCT, Q,
Encode
5.2 Trình bày sơ đồ và qui trình xử lý của bộ CODEC –TC, - Tính các độ đo hiệu năng và hiệu chỉnh tham số
làm rõ vai trò và chức năng các khối 5.6 Nén ảnh JPEG2000
5.3 Phép biến đổi DCT. Tại sao DCT được dùng nhiều trong - Nêu các tóm tắt đặc điểm về lý thuyết, về công nghệ và về hiệu năng
nén ảnh JPEG2000
các chuẩn nén ảnh/ video (giải thích tính chất tập trung năng
- Trình bày sơ đồ khối tổng quan CODEC ảnh JPEG2000
lượng, giải tương quan và cho phép xây dựng thuật toán tính - Tiền xử lý. Phân biệt các biến đổi liên thành phần, đơn thành phần của
nhanh của DCT). Thành phần DC của DCT là gì và tại sao nén ảnh JPEG2000
dùng DPCM mã hóa các DC của các khối điểm ảnh? - Sơ đồ và thuật toán DWT trong mã hóa JPEG2000
- Sơ đồ và thuật toán mã hóa nén JPEG2000 (2 pha mã hóa Tier 1, 2)
11 12
7/7/2023

Chương 6: Audio coding Chương 6: Audio coding


6.1 Cho biết tại sao mã hóa âm thanh có 2 cách tiếp cận và 2 họ 6.3 Trinh bày nguyên tắc phương pháp mã hóa âm thanh dùng mô hình
chuẩn riêng (chuẩn ITU-T và MPEG)? Tín hiệu và định dạng cảm thụ? Hiện nay phương pháp này được áp dụng trong chuẩn mã hóa
nào? Tại sao mã hóa tiếng nói thoại không áp dụng mô hình này?
audio khác với tín hiệu và định dạng ảnh/ video như thế nào?
6.4 Chuẩn MPEG về âm thanh có các qui định: Tần số lấy mẫu : 32,
6.2 Voice coding 44.1, 48 kHz được hiểu thê nào? Tốc độ dữ liệu audio theo chuẩn
6.2.1 Trình bày tóm tắt 3 phương pháp cơ sở mã hóa tiếng MPEG: 32, 48, 56, 64, 112, 128, 192, 256, 384 Kbit/s ?.
nói thoại và cho biết các phương pháp này được dùng trong 6.5 Mã hóa audio MP3:
6.5.1 Tại sao chuẩn MPEG qui định phân tích tín hiệu số audio (dữ liệu)
VOIP như thế nào?
thành 32 dải tần con theo phương pháp Subband dùng băng lọc 32 bộ
6.2.2 Tại sao các chuẩn mã hóa nén tiếng nói theo ITU-T gồm lọc thông dải?
nhiều chuẩn cụ thể có mã chuẩn và sơ đồ riêng, và có liên 6.5.2 Trình bày thuật toán xử lý thực hiện Subband thành 32 tín hiệu dải
quan đến mă hóa dự đoán (PCM, DPCM, LPC..)? tần con trong sơ đồ MP3 và cho biết trong trường hợp tần số lấy mẫu tín
hiệu là 48 kHz thì mỗi dải tần con có độ rộng tần số (dải phổ tín hiệu số)
6.2.3 Hãy giải thích các độ đo đánh giá hiệu năng các bộ là bao nhiêu ?
CODEC tiếng nói thoại theo chuẩn ITU-T?
13 14

Chương 7: Video coding Chương 7: Video coding


7.5.Ước lượng chuyển động và mã hóa bù chuyển động
7.1 Hãy cho biết về tín hiệu các thành phần màu video, tại sao các
7.5.1 Thế nào là ước lượng chuyển động trong nén video. Vai trò của khối
chuẩn nén JPEG, MPEG, H26X đều qui định dùng hệ màu YUV/
ước lượng chuyển động trong sơ đồ nén MPEG-1
YCrCb? 7.5.2 Trình bày mã hóa dự đoán bù chuyển động frame P
7.2 Mã hóa ảnh động (ảnh video) có các hướng tiếp cận nào, mỗi hướng
7.6.Mã hóa Video tiên tiến: Mã hóa SVC (Scalable Video Coding)
có đặc điểm gì? Thế nào là mã hóa “Intraframe/ Interframe Coding”? 7.6.1 Thế nào là SVC? “Sub-stream” là gì? Hãy Cho biết các kiểu SVC
7.3 Các qui định về dữ liệu của chuẩn MPEG được thực hiện như thể và trình bày nguyên lý thực hiện các kiểu SVC.
nào để mã hóa “Intraframe/ Interframe Coding”? 7.6.2 Trình bày sơ đồ kiến trúc tổng quát mã hóa SVC và SVC liên quan
7.4 Xét sơ đồ mã hóa video MPEG-1, trình bày thuật toán/ luồng xử lý đến MPEG-1 như thế nào?
mã hóa “Intraframe/ Interframe Coding” theo sơ đồ MPEG-1: 7.6.3 Áp dụng: Trình bày nguyên lý bộ mã hóa SVC có thể tạo ra các
• Dữ liệu vào: File dữ liệu video gốc bất kỳ, video trình diễn Sub-stream dữ liệu theo các tình huống sau: SVC kiểu không gian
• Dữ liệu ra: dòng bít các từ mã sau nén lưu file theo chuẩn MPEG-1 (spatial scalability) dùng kỹ thuật “Spatial decimation” đa phân giải 2 tầng
• Mã hóa “Intraframe coding” thực hiện các khối nào trong sơ đồ? - “Subband 2 tầng” và kết hợp thay đổi SNR với 2 hệ số khác nhau?
• Mã hóa “Interframe coding” thực hiện các khối nào trong sơ đồ? 7.7. Chuẩn MPEG qui định TS (Transport Stream) như thế nào?. Trình bày
• Khi thay đổi tham số GOP cho biết tỷ số nén và chất lượng ảnh video mô hìnhTS liên quan thế nào đến kỹ thuật nén và đồng bộ dữ liệu video.
thay đổi thế nào? Tại sao? Chuẩn MPEG - TS liên quan đến lưu trữ file video và truyền dòng video
trong công nghệ ứng dụng video streaming online thế nào ?
15 16
7/7/2023

PHỤ LỤC: Chuẩn MPEG4-part 10/ H264 MPEG- DASH


• MPEG-4 đã ra đời tháng 10 năm 1998, với tốc độ mã hóakhoảng 1.5
Chuẩn mã hóa video và truyền dòng video đa tốc,
Mb/s. MPEG-4 bao gồm các bộ phận (part) riêng rẽ, có quan hệ chặt độ thích nghi qua HTTP
chẽ với nhau và có thể được triển khai ứng dụng riêng hoặc tổ hợp
với các phần. MPEG-4 chia thành các nhóm công cụ gọi là các profile, • MPEG DASH (Dynamic Adaptive Streaming over HTTP) is a
mỗi profile chỉ chứa một vài tính năng cần thiết của chuẩn mã hóa thích developing ISO Standard (ISO/IEC 23009-1) that should be finalized
hợp cho một phạm vi ứng dụng nào đó. Mỗi profile lại có một số mức by early 2012. DASH is a standard for adaptive streaming over
level khác nhau. HTTP
• MPEG-4_ISO/CEI 14496: về phương diện mã hóa MPEG4 là chuẩn mã • Adaptive streaming involves producing several instances of a live
hóa theo đối tượng video/audio (video object – VO) or on-demand source file and making them available to various
• Hiện nay MPEG-4 có 22 parts. clients depending bandwidth and CPU processing power.
• Liên quan đến truyền thông video qua mạng Internet là chuẩn MPEG-4 • Streaming protocol utilized: RTMP
part 10/ H.264 hay H.264/AVC được phát triển bởi nhóm video kết
• HTTP-based adaptive streaming technologies: Combination of
hợp JVT bao gồm các chuyên gia đến từ MPEG và VCEG của ITU-T.
encoded media files and manifest files that identify alternative
H.264/AVC với phần mở rộng của MPEG-4 part 10 là kỹ thuật SVC.
streams and their respective URLs
• MPEG4 part 14 về định dạng fille mp4
17 18

MPEG DASH Technology Overview MPEG DASH- công nghệ HLS


• HTTP-based adaptive streaming technologies have two components: MPEG
Encoded AVC streams (MPEG-4); The DASH manifest file (called the Media
Presentation Description) for the player and contain their URL addresses

Multimedia Communication 20
19
Nguyen Thi Hoang Lan
7/7/2023

Một số ví dụ ma trận dữ liệu ảnh MPEG4 - SVC


124 125 122 120 122 119 117 118 1 9 9 1 1 1 1 2
1 9 9 1 1 1 1 2
121 121 120 119 119 120 120 118
1 8 10 1 1 1 1 1
126 124 123 122 121 121 120 120 1 9 9 1 1 1 1 2
124 124 125 125 126 125 124 124 1 8 9 0 1 1 1 1
127 127 128 129 130 128 127 125 1 11 11 10 11 10 1 1
143 142 143 142 140 139 139 139 1 10 10 11 11 12 1 1
150 148 152 152 152 152 150 151 1 10 10 1 2 3 3 1
156 159 158 155 158 158 157 156 1 9 10 1 2 4 1 1

52 55 61 66 70 61 64 73
63 59 55 105 109 70 69 72
62 59 68 123 144 124 66 73
63 58 71 125 126 125 70 69
67 61 68 124 130 78 68 70
79 65 70 112 114 68 58 60
70 71 64 59 55 61 65 63
56 59 68 68 65 66 67 56
21 22

Q and A Q and A
7.3. Kỹ thuật SVC (Scalable Video Coding)
8.2 Audio coding applied
7.3.1 Thế nào là SVC, mục đích SVC và khảo sát ứng dụng
7.3.2 Cho biết các kiểu (mode) SVC và trình bày các kỹ thuật xử lý dữ liệu thực
8.2.1 Mã hóa audio theo chuẩn MPEG có khác gì so với mã hóa âm
thanh thoại theo chuẩn của ITU-T? Tại sao? Trong các file video có cả
hiện các kiểu SVC
hình và tiếng hiện nay thường dùng mã hóa audio theo chuẩn nào?
7.3.3 Áp dụng: Dựa trên CSLT về cấu trúc khung SVC theo chuẩn MPEG-4 part
8.2.2 Tại sao chuẩn MPEG về âm thanh có các qui định: Tần số lấy
10 mở rộng, hãy cho biết các kỹ thuật xử lý của bộ mã hóa để đáp yêu cầu có thể
mẫu : 32, 44.1, 48 kHz. Tốc độ dữ liệu audio theo chuẩn MPEG: 32,
tạo ra bao nhiệu các Sub-stream dữ liệu trong các trường hợp sau: 48, 56, 64, 112, 128, 192, 256, 384 Kbit/s ?. Hiểu và có thể áp dụng các
- SVC kiểu không gian (spatial scalability) dùng kỹ thuật “Spatial decimation”, qui định này như thế nào trong các ứng dụng thực tế
đa phân giải 2 mức hay “Subband 2 tầng” kết hợp với thay đổi SNR với 2 hệ 8.2.3 Mã hóa audio MP3:
số khác nhau.
a/ Tại sao chuẩn MPEG qui định phân tích tín hiệu số audio (dữ liệu)
- SVC kiểu không gian như trên kết hợp kiểu thời gian (temporal scalability) thành 32 dải tần con theo phương pháp Subband dùng băng lọc 32 bộ
thay đổi fps với 2 tốc độ: 30Hz; 15Hz và kết kết hợp với thay đổi SNR với 2 hệ lọc? Đây có phải là tham số có thể thay đổi không?
số khác nhau. b/ Trình bày thuật toán xử lý thực hiện Subband thành 32 tín hiệu dải
Lưu ý: Giả thiết bộ mã hóa (coder) của MPEG-4 part 10 trong 2 tình huống trên là tần con và cho biết trong trường hợp tần số lấy mẫu tín hiệu là 48 kHz
như nhau về sơ đồ triển khai thuật toán cũng các tham số của chuẩn) thì mỗi dải tần con có độ rộng tần số (dải phổ tín hiệu số) là bao nhiêu ?

23 24
7/7/2023

Q and A
Chương 9 : Multimedia Synchronization
9.1 Cho biết 2 hướng tiếp cận các giải pháp đồng bộ âm thanh hình ảnh
trong các ứng dụng truyền thông đa phương tiện, 2 hướng tiếp cận đồng bộ
tương ứng với các mô hình truyền thông nào?
9.1.1 Trong các cuộc gọi video phone, nguyên tắc đồng bộ audio-video
như thế nào ? Tại sao?
9.1.2 Trong các ứng dụng video online, video streaming, VOD … qua
mang Internet, nguyên tắc đồng bộ audio-video thế nào? Tại sao?
9.2 Chuẩn MPEG qui định TS (Transport Stream) nhằm mục đích gì và như
thế nào?. TS có liên quan thế nào đến kỹ thuật nén và đồng bộ dữ liệu
video, lưu trữ và truyền dòng video?
9.3 Chuẩn MPEG-DASH liên quan đến mã hóa nén, đồng bộ âm thanh-
hình ảnh (audio/video codec) và kỹ thuật truyền dòng video thích nghi
động qua HTTP thế nào (Dynamic Adaptive Streaming over HTTP)?

25

You might also like