XỬ LÝ ẢNH

Phân vùng

Thi-Lan Le
(lan.lethi1@hust.edu.vn)
SET, HUST
 1. Phân vùng ảnh

 Mục tiêu: Phân tách ảnh thành từng vùng  mỗi vùng
tương ứng với một đối tượng

Slide credit: Steve Seitz, Kristen Grauman

 1. Phân vùng ảnh

Ảnh đầu vào Kết quả phân vùng

Slide credit: Svetlana Lazebnik

1. Phân vùng ảnh

Rother et al. 2004

4 24-Oct-17
 1. Phân vùng ảnh
Một số khái niệm

Oversegmentation Undersegmentation

Các phân vùng khác

 1. Phân vùng ảnh
 Phân vùng ảnh được áp dụng nhằm chia tách các ảnh
thành các vùng
 Áp dụng các xử lý sau đó ví dụ nhận dạng đối tượng
 Tìm kiếm ảnh dựa trên vùng

Source : Pascal Bertolino, LIS, www.lis.inpg.fr/pages_perso/bertolino/ 6

 1. Phân vùng ảnh
Một số khái niệm

 Phân loại ảnh (Image classification)

 Xác định sự tồn tại của đối tượng quan tâm trong ảnh.

 Phát hiện/định vị đối tượng (Object detection)

 Xác định sự tồn tại và vị trí của đối tượng quan tâm

 Phân vùng đối tượng mức điểm ảnh

(Object pixel-level segmenation)
 Xác định các điểm ảnh thuộc vào đối tượng quan tâm
 1. Phân vùng ảnh
Một số khái niệm
 2. Các cách tiếp cận của phân vùng ảnh
 Phân vùng thường dựa vào:
 Tính chất không liên tục: cạnh/biên

 Sự thay đổi đột ngột giữa các đường biên của các vùng
 Tính chất liên tục/đồng nhất: vùng
 Có sự tương tự về màu sắc, kết cấu, cường độ mức xám
 Một cạnh đóng tương ứng với một vùng
 Phần vùng là chia một ảnh thành các vùng/các biên

9
2. Các cách tiếp cận của phân vùng ảnh
 Cách tiếp cận theo vùng
 Tìm sự đồng nhất của các vùng trong ảnh

 Cách tiếp cận theo cạnh/biên

 Tìm sự không liên tục trong ảnh

 Các cách tiếp cận theo cả vùng và biên

10
 3. Phân vùng dựa trên ngưỡng
 Phân vùng dựa trên ngưỡng là phương pháp phân
vùng đơn giản và phổ biến
 Đây không phải là cách tiếp cận theo vùng hoặc theo
biên  tiếp cận mức điểm ảnh
 Thường phải có bước hậu xử lý sau đó
 Ngưỡng có thể được lựa chọn:
 Toàn cục (Global): một ngưỡng duy nhất cho toàn bộ ảnh
 Cục bộ (Local): một ngưỡng xác định cho 1 vùng của ảnh
 Thích nghi (Adaptive): một ngưỡng được lựa chọn cho từng
điểm ảnh

11
 3. Phân vùng dựa trên ngưỡng
 Ý tưởng chính:
 IF value(pixel) >= threshold THEN value(pixel) = 1
 IF value(pixel) < threshold THEN value(pixel) = 0

 Kết quả là ảnh nhị phân

 Có thể chọn n ngưỡng để chia ảnh thành n+1 lớp

 Vấn đề: Lựa chọn ngưỡng

12
 3. Phân vùng dựa trên ngưỡng
 Ngưỡng dựa trên phân bố

1 if f(x,y)  T 
g ( x, y )   
0 if f(x,y)  T 

13
Source : http://www.gpa.etsmtl.ca/cours/gpa669/
 3. Phân vùng dựa trên ngưỡng

 Ngưỡng toàn cục

 Giá trị trung bình
 Môi trường ổn định
 Trong các ứng dụng công nghiệp

14
 3. Phân vùng dựa trên ngưỡng
 Ưu điểm
 Đơn giản, nhanh
 Nhược điểm
 Biết trước số lớp
 Các vùng không phù hợp sẽ xuất
hiện (không có ràng buộc về không
gian)

15
 3. Phân vùng dựa trên ngưỡng

 n ngưỡng cho phép chia ảnh thành n+1 lớp:

 IF value(pixel) < threshold_1
 THEN value(pixel) = 0
 IF value(pixel)  threshold_1 && value(pixel) < threshold_2
 THEN value(pixel) = 1
 …
 IF value(pixel)  threshold_n
 THEN value(pixel) = n

 Vấn đề: Cần bao nhiêu ngưỡng

16
 3. Phân vùng dựa trên ngưỡng

2 if f(x,y)>T2 
 
g ( x, y )  1 if f(x,y)  T2  f ( x, y )  T1 
0 if f(x,y)  T 
 1 

17
 3. Phân vùng dựa trên ngưỡng

 Ngưỡng toàn cục

 Làm thế nào để xác định giá trị của T ?
 Bằng thử nghiệm
 Giá trị trung bình mức xám
 Giá trị trung bình giữa giá trị max và min
 Giá trị cho phép cân bằng các vùng của phân bố
  xác định ngưỡng tự động

18
 3. Phân vùng dựa trên ngưỡng
 Giải thuật:
 Bước 1: Khởi tạo giá trị T (trung bình, điểm giữa, …)
 Bước 2: Xác định 2 nhóm điểm ảnh
C1 nếu f(x,y) > T và C2 nếu f(x,y)  T
 Bước 3: Tính trung bình về mức xám của C1 và C2 -> μ1 và μ2
 Bước 4:Tính giá trị mới của T
T = 1/2 (μ1 + μ2)
 Lặp lại Bước 2 cho đến khi T ổn định
 Các giải thuật khác (k-means).
 Không có giải thuật duy nhất cho tất cả các ứng dụng
 Bài tập: Viết một hàm trên Python cho phép xác định
ngưỡng tự động của một ảnh theo giải thuật trên.

19
 3. Phân vùng dựa trên ngưỡng
 Xác định tự động ngưỡng dựa trên phương pháp Otsu.
 Là phương pháp được đề xuất 1979 bởi Nobuyuki Otsu
 "A threshold selection method from gray-level
histograms". IEEE Trans. Sys. Man. Cyber. 9 (1): 62–66.
doi:10.1109/TSMC.1979.4310076
 Dựa trên biểu đồ tần suất
 Mục đích: tối đa sự sai khác giữa các lớp (sự tối thiểu
trong cùng 1 lớp)
 3. Phân vùng dựa trên ngưỡng
 Biểu đồ tần suất chuẩn hóa:

 Chọn một ngưỡng k để phân vùng ảnh thành 2 lớp (C1 và

C2)
 3. Phân vùng dựa trên ngưỡng
 Xác suất để các điểm ảnh thuộc vào C1:
 Xác suất các điểm ảnh thuộc vào C2:

 Giá trị trung bình của các điểm ảnh thuộc vào C1:
 3. Phân vùng dựa trên ngưỡng
 Giá trị trung bình của các điểm ảnh thuộc vào C1:

 Giá trị trung bình mức xám đến mức k

 Giá trị trung bình toàn cục:

 3. Phân vùng dựa trên ngưỡng
 Ta có:

 Phương sai toàn cục:

 Phương sai giữa các lớp:
 3. Phân vùng dựa trên ngưỡng

 Tìm k thỏa mãn:

 3. Phân vùng dựa trên ngưỡng
Cách 2: Cực tiểu sự biến đổi trong cùng lớp (within class variance)
3. Phân vùng dựa trên ngưỡng

0 0 1 4 4 5

0 1 3 4 3 4

1 3 4 2 1 3

4 4 3 1 0 0

5 4 1 1 0 0

5 5 4 3 2 0
 3. Phân vùng dựa trên ngưỡng
 Vấn đề của ngưỡng toàn cục: Không hiệu quả khi có sự
thay đổi về ánh sáng

28
 3. Phân vùng dựa trên ngưỡng

 Sử dụng ngưỡng cục bộ thích nghi

29
 3. Phân vùng dựa trên ngưỡng
 Chia một ảnh thành các ảnh nhỏ và lựa chọn ngưỡng cho
từng ảnh

 Xác định kích thước của ảnh nhỏ

 Trước khi chia, kiểm tra giá trị phương sai để xác định ảnh
được chia có ít nhất 2 vùng
 Ví dụ: nếu variance<100 thì không xác định ngưỡng

30
 3. Phân vùng dựa trên ngưỡng
Tất cả 4 vùng ảnh trong 4 góc không cần xác định ngưỡng vì
variance<100

31
3. Phân vùng dựa trên ngưỡng

32
3. Phân vùng dựa trên ngưỡng

33
 4. Phân vùng dựa trên k-means

 Chia các điểm thành k nhóm (clusters)

 k là cố định và đã được xác định trước
 Xác định tâm của nhóm là giá trị trung bình của tất cả các phần
tử trong nhóm

34
Source : Christelle Scharff, Pace Univ. www.csis.pace.edu/~scharff/DMIFI/cluster9.ppt
 4. Phân vùng dựa trên k-means

Kmeans được thực hiện trong 4 bước:

1. Chia dữ liệu thành k tập không rỗng
2. Tính tâm của các nhóm
3. Đưa dữ liệu vào nhóm gần nhất
4. Quay lại bước 2

Giải thuật dừng khi tất cả các nhóm ổn định

Source : Christelle Scharff, Pace Univ. www.csis.pace.edu/~scharff/DMIFI/cluster9.ppt 35

4. Phân vùng dựa trên k-means

36
 4. Phân vùng dựa trên k-means

Ảnh đầu vào K-means trên K-means trên

ảnh mức xám ảnh màu
Kmeans áp dụng trên mức xám hoặc màu

Source : D.A. Forsyth and J. Ponce. Computer Vision : A Modern Approach. Prentice-Hall, 2002 .

37
4. Phân vùng dựa trên k-means

Ảnh đầu vào K-means trên

màu
K-means với 11 nhóm

38
 4. Phân vùng dựa trên k-means

K-means trên màu cho 11 nhóm

39
 4. Phân vùng dựa trên k-means
 Các phương pháp phân đoạn dựa trên ngưỡng chủ yếu
dựa trên điểm ảnh
 Không đưa ra được các vùng liên thông

 Để xác định được các vùng

 Xóa các điểm ảnh rời rạc

40
4. Phân vùng dựa trên chia và hợp (split and
merge)
 Chia (bước1)
 Chia đệ quy các vùng không đồng nhất theo
một tiêu chuẩn nào đó (phương sai,
max,min) thành các vùng nhỏ hơn
 Chia một vùng thành 4 vùng con
 Tính chất của vùng con được tính toán
 Kết hợp (bước 2)
 Gộp các vùng đồng nhất lân cận nhau theo
một tiêu chuẩn nào đó

41
 4. Phân vùng dựa trên chia và hợp

Bước chia:
 Ảnh có thể biểu diễn thành 1 cây
 Nút gốc là toàn bộ ảnh

 Mỗi nút lá F được chia thành 4 phần nều F

không đồng nhất
 4 phần này sẽ trở thành lá của F
 Giải thuật tiếp tục cho đến khi không còn
vùng không đồng nhất nào

Source : Jean-Christophe Baillie, ENSTA, uei.ensta.fr/baillie/assets/ES322%20-%20Segmentation.ppt

42
 4. Phân vùng dựa trên chia và hợp

Đồng nhất được tính dựa trên phương sai hoặc chênh lệch giữa max vá min

Đầu vào
1
2
3

43
Source : Jean-Christophe Baillie, ENSTA, uei.ensta.fr/baillie/assets/ES322%20-
 4. Phân vùng dựa trên chia và hợp

Bước kết hợp

Cây tứ phân

Nối các vùng đồng nhất lân cận

Source : Jean-Christophe Baillie, ENSTA, uei.ensta.fr/baillie/assets/ES322%20-%20Segmentation.ppt

44
4. Phân vùng dựa trên chia và hợp

45
4. Phân vùng dựa trên chia và hợp

46
 5. Phân vùng dựa trên phát triển vùng

 Giải thuật bắt đầu với 1 điểm ảnh và lựa chọn các điểm
ảnh lân cận theo tiêu chuẩn:
 Phương sai nhỏ
 Mức xác dưới 1 ngưỡng
 Điểm ảnh khởi tạo được gọi là hạt giống
 Vùng sẽ được phát triển từ hạt giống
 Các hiểu biết về ảnh cần phân đoạn được sử dụng để lựa
chọn hạt giống tốt

47
 5. Phân vùng dựa trên phát triển vùng
 Bắt đầu từ một hạt giống và thêm các điểm ảnh lân cận theo một
tiêu chuẩn
 Hạt giống được chọn thủ công hoặc tự động
 Ví dụ: tự động lựa chọn hạt giống trong vùng có độ đồng nhất

cao

Ảnh Hạt giống Phát triển vùng Vùng cuối cùng

48
Source : Jean-Christophe Baillie, ENSTA, uei.ensta.fr/baillie/assets/ES322%20-%20Segmentation.ppt
5. Phân vùng dựa trên phát triển vùng

49
 5. Phân vùng dựa trên phát triển vùng

 Tất cả các giải thuật đều cần tiêu chuẩn, tham số

 Không có tham số chung, phải lựa chọn tùy vào ứng dụng
Ngưỡng
 Giá trị cố định (hằng số)

 Giá trị tương đối (%, trung bình, …)

 Giá trị được tính toán bằng thuật toán

50
 6. Lời khuyên cho bài toán phân đoạn
 Bài toán phân đoạn hiện tại vẫn chưa được giải quyết hoàn
chỉnh
 Không có phương pháp chung cho tất cả các ảnh
 Nếu ứng dụng cho phép tránh bài toán phân đoạn thì không
thực hiện phân đoạn
 Các bước tiền xử lý, lựa chọn thiết bị, kiểm soát các điều
kiện về ánh sáng, môi trường phù hợp cho phép phân đoạn
thực hiện dễ và hiệu quả hơn

51
 6. Lời khuyên cho bài toán phân đoạn

 Đánh giá kết quả phân đoạn khó và không khách quan
 Xác định mục đích của phân đoạn: Các thành phần mà
ta muốn nhìn thấy trong ảnh?
 Vùng toàn cục hay các chi tiết nhỏ?
 Xác định trước ứng dụng của kết quả phân đoạn
 Cho phép xác định mức độ chính xác

52
 Tài liệu tham khảo
 Lecture: Clustering and Segmentation, Juan Carlos Niebles
and Ranjay Krishna, Stanford Vision and Learning Lab
 https://towardsdatascience.com/metrics-to-evaluate-your-
semantic-segmentation-model-6bcb99639aa2