HW13: How to obtain Precision – Recall curve (P-R curve):

Tài liệu tham khảo:

https://scikit-learn.org/stable/auto_examples/model_selection/pl...
 Đường cong Precision – Recall ở bài toán phân lớp nhị phân:

- Ứng với mỗi giá trị ngưỡng của mô hình, ta có thể tính được cặp giá trị Precision
và Recall. Để vẽ được đường cong, ta cần thay đổi giá trị ngưỡng, và vẽ các cặp giá trị
Precision – Recall ứng với mỗi ngưỡng lên cùng một đồ thị. Sau đó nối chúng lại với
nhau.
(ảnh minh họa)

 Đường cong Precision – Recall ở bài toán phân lớp nhiều class:
- Ta có thể coi bài toán phân lớp nhiều class thành bài toán phân lớp nhị phân bẳng
cách xem xét từng class. Với mỗi class, ta coi dữ liệu thuộc lớp đó có label là positive, tất
cả các dữ liệu còn lại có label là negative. Sau đó, ta coi dữ liệu thuộc lớp đó có label là
positive, tất cả các dữ liệu còn lại có label là negative. Sau đó ta tính giá trị Precision-
Recall cho từng class. Với bài toán có ít lớp dữ liệu, ta có thể vẽ P-R curve cho từng class
lên cùng một đồ thị. Tuy nhiên, với các bài toán có rất nhiều lớp dữ liệu, việc này đôi khi
không khả thi. Thay vào đó, hai phép đánh giá dựa trên Precision-Recall được sử dụng là
micro-average và macro-average.
- Micro-average precision và Micro-average recall được tính bằng công thức:

với TPc, FPc, FNc lần lượt là TP, FP, FN của class C
- Hay hiểu theo cách khác: công thức tính Micro-average precision chính là công
thức tính Precision của bài toán nhị phân nhưng với TP được tính là tổng các TP của mỗi
lớp (tương tự với FP và FN). Công thức tính Recall cũng như vậy.
- Macro-average precision là trung bình cộng của các Precision của từng class.
Tương tự cho Macro-average recall.
 Ví dụ tính toán micro-average và macro-average bài toán phân lớp 3 class, ở 1
mức ngưỡng IoU xác định:
TP FP FN Precision Recall
Class 1 10 5 3 0.67 0.77
Class 2 17 7 10 0.71 0.63
Class 3 25 2 4 0.93 0.71

→ Ta tính được giá trị micro-average và macro-average như sau:

Precision Recall
Micro-average 0.79 0.75
Macro-average 0.77 0.70

- Thực hiện tính tương tự với các giá trị mức ngưỡng IoU khác, ta có thể vẽ được
đồ thị Micro-average P-R và đồ thị Macro-average P-R.
(ảnh minh họa)
HW14: Evaluate object detector YOLO/R-CNN/SSD
Tài liệu tham khảo:
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7506698/
https://www.analyticsvidhya.com/blog/2022/09/object-detection-using-yolo...
- Phân loại các mô hình Object Detection:

- Đường cong Precision-Recall của YOLO-v3/Faster R-CNN/SSD

 - Đường cong nào cao hơn có performance tốt hơn. Nhưng ta có thể thấy, cả 3
đường đều rất gần nhau, khó có thể xác định được mô hình nào có performance cao hơn.
Do đó ta cần tính mAP và đánh giá accuracy của 3 mô hình dựa vào chỉ số mAP.

- Giá trị mAP được tính cho tất cả các mạng với chỉ số ngưỡng IoU xác định
trước. Bảng trên biểu diễn kết quả so sánh. Cả 3 mô hình có mAP trên 80% với cùng 1
tập test (nhiều loại Agriculture Greenhouses). Trong đó YOLO-v3 cho ra mAP cao nhất
(90,4%) trong số 3 mô hình. Giá trị mAP của Faster R-CNN và SSD gần như tương
đồng, với chênh lệch 1,1%. Một phân tích sơ bộ cho thấy rằng mạng Darknet-53, một cấu
trúc sâu hơn VGG-16, có khả năng trích xuất các tính năng đa dạng và phức tạp hơn của
mục tiêu, đóng vai trò cơ bản trong việc cải thiện độ chính xác của YOLO-v3.
- Giá trị FPS của YOLO-v3 là 73 hình/giây là vượt trội hơn hẳn (nhanh hơn gấp
đôi SSD). Còn đối với mô hình 2 tầng của Faster R-CNN cho ra FPS rất thấp 12
hình/giây.
 Kết luận:
- Mạng YOLO-v3 cho ra kết quả performance vượt trội so với Faster R-CNN và SSD
- Nhưng vì 3 mô hình đang được so sánh trên cùng 1 tập dữ liệu test là ảnh vệ tinh
chụp các Nhà kính trong nông nghiệp, nên kết quả có thể thiếu tính tổng quát.