8.

Các phương pháp đánh giá dự kiến sử dụng

Phân tích ma trận:

Ma trận là một bảng 2x2 thể hiện hiệu suất dự đoán của mô hình.

Dự đoán Thực tế Mô tả

Sắp nghỉ Sắp nghỉ True Positive (TP): Số lượng nhân viên được dự
việc việc đoán sắp nghỉ việc và thực sự sắp nghỉ việc

Sắp nghỉ Không False Positive (FP): Số lượng nhân viên được dự
việc nghỉ việc đoán sắp nghỉ việc nhưng thực sự không nghỉ việc

Không Sắp nghỉ False Negative (FN): Số lượng nhân viên được dự
nghỉ việc việc đoán không nghỉ việc nhưng thực sự sắp nghỉ việc.

Không Không True Negative (TN): Số lượng nhân viên được dự

nghỉ việc nghỉ việc đoán không nghỉ việc và thực sự không nghỉ việc.

Từ ma trận, ta có thể tính toán các chỉ số sau:

 Độ chính xác (Accuracy): Là thước đo phổ biến nhất để đánh giá hiệu suất
của mô hình dự đoán.

Accuracy= (TP + TN) / (TP + FP + FN + TN)

Nhưng có thể bị ảnh hưởng bởi sự mất cân bằng trong tập dữ liệu (ví dụ: khi số lượng
nhân viên sắp nghỉ việc ít hơn nhiều so với số lượng nhân viên không nghỉ việc).

 Độ nhạy (Recall):Thể hiện tỷ lệ nhân viên sắp nghỉ việc được mô hình dự
đoán chính xác. Recall cao cho biết mô hình dự đoán tốt các trường hợp nhân
viên sắp nghỉ việc

Recall = TP / (TP + FN)

 Giá trị dự đoán dương (Precision):Tỷ lệ dự đoán nhân viên sắp nghỉ việc
chính xác trong tổng số các dự đoán nhân viên sắp nghỉ việc .
Precision cao cho biết mô hình dự đoán ít sai sót hơn trong việc xác định
những nhân viên sẽ nghỉ việc.

Precision= TP / (TP + FP)

 F1-score: F1-Score cao cho biết mô hình dự đoán cân bằng tốt giữa việc xác
định chính xác những nhân viên sẽ nghỉ việc (Precision) và việc xác định tất cả
những nhân viên sẽ nghỉ việc (Recall). F!-score là điểm trung bình điều hòa
giữa Precision (Độ chính xác dự đoán dương) và Recall (Độ nhạy).

F1-score= 2 * (Precision * Recall) / (Precision + Recall)

* Đường cong ROC và AUC

 Trục hoành (False Positive Rate - FPR): Tỷ lệ dự đoán nhân viên không nghỉ
việc sai (dự đoán nghỉ việc) so với tổng số nhân viên thực tế không nghỉ việc.
 Trục tung (True Positive Rate - TPR): Tỷ lệ dự đoán nhân viên nghỉ việc chính
xác so với tổng số nhân viên thực tế nghỉ việc.
 Diện tích dưới đường cong ROC (AUC - Area Under the Curve): Thể hiện khả
năng phân biệt giữa những nhân viên sẽ nghỉ việc và những nhân viên sẽ không
nghỉ việc của mô hình.

Ý nghĩa AUC:

 AUC càng cao, khả năng phân biệt của mô hình càng tốt.
 AUC = 0.5: Mô hình dự đoán không tốt hơn dự đoán ngẫu nhiên.
 AUC = 1.0: Mô hình dự đoán hoàn hảo.