Professional Documents
Culture Documents
Ризикологія
Ризикологія
Завантаження даних
Desicion Tree
Predict
Model Evaluation
З результатів моделі класифікації дерева рішень можна помітити, що: Навчання:
модель має точність 86,14% і точність/позитивне прогнозне значення 85,71%.
Тестування: модель має точність 81% і точність/позитивне прогнозне значення
50%. Ці результати вказують на те, що модель працює не дуже добре і можливо
страждає від надмірного або недостатнього оснащення.
Спосіб 2
Random Forest
Результат є відомостями про модель випадкового лісу, яка була побудована за
допомогою крос-валідації на наборі даних з 700 спостережень та 10
предикторами для класифікації на дві класи '0' та '1'.
Були розглянуті три значення параметру mtry: 2, 14 та 27. Найвища точність
була досягнута при mtry = 2.
Зазначено, що для вибору оптимальної моделі використовувалася точність
(Accuracy), та оптимальне значення параметру mtry було встановлено рівним 2.
Таким чином, модель Random Forest досягла точності приблизно 85,6% і
коефіцієнта каппа приблизно 0,02 під час навчання з mtry = 2.
Далі, виведені значення важливості змінних. Важливість змінних може
допомогти в інтерпретації моделі та виборі найбільш важливих факторів для
класифікації.
З останнього рядка результату можна бачити вихідну інформацію щодо
побудованої моделі випадкового лісу, включаючи кількість дерев (500),
кількість змінних, що спробувані на кожному розбитті (2), а також оцінку
помилки "out-of-bag" (OOB), яка складає 14.29%. Також подано матрицю
помилок, що вказує на кількість правильно та неправильно класифікованих
прикладів для кожного класу.
Також вищенаведені значення представляють відносну важливість кожної
змінної предиктора в моделі. Вищі значення вказують на більшу важливість у
прогнозуванні змінної результату. У цьому випадку Credit_amount (сума
кредиту), вік та період є найважливішими змінними в моделі.
У моделі model_rf значення помилки Out of Bag Error становить 14.29%. Таким
чином, точність моделі за даними тесту (поза даними мішка) становить 100% -
14.29% = 85,71%.
Predict
Істинно негативний (TN): модель правильно передбачила 0 (не
кредитоспроможний) випадків, і фактичне значення також дорівнює 0. У цьому
випадку кількість становить 0.
Хибнопозитивний результат (FP): модель передбачила 1 (кредитоспроможний),
але фактичне значення 0 (не кредитоспроможний). У цьому випадку рахунок
дорівнює 0.
Помилково негативний (FN): модель передбачила 0 (не кредитоспроможний), але
фактичне значення дорівнює 1 (кредитоспроможний). У цьому випадку рахунок
дорівнює 57.
Model Evaluation
З результатів моделі класифікації Random Forest можна помітити, що: Навчання:
модель досягла точності 85,86% і значення точності/позитивного прогнозування
100%. Тестування: модель досягла точності 81% ,показник
точності/позитивного прогнозування не було обраховано. Результати
показують, що продуктивність моделі перевищує 80%, з невеликою
ймовірністю переобладнання.