Ocena jakości klasyfikacji binarnej

Ocena jakości klasyfikacji jest jednym z problemów uczenia maszynowe-

go. Ma zasadnicze znaczenie w kwestii stwierdzenia, czy dany klasyfikator
jest dobrej, czy złej jakości. Brakuje jednak klasyfikatorów, które mogłyby
być zmieniane w zależności od stosowanej miary lub też optymalizowane ze
względu na kilka miar, a często w przypadku rzeczywistych problemów może
okazać się, że ważniejsze jest np. precyzja lub wyważenie dwóch różnych miar
oceny jakości klasyfikacji.
Poniżej zaprezentowane zostały wybrane, najpopularniejsze miary jako-
ści klasyfikacji binarnej (dla zbiorów danych z dwiema klasami decyzyjnymi),
możliwe do wyznaczenia na podstawie macierzy błędu (tab. 1). Dzięki ma-
cierzy błędu możliwa jest lepsza ocena jakości tej klasyfikacji na podstawie
informacji na temat klasy decyzyjnej obiektu oraz klasy, do której został on
sklasyfikowany. Takie informacje pozwalają wyznaczyć wartości dokładności,
czułości, precyzji, F-miary oraz współczynnika korelacji Matthewsa.

Tabela 1. Macierz błędu

Predykcja pozytywna Predykcja negatywna
Pozytywne Prawdziwie pozytywne Fałszywie negatywne
przypadki (P ) (T P ) (F N )
Negatywne Fałszywie pozytywne Prawdziwie negatywne
przypadki (N ) (F P ) (T N )

Należy zwrócić uwagę, że dokładność klasyfikacji jest miarą określającą

jedynie, jak dużo obiektów zostało poprawnie sklasyfikowanych. Natomiast
np. przy zastosowaniu precyzji możliwa jest ocena tego, z jaką ufnością może-
my założyć, że obiekt z danej klasy zostanie poprawnie sklasyfikowany. Jest
to szczególnie ważne w przypadku kiedy ważniejsza jest dla nas poprawna
klasyfikacja jednej z klas.
Dokładność
Dokładność jest jedną z najpopularniejszych miar oceny jakości klasyfikacji.
Trzeba jednak zaznaczyć, że nie jest to wystarczająca ocena np. w przypad-
ku zbiorów danych z dużym zróżnicowaniem liczności obiektów w klasach
decyzyjnych. Dokładność klasyfikacji określa stosunek poprawnie sklasyfiko-
wanych do wszystkich poprawnie i niepoprawnie sklasyfikowanych obiektów:

(T P + T N )
evacc (T, S) = . (1)
(T P + T N + F P + F N )

Czułość
Czułość, to miara oceniająca klasyfikator na podstawie błędnego sklasy-
fikowania obiektów z N klasy do klasy P . W tym przypadku lepsze jest
pominięcie niektórych obiektów z klasy P niż błędne przyporządkowanie
do niej obiektów z klasy N . Czułość wyznacza się na podstawie stosunku

1
poprawnie sklasyfikowanych obiektów do klasy P w stosunku do wszystkich
obiektów przyporządkowanych do tej klasy:
TP
evrec (T, S) = . (2)
(T P + F N )

Precyzja
Precyzja jest inną, prostą miarą stosowaną w przypadku klasyfikacji binar-
nej. Wyznaczana jest na podstawie wzoru (3), czyli stosunku poprawnie
sklasyfikowanych obiektów do klasy P w stosunku do wszystkich obiektów,
które powinny być sklasyfikowane do tej klasy. Można więc powiedzieć, że
w przypadku precyzji lepiej błędnie przypisać obiekt z klasy N do klasy P,
niż błędnie sklasyfikować obiekt z klasy P .
TP
evprec (T, S) = . (3)
(T P + F P )

F-miara
Próbą zrównoważenia precyzji i czułości jest F-miara. Jest to często stoso-
wana miara oceny klasyfikacji binarnej. W najprostszej postaci wyznacza się
ją na podstawie stosunku podwojonego iloczynu precyzji i czułości do sumy
tych dwóch miar:

evprec (T, S) · evrec (T, S)

evf m (T, S) = 2 · , (4)
evprec (T, S) + evrec (T, S)

a więc po odpowiednich podstawieniach uzyskujemy wzór:

(T P + T P )
evf m (T, S) = . (5)
(T P + T P + F P + F N )

Współczynnik korelacji Matthewsa

Współczynnik korelacji Matthewsa stosowany jest, jako miara oceny w bi-
narnej klasyfikacji. W przeciwieństwie do podanych powyżej czułości, pre-
cyzji i F-miary, jest on wyznaczany na podstawie całej macierzy błędu i
obliczany jest za pomocą wzoru:

(T P · T N − F P · F N )
evmcc (T, S) = p .
(T P + F P ) · (T P + F N ) · (T N + F P ) · (T N + F N )
(6)
Współczynnik korelacji Matthewsa uważany jest za dobrą miarę stosowaną
w przypadku, kiedy dysproporcja pomiędzy licznością obiektów w klasach
decyzyjnych jest bardzo duża.