Cross-Validation w praktyce

1. Analiza wrażliwości k in k-fold cross-validation

Załaduj plik csv: Vlagun_Phys_Years3.csv

Wpisz kod z obrazów jpg na kolejnych stronach

Uzyskiwanie danych wyjściowych :

1. Ocena idealnych warunków testowych

2. Oceń każdy k value, folds = from 2 to 31
3. Pokaż wykres średnich wartości k z min/max error bars
Wybierz wartości k o najwyższej accuracy score i wypisz je w markdown na końcu kodu.

Wyślij pełny kod z outputs do zadań w Teams.

Funkcja sklearn make_classification()

Funkcja make_classification() dokonuje klasyfikacji danych

zgodnie z parametrami zbioru danych.

Oto podstawowe parametry wejściowe funkcji

make_classification():

n_samples: Ile obserwacji chcesz wygenerować?

n_features: Liczba zmiennych numerycznych.
n_informative: Liczba zmiennych, które są "przydatne". Tylko te
funkcje przenoszą sygnał, którego model użyje do
sklasyfikowania zestawu danych.
n_classes: Liczba unikatowych klas (wartości) dla etykiety
docelowej.

Funkcja zwróci krotkę zawierającą dwie tablice NumPy - cechy

(X) i odpowiednie etykiety (y).
Pobierz plik z
katalogu z plikami
bazy danych.
Korzystaj z katalogu
lokalnego swojego
komputera
 Funkcja
make_classification

dodaj

output
output

output
2. Automatyczne porównanie skuteczności metod Cross Validation:
k-fold, stratified i Monte Carlo (shuffle)

w Logistic Regression, K-Nearest Neighbors, Support Vector Machines i Decision Tree models

Load csv file: Vlagun_Phys_Years3.csv

Wpisz kod z obrazów jpg na kolejnych stronach

Uzyskiwanie danych wyjściowych :

Accuracy of K-Nearest Neighbors Classifier (without CV)

Scores and mean score of K-NN Classifier with CV (k=3)

Results of K-NN with automatic CV (KFold, Stratified, Shuffle)

Automatic CV comparison of algorithms (LR, K-NN, SVM and DT)

Napisz w Markdown: 1. który typ CV uzyskał najwyższy acc. score dla modelu K-NN (cv=3)
2. który typ CV uzyskał najwyższy acc. score dla modeli LR, K-NN, SVM, i DT (cv=5),

Wyślij pełny kod z outputs i markdown do zadań w usłudze Teams.

K-NN
Classifier
K-NN acc. Bez CV

output

K-NN Class. + CV

output
Automatic CV
dla K-NN

KFold (3)

output
Stratified (3)

output
Shuffle MC (3)

output
 Automatic CV comparison of algorithms

5
KFold (5)

output
 5

Stratified (5)

output
5

Shuffle MC (5)

output
 3. Cross validation of SVM kernels porównanie

Load csv file: Vlagun_Phys_Years3.csv

Wpisz kod z obrazów jpg na kolejnych stronach

Uzyskiwanie danych wyjściowych :

Score for “linear” kernel (without CV)

Scores and its mean (accuracy +- SD) for “linear” kernel with KFold CV (K=5) without and
with scoring parameter (F1).

Scores and its mean (accuracy +- SD) for “linear” kernel with Monte Carlo CV (K=5)

Scores and its mean (accuracy +- SD) for “linear” kernel with Stratified CV (K=5)
Powtórz procedurę dla innych kernels (“poly”, “radial” or “sigmoid’)
Napisz w markdown na końcu kodu, które typy CV miały najwyższe acc. Score dla
poszczególnych kernels.
Wyślij pełny kodu z outputs do Teams.
K-Fold

K-Fold
(f1_macro)
Monte Carlo

Stratified

Powtórz procedurę dla innych kernels (“poly”, “radial” i “sigmoid’)