Úvod do cvičení z predmetu

Strojové učenie a neurónové siete

19. september 2023

I-SUNS seminár 1
 Základné informácie

- Kontakty:
- Vanesa Andicsová - vanesa.andicsova@stuba.sk (C7 INOLab)
- Dominik Pružinský - dominik.pruzinsky@stuba.sk (C7 INOLab)
- Prezentácie a zadania budú zdieľané v AIS
- Organizácia:
- 2h prednáška
- 2h seminár (1. hodina povinná - vysvetlenie učiva, predstavenie zadania, 2. hodina nepovinná - ukážky kódu, konzultácie)
- 1h cvičenie (povinné) - práca na zadaní, preberanie zadania
- Podmienky získania zápočtu:
1. Aktívna účasť na seminároch a cvičeniach (max. 2 ospravedlnené neúčasti).
2. Vypracovanie a odovzdanie všetkých zadaní do konca semestra:
- Odovzdanie kódu a dokumentácie do AIS.
- Predstavenie zadania cvičiacemu (na cvičení alebo počas konzultácií), kde bude zadanie skontrolované aj obodované.
3. Individuálne vypracovanie zadaní
- Nie je povolená práca v skupinách.
- Pri online zdrojoch je treba do komentára alebo dokumentácie uviesť min. adresu zdroja.
4. Získanie minimálne 20 bodov počas semestra (zo 45).
Obsah cvičení - harmonogram
Seminár Cvičenie Téma Zadania Dátum
1. Úvod do predmetu, strojového učenia a neurónových sietí 19.09.2023
1. IRIS dataset - práca s dátami, knižnice 21.09.2023
2. Predstavenie Z1 26.09.2023
2. 28.09.2023
3. Jednoduché neurónové siete, predspracovanie a príprava dát, metódy vyhodnocovania úspešnosti, EDA 03.10.2023
Trénovanie neurónových sietí I. - spätná propagácia, gradientný zostup
3. Trénovanie neurónových sietí II. - solvery, babysitting trénovacieho procesu 05.10.2023
4. 10.10.2023
4. 12.10.2023
5. Predstavenie Z2 17.10.2023
6. Učenie bez učiteľa - redukcia dimenzie a zhlukovanie 24.10.2023
5. Preberanie Zadania 1 Deadline Z1 26.10.2023
7. 31.10.2023
6. Stroje s podpornými vektormi 02.11.2023
8. Súborové učenie 07.11.2023
7. 09.11.2023
9. Predstavenie Z3 14.11.2023
8. Preberanie Zadania 2 Deadline Z2 16.11.2023
10. 21.11.2023
9. 23.11.2023
11. Hlboké konvolučné siete 28.11.2023
10. Transfer learning, regularizácia v neurónových sieťach 30.11.2023
12. 05.12.2023
11. 07.12.2023
12. Preberanie Zadania 3 Deadline Z3 a všetkého 12.12.2023
Zadania
- Zadanie 1 - Neurónové siete (15 bodov)
- Trénovanie neurónových sietí
- Sledovanie trénovacieho procesu
- EDA
- Zadanie 2 - Iné metódy strojového učenia
(10 bodov)
- Analýza dát
- SVM, súborové učenie
- Regresné problémy a vyhodnocovanie
- Učenie bez učiteľa
- Zadanie 3 - Konvolučné siete (15 bodov)
- Konvolučné neurónové siete
- Regularizácia
- Vypracovanie zadaní:
- Ľubovoľný programovací jazyk (Python, C++, R, Matlab ...)
- Hodnotíme na základe postupu a odôvodnení, nie úspešností - min.
podmienka je presiahnuť náhodnú úspešnosť
- Odovzdávanie zadaní:
- Na miesto odovzdania do AIS (pred cvičením):
- Kód (nie projekt)
- Dokumentácia - jasne popisuje postup, ukazuje výsledky,
zdôvodňuje rozhodnutia
- Bodovanie zadaní:
- Z cvičení max. 45 bodov
- 3 x zadanie spolu 40 bodov
- 5 bodov za aktivitu - dajú sa získať za:
- skoré odovzdanie (1 bod/týždeň )
- nepovinné úlohy (2-4 body pri každom zadaní)
- výnimočne dobré vypracovanie zadania
- mimoriadne aktívna účasť na cvičeniach
- Je možné zadania odovzdávať neskôr - každý začatý týždeň omeškania sa
penalizuje stratou 2 bodov
Strojové učenie

Zdroje:
https://towardsdatascience.com/object-detection-using-deep-learning-approaches-an-end-to-end-theoretical-perspective-4ca27eee8a9a
https://massivesci.com/notes/maggot-forensics-machine-learning/
https://interestingengineering.com/europes-first-artificial-intelligence-space-missions
https://robots.net/ai/exciting-ai-games-you-should-play-right-now/
https://www.nature.com/articles/d41586-019-02939-0
https://www.infoworld.com/article/3574949/what-are-deepfakes-ai-that-deceives.html
https://www.theverge.com/2022/9/15/23340673/ai-image-generation-stable-diffusion-explained-ethics-copyright-data
 Strojové učenie

- Supervised
- Unsupervised
- Reinforcement learning
učiteľ
Zjednodušený diagram:
Trénovanie Trénovacie
Výstupné dáta
dáta
Vstupné dáta Očakávané
výstupy

Algoritmus/model Rozhodovanie

https://bigdata-madesimple.com/machine-learning-explained-understanding-supervised-unsupervised-and-reinforcement-learning/
 Strojové učenie

- Supervised
- Unsupervised
- Reinforcement learning

Zjednodušený diagram:
Výstupné dáta
Vstupné dáta

Interpretácia dát Algoritmus Rozhodovanie

https://bigdata-madesimple.com/machine-learning-explained-understanding-supervised-unsupervised-and-reinforcement-learning/
 Strojové učenie

- Supervised
- Unsupervised
- Reinforcement learning

Zjednodušený diagram:
Prostredie
Prostredie Výstup

Akcia
Odmena
Stav

Rozhodovanie
Agent
https://bigdata-madesimple.com/machine-learning-explained-understanding-supervised-unsupervised-and-reinforcement-learning/
Strojové učenie
- Klasifikácia
- Delenie do tried
- Regresia
- Predikcia číselného výstupu
- Zhlukovanie
- Vytváranie tried podľa spoločných charakteristík
- Transformácia dát
- Snaha o zobrazenie v inom (menejrozmernom) priestore

- Problémy so štruktúrovaným výstupom

- Predikcia viacrozmerného výstupu
- Ranking
- Ohodnocovanie/zoraďovanie vstupov
- Asociačné pravidlá
- Hľadanie vzťahov medzi premennými v rozsiahlych štruktúrach
https://developers.google.com/machine-learning/problem-framing
Dáta a modelovanie

https://www.desmos.com/calculator/xduevzkcv4
Dáta a modelovanie

https://www.desmos.com/calculator/0vthgx6xzs