Uczenie głębokie i uczenie ze wzmocnieniem

Opis kursu.
● Kurs ten skupia się na zaawansowanych technikach uczenia maszynowego, w szczególności
na uczeniu głębokim i uczeniu ze wzmocnieniem.
● Studenci zdobędą głębszą wiedzę na temat sieci neuronowych, głębokich architektur
sieciowych oraz algorytmów uczenia ze wzmocnieniem, a także nabędą odpowiednie
umiejętności praktyczne.

Wymagania wstępne:
➔ Podstawowa znajomość uczenia maszynowego.

➔ Dobra znajomość języka programowania Python.

Program zajęć:
Wykład 1. Podstawy Uczenia Głębokiego
• Przegląd podstawowych koncepcji uczenia głębokiego
• Budowa prostych sieci neuronowych
• Funkcje aktywacji i propagacja wsteczna
• Regularyzacja i unikanie przeuczenia

Wykład 2. Głębokie sieci konwolucyjne (CNN)

• Wprowadzenie do sieci konwolucyjnych
• Struktura warstw konwolucyjnych i poolingowych
• Zastosowania sieci CNN w rozpoznawaniu obrazów

Wykład 3: Głębokie sieci rekurencyjne (RNN)

• Wprowadzenie do sieci rekurencyjnych
• Budowa i działanie warstw rekurencyjnych
• Zastosowania sieci RNN w analizie sekwencji danych

Wykład 4: Zaawansowane techniki uczenia głębokiego

• Autoenkodery i ich zastosowania w redukcji wymiarowości
• Sieci GAN
• „Transfer Learning” i dostrajanie
Wykład 5: Uczenie ze wzmocnieniem: zaawansowane techniki
• Metody Monte Carlo w uczeniu ze wzmocnieniem
• Metoda „actor-critic”
• Modelowanie dynamiki środowiska

Wykład 6: Modelowanie „polityk” w uczeniu ze wzmocnieniem

• Metody modelowania „polityk”: Metoda prostego przeszukiwania, metoda gradientu
„polityki”
• Przewidywanie i optymalizacja wartości akcji

Wykład 7: Zaawansowane zagadnienia w uczeniu ze wzmocnieniem

• Hierarchiczne uczenie ze wzmocnieniem
• Wieloagentowe uczenie ze wzmocnieniem
• Uczenie z wykorzystaniem funkcji wartości krytycznej

Ćwiczenia laboratoryjne:
Ćwiczenie 1: Implementacja prostych sieci neuronowych w TensorFlow/Keras
• Budowanie i trenowanie prostych modeli sieci neuronowych w TensorFlow/Keras
• Ocena wydajności modeli na zestawie danych testowych

Ćwiczenie 2: Implementacja sieci konwolucyjnych w zastosowaniu do rozpoznawania

obrazów
• Implementacja i trenowanie sieci konwolucyjnych w TensorFlow/Keras do rozpoznawania
obrazów
• Ocena wydajności modeli na zbiorze testowym

Ćwiczenie 3: Implementacja Sieci Rekurencyjnych w analizie tekstu

• Implementacja i trenowanie sieci rekurencyjnych w TensorFlow/Keras do analizy tekstu
• Ocena wydajności modeli

Ćwiczenie 4: Generowanie Obrazów za pomocą sieci GAN

• Implementacja i trenowanie sieci GAN do generowania obrazów
• Ocena jakości generowanych obrazów

Ćwiczenie 5: Implementacja metody Monte Carlo w uczeniu ze wzmocnieniem

• Implementacja i ocena algorytmu Metody Monte Carlo w uczeniu ze wzmocnieniem
w prostym środowisku
Ćwiczenie 6: Implementacja metody „actor-critic” w uczeniu ze wzmocnieniem
• Implementacja i ocena metody actor-critic w uczeniu ze wzmocnieniem w środowisku z
jednym agentem
Ćwiczenie 7: Projekt zastosowania uczenia ze wzmocnieniem
• Samodzielne zaprojektowanie i zaimplementowanie algorytmu uczenia ze wzmocnieniem
do rozwiązania konkretnego problemu
• Ocena wydajności i skuteczności zaprojektowanego rozwiązania