Machine Learning 2: predictive models, deep learning, neural network

obowiązkowe

Kurs przedstawia bardziej zaawansowane metody uczenia maszynowego: drzewa decyzyjne oraz sieci neuronowe. Praktyczne przykłady obejmują metody oceny mocy predykcyjnej modelu na próbach treningowej, walidacyjnej oraz testowej, metod wyboru predyktorów oraz uczenia łączonego (ensembling). Omawiane są zarówno przykłady praktyczne jak i wprowadzenie teoretyczne. Praktyczne aplikacje modeli stosowane są w problemach regresji oraz klasyfikacji, metody klasyfikacji i rozpoznawania obrazów, przetwarzania i prognozowania sekwencji i szeregów czasowych, a także wdrożenia tych metod w środowisku chmurowym.

1. Drzewa decyzyjne w analizie regresji: metody budowania drzewa, algorytmy podziału: CART, C5.0, kryteria podziału, interpretacja wyników, problem przeuczenia modelu, kryteria stopu, metody przycinania drzewa, parametr koszt-złożoność drzewa, proces walidacji krzyżowej, testowania drzewa, budowanie predykcji za pomocą drzew.

2. Drzewa decyzyjne w analizie klasyfikacji: kryteria podziału i miary niejednorodności węzła, współczynnik Gini’ego, współczynnik Information Gain, entropia węzła, podziały główne i zastępcze

3. Bagging drzew i lasy losowe: metody bootstrapingu i namnażania obserwacji, losowanie ze zwracaniem, subagging, randomizowanie predyktorów, uśrednianie drzew, błąd OOB, metody tuningu parametrów

4. Boosting drzew: klasyfikatory słabe i vs. klasyfikatory silne, metoda gradient boosting oraz extreme gradient boosting, regularyzacja, boosting adaptacyjny

5. Uczenie łączone (ensemble learning): uśrednianie proste oraz ważone, głosowanie większościowe, głosowanie ważone, warstwowanie modeli

6. Sieci neuronowe: sztuczne neurony, topologia sieci neuronowych, warstwa wejściowa, warstwa ukryta, warstwa wyjściowa, wagi, obciążenie, funkcje aktywacyjne, metoda propagacji wstecznej, metody modyfikacji wag.

7. Konwolucyjne sieci neuronowe: filtry, pola recepcyjne, mapy aktywacji, struktura sieci CNN, warstwy konwolucyjne, warstwy ReLu, warstwy łączące, warstwy usuwające, parametr kroku, parametr otoczenia, uczenie transferowe, metody wspomagania danych

8. Rekurencyjne sieci neuronowe: przetwarzanie sekwencji, pętla wewnętrzna, połączenie rekurencyjne, zmienna stanu, problem znikającego gradientu, warstwy LSTM/GRU, pas transmisyjny, powtarzające się usuwanie, warstwowanie, dwukierunkowe sieci rekurencyjne, prognozowania szeregów czasowych, klasyfikowanie sekwencji, analiza sentymentu

1. Chollet, Allaire (2017) “Deep Learning with R”, Manning Publications

2. Chollet, Allaire (2017) “Deep Learning with Python”, Manning Publications

3. Géron Aurélien (2018) Hands-On Machine Learning with Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems

4. Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani (2017), “Introduction to statistical learning. With Applications in R”, Springer-Verlag

5. Kuhn Max, Johnson Kjell (2013), “Applied predictive modelling”, Springer-Verlag

6. Hastie Trevor, Robert Tibshirani and Jerome Friedman (2009), “Elements of statistical learning”, Springer-Verlag

7. Zheng Alice (2018), Feature Engineering for Machine Learning: Principles and Techniques for Data Scientists, O’Reilly

8. Lantz Brett (2013), “Machine Learning with R”, Packt, open source

Po zakończeniu kursu uczestnicy będą posiadali ustrukturyzowaną i pogłębioną wiedzę z zakresu drzew decyzyjnych oraz sieci neuronowych. Będą potrafili zastosować te metody do rozwiązywania problemów w dziedzinie analizy regresji oraz klasyfikacji. Będą także rozumieli zasadę działania konwolucyjnych oraz rekurencyjnych sieci neuronowych. Będą posiadali wiedzę i praktyczne umiejętności programistyczne pozwalające na wdrożenie tych metod w praktyce, także w środowisku chmurowym. Będą potrafili dokonać właściwej oceny modeli oraz interpretacji wyników oraz wytłumaczyć zasadę ich działania dla osób spoza dziedziny uczenia maszynowego.

K_W01, K_U01, K_U02, K_U03, K_U04, K_U05, KS_01,

projekt domowy