Uczenie statystyczne

monograficzne

Celem przedmiotu jest wprowadzenie podstawowych pojęć i narzędzi statystycznych używanych w uczeniu maszynowym takich jak regresja liniowa, logistyczna i wielowymiarowa, klasyfikatory, metody redukcji wymiaru, metody bayesowskie.

Szczegółowy program

1. Statystyka eksploracyjna (2-3 zajęcia)
1. Basic summary statistic (wartość średnia, mediana, wariancja próbki, etc.)
2. Wizualizacja danych (histogram, wykres pudełkowy, estymator jądrowy gęstości)
3. Analiza głównych składowych
4. Klasteryzacja, klasteryzacja hierarchiczna, k-średnie, k-medoidy 
2. Teoria statystyki (4-5 zajęć)
1. Podstawowe definicje (modele statystyczne, statystyki, wiarygodność, etc.)
2. Teoria szacowania (estymatory największej wiarygodności, efektywność, błąd średniokwadratowy, kompromis między obciążeniem a wariancją, przedziały ufności)
3. Testowanie hipotez statystycznych (błędy typu I i II, moc testu, poziom istotności, wartość p)
4. Problemy związane z wartością p (efekt rozmiaru, testowanie wielu hipotez)
5. Wnioskowanie bayesowskie (rozkład a priori, rozkład a posteriori, ryzyko bayesowskie i estymator bayesowski, przedziały wiarygodności)
6. Odległość między miarami prawdopodobieństwa (dywergencja Kullbacka-Leiblera, miara maksymalnej różnicy, etc.)
3. Proste modele regresyjne i klasyfikacyjne (3-4 zajęć)
1. Regresja liniowa 
2. Klasyfikacja. Regresja logistyczna, LDA, QDA
3. Walidacja krzyżowa i bootstrap
4. Wybór modelu i regularyzacja, regresja grzbietowa, metoda Lasso, algorytm forward-backward
4. Modele zaawansowane (3 zajęcia)
1. Modele drzewiaste, bagging, lasy losowe, boosting
2. Maszyna wektorów nośnych
3. Modele nieliniowe: funkcje sklejane, uogólnione modele addytywne

1. Trevor Hastie, Robert Tibshirani, Jerome H., The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer, Berlin

2. Andrew Ng, Machine Learning Yearning, https://github.com/ajaymache/machine-learning-yearning

Wiedza: student zna i rozumie

* w pogłębionym stopniu - podstawową wiedzę z działów matematyki niezbędnych do studiowania uczenia maszynowego (rachunek prawdopodobieństwa, statystyka, analiza wielowymiarowa, i algebra liniowa) [K_W05];

* w uporządkowany i podbudowany teoretycznie sposób wiedzę w zakresie podstawowych narzędzi statystycznych stosowanych w modelowaniu i analizie danych [K_W07].

Umiejętności: student potrafi

* konstruować rozumowania matematyczne [K_U06];

* wyrażać problemy w języku matematyki [K_U07];

* stosować techniki nowoczesnej statystycznej analizy danych [K_U10].

Kompetencje społeczne: student jest gotów do

* krytycznej oceny posiadanej wiedzy i odbieranych treści [K_K01];

* uznawania znaczenia wiedzy w rozwiązywaniu problemów poznawczych i praktycznych oraz zasięgania opinii ekspertów w przypadku trudności z samodzielnym rozwiązaniem problemu [K_K02];

* myślenia i działania w sposób przedsiębiorczy [K_K03].

Wpływ na ocenę końcową: test końcowy (60%), dwa zadania programistyczne na ocenę (40%), aktywność w trakcie labów (10%).