Uniwersytet Warszawski, Wydział Nauk Ekonomicznych - Centralny System Uwierzytelniania
Strona główna

Introduction to Deep Learning

Informacje ogólne

Kod przedmiotu: 4010-IDL
Kod Erasmus / ISCED: (brak danych) / (0619) Komputeryzacja (inne) Kod ISCED - Międzynarodowa Standardowa Klasyfikacja Kształcenia (International Standard Classification of Education) została opracowana przez UNESCO.
Nazwa przedmiotu: Introduction to Deep Learning
Jednostka: Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego
Grupy:
Punkty ECTS i inne: 6.00 Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.
Język prowadzenia: angielski
Rodzaj przedmiotu:

fakultatywne

Tryb prowadzenia:

mieszany: w sali i zdalnie

Skrócony opis:

This course provides an introduction to deep learning on modern Intel® architecture. Deep learning has gained significant attention in the industry by achieving state of the art results in computer vision and natural language processing. Students learn techniques, terminology, and mathematics of deep learning. Students get knowledge on fundamental neural network architectures, feedforward networks, convolutional networks, and recurrent networks. They learn how to appropriately build and train these models and use them in applications.

Pełny opis:

1. Recaps of Machine Learning 501.

2. Basic nomenclature in deep learning: what is a neuron (and it’s similarity to a biological neuron), the architecture of a feedforward neural network, activation functions and weights.

3. How a neural network computes the output given an input in a single forward pass, and how to use this network to train a model. Learn how to calculate the loss and adjust weights using a technique called backpropagation. Different types of activation functions are also introduced.

4. Techniques to improve training speed and accuracy. Identify the pros and cons of using gradient descent, stochastic gradient descent, and mini-batches. With the foundational knowledge on neural networks covered in Weeks 2 through 4, learn how to build a basic neural network using Keras* with TensorFlow* as the backend.

5. How can you prevent overfitting (regularization) in a neural network? In this class, learn about penalized cost function, dropout, early stopping, momentum, and some optimizers like AdaGrad and RMSProp that help with regularizing a neural network.

6. Convolutional neural networks (CNN) and compare them to the fully connected neural networks already introduced. Learn how to build a CNN by choosing the grid size, padding, stride, depth, and pooling.

7. Using the LeNet-5* topology, learn how to apply all the CNN concepts learned in the last lesson to the MNIST (Modified National Institute of Standards and Technology) dataset for handwritten digits. With a trained neural network, see how the primitive features learned in the first few layers can be generalized across image classification tasks, and how transfer learning helps.

8. Deep learning literature talks about many image classification topologies like AlexNet, VGG-16 and VGG-19, Inception, and ResNet. This week, learn how these topologies are designed and the usage scenarios for each.

9.One practical obstacle to building image classifiers is obtaining labeled training data. Explore how to make the most of the available labeled data using data augmentation and implement data augmentation using Keras*.

10. Recurrent neural networks (RNN) and their application to natural language processing (NLP).

11. Advanced topics for developing an RNN and how the concept of recurrence can be used to solve the issue with variable sequence and ordering of words. Take out your notebook and pencil and work through the math of RNNs.

12. Long short term memory (LSTM).

Literatura:

Intel Academy:https://software.intel.com/en-us/ai-academy/students/kits/deep-learning-501

Efekty uczenia się:

Studenci zapoznają się z uczeniem maszynowym (Deep Learning), poznają podstawowe narzędzia i metody. Zapoznają się z podstawami sieci neuronowych, zasadami działania i przykładowymi implementacjami. Studenci uzyskują więdzę na temat stosowania uczenia maszynowego do rozwiązywania wybranych projektów.

Metody i kryteria oceniania:

Zaliczenie na podstawie samodzielnie opracowanego raportu na zadany temat oraz zaliczenia ćwiczeń (samodzielnej realizacji ćwiczeń w kursie on-line).

Zajęcia w cyklu "Semestr zimowy 2023/24" (zakończony)

Okres: 2023-10-01 - 2024-01-28
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Franciszek Rakowski
Prowadzący grup: (brak danych)
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin

Zajęcia w cyklu "Semestr letni 2023/24" (w trakcie)

Okres: 2024-02-19 - 2024-06-16
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Franciszek Rakowski
Prowadzący grup: (brak danych)
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Warszawski, Wydział Nauk Ekonomicznych.
ul. Długa 44/50
00-241 Warszawa
tel: +48 22 55 49 126 https://www.wne.uw.edu.pl/
kontakt deklaracja dostępności USOSweb 7.0.3.0 (2024-03-22)