Text mining w języku Python

nieobowiązkowe

Uczestnictwo w zajęciach “Wprowadzenie do programowania w języku Python” lub w innym kursie z zbliżonym programem

W ramach zajęć studentki i studenci poznają podstawowe metody przetwarzania języka naturalnego oraz text-miningu.

Nabyte umiejętności umożliwią im samodzielną pracę z wykorzystaniem metod data science na studiach magisterskich lub na przedmiocie „Nowe technologie i wyzwania społeczne”.

- Przegląd zastosowań języka Python: pozyskiwanie danych, analiza, wizualizacja

- Przegląd metod Natural Language Processing

- Regular expressions

- Tokenizacja słów, stemming, n-gramy, lematyzacja

- Tagowanie części mowy

- Klasyfikacja tekstu

- Analiza sentymentu

- Wektory TF-IDF

- Analiza Semantyczna, modelowanie tematyczne (LSA, LDA, PCA)

- Wykorzystanie sieci neuronowych w text-miningu

- Wektory słów: Word2Vec

- Klastrowanie tekstów z wykorzystaniem algorytmu t-SNE

- Konsultacje wyboru tematu i metodologii do case study

- Prezentacja case study wykorzystującego wybraną technikę poznaną w trakcie kursu (2 zajęcia)

Zajęcia opierać się będą na materiałach przygotowanych przez prowadzącego lub źródłach internetowych. Literatura obowiązkowa nie jest przewidziana.

WIEDZA

- Student zna popularne zastosowania języka Python w różnych obszarach badawczych

- Student zna podstawowe biblioteki służące do analizy tekstu w języku Python

- Student zna popularne metody analizy tekstu stosowane przy użyciu języka Python

- Student zna najważniejsze techniki wizualizacji danych

UMIEJĘTNOŚCI

- Student potrafi stworzyć i zarządzać bazą danych w języku Python

- Student umie przeanalizować duży zbiór tekstowy przy użyciu technik text miningowych

- Student umie sprawnie wizualizować dane z wykorzystaniem dobrych praktyk prezentacji

KOMPETENCJE SPOŁECZNE

- Student jest zaznajomiony z zasadami etycznego oraz legalnego przetwarzania danych

Prezentacja końcowa