Teoria informacji

monograficzne

Wprowadzenie w teorię przydatną w wielu zastosowaniach informatyki, jak m.in. w kryptografii, przy modelowaniu języka naturalnego, czy w bio-informatyce. Teoria ta określa ilościowe miary informacji zawartej w zmiennej losowej lub w ciągu bitów. Wprowadza także kryteria optymalnego kompresowania (kodowania) informacji i przesyłania wiadomości przez niepewny kanał.

W przypadku braku studentów obcojęzycznych, zajęcia będą prowadzone po polsku.

1.Od gry w 20 pytań do pojęcia entropii. Nierówność Krafta. Kody Huffmana i Shannona-Fano.

2.Entropia warunkowa, informacja.

3.Pierwsze twierdzenie Shannona o optymalnym kodowaniu.

4.Kanały, utrata informacji, poprawa wydajności, przepustowość.

5.Główne twierdzenie Shannona o optymalnym przesyłaniu informacji.

6.Złożoność informacyjna Kołmogorowa . Liczba Chaitina.

7.Złożoność informacyjna Kołmogorowa a entropia Shannona - uniwersalny test Martina Loffa.

W przypadku braku studentów obcojęzycznych, zajęcia będą prowadzone po polsku.

1. "Information and Coding Theory" by Gareth A. Jones and J. Mary Jones, Springer, 2000.

2. "Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas,

Wiley Series in Telecommunications, 1991.

Wiedza

Student

-- rozumie podstawowe pojęcia teorii informacji: entropia, informacja wzajemna, kanały komunikacyjne, przepustowość kanału, złożoność Kołmogorowa,

-- rozumie teoretyczne ograniczenia na efektywność zapisu (kompresji) informacji i na niezawodność komunikacji,

-- rozumie zasady działania algorytmów kompresji i algorytmów korekcji błędów.

Umiejętności

Student

-- potrafi zastosować pojęcie entropii w analizie danych,

-- potrafi wyznaczyć przepustowość kanału informacyjnego,

-- potrafi zastosować praktycznie algorytmy kompresji i metody korekcji błędów.

Kompetencje

Student dobrze rozumie matematyczny aspekt pojęcia informacji i potrafi wykorzystać

tę wiedzę zarówno w samej informatyce np. przy projektowaniu sieci i systemów rozproszonych,

zarządzaniu pamięcią masową itp., jak i w zastosowaniach informatyki, w szczególności

w analizie danych, kryptografii i bioinformatyce.

Na ocenę końcową składają się wyniki systematycznej pracy w ciągu semestru, wyniki kolokwium oraz wyniki egzaminu pisemnego.