Teoria informacji

Z Wikipedii, wolnej encyklopedii
Skocz do: nawigacja, szukaj

Teoria informacjidyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Naukowo teoria informacji jest blisko powiązana z matematyką dyskretną, a z jej osiągnięć czerpią takie dyscypliny jak informatyka i telekomunikacja.

Historia i charakterystyka teorii informacji[edytuj | edytuj kod]

Za ojca teorii informacji uważa się Claude'a E. Shannona, który prawdopodobnie po raz pierwszy użył tego terminu w 1945 roku w swojej pracy zatytułowanej "A Mathematical Theory of Cryptography". Natomiast w 1948 roku w kolejnej pracy pt. "A Mathematical Theory of Communication" przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce Marian Mazur stworzył oryginalną teorię opisującą zarówno ilość jak i jakość informacji. Opisał ją m.in. w wydanej w 1970 roku książce Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona – wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.

Ważne pojęcia teorii informacji:

Zobacz wyższe jednostki informacji.

  • entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach.

Wzór na entropię to:

H(x)=-\sum_{i=1}^np(i)\log_r p(i)\,\!

gdzie p(i) to prawdopodobieństwo zajścia zdarzenia i, r to wartościowanie kodu.

Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.

Model statystyczny rzędu N[edytuj | edytuj kod]

Jest to model rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków:

  • model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków
  • model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak
  • model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki
  • model nieskończonego rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.

Zobacz też[edytuj | edytuj kod]

Bibliografia[edytuj | edytuj kod]

  • Thomas M. Cover, Joy A. Thomas, Elements of Information Theory. Wiley Series in Telecommunications, 1991.
  • Gareth A. Jones, Mary J. Jones, Information and Coding Theory. Springer, 2000.
  • David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
  • Ming Li, Paul Vitanyi, An Introduction to Kolmogorov Complexity and Its Applications. Springer, 1997.
  • Marian Mazur, Jakościowa teoria informacji. WNT, Warszawa 1970, ss. 223.

Linki zewnętrzne[edytuj | edytuj kod]