Ilość informacji

Z Wikipedii, wolnej encyklopedii
Przejdź do nawigacji Przejdź do wyszukiwania

Ilość informacji – wielkość ujmująca (przedstawiająca) ilościowo właściwość zmniejszania (usuwania) nieokreśloności (niepewności), czyli informację, termin używany w matematycznej teorii informacji.

Ilościowym aspektem informacji zajmuje się statystyczno-syntaktyczna teoria informacji Hartleya i Shannona. Miary ilości informacji są w niej oparte na prawdopodobieństwie zajścia zdarzenia. Jako miarę ilości informacji przyjmuje się wielkość niepewności, która została usunięta w wyniku zajścia zdarzenia (otrzymania komunikatu)[1]. Zdarzenia (komunikaty) mniej prawdopodobne dają więcej informacji. To podejście pomija znaczenie (semantykę), jakie niesie komunikat, a skupia się jedynie na jego składni (syntaktyce).

Miary ilości informacji[edytuj | edytuj kod]

1. Ilość informacji otrzymanej przy zajściu zdarzenia (entropia tego zdarzenia, entropia indywidualna, samoinformacja komunikatu) to (Hartley 1928):

gdzie:

– ilość informacji otrzymanej przy zajściu zdarzenia
– prawdopodobieństwo zajścia zdarzenia
– podstawa logarytmu.

W teorii informacji najczęściej stosuje się logarytm o podstawie wówczas jednostką informacji jest bit (szanon[2]). Przy = e jednostką jest nat (nit), natomiast przy = 10 – dit (hartley).

2. Przeciętna ilość informacji przypadająca na zajście zdarzenia z pewnego zbioru zdarzeń (entropia bezwarunkowa tego zbioru, entropia zmiennej losowej, entropia przeciętna, przeciętna samoinformacja komunikatu) to średnia arytmetyczna ważona ilości informacji otrzymywanej przy zajściu poszczególnych zdarzeń, gdzie wagami są prawdopodobieństwa tych zdarzeń[3] (Shannon 1948):

gdzie:

– entropia bezwarunkowa zbioru X,
– liczba zdarzeń w zbiorze,
– prawdopodobieństwo zajścia zdarzenia

3. Ilość informacji o zdarzeniach ze zbioru X (wartościach zmiennej losowej X), np. komunikatach nadanych (stanach źródła informacji), zawarta w zdarzeniach ze zbioru Y (wartościach zmiennej losowej Y), np. komunikatach odebranych (stanach odbiorcy), tzw. informacja wzajemna, albo po prostu ilość informacji o X zawarta w Y, równa jest różnicy pomiędzy entropią bezwarunkową zbioru X (entropią źródła) a entropią zbioru X, jaka pozostaje po odebraniu komunikatu ze zbioru Y (entropią warunkową X pod warunkiem Y)[4][5]:

gdzie:

– informacja wzajemna Y o X,
– entropia bezwarunkowa zbioru (zmiennej) X,
– entropia warunkowa X pod warunkiem Y.

Innymi słowy, dotyczy informacji dostarczonej przez zmienną o zmiennej

Gdy odebrany komunikat zmniejsza nieokreśloność X do zera ilość przekazanej informacji jest równa entropii źródła Także (zawartość informacji w źródle, w zmiennej losowej, samoinformacja), gdyż

Przypisy[edytuj | edytuj kod]

  1. Stefan Mynarski, Elementy teorii systemów i cybernetyki, 1979, s. 155.
  2. szanon – Encyklopedia PWN.
  3. Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 156.
  4. Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 159.
  5. A.M. Jagłom, I.M. Jagłom, Prawdopodobieństwo i informacja, 1963 s. 91.