Ilość informacji

Z Wikipedii, wolnej encyklopedii
Skocz do: nawigacja, szukaj

Ilość informacji – wielkość ujmująca (przedstawiająca) ilościowo właściwość zmniejszania (usuwania) nieokreśloności (niepewności), czyli informację, termin używany w matematycznej teorii informacji.

Ilościowym aspektem informacji zajmuje się statystyczno-syntaktyczna teoria informacji Hartleya i Shannona. Miary ilości informacji są w niej oparte na prawdopodobieństwie zajścia zdarzenia. Jako miarę ilości informacji przyjmuje się wielkość niepewności, która została usunięta w wyniku zajścia zdarzenia (otrzymania komunikatu)[1]. Zdarzenia (komunikaty) mniej prawdopodobne dają więcej informacji. To podejście pomija znaczenie (semantykę), jakie niesie komunikat, a skupia się jedynie na jego składni (syntaktyce).

Miary ilości informacji[edytuj | edytuj kod]

1. Ilość informacji otrzymanej przy zajściu zdarzenia x_i (entropia tego zdarzenia, entropia indywidualna, samoinformacja komunikatu) to (Hartley 1928):

I_i = h_i = \log_r \frac{1}{p_i} = - \log_r {p_i}
gdzie:
I_i – ilość informacji otrzymanej przy zajściu zdarzenia x_i,
p_i – prawdopodobieństwo zajścia zdarzenia x_i,
r – podstawa logarytmu.

W teorii informacji najczęściej stosuje się logarytm o podstawie r = 2, wówczas jednostką informacji jest bit (szanon[2]). Przy r = e jednostką jest nat (nit), natomiast przy r = 10 – dit (hartley).

2. Przeciętna ilość informacji przypadająca na zajście zdarzenia z pewnego zbioru n zdarzeń (entropia bezwarunkowa tego zbioru, entropia zmiennej losowej, entropia przeciętna, przeciętna samoinformacja komunikatu) to średnia arytmetyczna ważona ilości informacji otrzymywanej przy zajściu poszczególnych zdarzeń, gdzie wagami są prawdopodobieństwa tych zdarzeń[3] (Shannon 1948):

H(X)=\sum_{i=1}^np_i\log_r \frac{1}{p_i}= - \sum_{i=1}^np_i\log_r {p_i}\,\!
gdzie:
H(X) – entropia bezwarunkowa zbioru X,
n – liczba zdarzeń w zbiorze,
pi – prawdopodobieństwo zajścia zdarzenia xi.

3. Ilość informacji o zdarzeniach ze zbioru X (wartościach zmiennej losowej X), np. komunikatach nadanych (stanach źródła informacji), zawarta w zdarzeniach ze zbioru Y (wartościach zmiennej losowej Y), np. komunikatach odebranych (stanach odbiorcy), tzw. informacja wzajemna, albo po prostu ilość informacji o X zawarta w Y, równa jest różnicy pomiędzy entropią bezwarunkową zbioru X (entropią źródła) a entropią zbioru X, jaka pozostaje po odebraniu komunikatu ze zbioru Y (entropią warunkową X pod warunkiem Y)[4][5]:

I(X;Y)  =  H(X) - H(X|Y) \,
gdzie:
I(X;Y) – informacja wzajemna Y o X,
H(X) – entropia bezwarunkowa zbioru (zmiennej) X,
H(X|Y) – entropia warunkowa X pod warunkiem Y.

Innymi słowy, I(X:Y)\; dotyczy informacji dostarczonej przez zmienną Y\; o zmiennej X\;.

Gdy odebrany komunikat zmniejsza nieokreśloność X do zera (H(X|Y) = 0 \,), ilość przekazanej informacji jest równa entropii źródła I(X;Y) = H(X) \,. Także I(X;X) = H(X) \, (zawartość informacji w źródle, w zmiennej losowej, samoinformacja), gdyż H(X|X) = 0 \,.

Przypisy

  1. Stefan Mynarski, Elementy teorii systemów i cybernetyki, 1979 s. 155.
  2. szanon – Encyklopedia PWN.
  3. Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 156.
  4. Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 159.
  5. A.M. Jagłom, I.M. Jagłom, Prawdopodobieństwo i informacja, 1963 s. 91.