Entropia metryczna

Entropia metryczna – entropia (teoria informacji) znormalizowana przez długość wiadomości. Pozwala zmierzyć losowość informacji, ponieważ entropia Shannona wzrasta liniowo ze wzrostem długości wiadomości. Normalizacja przez długość wiadomości daje tę samą informację, ale jest niezależna od długości wiadomości.

Wzór na entropię metryczną:

$H(x)={\frac {1}{L}}\sum _{i=1}^{n}p(i)\log _{r}{\frac {1}{p(i)}}=-{\frac {1}{L}}\sum _{i=1}^{n}p(i)\log _{r}{p(i)},$

gdzie:

$L$ – długość wiadomości,

$p(i)$ – prawdopodobieństwo zajścia zdarzenia $i,$

$n$ – liczba wszystkich zdarzeń danej przestrzeni.

W przypadku kodowania ciągu znaków jest to prawdopodobieństwo wystąpienia $i$-tego znaku.

Entropia metryczna spada do zera przy jednolitym ciągu znaków w wiadomości i rośnie monotonicznie wraz ze wzrostem różnorodności wiadomości osiągając wartość 1 dla wiadomości maksymalnie zróżnicowanej.

Linki zewnętrzne

• kalkulator entropii – jak obliczyć i interpretować entropię metryczną dowolnej wiadomości