Entropia warunkowa

Z Wikipedii, wolnej encyklopedii
Skocz do: nawigacja, szukaj

Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej Y, jeśli wcześniej znamy wartość innej zmiennej losowej X. Zapisuje się ją jako H(Y|X) \, i tak jak inne entropie mierzy w bitach.

Intuicyjnie entropia ta mierzy, o ile entropia pary zmiennych X i Y jest większa od entropii samej zmiennej X, czyli ile dodatkowej informacji dostajemy na podstawie zmiennej Y, jeśli znamy zmienną X.

Definicja[edytuj | edytuj kod]

Formalnie dla dyskretnych zmiennych losowych X i Y entropia Y warunkowana przez X może być zdefiniowana jako:

 H(Y|X) = \sum_{x \in X} p(x) H(Y|x),

gdzie

 H(Y|x) = \sum_{y \in Y} p(y|x) \log \frac{1}{p(y|x)}.

A zatem:

 H(Y|X) = \sum_{x \in X} p(x) \sum_{y \in Y} p(y|x) \log \frac{1}{p(y|x)}.

Wzór ten można zapisać również jako:

 H(Y|X) = - \sum_{y \in Y} \sum_{x \in X} p(x,y) \log \frac{p(x,y)}{p(x)} .

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:

 H(Y|X) = - \int\limits_Y \int\limits_X p(x,y) \log \frac{p(x,y)}{p(x)} \; dx \,dy \!,

gdzie p(x,y) oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a p(x) jest gęstością prawdopodobieństwa X.

Alternatywnie tę samą definicję można zapisać jako

H(Y|X) = H(X,Y) - H(X) \,,

gdzie H(X,Y) oznacza entropię produktową X i Y, a H(X) oznacza entropię X.

Jeśli X i Y są niezależne, poznanie X nie daje żadnych informacji o Y. Wtedy entropia warunkowa jest po prostu równa entropii Y: H(Y|X) = H(Y) \,. Z drugiej strony, jeśli Y jest funkcją X, to poznanie X całkowicie determinuje wartość Y. Wtedy H(Y|X)=0 \,.

Bibliografia[edytuj | edytuj kod]

  1. Damian Niwiński, Michał Strojnowski, Marcin Wojnarski: Teoria informacji – materiały Wydziału MIM UW. [dostęp 2010-01-21].