Entropia warunkowa

Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej Y, jeśli wcześniej znamy wartość innej zmiennej losowej X. Zapisuje się ją jako $H(Y|X) \,$ i tak jak inne entropie mierzy w bitach.

Intuicyjnie entropia ta mierzy, o ile entropia pary zmiennych X i Y jest większa od entropii samej zmiennej X, czyli ile dodatkowej informacji dostajemy na podstawie zmiennej Y, jeśli znamy zmienną X.

Definicja

Formalnie dla dyskretnych zmiennych losowych X i Y entropia Y warunkowana przez X może być zdefiniowana jako:

$H(Y|X) = \sum_{x \in X} p(x) H(Y|x)$,

gdzie

$H(Y|x) = \sum_{y \in Y} p(y|x) \log \frac{1}{p(y|x)}$.

A zatem:

$H(Y|X) = \sum_{x \in X} p(x) \sum_{y \in Y} p(y|x) \log \frac{1}{p(y|x)}$.

Wzór ten można zapisać również jako:

$H(Y|X) = - \sum_{y \in Y} \sum_{x \in X} p(x,y) \log \frac{p(x,y)}{p(x)}$.

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:

$H(Y|X) = - \int\limits_Y \int\limits_X p(x,y) \log \frac{p(x,y)}{p(x)} \; dx \,dy \!$,

gdzie p(x,y) oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a p(x) jest gęstością prawdopodobieństwa X.

Alternatywnie tę samą definicję można zapisać jako

$H(Y|X) = H(X,Y) - H(X) \,$,

gdzie H(X,Y) oznacza entropię produktową X i Y, a H(X) oznacza entropię X.

Jeśli X i Y są niezależne, poznanie X nie daje żadnych informacji o Y. Wtedy entropia warunkowa jest po prostu równa entropii Y: $H(Y|X) = H(Y) \,$. Z drugiej strony, jeśli Y jest funkcją X, to poznanie X całkowicie determinuje wartość Y. Wtedy $H(Y|X)=0 \,$.

Bibliografia

1. Damian Niwiński, Michał Strojnowski, Marcin Wojnarski: Teoria informacji – materiały Wydziału MIM UW. [dostęp 2010-01-21].