Entropia warunkowa

Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej $Y,$ jeśli wcześniej znamy wartość innej zmiennej losowej $X.$ Zapisuje się ją jako $H(Y|X)$ i tak jak inne entropie mierzy w bitach.

Intuicyjnie entropia ta mierzy, o ile entropia pary zmiennych $X$ i $Y$ jest większa od entropii samej zmiennej $X,$ czyli ile dodatkowej informacji dostajemy na podstawie zmiennej $Y,$ jeśli znamy zmienną $X.$

Definicja

Formalnie dla dyskretnych zmiennych losowych $X$ i $Y$ entropia $Y$ warunkowana przez $X$ może być zdefiniowana jako:

$H(Y|X)=\sum _{x\in X}p(x)H(Y|x),$

gdzie:

$H(Y|x)=\sum _{y\in Y}p(y|x)\log {\frac {1}{p(y|x)}}.$

A zatem:

$H(Y|X)=\sum _{x\in X}p(x)\sum _{y\in Y}p(y|x)\log {\frac {1}{p(y|x)}}.$

Wzór ten można zapisać również jako:

$H(Y|X)=-\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)}}.$

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:

$H(Y|X)=-\int \limits _{Y}\int \limits _{X}p(x,y)\log {\frac {p(x,y)}{p(x)}}\;dx\,dy,$

gdzie $p(x,y)$ oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a $p(x)$ jest gęstością prawdopodobieństwa $X.$

Alternatywnie tę samą definicję można zapisać jako

$H(Y|X)=H(X,Y)-H(X),$

gdzie $H(X,Y)$ oznacza entropię produktową $X$ i $Y,$ a $H(X)$ oznacza entropię $X.$

Jeśli $X$ i $Y$ są niezależne, poznanie $X$ nie daje żadnych informacji o $Y.$ Wtedy entropia warunkowa jest po prostu równa entropii $Y{:}$ $H(Y|X)=H(Y).$

Z drugiej strony, jeśli $Y$ jest funkcją $X,$ to poznanie $X$ całkowicie determinuje wartość $Y.$ Wtedy $H(Y|X)=0.$

Własności

Dla dowolnych $X$ i $Y$ zachodzi:

$H(Y|X)=H(X,Y)-H(X)$ (reguła łańcuchowa dla entropii)

$H(Y|X)\leqslant H(Y)$

$H(Y|X)=H(X|Y)-H(X)+H(Y)$ (twierdzenie Bayesa dla entropii)

$H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)$

$H(X,Y)=H(X)+H(Y)-I(X;Y)$

$I(X;Y)\leqslant H(X)$

gdzie $I(X;Y)$ to informacja wzajemna między $X$ i $Y.$ Jeśli $X$ i $Y$ są zdarzeniami niezależnymi:

$H(Y|X)=H(Y)$

Pomimo iż wartość wyrażenia $H(Y|X=x)$ może być zarówno większa, jak i mniejsza od $H(Y),$ entropia warunkowa $H(Y|X)$ jest zawsze niewiększa niż $H(Y).$ Wartość $H(Y|X=x)$ równa jest zero w szczególnym przypadku, gdy $Y$ jest funkcją zmiennej $X.$

Zobacz też

• informacja wzajemna