Entropia warunkowa

Z Wikipedii, wolnej encyklopedii
Skocz do: nawigacja, szukaj

Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej Y, jeśli wcześniej znamy wartość innej zmiennej losowej X. Zapisuje się ją jako i tak jak inne entropie mierzy w bitach.

Intuicyjnie entropia ta mierzy, o ile entropia pary zmiennych X i Y jest większa od entropii samej zmiennej X, czyli ile dodatkowej informacji dostajemy na podstawie zmiennej Y, jeśli znamy zmienną X.

Definicja[edytuj]

Formalnie dla dyskretnych zmiennych losowych X i Y entropia Y warunkowana przez X może być zdefiniowana jako:

,

gdzie

.

A zatem:

.

Wzór ten można zapisać również jako:

.

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:

,

gdzie p(x,y) oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a p(x) jest gęstością prawdopodobieństwa X.

Alternatywnie tę samą definicję można zapisać jako

,

gdzie H(X,Y) oznacza entropię produktową X i Y, a H(X) oznacza entropię X.

Jeśli X i Y są niezależne, poznanie X nie daje żadnych informacji o Y. Wtedy entropia warunkowa jest po prostu równa entropii Y: . Z drugiej strony, jeśli Y jest funkcją X, to poznanie X całkowicie determinuje wartość Y. Wtedy .

Własności[edytuj]

Dla dowolnych i zachodzi[1]:

(reguła łańcuchowa dla entropii)

(twierdzenie Bayesa dla entropii)

gdzie to informacja wzajemna między i . Jeśli i zdarzeniami niezależnymi:

Pomimo iż wartość wyrażenia może być zarówno większa jak i mniejsza od , entropia warunkowa jest zawsze niewiększa niż .

Zobacz też[edytuj]

Przypisy

  1. Damian Niwiński, Michał Strojnowski, Marcin Wojnarski: Teoria informacji – materiały Wydziału MIM UW. [dostęp 2010-01-21].