Dywergencja Kullbacka-Leiblera

Z Wikipedii, wolnej encyklopedii
Skocz do: nawigacja, szukaj

Dywergencja Kullbacka-Leiblera (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa p i q. Czasem zwana jest też odległością Kullbacka-Leiblera, w rzeczywistości nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna ani nie spełnia nierówności trójkąta.

Dywergencja Kullbacka-Leiblera dana jest wzorem:

 d_{KL}(p,q) = \sum_{i} p(i) \log_2 \frac{p(i)}{q(i)},

dla rozkładów dyskretnych, oraz

 d_{KL}(p,q) = \int\limits_{-\infty}^{\infty} p(x) \log_2 \frac{p(x)}{q(x)} \; dx \!,

dla rozkładów ciągłych

W powyższej definicji przyjmuje się, że p reprezentuje dane rzeczywiste, zaś q teoretyczny model.

Entropia względna przyjmuje zawsze wartości nieujemne, przy czym 0 wtedy i tylko wtedy, gdy porównywane rozkłady są identyczne.