Dywergencja Kullbacka-Leiblera

Z Wikipedii, wolnej encyklopedii
Skocz do: nawigacja, szukaj

Dywergencja Kullbacka-Leiblera (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa i . Czasem zwana jest też odległością Kullbacka-Leiblera, w rzeczywistości nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna ani nie spełnia nierówności trójkąta.

Dywergencja Kullbacka-Leiblera dana jest wzorem:

,

dla rozkładów dyskretnych, oraz

,

dla rozkładów ciągłych

W powyższej definicji przyjmuje się, że reprezentuje dane rzeczywiste, zaś teoretyczny model.

Entropia względna przyjmuje zawsze wartości nieujemne, przy czym 0 wtedy i tylko wtedy, gdy porównywane rozkłady są identyczne.