Dywergencja Jensena-Shannona

Dywergencja Jensena-Shannona – miara rozbieżności między dwoma rozkładami prawdopodobieństwa.

Definicja

Miara opisana jest następującym wzorem:

$\mathrm {JSD} (p_{1},p_{2})=H(\pi _{1}p_{1}+\pi _{2}p_{2})-\pi _{1}H(p_{1})-\pi _{2}H(p_{2}),$

gdzie $\pi _{1}$ i $\pi _{2}$ oznaczają wagi, $p_{1}$ i $p_{2}$ oznaczają porównywane rozkłady, a $H$ jest funkcją entropii Shannona.

W przypadku dwóch rozkładów opisujących zmienną losową $X$ i równych wag $(\pi _{1}=\pi _{2}=0{,}5)$ wzór na dywergencję Jensena-Shannona jest następujący:

$\mathrm {JSD} (p_{1},p_{2})={\frac {1}{2}}\sum _{x\in X}p_{1}(x)\log _{2}{\frac {p_{1}(x)}{{\frac {1}{2}}p_{1}(x)+{\frac {1}{2}}p_{2}(x)}}+{\frac {1}{2}}\sum _{x\in X}p_{2}(i)\log _{2}{\frac {p_{2}(x)}{{\frac {1}{2}}p_{1}(x)+{\frac {1}{2}}p_{2}(x)}},$

co oznacza, że dywergencję Jensena-Shannona można wyrazić jako średnią dywergencji Kullbacka-Leiblera $(KLD){:}$

$\mathrm {JSD} (p_{1},p_{2})={\frac {1}{2}}KLD(p_{1},m)+{\frac {1}{2}}KLD(p_{2},m),$

gdzie $m={\frac {1}{2}}p_{1}+{\frac {1}{2}}p_{2}$.

Własności

Dywergencja Jensena-Shannona jest nieujemna i równa 0 w przypadku identyczności rozkładów. W przeciwieństwie do wielu miar dywergencji rozkładów pozwalających porównywać dwa rozkłady, dywergencja Jensena-Shannona może być uogólniona na dowolną skończoną liczbę rozkładów.