Współczynnik niepewności

Z Wikipedii, wolnej encyklopedii
(Przekierowano z Entropia produktowa)
Skocz do: nawigacja, szukaj

Współczynnik niepewności, nazywany również biegłością, entropią produktową (lub współczynnikiem entropii) oraz współczynnikiem Theila (U Theila), to miara asocjacji nominalnej (ang. measure of nominal association). Współczynnik ten został wprowadzony przez Henriego Theila. Jest oparty na koncepcji entropii informacji.

Definicja formalna[edytuj | edytuj kod]

Załóżmy, że mamy próbki dwóch odrębnych zmiennych losowych i . Konstruując wspólny rozkład (ang. joint distribution) , z którego możemy obliczyć rozkład warunkowy i i inne rozmaite entropie, możemy określić stopień asocjacji pomiędzy dwiema zmiennymi.

Entropię pojedynczego rozkładu możemy obliczyć za pomocą wzoru:[1]

podczas gdy entropię warunkową obliczamy za pomocą wzoru:[2]

Współczynnik niepewności[3] (lub biegłość)[4] jest zdefiniowany wzorem:

Mówi on nam, jaką część bitów możemy przewidzieć przy pomocy danej . (Powyższe wyrażenie jasno wyjaśnia nam, że współczynnik niepewności jest znormalizowaną informacją wzajemną .) W tym przypadku możemy uważać jako zawierającą "faktyczną" wartość. Należy brać pod uwagę, że (ale nie !) nie jest zależna od podstawy , ponieważ wszystkie logarytmy są proporcjonalne.

Współczynnik niepewności jest przydatny do pomiaru ważności algorytmu klasyfikacji statystycznej. Współczynnik ten posiada również przewagę nad prostszymi miarami dokładności takimi jak precyzja i odwołanie (ang. precision and recall).

Odmiany[edytuj | edytuj kod]

Symetryczna: Współczynnik niepewności nie jest symetryczny w odniesieniu do ról i . Ich role mogą zostać odwrócone, zatem mogą zostać zdefiniowane jako średnia ważona między nimi dwoma:[5]

Ciągła: Chociaż zwykle stosowany jest do zmiennych dyskretnych, współczynnik niepewności może zostać przedłużony do zmiennych ciągłych[6] za pomocą estymatora gęstości.

Zobacz też[edytuj | edytuj kod]

Przypisy

  1. Claude E. Shannon; Warren Weaver (1963). The Mathematical Theory of Communication. University of Illinois Press.
  2. Claude E. Shannon; Warren Weaver (1963). The Mathematical Theory of Communication. University of Illinois Press.
  3. William H. Press; Brian P. Flannery; Saul A. Teukolsky; William T. Vetterling (1992). "14.7.4".Numerical Recipes: the Art of Scientific Computing (3rd ed.). Cambridge University Press. str. 761.
  4. White, Jim; Steingold, Sam; Fournelle, Connie.Performance Metrics for Group-Detection Algorithms. Interface 2004.
  5. William H. Press; Brian P. Flannery; Saul A. Teukolsky; William T. Vetterling (1992). "14.7.4"Numerical Recipes: the Art of Scientific Computing (3rd ed.). Cambridge University Press. p. 761.
  6. Claude E. Shannon; Warren Weaver (1963). The Mathematical Theory of Communication. University of Illinois Press.