Entropia binarna
Entropia binarna – w teorii informacji jest zdefiniowana jako entropia zmiennej losowej X, która przyjmuje tylko dwie wartości: 0 lub 1.
Jeśli zachodzi z prawdopodobieństwem a zachodzi z prawdopodobieństwem to entropia Shannona wynosi:
gdzie:
- jest przyjęte jako 0. Podstawą logarytmu zwykle jest 2. Zobacz logarytm binarny.
W przypadku kiedy entropia binarna przyjmuje maksymalną wartość i wynosi 1 bit.
Funkcja entropii binarnej w odróżnieniu od entropii Shannona przyjmuje jako argument liczbę rzeczywistą zamiast rozkładu prawdopodobieństwa
Pochodna[edytuj | edytuj kod]
Pochodna funkcji entropii binarnej może być zapisana za pomocą funkcji logitowej:
Zobacz też[edytuj | edytuj kod]
Linki zewnętrzne[edytuj | edytuj kod]
- David J.C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1.