Czynnik Bayesa

Czynnik Bayesa, czynnik bayesowski (BF, ang. Bayes factor) – stosunek prawdopodobieństwa uzyskania danych obserwacji w dwóch porównywanych modelach. Pozwala on na porównanie, w jakim stopniu dane świadczą na rzecz dwóch alternatywnych hipotez, i jest jedną z metod weryfikowania hipotez statystycznych we wnioskowaniu bayesowskim.

Definicja

Zakładając, że porównujemy dwa modele $M_{1}$ i $M_{2}$ (wraz z wektorami parametrów $\theta _{1}$ i $\theta _{2}$) na podstawie zbioru obserwacji $D,$ ich prawdopodobieństwo można porównać przy użyciu czynnika Bayesa $K{:}$

$K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}.$

Spotyka się też notację BF₁₀ i BF₀₁, odpowiadające czynnikom Bayesa testującym, odpowiednio, hipotezę alternatywną H₁ lub hipotezę zerową H₀ przeciwko sobie nawzajem, analogicznie do procedury częstościowej weryfikacji hipotez statystycznych.

Interpretacja

Wartości $K>1$ świadczą na rzecz hipotezy $M_{1},$ wartości $K<1$ świadczą na rzecz hipotezy $M_{2}.$ Dla porównania, w podejściu częstościowym, testowana jest jedynie hipoteza zerowa, a o prawdziwości hipotezy alternatywnej można wnioskować jedynie pośrednio. Dwie popularne skale interpretacyjne dla wartości $K$ stworzyli Harold Jeffreys, oraz Hass i Raftery:

K (Jeffreys)	K (Hass i Raftery)	Siła dowodowa
< 1	< 1	negatywna (wspiera M2)
od 1 do 101/2 (≈3,16)	od 1 do 3	warta co najwyżej wzmianki
od 101/2 (≈3,16) do 10	od 3 do 20	znaczna
od 10 do 103/2 (≈31,62)	od 20 do 150	silna
od 103/2 (≈31,62) do 100	> 150	bardzo silna
>100		rozstrzygająca

Czynnik Bayesa jest adekwatny do zastosowań epistemologicznych – gdy badacz chce określić relatywne, subiektywne prawdopodobieństwo hipotezy. Do celów podejmowania decyzji służą inne narzędzia, uwzględniające koszt popełnienia błędów, takie jak metody statystyki częstościowej, lub metody bayesowskie z funkcjami strat.

Wartość czynnika Bayesa porównującego hipotezę zerową z hipotezą alternatywną jest w znacznym stopniu współzmienna z odpowiadającą mu p-wartością. Jego przewagą jest w tym przypadku dokładniejsze rozstrzyganie wartości dowodowej wyników, które są bliskie krytycznego poziomu istotności. Przy wysokiej mocy statystycznej badania, mogą być bardziej prawdopodobne dla hipotezy zerowej, jednak w procedurze wnioskowania częstościowego są uznawane za przesłankę na rzecz hipotezy alternatywnej. Czynnik Bayesa pozwala też na łatwe wykonywanie innych porównań, np. minimalnej istotnej klinicznie różnicy.

Przykład

Przypuśćmy, że mamy zmienną losową, która daje albo sukces, albo porażkę. Chcemy porównać model $M_{1}$, w którym prawdopodobieństwo sukcesu wynosi $q=0{,}5$ , oraz inny model $M_{2}$, w którym $q$ jest nieznane, ale zakładamy a priori, że mamy rozkład prawdopodobieństwa jednostajny na przedziale [0,1]. Pobieramy próbę o liczebności 200 i stwierdzamy 115 sukcesów oraz 85 porażek. Rozkład prawdopodobieństwa jest rozkładem dwumianowym:

${{200 \choose 115}q^{115}(1-q)^{85}}.$

Zatem dla $M_{1}$ mamy

$P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}\approx 0{,}006$

zaś dla $M_{2}$ otrzymujemy

$P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}\approx 0{,}005$

Stosunek powyższych prawdopodobieństw wynosi więc $1.2$, co jest „ledwie warte wzmianki” (tylko nieznacznie preferowany jest model $M_{1}$).

Test częstościowy hipotezy dla $M_{1}$ (traktowanej tutaj jako hipoteza zerowa) dałby bardzo odmienny wynik. Taki wynik testu mówi, że model $M_{1}$ powinien być odrzucony na poziomie istotności 5%, ponieważ prawdopodobieństwo uzyskania 115 lub więcej sukcesów w próbie 200 przy $q=0{,}5$ wynosi 0,02, a w teście dwustronnym prawdopodobieństwo uzyskania wyniku tak ekstremalnego jak 115 lub bardziej ekstremalnego wynosi 0,04. Trzeba zauważyć, że wartość 115 jest odległa o ponad dwa odchylenia standardowe od wartości 100. Tak więc, podczas gdy test częstościowy hipotezy prowadziłaby do istotnego statystycznie wyniku na poziomie istotności 5%, czynnik Bayesa w zasadzie w ogóle nie uznaje tego wyniku za ekstremalny.

Należy jednak zauważyć, że założenie a priori rozkładu niejednostajnego (np. takiego, który odzwierciedla oczekiwanie, że liczba sukcesów i porażek będzie tego samego rzędu wielkości) mógłby dać czynnik Bayesa bardziej zgodny z częstościowym testem hipotez.

Klasyczny test ilorazu wiarygodności wyznaczyłby estymator największej wiarygodności dla q, mianowicie ${\hat {q}}={\frac {115}{200}}=0{,}575$, skąd

$\textstyle P(X=115\mid M_{2})={{200 \choose 115}{\hat {q}}^{115}(1-{\hat {q}})^{85}}\approx 0{,}06$

(zamiast uśredniania po wszystkich możliwych wartościach q). Daje to iloraz wiarygodności równy 0,1 i wskazuje na M₂.

$M_{2}$ jest modelem bardziej złożonym niż $M_{1}$, ponieważ ma jeden parametr swobodny, który pozwala mu lepiej dopasować dane. Zdolność czynników Bayesa do uwzględniania tego faktu jest jednym z powodów, dla których wnioskowanie bayesowskie jest przedstawiane jako teoretyczne uzasadnienie i uogólnienie brzytwy Ockhama, prowadzące do ograniczenia błędów I rodzaju.

Z drugiej strony, nowoczesna metoda tzw. względnej wiarygodności uwzględnia liczbę parametrów swobodnych w modelach (w przeciwieństwie do klasycznego testu ilorazu wiarygodności):

• model M₁ ma 0 parametrów, a więc wartość kryterium informacyjnego Akaikego (AIC) dla tego modelu wynosi $AIC_{1}=2\cdot 0-2\cdot \ln(0{,}005956)\approx 10{,}2467$
• model M₂ ma 1 parametr, a więc jego wartość AIC wynosi $AIC_{2}=2\cdot 1-2\cdot \ln(0{,}056991)\approx 7{,}7297$.

Stąd M₁ jest około $\exp \left({\frac {7{,}7297-10{,}2467}{2}}\right)\approx 0{,}284$ razy tak prawdopodobny jak M₂ pod względem minimalizacji straty informacyjnej. Zatem M₂ jest nieznacznie preferowany, ale M₁ nie może zostać wykluczony.

Zobacz też

• sprawdzian krzyżowy