Lemat Neymana-Pearsona
Lemat Neymana-Pearsona – twierdzenie z obszaru statystyki opublikowane przez Jerzego Neymana i Egona Pearsona w 1933. Stanowi – w amalgamacie z wcześniejszą propozycją Ronalda Fishera – jedną z podstaw procedury weryfikacji hipotez w podejściu częstościowym[1][2][3].
Kontekst i motywacja
[edytuj | edytuj kod]- Główny artykuł:
Procedura testowa zaproponowana przez Fishera w 1925 miała następującą postać[1]:
- Wybierz hipotezę zerową Nie musi ona zakładać zerowego efektu, tylko taki jaki chcesz sfalsyfikować.
- Wykonaj obserwację i przedstaw jej surową wartość Oceń na tej podstawie wartość dowodową danych według własnych kryteriów.
- Korzystaj z tej procedury tylko jeśli badasz słabo znany obszar i nie masz lepszych narzędzi.
Neyman i Pearson uznali tę propozycję za niesatysfakcjonującą z szeregu powodów, i pracowali nad przedstawionym poniżej alternatywnym podejściem:
- Wybierz dwie hipotezy, które chcesz porównać: i oraz dostosowane do konkretnego problemu dopuszczalne ryzyko błędów pierwszego rodzaju i drugiego rodzaju Wykonaj na ich podstawie analizę kosztów w celu wybrania optymalnego testu i wielkości próby dla rozstrzygania pomiędzy hipotezami na wybranym poziomie błędów.
- Jeśli zaobserwowane dane spełniają kryterium odrzucenia postępuj tak jakby była prawdziwa; w przeciwnym razie postępuj tak, jakby prawdziwa była
- Procedura ta nie rozstrzyga o prawdziwości hipotez, ale pozwala w długim horyzoncie czasowym utrzymywać ryzyko błędów w założonych granicach. Jest odpowiednia tylko do zastosowań, w których można jasno określić i a i dają rozbieżne przewidywania.
Lemat Neymana-Pearsona jest matematyczną formalizacją i dookreśleniem pierwszego punktu, opisując metodę konstrukcji optymalnego warunku krytycznego dla przyjętych i
Autorzy obu procedur dopracowywali je z biegiem lat i pozostawali w sporze o ich filozoficzne i praktyczne aspekty do końca życia. Po 1940 r. oba podejścia zaczęły być, wbrew wypowiedziom ich twórców, łączone w podręcznikach w coraz bardziej hybrydową i uproszczoną postać, i przedstawiane przy pomocy języka sugerującego, że pojedyncze wyniki mogą być używane do wyciągania wniosków o subiektywnym prawdopodobieństwie hipotez[1][3][4][5]. Ma ona następującą formę – w krytycznym omówieniu Gigerenzera[1]:
- Przyjmij hipotezę zerową która zakłada zerowy efekt (brak różnic lub korelacji). Nie potrzebujesz określać żadnych szczegółów własnej hipotezy badawczej.
- Przyjmij ryzyko błędów pierwszego rodzaju na poziomie istotności 5% i wykonaj test Jeśli wartość p przekroczy uznaj swoją hipotezę badawczą za potwierdzoną. Zależnie od wartości możesz przedstawić wyniki jako „istotne” na poziomie lub
- Stosuj tę procedurę do wszystkich zastosowań.
Ta ostatnia metoda stała się w drugiej połowie XX wieku stosowaną powszechnie, i jest w ocenie m.in. Gigerenzera czy Cohena, „bezmyślnym rytuałem”, używanym zbyt często do celów, do których nie została nigdy przeznaczona ani uprawomocniona[1][6][7][8].
Intuicja
[edytuj | edytuj kod]![Przy mocy ok. 70% rozkłady prawdopodobieństwa dla statystyki testowej w hipotezie zerowej i alternatywnej w znacznej części nie pokrywają się](http://upload.wikimedia.org/wikipedia/commons/thumb/0/06/Wysoka_moc_statystyczna.png/220px-Wysoka_moc_statystyczna.png)
Neyman i Pearson jasno odcięli się od kwestii bezpośredniej oceny hipotez, stwierdzając że „żaden test oparty na teorii prawdopodobieństwa nie może sam w sobie stanowić wartościowego dowodu prawdziwości lub fałszywości hipotez”. Uznali, że są natomiast w stanie formalnie opisać reguły decyzyjne, które pozwalają przynajmniej na długoterminowe unikanie błędów[2].
Ich propozycja opiera się na założeniu, że i prognozują różne rozkłady badanego parametru w populacji, oraz że próby mogą być z niej pobierane wielokrotnie. Reguły prawdopodobieństwa uzasadniają wówczas oczekiwanie, że w długim okresie próby odzwierciedlą leżący u ich podłoża prawdziwy rozkład. Definiują następnie test statystyczny jako regułę rozstrzygającą pomiędzy hipotezami na podstawie tego, czy próba leży w krytycznym regionie rozkładu który jest zdecydowanie bardziej prawdopodobny dla jednej z nich. To, co badacz uzna za krytyczny region, zależy w ujęciu Neymana i Pearsona od konieczności balansowania ryzyka błędów i [2].
Ujęcie to wyznacza cztery podstawowe możliwości – dwa trafne rozpoznania i dwa błędy – odpowiadające przyjęciu[2]:
- prawdziwej hipotezy
- fałszywej hipotezy (błąd pierwszego rodzaju, którego ryzyko to ),
- prawdziwej hipotezy
- fałszywej hipotezy (błąd drugiego rodzaju, którego ryzyko to ).
W tym zakresie w jakim rozkłady pokrywają się, istnieje niebezpieczeństwo że próba pochodząca z jednego z nich może zostać omyłkowo przypisana drugiemu. Lemat dowodzi, że sensowny („najlepszy”) region krytyczny leży na tym zakresie, „na skraju” rozkładów. Ceteris paribus, i wykluczają się – zmiana regionu krytycznego która zwiększa jedno z nich, musi zmniejszać drugie. Najlepszy obszar krytyczny można więc określić jako szerokości o minimalnym prawdopodobieństwie z jednego rozkładu, który wyznacza jednocześnie analogiczne szerokości drugiego – niezależnie od tego jakie konkretnie zostało wybrane[2].
Powyższa konstrukcja regionu krytycznego stanowi podstawę testu statystycznego o najwyższej mocy. Można go zrealizować ilorazem funkcji wiarygodności danych przy założeniu obu rozkładów, rozstrzygającym na korzyść jednego z nich zależnie od tego, czy plasuje próbę w obszarze krytycznym. Jeśli przyjęto trafny model statystyczny do określania wiarygodności, a próby są losowe, to decyzje oparte na rezultatach takiego testu asymptotycznie (w liczbie prób zmierzającej do nieskończoności) prowadzą do błędów jedynie z przyjętymi nominalnymi poziomami ryzyka[2].
W uproszczeniu, lemat sprowadza się do tego, że region krytyczny testu powinien leżeć „na skraju” rozkładów. Jego historyczne znaczenie polega też na ogólnym przedstawieniu podejścia Neymana i Pearsona do testów, oraz opracowaniu zagadnienia mocy testu we wnioskowaniu statystycznym[2][3].
Lemat
[edytuj | edytuj kod]Poniższa ekspozycja lematu Neymana-Pearsona oparta jest na jego prezentacji w podręczniku Mooda, Graybilla i Boesa[9].
Niech będzie próbą losową z funkcji na mierze prawdopodobieństwa gdzie hipotetyczny parametr przyjmuje jedną z dwóch znanych wartości lub a stałą z przedziału Niech będzie dodatnią stałą, a region krytyczny podzbiorem całej przestrzeni probabilistycznej które spełniają warunki:
- jeśli oraz jeśli
Wówczas test odpowiadający regionowi krytycznemu jest testem hipotez i o największej mocy przy danym
Dla przypomnienia, wiarygodność to w tym przypadku całkowite prawdopodobieństwo danych obserwacji przy prawdziwości konkretnego parametru: dla a to dopełnienie zbioru:
Dowód
[edytuj | edytuj kod]Przyjmijmy, że i spełniające warunki 1 i 2 istnieją. Jeśli nie ma żadnego innego testu o istotności lub niższej, jest automatycznie testem o najwyższej mocy. Załóżmy, że istnieje alternatywny test o takiej istotności istnieje, z regionem krytycznym Dowód wymaga wykazania, że nie ma wyższej mocy,
Kroki dowodu wykorzystują wiele wzajemnych relacji zbiorów i w związku z czym w podążaniu za nim może być pomocne odwoływanie się do ich prostego diagramu Venna.
Przyjmijmy, że dla każdego podzbioru oraz będziemy zapisywać następujące całki wielokrotne dla skrótu w następujący sposób:
Udowodnienie że jest równoważne wykazaniu, że Następnie:
ponieważ dla regionu krytycznego i stąd także dla
a dla dopełnienia regionu, czyli także dla
- oraz
Jednakże:
co pozwala na konkludowanie dowodu:
Przypisy
[edytuj | edytuj kod]- ↑ a b c d e Gerd Gigerenzer , Mindless statistics, „The Journal of Socio-Economics”, 33 (5), 2004, s. 587–606, DOI: 10.1016/j.socec.2004.09.033 [dostęp 2019-03-31] (ang.).
- ↑ a b c d e f g J. Neyman , E.S. Pearson , On the Problem of the Most Efficient Tests of Statistical Hypotheses, „Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences”, 231 (694–706), 1933, s. 289–337, DOI: 10.1098/rsta.1933.0009, ISSN 1364-503X [dostęp 2019-03-31] (ang.).
- ↑ a b c Johannes Lenhard , Models and Statistical Inference: The Controversy between Fisher and Neyman-Pearson, „The British Journal for the Philosophy of Science”, 57 (1), 2006, s. 69–91, DOI: 10.1093/bjps/axi152, ISSN 1464-3537 [dostęp 2019-03-31] [zarchiwizowane z adresu 2018-06-04] (ang.).
- ↑ Gerd Gigerenzer , The superego, the ego, and the id in statistical reasoning, [w:] Gideon Keren, Charles Lewis, A Handbook for Data Analysis in the Behaviorial Sciences: Volume 1: Methodological Issues Volume 2: Statistical Issues, Psychology Press, 14 stycznia 2014, ISBN 978-1-317-75998-0 [dostęp 2017-01-15] (ang.).
- ↑ E.L. Lehmann , The Fisher, Neyman-Peerson Theories of Testing Hypotheses: One Theory or Two? Javier Rojo (red.), Boston, MA: Springer US, 2012, s. 201–208, DOI: 10.1007/978-1-4614-1412-4_19, ISBN 978-1-4614-1411-7 [dostęp 2019-03-31] (ang.).
- ↑ Jacob Cohen , The earth is round (p <.05)., „American Psychologist”, 49 (12), 1994, s. 997–1003, DOI: 10.1037/0003-066X.49.12.997, ISSN 1935-990X [dostęp 2019-03-31] (ang.).
- ↑ Jesper W. Schneider , Null hypothesis significance tests. A mix-up of two different theories: the basis for widespread confusion and numerous misinterpretations, „Scientometrics”, 102 (1), 2014, s. 411–432, DOI: 10.1007/s11192-014-1251-5, ISSN 0138-9130 [dostęp 2017-01-14] (ang.).
- ↑ Raymond Hubbard i inni, Confusion over Measures of Evidence (p’s) versus Errors (α's) in Classical Statistical Testing, „The American Statistician”, 57 (3), 2003, s. 171–182, JSTOR: 30037265 [dostęp 2017-01-15] .
- ↑ IX: Tests of hypotheses, [w:] Alexander M. Mood , Duane C. Boes , Franklin A. Graybill , Introduction to the Theory of Statistics, wyd. 3rd ed, New York: McGraw-Hill, 1974, 410 i następne, ISBN 0-07-042864-6, OCLC 813585341 [dostęp 2019-03-31] .