Paradoks Steina

Z Wikipedii, wolnej encyklopedii
Przejdź do nawigacji Przejdź do wyszukiwania
Wykres przedstawia porównanie surowych średnich z próby i regresji wszystkich średnich jednocześnie, jako estymatorów rzeczywistych średnich pięciu niepowiązanych zmiennych. W zilustrowanym przypadku wynik regresji cechuje się niższym ogólnym błędem.
Rzeczywiste średnie pięciu niepowiązanych zmiennych (na osi X) są z reguły lepiej oszacowywane z próby (na osi Y) przez wynik obejmującej je wszystkie regresji liniowej (czerwone romby) niż przez indywidualne średnie każdej z nich z osobna (czarne koła). Choć pojedyncze oszacowania mogą się pogarszać (i, nota bene, w praktyce nie znamy realnych średnich), przeciętny ogólny błąd jest niższy. Zjawisko to jest równoważne paradoksowi Steina; takie zastosowanie regresji liniowej odpowiada minimalizującym estymatorom Efrona–Morrisa; oryginalny estymator Jamesa–Steina odpowiada modelowi pozbawionemu stałej[1]

Paradoks Steina (także przykład lub efekt Steina) – rezultat w teorii estymacji i teorii decyzji, stanowiący, że przy oszacowywaniu więcej niż dwóch niezależnych parametrów jednocześnie istnieją specjalne łączne estymatory, które mają przeciętnie wyższą precyzję (rozumianą jako niższy ogólny błąd średniokwadratowy) niż średnie arytmetyczne parametrów w próbach z osobna czy dowolna inna metoda estymująca te parametry w izolacji. Wynik ten został odkryty przez Charlesa Steina w 1955 roku, choć zjawisko było wykorzystywane implicite już wcześniej w technikach wnioskowania bayesowskiego[2][3].

Przykładowo, jeśli badacz chce oszacować miary zdolności kilku sportowców, może obliczyć dla każdej osoby zwykłą średnią liczbę punktów zdobytych w grach w trakcie jednego sezonu. Uzyska jednak wyniki, które są ogólnie precyzyjniejsze i pozwalają na trafniejsze prognozy, jeśli zastosuje względem każdej z takich średnich specyficzną poprawkę (tak jak np. w estymatorze Jamesa–Steina). W przedstawionym przykładzie agregowane są dane cechujące się realnymi zależnościami, jednakże estymator J–S tego w żaden sposób nie wykorzystuje – paradoks Steina występuje w zbiorze dowolnych parametrów, a jego dowód nie zakłada ich zależności. Oznacza to, że ogólną precyzję szacowania zdolności sportowców zwiększy także estymowanie ich jednocześnie z zupełnie niepowiązaną zmienną, taką jak średnia cen samochodów na rynku. Rezultat opisano pierwotnie dla zmiennych o rozkładzie normalnym, występuje jednak także w niektórych innych rozkładach[2][4].

Geometryczną intuicją ilustrującą sens paradoksu jest spostrzeżenie, że w przestrzeni kilkuwymiarowej relatywnie niewielkie przesunięcie zbioru oszacowań (obarczonych błędem losowym) w dowolnym zgodnym kierunku powinno w przeciętnym przypadku zmniejszyć błąd ponad połowy z nich. Efekt nie daje żadnej gwarancji, że jedno konkretne oszacowanie zostanie wskutek tego poprawione – działa na poziomie całego zbioru[5].

Estymatory wykorzystujące efekt Steina nazywa się estymatorami minimalizującymi błąd średniokwadratowy (ang. shrinkage estimators). Zjawisko to jest związane ze statystycznymi technikami regularyzacji i używane pośrednio m.in. w regresjach z efektami losowymi, regresjach mieszanych, metodzie LASSO oraz w regresji grzbietowej[6]. Zauważono także matematyczną równoważność paradoksu Steina (który występuje w przestrzeniach co najmniej trójwymiarowych) z zachowaniem wielowymiarowego ruchu Browna (w którym każda trajektoria w takich przestrzeniach jest zbiorem nigdziegęstym)[7].

Dowód[edytuj | edytuj kod]

Krótszy od oryginalnego dowód dotyczący estymatora Jamesa–Steina został przedstawiony przez Samwortha[4]:

Definicje[edytuj | edytuj kod]

Przyjmijmy, że:

to niezależnych zmiennych losowych o rozkładach normalnych ze średnimi dla każdego i że zmienne te tworzą wektor:

Chcemy znaleźć dobry estymator wektora Na potrzeby zdefiniowania dobroci estymatora wybierzmy funkcję strat która wyraża różnicę pomiędzy oszacowaniem a prawdziwą wartością średnich. Posłużymy się klasyczną funkcją błędu średniokwadratowego:

w której operator oznacza euklidesową normę („długość”) wektora. Inne funkcje straty są oczywiście również możliwe, jak funkcja oparta o sumę błędów bezwzględnych. Funkcja strat w przedstawionej postaci jest zmienną losową. Kryterium dobroci estymatora jest jej wartość oczekiwana, czyli funkcja ryzyka:

Jeśli porównujemy dwa estymatory i ten z nich, który cechuje się niższą wartością funkcji ryzyka, nazwiemy w tym sensie lepszym.

Wartość funkcji ryzyka dla średniej arytmetycznej[edytuj | edytuj kod]

Dla jednej lub dwóch zmiennych najlepszym estymatorem, który oznaczymy jest średnia arytmetyczna:

Porównajmy ją przy z estymatorem Jamesa–Steina w postaci:

Zauważmy, że w przypadku rozkładu normalnego zatem wartość wybranej tu funkcji ryzyka dla średniej arytmetycznej to

dla wszystkich

Wartość funkcji ryzyka dla estymatora Jamesa–Steina[edytuj | edytuj kod]

Aby obliczyć ryzyko estymatora Jamesa–Steina, możemy rozwinąć jego postać, podstawić do funkcji ryzyka i rozpisać ją:

Rozważmy wartość oczekiwaną wewnątrz sumy dla Możemy ją uprościć przez rozpisanie jej jako całki n-krotnej i całkowanie przez części:

Powtarzając tę samą technikę dla otrzymujemy:

co po podstawieniu do wcześniejszej formy pozwala konkludować, że:

dla wszystkich

Przypisy[edytuj | edytuj kod]

  1. Stephen M. Stigler, The 1988 Neyman Memorial Lecture: A Galtonian Perspective on Shrinkage Estimators, „Statistical Science”, 5 (1), 1990, s. 147–155, DOI10.1214/ss/1177012274, ISSN 0883-4237 [dostęp 2018-05-02] (ang.).
  2. a b Bradley Efron, Carl Morris, Stein’s Paradox in Statistics, „Scientific American”, 236 (5), 1977, s. 119–127, JSTOR24954030 [dostęp 2018-05-01].
  3. Charles Stein, Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution, Jerzy Spława-Neyman (red.) [w:] Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability, Volume 1: Contributions to the Theory of Statistics [online], The Regents of the University of California, 1956 [dostęp 2018-05-01] (ang.).
  4. a b Richard J. Samworth, Stein’s Paradox, „Eureka”, 62, 2012, s. 38–41.
  5. Naftali Harris, Visualizing the James-Stein Estimator, www.naftaliharris.com, 2013 [dostęp 2018-05-02].
  6. When are sample means meaningful? The role of modern estimation in psychological science, When are sample means meaningful? The role of modern estimation in psychological science, preprint, 2017, DOI10.17605/osf.io/2ukxj.
  7. L.D. Brown, Admissible Estimators, Recurrent Diffusions, and Insoluble Boundary Value Problems, „The Annals of Mathematical Statistics”, 42 (3), 1971, s. 855–903, DOI10.1214/aoms/1177693318, ISSN 0003-4851 [dostęp 2018-05-02] (ang.).