Paradoks Simpsona

Paradoks Simpsona dla danych ilościowych: po połączeniu dwu podzbiorów danych o wyraźnej korelacji dodatniej (, ), w danych zagregowanych pojawia się korelacja ujemna ().

Paradoks Simpsona jest paradoksem statystycznym opisanym przez E.H. Simpsona w 1951 roku. Polega on na tym, że efekt działania kilku grup wydaje się odwrócony, kiedy grupy są połączone. Ten pozornie niemożliwy efekt niespodziewanie pojawia się w naukach społecznych i statystyce związanej z medycyną, kiedy zmienna ważona, która różni się od wartości określonej indywidualnie dla poszczególnych grup, jest używana do oceny połączonych grup.

Wyjaśnienie na przykładzie

Dla zilustrowania paradoksu wyobraźmy sobie dwie osoby, Alę i Janka, które edytują artykuły Wikipedii. W pierwszym tygodniu Ala poprawia 60% artykułów, które edytuje, podczas kiedy Janek poprawia 90% artykułów. W drugim tygodniu Ala poprawia tylko 10% edytowanych artykułów, a Janek 30%.

W obydwu przypadkach Janek poprawił dużo większy procent artykułów niż Ala. Jednak kiedy połączymy wyniki osiągnięte w obydwu tygodniach, może się okazać, że to Ala poprawiła znacznie większy procent artykułów niż Janek!

	Tydzień 1	Tydzień 2	Razem
Ala	60,0%	10,0%	55,5%
Janek	90,0%	30,0%	35,5%

Przyczyną powyższego paradoksu jest różna liczba artykułów, jakie mogły być edytowane przez każdą osobę – ta informacja pierwotnie nie była podana. Przyjmijmy przykładowo, że w pierwszym tygodniu Ala edytuje 100 artykułów, poprawiając 60 spośród nich; Janek edytuje tylko 10 artykułów, poprawiając wszystkie z wyjątkiem jednego. A zatem procentowo Janek poprawił więcej, ale w liczbach bezwzględnych – mniej. W drugim tygodniu Ala edytuje tylko 10 artykułów, poprawiając jeden; Janek edytuje 100 artykułów, poprawiając 30. Kiedy połączymy dwutygodniowy rezultat pracy, okaże się, że Ala i Janek dokonali edycji takiej samej liczby artykułów, jednak Ala poprawiła 55% z nich (wszystkich 61), a Janek poprawił tylko 35% z nich (wszystkich 39).

	Tydzień 1	Tydzień 2	Razem
Ala	60/100	1/10	61/110
Janek	9/10	30/100	39/110

Podsumowując i wprowadzając niektóre oznaczenia użyte w dalszej treści:

• W pierwszym tygodniu
  • $S_{A}(1)=60\%$ – Ala poprawiła 60% artykułów ze wszystkich, które edytowała.
  • $S_{B}(1)=90\%$ – Janek poprawił 90% w tym samym czasie.

Więcej procentowo poprawił Janek.

• W drugim tygodniu
  • $S_{A}(2)=10\%$ – Ala poprawiła 10% artykułów (1 z 10 edytowanych).
  • $S_{B}(2)=30\%$ – Janek osiągnął wskaźnik sukcesu 30%.

Więcej procentowo poprawił Janek.

W obydwu przypadkach edycje Janka osiągnęły większy sukces niż edycje Ali. Jeśli jednak połączymy obydwa zbiory, zobaczymy, że Janek i Ala razem dokonali edycji 110 artykułów:

• $S_{A}={\tfrac {61}{110}}$ – Ala poprawiła 61 artykułów.
• $S_{B}={\tfrac {39}{110}}$ – Janek poprawił tylko 39.
• $S_{A}>S_{B}$ – Więcej procentowo poprawiła Ala.

Janek jest lepszy w obydwu przypadkach, ale łącznie osiągnął gorszy rezultat!

Arytmetyczna podstawa wyjaśnienia paradoksu nie jest kontrowersyjna. Jeśli $S_{B}(1)>S_{A}(1)$ i $S_{B}(2)>S_{A}(2),$ intuicja podpowiada, że $S_{B}$ musi być większe niż $S_{A}.$ Jednak jeśli różne wagi są użyte dla określenia wyniku końcowego dla każdej osoby – wówczas intuicyjne odczucie może zawieść. W tym przypadku pierwsza próba jest ważona ${\tfrac {100}{110}}$ dla Ali i ${\tfrac {10}{110}}$ dla Janka, podczas gdy w drugiej próbie wagi są odwrócone.

• $S_{A}={\tfrac {100}{110}}S_{A}(1)+{\tfrac {10}{110}}S_{A}(2)$

• $S_{B}={\tfrac {10}{110}}S_{B}(1)+{\tfrac {100}{110}}S_{B}(2)$

Przy jeszcze większym odwróceniu wag dla obydwu prób łączny wynik Ali będzie większy niż 60%, a Janka spadnie poniżej 30%.

Ala ma lepszą skuteczność, ale mówiąc o skuteczności w poszczególnych tygodniach, można pomyśleć, że Janek ma lepszą.

Linki zewnętrzne

• GaryG. Malinas GaryG., JohnJ. Bigelow JohnJ., Simpson’s Paradox, [w:] Stanford Encyclopedia of Philosophy, CSLI, Stanford University, 1 kwietnia 2016, ISSN 1095-5054 [dostęp 2018-01-17]  (ang.).