Złudzenie publikacyjne: Różnice pomiędzy wersjami

Z Wikipedii, wolnej encyklopedii
[wersja przejrzana][wersja przejrzana]
Usunięta treść Dodana treść
ujednolicenie pisowni „wartość p”
nieduże rozwinięcie i parę dodatkowych źródeł
Linia 1: Linia 1:
'''Złudzenie publikacyjne''', '''tendencyjność publikacyjna''', '''efekt szuflady''' – zafałszowanie naukowego obrazu rzeczywistości powstające wskutek wybiórczości w publikowaniu wyników naukowych. Może ono powstawać między innymi wówczas, gdy autorzy lub wydawcy nie interesują się wynikami, które uważają za mało interesujące lub niezgodne z ich poglądami, lub celowo ukrywają takie wyniki (stąd „efekt szuflady”)<ref>{{Cytuj pismo |autor = Robert Rosenthal|tytuł = The file drawer problem and tolerance for null results.|czasopismo = Psychological Bulletin|data = 1979-05-01|data dostępu = 2017-01-05|issn = 1939-1455|wydanie = 3|strony = 638–641|doi = 10.1037/0033-2909.86.3.638|url = https://dx.doi.org/10.1037/0033-2909.86.3.638}}</ref>. Wynika również z niezrozumienia lub nieintuicyjności metodologii [[Weryfikacja hipotez statystycznych|weryfikacji zerowych hipotez statystycznych]] – obserwuje się, że wyniki zerowe są publikowane rzadziej od pozytywnych, na przykład w przeglądzie badań medycznych z 1987 roku trzykrotnie rzadziej<ref>{{Cytuj pismo |autor = K. Dickersin, S. Chan, T. C. Chalmersx, H. S. Sacks, H. Smith|tytuł = Publication bias and clinical trials|czasopismo = Controlled Clinical Trials|data = 1987-12-01|data dostępu = 2017-01-05|wydanie = 4|strony = 343–353|doi = 10.1016/0197-2456(87)90155-3 |url = http://www.sciencedirect.com/science/article/pii/0197245687901553}}</ref>. Studiowanie literatury przedmiotu daje więc zniekształcony obraz proporcji badań, w których dane twierdzenie zostało potwierdzone i [[falsyfikacja|sfalsyfikowane]]{{r|Witkowski86}}{{r|Witkowski85}}. Autorzy mogą więc pomijać raportowanie „nieudanych” badań i eksperymentów. Problem ten pogłębia dodatkowo dziennikarstwo popularnonaukowe, które dokonuje kolejnej, wybiórczej selekcji wyników badań, skupiając się w informacji publicznej na sensacyjnych rezultatach, i pomijając wyniki zerowe – jak demonstruje analiza z 2017 roku<ref>{{Cytuj|autor=Estelle Dumas-Mallet, Andy Smith, Thomas Boraud, François Gonon|tytuł=Poor replication validity of biomedical association studies reported by newspapers|czasopismo=PLOS ONE|data=2017-02-21|data dostępu=2017-02-25|issn=1932-6203|wolumin=12|numer=2|s=e0172650|doi=10.1371/journal.pone.0172650|url=http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0172650}}</ref>.
'''Złudzenie publikacyjne''', '''tendencyjność publikacyjna''', '''efekt szuflady''' – zafałszowanie naukowego obrazu rzeczywistości powstające wskutek wybiórczości w publikowaniu wyników naukowych. Może ono powstawać między innymi wówczas, gdy autorzy lub wydawcy nie interesują się wynikami, które uważają za mało interesujące lub niezgodne z ich poglądami, lub celowo ukrywają takie wyniki (stąd „efekt szuflady”)<ref>{{Cytuj pismo |autor = Robert Rosenthal|tytuł = The file drawer problem and tolerance for null results.|czasopismo = Psychological Bulletin|data = 1979-05-01|data dostępu = 2017-01-05|issn = 1939-1455|wydanie = 3|strony = 638–641|doi = 10.1037/0033-2909.86.3.638|url = https://dx.doi.org/10.1037/0033-2909.86.3.638}}</ref>. Wynika również z niezrozumienia metodologii [[Weryfikacja hipotez statystycznych|weryfikacji zerowych hipotez statystycznych]] – obserwuje się, że wyniki zerowe są publikowane rzadziej od pozytywnych, na przykład w przeglądzie badań medycznych z 1987 roku trzykrotnie rzadziej<ref>{{Cytuj pismo |autor = K. Dickersin, S. Chan, T. C. Chalmersx, H. S. Sacks, H. Smith|tytuł = Publication bias and clinical trials|czasopismo = Controlled Clinical Trials|data = 1987-12-01|data dostępu = 2017-01-05|wydanie = 4|strony = 343–353|doi = 10.1016/0197-2456(87)90155-3 |url = http://www.sciencedirect.com/science/article/pii/0197245687901553}}</ref>. Studiowanie literatury przedmiotu daje więc zniekształcony obraz proporcji badań, w których dane twierdzenie zostało potwierdzone lub [[falsyfikacja|sfalsyfikowane]]{{r|Witkowski86}}{{r|Witkowski85}}. Autorzy i redakcje mogą więc pomijać raportowanie „nieudanych” badań i eksperymentów. Problem ten pogłębia dodatkowo dziennikarstwo popularnonaukowe, które dokonuje kolejnej, wybiórczej selekcji wyników badań, skupiając się w informacji publicznej na sensacyjnych rezultatach, i pomijając wyniki zerowe – jak demonstruje analiza z 2017 roku<ref>{{Cytuj|autor=Estelle Dumas-Mallet, Andy Smith, Thomas Boraud, François Gonon|tytuł=Poor replication validity of biomedical association studies reported by newspapers|czasopismo=PLOS ONE|data=2017-02-21|data dostępu=2017-02-25|issn=1932-6203|wolumin=12|numer=2|s=e0172650|doi=10.1371/journal.pone.0172650|url=http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0172650}}</ref>.


Przykładowo, badanie potwierdzające przewagę czynnika genetycznego nad czynnikiem środowiskowym w ludzkiej inteligencji zostałoby dopuszczone do publikacji w czasopiśmie naukowym, natomiast badanie, które nie wykazałoby takiej zależności, zostałoby uznane za „niekonkluzywne”, a tym samym niedopuszczone do publikacji. Wskutek tego wśród badaczy utrwaliłoby się nieudowodnione przekonanie o wyższym znaczeniu genów w ludzkiej inteligencji, podczas gdy w rzeczywistości połowa badań potwierdzałaby to twierdzenie, a połowa je obalała.
Przykładowo, badanie potwierdzające przewagę czynnika genetycznego nad czynnikiem środowiskowym w ludzkiej inteligencji zostałoby dopuszczone do publikacji w czasopiśmie naukowym, natomiast badanie, które nie wykazałoby takiej zależności, zostałoby uznane za „niekonkluzywne”, a tym samym niedopuszczone do publikacji. Wskutek tego wśród badaczy utrwaliłoby się nieudowodnione przekonanie o wyższym znaczeniu genów w ludzkiej inteligencji, podczas gdy w rzeczywistości połowa badań potwierdzałaby to twierdzenie, a połowa je obalała.
Linia 5: Linia 5:
Metodą badawczą silnie narażoną na złudzenie publikacyjne jest podstawowa [[metaanaliza]]{{r|Witkowski87}} – choć jednocześnie właśnie przy pomocy zaawansowanych narzędzi metaanalitycznych można wykrywać tendencyjność badań. Zjawisko to ma charakter [[samospełniająca się przepowiednia|samospełniającej się prognozy]], gdyż czasopisma naukowe rzadko przyjmują do publikacji artykuły napisane na podstawie badań, które są jedynie replikacjami wcześniejszych{{r|Witkowski88}}. Czasopismem naukowym, które publikuje głównie replikacje lub badania potwierdzające hipotezę zerową, jest ''Representative Research In Social Psychology''{{r|Witkowski89}}.
Metodą badawczą silnie narażoną na złudzenie publikacyjne jest podstawowa [[metaanaliza]]{{r|Witkowski87}} – choć jednocześnie właśnie przy pomocy zaawansowanych narzędzi metaanalitycznych można wykrywać tendencyjność badań. Zjawisko to ma charakter [[samospełniająca się przepowiednia|samospełniającej się prognozy]], gdyż czasopisma naukowe rzadko przyjmują do publikacji artykuły napisane na podstawie badań, które są jedynie replikacjami wcześniejszych{{r|Witkowski88}}. Czasopismem naukowym, które publikuje głównie replikacje lub badania potwierdzające hipotezę zerową, jest ''Representative Research In Social Psychology''{{r|Witkowski89}}.


== Wykrywanie ==
== Metody wykrywania ==
[[Plik:FloreAndWicherts2015 meta analysis sex stereotype threat.png|alt=Funnel plot z metaanalizy badań zagrożenia stereotypem, sugerujący obecność w literaturze tendencyjności, ze względu na obecność grup wyników wychodzących poza oczekiwany stopień symetrii|mały|''Funnel plot'' z metaanalizy badań zagrożenia stereotypem, sugerujący obecność w literaturze tendencyjności, ze względu na obecność grupy wyników odstających od oczekiwanej symetrii<ref>{{Cytuj|autor = K. Dickersin, S. Chan, T. C. Chalmersx, H. S. Sacks, H. Smith|tytuł = Publication bias and clinical trials|czasopismo = Controlled Clinical Trials|data = 1987-12-01|data dostępu = 2017-01-05|wydanie = 4|s = 343–353|doi = 10.1016/0197-2456(87)90155-3|url = http://www.sciencedirect.com/science/article/pii/0197245687901553}}</ref>]]
[[Plik:FloreAndWicherts2015 meta analysis sex stereotype threat.png|alt=Funnel plot z metaanalizy badań zagrożenia stereotypem, sugerujący obecność w literaturze tendencyjności, ze względu na obecność grup wyników wychodzących poza oczekiwany stopień symetrii|mały|''Funnel plot'' z metaanalizy badań zagrożenia stereotypem, sugerujący obecność w literaturze tendencyjności, ze względu na obecność grupy wyników odstających od oczekiwanej symetrii<ref>{{Cytuj|autor = K. Dickersin, S. Chan, T. C. Chalmersx, H. S. Sacks, H. Smith|tytuł = Publication bias and clinical trials|czasopismo = Controlled Clinical Trials|data = 1987-12-01|data dostępu = 2017-01-05|wydanie = 4|s = 343–353|doi = 10.1016/0197-2456(87)90155-3|url = http://www.sciencedirect.com/science/article/pii/0197245687901553}}</ref>]]
Tendencyjność publikacji można wykrywać poprzez stwierdzenie w statystykach metaanalitycznych rozbieżności z wynikającą z praw statystyki postacią wyników. Jednym z narzędzi do tego służących jest P''-Curve'', opierające się na sprawdzaniu, czy [[Wartość p|wartości ''p'']] badań mają konkretne oczekiwane rozkłady: w przypadku poprawnego rozpoznania istnienia (mocno prawoskośny) i nieistnienia (jednostajny) badanego zjawiska<ref>{{Cytuj|autor = Uri Simonsohn, Joseph P. Simmons, Leif D. Nelson|tytuł = Better P-Curves: Making P-Curve Analysis More Robust to Errors, Fraud, and Ambitious P-Hacking, A Reply to Ulrich and Miller|data = 2015-07-10|data dostępu = 2017-01-05|miejsce = Rochester, NY|wydawca = Social Science Research Network|url = https://papers.ssrn.com/abstract=2649230}}</ref>. Innym przykładowym narzędziem jest ''funnel plot'', testujący czy statystyki badawcze mają normalny, symetryczny rozkład wokół średniego wyniku, czy zachodzi jakieś niespodziewane zniekształcenie<ref>{{Cytuj pismo |autor = Matthias Egger, George Davey Smith, Martin Schneider, Christoph Minder|tytuł = Bias in meta-analysis detected by a simple, graphical test|czasopismo = BMJ|data = 1997-09-13 |data dostępu = 2017-01-05|issn = 0959-8138|wydanie = 7109|strony = 629–634|doi = 10.1136/bmj.315.7109.629 |pmid = 9310563 |url = http://www.bmj.com/content/315/7109/629 |język = en}}</ref>.
Tendencyjność publikacji można wykrywać poprzez stwierdzenie w statystykach metaanalitycznych rozbieżności z wynikającą z praw statystyki postacią wyników. Jednym z narzędzi do tego służących jest P''-Curve'', opierające się na sprawdzaniu, czy [[Wartość p|wartości ''p'']] badań mają konkretne oczekiwane rozkłady: w przypadku poprawnego rozpoznania istnienia (mocno prawoskośny) i nieistnienia (jednostajny) badanego zjawiska<ref>{{Cytuj|autor = Uri Simonsohn, Joseph P. Simmons, Leif D. Nelson|tytuł = Better P-Curves: Making P-Curve Analysis More Robust to Errors, Fraud, and Ambitious P-Hacking, A Reply to Ulrich and Miller|data = 2015-07-10|data dostępu = 2017-01-05|miejsce = Rochester, NY|wydawca = Social Science Research Network|url = https://papers.ssrn.com/abstract=2649230}}</ref>. Innym przykładowym narzędziem jest ''funnel plot'', testujący czy statystyki badawcze mają normalny, symetryczny rozkład wokół średniego wyniku, czy zachodzi jakieś niespodziewane zniekształcenie<ref>{{Cytuj pismo |autor = Matthias Egger, George Davey Smith, Martin Schneider, Christoph Minder|tytuł = Bias in meta-analysis detected by a simple, graphical test|czasopismo = BMJ|data = 1997-09-13 |data dostępu = 2017-01-05|issn = 0959-8138|wydanie = 7109|strony = 629–634|doi = 10.1136/bmj.315.7109.629 |pmid = 9310563 |url = http://www.bmj.com/content/315/7109/629 |język = en}}</ref>.

== Badania ==
Występowanie różnego rodzaju tendencyjności publikacji na korzyść wyników „istotnych statystycznie” potwierdziły metaanalizy m.in. w naukach społecznych<ref>{{Cytuj |autor = Gabor Simonovits, Neil Malhotra, Annie Franco |tytuł = Publication bias in the social sciences: Unlocking the file drawer |czasopismo = Science |data = 2014-09-19 |data dostępu = 2019-03-30 |issn = 0036-8075 |wolumin = 345 |numer = 6203 |s = 1502–1505 |doi = 10.1126/science.1255484 |pmid = 25170047 |url = http://science.sciencemag.org/content/345/6203/1502 |język = en}}</ref>, wiodących czasopismach naukowych (''[[Nature]]'', ''[[Science]]'', [[Proceedings of the National Academy of Sciences of the United States of America|''PNAS'']]<ref>{{Cytuj |autor = John P. A. Ioannidis, Ioana Alina Cristea |tytuł = P values in display items are ubiquitous and almost invariably significant: A survey of top science journals |czasopismo = PLOS ONE |data = 2018-05-15 |data dostępu = 2019-03-30 |issn = 1932-6203 |wolumin = 13 |numer = 5 |s = e0197440 |doi = 10.1371/journal.pone.0197440 |pmid = 29763472 |pmc = PMC5953482 |url = https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0197440 |język = en}}</ref>), biologii i naukach medycznych<ref>{{Cytuj |autor = Lisa Bero, Emmanuel Stamatakis, Lauren Powell, Alice Fabbri, Nicholas Chartres |tytuł = Reporting bias in the literature on the associations of health-related behaviors and statins with cardiovascular disease and all-cause mortality |czasopismo = PLOS Biology |data = 2018-06-18 |data dostępu = 2019-03-30 |issn = 1545-7885 |wolumin = 16 |numer = 6 |s = e2005761 |doi = 10.1371/journal.pbio.2005761 |pmid = 29912869 |pmc = PMC6023226 |url = https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.2005761 |język = en}}</ref><ref>{{Cytuj |autor = Erick H. Turner, Annette M. Matthews, Eftihia Linardatos, Robert A. Tell, Robert Rosenthal |tytuł = Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy |data = 2009-06-06 |data dostępu = 2019-03-30 |opublikowany = http://dx.doi.org/10.1056/NEJMsa065779 |doi = 10.1056/nejmsa065779 |url = https://www.nejm.org/doi/10.1056/NEJMsa065779?url_ver=Z39.88-2003&rfr_id=ori%3Arid%3Acrossref.org&rfr_dat=cr_pub%3Dwww.ncbi.nlm.nih.gov |język = EN}}</ref><ref>{{Cytuj |autor = Marco Pautasso |tytuł = Worsening file-drawer problem in the abstracts of natural, medical and social science databases |czasopismo = Scientometrics |data = 2010-10 |data dostępu = 2019-03-30 |issn = 0138-9130 |wolumin = 85 |numer = 1 |s = 193–202 |doi = 10.1007/s11192-010-0233-5 |url = http://link.springer.com/10.1007/s11192-010-0233-5 |język = en}}</ref>, czy ekonomii<ref>{{Cytuj |autor = Yanos Zylberberg, Marc Sangnier, Mathias Lé, Abel Brodeur |tytuł = Star Wars: The Empirics Strike Back |czasopismo = American Economic Journal: Applied Economics |data = 2016/01 |data dostępu = 2019-03-30 |issn = 1945-7782 |wolumin = 8 |numer = 1 |s = 1–32 |doi = 10.1257/app.20150044 |url = https://www.aeaweb.org/articles?id=10.1257/app.20150044 |język = en}}</ref>. Według porównania różnych nauk, zjawisko to występuje w większości dziedzin – prawdopodobnie rzadziej w „twardszych” dyscyplinach, jednak tylko w niedużym stopniu<ref>{{Cytuj |autor = Daniele Fanelli |tytuł = “Positive” Results Increase Down the Hierarchy of the Sciences |czasopismo = PLOS ONE |data = 2010-04-07 |data dostępu = 2019-03-30 |issn = 1932-6203 |wolumin = 5 |numer = 4 |s = e10068 |doi = 10.1371/journal.pone.0010068 |pmid = 20383332 |pmc = PMC2850928 |url = https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0010068 |język = en}}</ref>.


== Przypisy ==
== Przypisy ==

Wersja z 07:12, 30 mar 2019

Złudzenie publikacyjne, tendencyjność publikacyjna, efekt szuflady – zafałszowanie naukowego obrazu rzeczywistości powstające wskutek wybiórczości w publikowaniu wyników naukowych. Może ono powstawać między innymi wówczas, gdy autorzy lub wydawcy nie interesują się wynikami, które uważają za mało interesujące lub niezgodne z ich poglądami, lub celowo ukrywają takie wyniki (stąd „efekt szuflady”)[1]. Wynika również z niezrozumienia metodologii weryfikacji zerowych hipotez statystycznych – obserwuje się, że wyniki zerowe są publikowane rzadziej od pozytywnych, na przykład w przeglądzie badań medycznych z 1987 roku trzykrotnie rzadziej[2]. Studiowanie literatury przedmiotu daje więc zniekształcony obraz proporcji badań, w których dane twierdzenie zostało potwierdzone lub sfalsyfikowane[3][4]. Autorzy i redakcje mogą więc pomijać raportowanie „nieudanych” badań i eksperymentów. Problem ten pogłębia dodatkowo dziennikarstwo popularnonaukowe, które dokonuje kolejnej, wybiórczej selekcji wyników badań, skupiając się w informacji publicznej na sensacyjnych rezultatach, i pomijając wyniki zerowe – jak demonstruje analiza z 2017 roku[5].

Przykładowo, badanie potwierdzające przewagę czynnika genetycznego nad czynnikiem środowiskowym w ludzkiej inteligencji zostałoby dopuszczone do publikacji w czasopiśmie naukowym, natomiast badanie, które nie wykazałoby takiej zależności, zostałoby uznane za „niekonkluzywne”, a tym samym niedopuszczone do publikacji. Wskutek tego wśród badaczy utrwaliłoby się nieudowodnione przekonanie o wyższym znaczeniu genów w ludzkiej inteligencji, podczas gdy w rzeczywistości połowa badań potwierdzałaby to twierdzenie, a połowa je obalała.

Metodą badawczą silnie narażoną na złudzenie publikacyjne jest podstawowa metaanaliza[6] – choć jednocześnie właśnie przy pomocy zaawansowanych narzędzi metaanalitycznych można wykrywać tendencyjność badań. Zjawisko to ma charakter samospełniającej się prognozy, gdyż czasopisma naukowe rzadko przyjmują do publikacji artykuły napisane na podstawie badań, które są jedynie replikacjami wcześniejszych[7]. Czasopismem naukowym, które publikuje głównie replikacje lub badania potwierdzające hipotezę zerową, jest Representative Research In Social Psychology[8].

Metody wykrywania

Funnel plot z metaanalizy badań zagrożenia stereotypem, sugerujący obecność w literaturze tendencyjności, ze względu na obecność grup wyników wychodzących poza oczekiwany stopień symetrii
Funnel plot z metaanalizy badań zagrożenia stereotypem, sugerujący obecność w literaturze tendencyjności, ze względu na obecność grupy wyników odstających od oczekiwanej symetrii[9]

Tendencyjność publikacji można wykrywać poprzez stwierdzenie w statystykach metaanalitycznych rozbieżności z wynikającą z praw statystyki postacią wyników. Jednym z narzędzi do tego służących jest P-Curve, opierające się na sprawdzaniu, czy wartości p badań mają konkretne oczekiwane rozkłady: w przypadku poprawnego rozpoznania istnienia (mocno prawoskośny) i nieistnienia (jednostajny) badanego zjawiska[10]. Innym przykładowym narzędziem jest funnel plot, testujący czy statystyki badawcze mają normalny, symetryczny rozkład wokół średniego wyniku, czy zachodzi jakieś niespodziewane zniekształcenie[11].

Badania

Występowanie różnego rodzaju tendencyjności publikacji na korzyść wyników „istotnych statystycznie” potwierdziły metaanalizy m.in. w naukach społecznych[12], wiodących czasopismach naukowych (Nature, Science, PNAS[13]), biologii i naukach medycznych[14][15][16], czy ekonomii[17]. Według porównania różnych nauk, zjawisko to występuje w większości dziedzin – prawdopodobnie rzadziej w „twardszych” dyscyplinach, jednak tylko w niedużym stopniu[18].

Przypisy

  1. Robert Rosenthal. The file drawer problem and tolerance for null results.. „Psychological Bulletin”, s. 638–641, 1979-05-01. DOI: 10.1037/0033-2909.86.3.638. ISSN 1939-1455. [dostęp 2017-01-05]. 
  2. K. Dickersin, S. Chan, T. C. Chalmersx, H. S. Sacks, H. Smith. Publication bias and clinical trials. „Controlled Clinical Trials”, s. 343–353, 1987-12-01. DOI: 10.1016/0197-2456(87)90155-3. [dostęp 2017-01-05]. 
  3. Witkowski 2009 ↓, s. 86
  4. Witkowski 2009 ↓, s. 85
  5. Estelle Dumas-Mallet i inni, Poor replication validity of biomedical association studies reported by newspapers, „PLOS One”, 12 (2), 2017, e0172650, DOI10.1371/journal.pone.0172650, ISSN 1932-6203 [dostęp 2017-02-25].
  6. Witkowski 2009 ↓, s. 87
  7. Witkowski 2009 ↓, s. 88
  8. Witkowski 2009 ↓, s. 89
  9. K. Dickersin i inni, Publication bias and clinical trials, „Controlled Clinical Trials”, 4, 1987, s. 343–353, DOI10.1016/0197-2456(87)90155-3 [dostęp 2017-01-05].
  10. Uri Simonsohn, Joseph P. Simmons, Leif D. Nelson, Better P-Curves: Making P-Curve Analysis More Robust to Errors, Fraud, and Ambitious P-Hacking, A Reply to Ulrich and Miller, Rochester, NY: Social Science Research Network, 10 lipca 2015 [dostęp 2017-01-05].
  11. Matthias Egger, George Davey Smith, Martin Schneider, Christoph Minder. Bias in meta-analysis detected by a simple, graphical test. „BMJ”, s. 629–634, 1997-09-13. DOI: 10.1136/bmj.315.7109.629. ISSN 0959-8138. PMID: 9310563. [dostęp 2017-01-05]. (ang.). 
  12. Gabor Simonovits, Neil Malhotra, Annie Franco, Publication bias in the social sciences: Unlocking the file drawer, „Science”, 345 (6203), 2014, s. 1502–1505, DOI10.1126/science.1255484, ISSN 0036-8075, PMID25170047 [dostęp 2019-03-30] (ang.).
  13. John P.A. Ioannidis, Ioana Alina Cristea, P values in display items are ubiquitous and almost invariably significant: A survey of top science journals, „PLOS One”, 13 (5), 2018, e0197440, DOI10.1371/journal.pone.0197440, ISSN 1932-6203, PMID29763472, PMCIDPMC5953482 [dostęp 2019-03-30] (ang.).
  14. Lisa Bero i inni, Reporting bias in the literature on the associations of health-related behaviors and statins with cardiovascular disease and all-cause mortality, „PLOS Biology”, 16 (6), 2018, e2005761, DOI10.1371/journal.pbio.2005761, ISSN 1545-7885, PMID29912869, PMCIDPMC6023226 [dostęp 2019-03-30] (ang.).
  15. Erick H. Turner i inni, Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy, http://dx.doi.org/10.1056/NEJMsa065779, 6 czerwca 2009, DOI10.1056/nejmsa065779 [dostęp 2019-03-30] (ang.).
  16. Marco Pautasso, Worsening file-drawer problem in the abstracts of natural, medical and social science databases, „Scientometrics”, 85 (1), 2010, s. 193–202, DOI10.1007/s11192-010-0233-5, ISSN 0138-9130 [dostęp 2019-03-30] (ang.).
  17. Yanos Zylberberg i inni, Star Wars: The Empirics Strike Back, „American Economic Journal: Applied Economics”, 8 (1), 2016, s. 1–32, DOI10.1257/app.20150044, ISSN 1945-7782 [dostęp 2019-03-30] (ang.).
  18. Daniele Fanelli, “Positive” Results Increase Down the Hierarchy of the Sciences, „PLOS One”, 5 (4), 2010, e10068, DOI10.1371/journal.pone.0010068, ISSN 1932-6203, PMID20383332, PMCIDPMC2850928 [dostęp 2019-03-30] (ang.).

Bibliografia

  • Tomasz Witkowski: Zakazana Psychologia. T. I. Taszów: Biblioteka Moderatora, 2009.