Prerejestracja badania: Różnice pomiędzy wersjami

Dodaj linki
Z Wikipedii, wolnej encyklopedii
Przeglądaj historię interaktywnie
[wersja przejrzana][wersja przejrzana]
← poprzednia edycjanastępna edycja →
Usunięta treść Dodana treść
WizualnieWikikod
Paweł Ziemian BOT (dyskusja | edycje)
Boty
1 384 760 edycji
m Dodaję nagłówek przed Szablon:Przypisy
nieduże uzupełnienie, i czytelniejsza organizacja
Linia 1: Linia 1:
'''Prerejstracja badania''', '''prerejestracja planu badawczego''', '''wstępna rejestracja projektu badania''' – w [[Metodologia|metodologii]] i [[Wnioskowanie statystyczne|wnioskowaniu statystycznym]], zarejestrowanie planu zbierania i analizy danych przed realizacją [[Badanie konfirmacyjne|konfirmacyjnego]] [[badania naukowe]]go, w celu zagwarantowania jego zgodności z założeniami metodologicznymi<ref name=":0">{{Cytuj|autor=Daniël Lakens, Ellen R. K. Evers|tytuł=Sailing From the Seas of Chaos Into the Corridor of Stability|czasopismo=Perspectives on Psychological Science|data=2014-05-06|data dostępu=2017-02-09|wolumin=9|numer=3|s=278–292|doi=10.1177/1745691614528520 |język=en}}</ref><ref name=":1">{{Cytuj|autor=Jens B. Asendorpf, Mark Conner, Filip De Fruyt, Jan De Houwer, Jaap J. A. Denissen|tytuł=Recommendations for Increasing Replicability in Psychology|czasopismo=European Journal of Personality |data=2013-03-01 |data dostępu=2017-02-09 |issn=1099-0984|wolumin=27|numer=2|s=108–119 |doi=10.1002/per.1919 |język=en}}</ref><ref name=":2">{{Cytuj|autor=Eric-Jan Wagenmakers, Ruud Wetzels, Denny Borsboom, Han L. J. van der Maas, Rogier A. Kievit|tytuł=An Agenda for Purely Confirmatory Research|czasopismo=Perspectives on Psychological Science |data=2012-11-07 |data dostępu=2017-02-09 |wolumin=7|numer=6|s=632–638 |doi=10.1177/1745691612463078 |język=en}}</ref><ref name=":3">{{Cytuj|autor=Brian A. Nosek, Daniël Lakens |tytuł=Registered Reports|czasopismo=Social Psychology|data=2014-01-01|data dostępu=2017-02-09 |issn=1864-9335|wolumin=45|numer=3|s=137–141 |doi=10.1027/1864-9335/a000192}}</ref><ref name=":4">{{Cytuj |autor=Budzicz Łukasz |tytuł=Dyskusja „po Stapelu” wokół rzetelności badań i publikacji w psychologii |czasopismo=Roczniki Psychologiczne |data=2015-01-01 |data dostępu=2017-02-09 |issn=1507-7888 |wolumin=18|numer=1 |url=http://cejsh.icm.edu.pl/cejsh/element/bwmeta1.element.desklight-c77541af-2408-42de-83fa-b351b98133ec |język=pl}}</ref><ref name=":5">{{Cytuj |autor=Jerzy Marian Brzeziński|tytuł=Czy warto (trzeba) dyskutować o różnych aspektach uprawiania psychologii w Polsce?|czasopismo=Roczniki Psychologiczne |data=2014-01-01 |data dostępu=2017-02-09 |issn=1507-7888 |wolumin=17|numer=3 |url=http://cejsh.icm.edu.pl/cejsh/element/bwmeta1.element.desklight-b914cf67-ca2e-43bb-bca1-893f9b4fe9d2 |język=pl}}</ref>.
'''Prerejstracja badania''', '''prerejestracja planu badawczego''', '''wstępna rejestracja projektu badania''' – w [[Metodologia|metodologii]] i [[Wnioskowanie statystyczne|wnioskowaniu statystycznym]], zarejestrowanie planu zbierania i analizy danych przed realizacją [[Badanie konfirmacyjne|konfirmacyjnego]] [[badania naukowe]]go, w celu zagwarantowania jego zgodności z założeniami metodologicznymi<ref name=":0">{{Cytuj|autor=Daniël Lakens, Ellen R. K. Evers|tytuł=Sailing From the Seas of Chaos Into the Corridor of Stability|czasopismo=Perspectives on Psychological Science|data=2014-05-06|data dostępu=2017-02-09|wolumin=9|numer=3|s=278–292|doi=10.1177/1745691614528520 |język=en}}</ref><ref name=":1">{{Cytuj|autor=Jens B. Asendorpf, Mark Conner, Filip De Fruyt, Jan De Houwer, Jaap J. A. Denissen|tytuł=Recommendations for Increasing Replicability in Psychology|czasopismo=European Journal of Personality |data=2013-03-01 |data dostępu=2017-02-09 |issn=1099-0984|wolumin=27|numer=2|s=108–119 |doi=10.1002/per.1919 |język=en}}</ref><ref name=":2">{{Cytuj|autor=Eric-Jan Wagenmakers, Ruud Wetzels, Denny Borsboom, Han L. J. van der Maas, Rogier A. Kievit|tytuł=An Agenda for Purely Confirmatory Research|czasopismo=Perspectives on Psychological Science |data=2012-11-07 |data dostępu=2017-02-09 |wolumin=7|numer=6|s=632–638 |doi=10.1177/1745691612463078 |język=en}}</ref><ref name=":3">{{Cytuj|autor=Brian A. Nosek, Daniël Lakens |tytuł=Registered Reports|czasopismo=Social Psychology|data=2014-01-01|data dostępu=2017-02-09 |issn=1864-9335|wolumin=45|numer=3|s=137–141 |doi=10.1027/1864-9335/a000192}}</ref><ref name=":4">{{Cytuj |autor=Budzicz Łukasz |tytuł=Dyskusja „po Stapelu” wokół rzetelności badań i publikacji w psychologii |czasopismo=Roczniki Psychologiczne |data=2015-01-01 |data dostępu=2017-02-09 |issn=1507-7888 |wolumin=18|numer=1 |url=http://cejsh.icm.edu.pl/cejsh/element/bwmeta1.element.desklight-c77541af-2408-42de-83fa-b351b98133ec |język=pl}}</ref><ref name=":5">{{Cytuj |autor=Jerzy Marian Brzeziński|tytuł=Czy warto (trzeba) dyskutować o różnych aspektach uprawiania psychologii w Polsce?|czasopismo=Roczniki Psychologiczne |data=2014-01-01 |data dostępu=2017-02-09 |issn=1507-7888 |wolumin=17|numer=3 |url=http://cejsh.icm.edu.pl/cejsh/element/bwmeta1.element.desklight-b914cf67-ca2e-43bb-bca1-893f9b4fe9d2 |język=pl}}</ref>.


== Motywacja ==
Wskaźniki jakości [[Badania konfirmacyjne|badań konfirmacyjnych]], takie jak [[poziom istotności]], zależą ściśle od przestrzegania określonych procedur metodologicznych – przede wszystkim, wykonania i opublikowania wyników nie mniej, i nie więcej niż zaplanowanej liczby [[Weryfikacja hipotez statystycznych|testów hipotez]] i porównań, przy założonej z góry wielkości i randomizacji [[Próba statystyczna|próby]]. Nieprzestrzeganie założeń modelu statystycznego pozwala osiągnąć nominalną istotność częściej niż dane do tego uprawniają – praktycznie zawsze, co niweczy jednak sens procedury, tj. kontrolę [[Błąd pierwszego rodzaju|błędów pierwszego]] i [[Błąd drugiego rodzaju|drugiego rodzaju]]<ref>{{Cytuj|autor=Joseph P. Simmons, Leif D. Nelson, Uri Simonsohn|tytuł=False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant|data=2011-05-23|data dostępu=2017-02-09|miejsce=Rochester, NY|url=https://papers.ssrn.com/abstract=1850704}}</ref>. Takie postępowanie nazywa się ogólnie [[P-hacking]]iem, i jest ono zaniedbaniem lub oszustwem naukowym. Redakcje czasopism naukowych mogą dodatkowo pogłębiać zniekształcenie naukowego obrazu rzeczywistości przez [[Złudzenie publikacyjne|tendencyjność publikacji]]: częstsze publikowanie istotnych statystycznie, sensacyjnych odkryć, i rzadkie publikowanie [[Replikacja (metoda naukowa)|replikacji]] badań<ref>{{Cytuj|autor=K. Dickersin, S. Chan, T. C. Chalmersx, H. S. Sacks, H. Smith Jr.|tytuł=Publication bias and clinical trials|czasopismo=Controlled Clinical Trials|data=1987-12-01|data dostępu=2017-02-09|wolumin=8|numer=4|s=343–353|doi=10.1016/0197-2456(87)90155-3 |url=http://www.sciencedirect.com/science/article/pii/0197245687901553}}</ref><ref>{{Cytuj |autor=Matthew C. Makel, Jonathan A. Plucker, Boyd Hegarty |tytuł=Replications in Psychology Research |czasopismo=Perspectives on Psychological Science |data=2012-11-07 |data dostępu=2017-02-09 |wolumin=7|numer=6|s=537–542 |doi=10.1177/1745691612460688 |url=http://journals.sagepub.com/doi/10.1177/1745691612460688 |język=en}}</ref>. Zjawiska te można wykryć przy pomocy narzędzi statystycznych i [[Metaanaliza|metaanalitycznych]]<ref>{{Cytuj |autor=Matthias Egger, George Davey Smith, Martin Schneider, Christoph Minder |tytuł=Bias in meta-analysis detected by a simple, graphical test |czasopismo=BMJ |data=1997-09-13 |data dostępu=2017-02-09 |issn=0959-8138 |wolumin=315|numer=7109|s=629–634 |doi=10.1136/bmj.315.7109.629 |pmid=9310563 |url=http://www.bmj.com/content/315/7109/629 |język=en}}</ref><ref>{{Cytuj |autor=Uri Simonsohn, Joseph P. Simmons, Leif D. Nelson |tytuł=Better P-Curves: Making P-Curve Analysis More Robust to Errors, Fraud, and Ambitious P-Hacking, A Reply to Ulrich and Miller |data=2015-07-10 |data dostępu=2017-02-09 |miejsce=Rochester, NY |url=https://papers.ssrn.com/abstract=2649230}}</ref>. W pierwszych dekadach XXI wieku ujawniono szereg tej postaci nadużyć<ref>{{Cytuj |autor=Uri Simonsohn |tytuł=Just Post It: The Lesson from Two Cases of Fabricated Data Detected by Statistics Alone|data=2013-01-29 |data dostępu=2017-02-09 |miejsce=Rochester, NY |url=https://papers.ssrn.com/abstract=2114571}}</ref><ref>{{Cytuj |autor=Joseph P. Simmons, Uri Simonsohn |tytuł=Power Posing: P-Curving the Evidence |data=2016-09-26 |data dostępu=2017-02-09 |miejsce=Rochester, NY |url=https://papers.ssrn.com/abstract=2791272}}</ref>, oraz stwierdzono, że wielu uznanych za prawdziwe wyników nie udaje się odtworzyć (tzw. kryzys [[Replikacja (metoda naukowa)|replikacji]])<ref>{{Cytuj|autor=*Open Science Collaboration|tytuł=Estimating the reproducibility of psychological science |czasopismo=Science |data=2015-08-28 |data dostępu=2017-02-09 |issn=0036-8075 |wolumin=349|numer=6251|s=aac4716 |doi=10.1126/science.aac4716 |pmid=26315443 |url=http://science.sciencemag.org/content/349/6251/aac4716|język=en}}</ref><ref>{{Cytuj |autor=Monya Baker |tytuł=1,500 scientists lift the lid on reproducibility |czasopismo=Nature |data=2016-05-26|data dostępu=2017-02-09 |wolumin=533|numer=7604|s=452–454 |doi=10.1038/533452a |język=en}}</ref><ref>{{Cytuj|autor=Andrew Gelman, Eric Loken |tytuł=The Statistical Crisis in Science |czasopismo=American Scientist |data dostępu=2017-02-09 |wolumin=102|numer=6 |doi=10.1511/2014.111.460 |język=en}}</ref><ref>{{Cytuj |autor=Regina Nuzzo |tytuł=How scientists fool themselves – and how they can stop |czasopismo=Nature |data=2015-10-08 |data dostępu=2017-02-09 |wolumin=526|numer=7572|s=182–185 |doi=10.1038/526182a |url=http://www.nature.com/news/how-scientists-fool-themselves-and-how-they-can-stop-1.18517 |język=en}}</ref>. Według [[Hiperbola (retoryka)|hiperbolicznego]] stwierdzenia Ioannidesa, ze względu na powszechność błędów metodologicznych jest możliwe, że większość opublikowanych rezultatów badań jest fałszywa (tj. [[Wartość predykcyjna dodatnia|PPV]] nauki może nie przekraczać 50%)<ref>{{Cytuj|autor=John P. A. Ioannidis|tytuł=Why Most Published Research Findings Are False|czasopismo=PLOS Medicine|data=2005-08-30|data dostępu=2017-02-09|issn=1549-1676|wolumin=2|numer=8|s=e124 |doi=10.1371/journal.pmed.0020124 |pmid=16060722 |pmc=PMC1182327}}</ref>. Prerejestracja badań jest proponowaną metodą przeciwdziałania takim problemom, i środkiem zwiększenia wiarygodności badań<ref name=":0" /><ref name=":1" /><ref name=":2" /><ref name=":3" /><ref name=":4" /><ref name=":5" />.
Wskaźniki jakości [[Badania konfirmacyjne|badań konfirmacyjnych]], takie jak [[poziom istotności]], zależą ściśle od przestrzegania określonych procedur metodologicznych – przede wszystkim, wykonania i opublikowania wyników nie mniej, i nie więcej niż zaplanowanej liczby [[Weryfikacja hipotez statystycznych|testów hipotez]] i porównań, przy założonej z góry wielkości i randomizacji [[Próba statystyczna|próby]]. Nieprzestrzeganie założeń modelu statystycznego pozwala osiągnąć nominalną istotność częściej niż dane do tego uprawniają – praktycznie zawsze, co niweczy jednak sens procedury, tj. kontrolę [[Błąd pierwszego rodzaju|błędów pierwszego]] i [[Błąd drugiego rodzaju|drugiego rodzaju]]<ref>{{Cytuj|autor=Joseph P. Simmons, Leif D. Nelson, Uri Simonsohn|tytuł=False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant|data=2011-05-23|data dostępu=2017-02-09|miejsce=Rochester, NY|url=https://papers.ssrn.com/abstract=1850704}}</ref>. Takie postępowanie nazywa się ogólnie [[P-hacking]]iem, i jest ono zaniedbaniem lub oszustwem naukowym. Redakcje czasopism naukowych mogą dodatkowo pogłębiać zniekształcenie naukowego obrazu rzeczywistości przez [[Złudzenie publikacyjne|tendencyjność publikacji]]: częstsze publikowanie istotnych statystycznie, sensacyjnych odkryć, i rzadkie publikowanie [[Replikacja (metoda naukowa)|replikacji]] badań<ref>{{Cytuj|autor=K. Dickersin, S. Chan, T. C. Chalmersx, H. S. Sacks, H. Smith Jr.|tytuł=Publication bias and clinical trials|czasopismo=Controlled Clinical Trials|data=1987-12-01|data dostępu=2017-02-09|wolumin=8|numer=4|s=343–353|doi=10.1016/0197-2456(87)90155-3 |url=http://www.sciencedirect.com/science/article/pii/0197245687901553}}</ref><ref>{{Cytuj |autor=Matthew C. Makel, Jonathan A. Plucker, Boyd Hegarty |tytuł=Replications in Psychology Research |czasopismo=Perspectives on Psychological Science |data=2012-11-07 |data dostępu=2017-02-09 |wolumin=7|numer=6|s=537–542 |doi=10.1177/1745691612460688 |url=http://journals.sagepub.com/doi/10.1177/1745691612460688 |język=en}}</ref>. Zjawiska te można wykryć przy pomocy narzędzi statystycznych i [[Metaanaliza|meta-analitycznych]]<ref>{{Cytuj |autor=Matthias Egger, George Davey Smith, Martin Schneider, Christoph Minder |tytuł=Bias in meta-analysis detected by a simple, graphical test |czasopismo=BMJ |data=1997-09-13 |data dostępu=2017-02-09 |issn=0959-8138 |wolumin=315|numer=7109|s=629–634 |doi=10.1136/bmj.315.7109.629 |pmid=9310563 |url=http://www.bmj.com/content/315/7109/629 |język=en}}</ref><ref>{{Cytuj |autor=Uri Simonsohn, Joseph P. Simmons, Leif D. Nelson |tytuł=Better P-Curves: Making P-Curve Analysis More Robust to Errors, Fraud, and Ambitious P-Hacking, A Reply to Ulrich and Miller |data=2015-07-10 |data dostępu=2017-02-09 |miejsce=Rochester, NY |url=https://papers.ssrn.com/abstract=2649230}}</ref>.


W pierwszych dekadach XXI wieku ujawniono szereg tej postaci nadużyć<ref>{{Cytuj |autor=Uri Simonsohn |tytuł=Just Post It: The Lesson from Two Cases of Fabricated Data Detected by Statistics Alone|data=2013-01-29 |data dostępu=2017-02-09 |miejsce=Rochester, NY |url=https://papers.ssrn.com/abstract=2114571}}</ref><ref>{{Cytuj |autor=Joseph P. Simmons, Uri Simonsohn |tytuł=Power Posing: P-Curving the Evidence |data=2016-09-26 |data dostępu=2017-02-09 |miejsce=Rochester, NY |url=https://papers.ssrn.com/abstract=2791272}}</ref>, oraz stwierdzono, że wielu uznanych za prawdziwe wyników nie udaje się odtworzyć (tzw. kryzys [[Replikacja (metoda naukowa)|replikacji]])<ref>{{Cytuj|autor=*Open Science Collaboration|tytuł=Estimating the reproducibility of psychological science |czasopismo=Science |data=2015-08-28 |data dostępu=2017-02-09 |issn=0036-8075 |wolumin=349|numer=6251|s=aac4716 |doi=10.1126/science.aac4716 |pmid=26315443 |url=http://science.sciencemag.org/content/349/6251/aac4716|język=en}}</ref><ref>{{Cytuj |autor=Monya Baker |tytuł=1,500 scientists lift the lid on reproducibility |czasopismo=Nature |data=2016-05-26|data dostępu=2017-02-09 |wolumin=533|numer=7604|s=452–454 |doi=10.1038/533452a |język=en}}</ref><ref>{{Cytuj|autor=Andrew Gelman, Eric Loken |tytuł=The Statistical Crisis in Science |czasopismo=American Scientist |data dostępu=2017-02-09 |wolumin=102|numer=6 |doi=10.1511/2014.111.460 |język=en}}</ref><ref>{{Cytuj |autor=Regina Nuzzo |tytuł=How scientists fool themselves – and how they can stop |czasopismo=Nature |data=2015-10-08 |data dostępu=2017-02-09 |wolumin=526|numer=7572|s=182–185 |doi=10.1038/526182a |url=http://www.nature.com/news/how-scientists-fool-themselves-and-how-they-can-stop-1.18517 |język=en}}</ref>. Według [[Hiperbola (retoryka)|hiperbolicznego]] stwierdzenia Ioannidesa, ze względu na powszechność błędów metodologicznych jest możliwe, że większość opublikowanych rezultatów badań jest fałszywa (tj. [[Wartość predykcyjna dodatnia|PPV]] nauki może nie przekraczać 50%)<ref>{{Cytuj|autor=John P. A. Ioannidis|tytuł=Why Most Published Research Findings Are False|czasopismo=PLOS Medicine|data=2005-08-30|data dostępu=2017-02-09|issn=1549-1676|wolumin=2|numer=8|s=e124 |doi=10.1371/journal.pmed.0020124 |pmid=16060722 |pmc=PMC1182327}}</ref>.
⚫
Prerejestracja pozwala także badaczom na zastosowanie niekonwencjonalnych rozwiązań statystycznych, które bez tego zabezpieczenia mogłyby wzbudzić podejrzenia o P-hacking – np. jednostronnych testów hipotez lub innego krytycznego poziomu istotności niż 0,05<ref>{{Cytuj|autor=Jelte M. Wicherts, Coosje L. S. Veldkamp, Hilde E. M. Augusteijn, Marjan Bakker, Robbie C. M. van Aert|tytuł=Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking |czasopismo=Frontiers in Psychology|data=2016-11-25|data dostępu=2017-02-09|issn=1664-1078|wolumin=7|doi=10.3389/fpsyg.2016.01832|pmid=27933012|pmc=PMC5122713}}</ref>.


⚫
Prerejestracja badań jest proponowaną metodą przeciwdziałania takim problemom, i środkiem zwiększenia wiarygodności badań<ref name=":0" /><ref name=":1" /><ref name=":2" /><ref name=":3" /><ref name=":4" /><ref name=":5" />. Prerejestracja pozwala także badaczom na zastosowanie niekonwencjonalnych rozwiązań statystycznych, które bez tego zabezpieczenia mogłyby wzbudzić podejrzenia o P-hacking – np. jednostronnych testów hipotez lub innego krytycznego poziomu istotności niż 0,05<ref>{{Cytuj|autor=Jelte M. Wicherts, Coosje L. S. Veldkamp, Hilde E. M. Augusteijn, Marjan Bakker, Robbie C. M. van Aert|tytuł=Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking |czasopismo=Frontiers in Psychology|data=2016-11-25|data dostępu=2017-02-09|issn=1664-1078|wolumin=7|doi=10.3389/fpsyg.2016.01832|pmid=27933012|pmc=PMC5122713}}</ref>.
⚫
Przegląd badań klinicznych opublikowanych w latach 1970–2012 w dziedzinie, która w roku 2000 przyjęła obowiązek rejestracji projektu badania, wskazuje że zmiana ta wpłynęła silnie pozytywnie na redukcję tendencyjności publikacji<ref>{{Cytuj|autor=Robert M. Kaplan, Veronica L. Irvin|tytuł=Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time|czasopismo=PLOS ONE|data=2015-08-05|data dostępu=2017-02-09|issn=1932-6203 |wolumin=10|numer=8 |s=e0132382 |doi=10.1371/journal.pone.0132382 |pmid=26244868 |pmc=PMC4526697}}</ref>.

== Efekty ==
⚫
Przegląd badań klinicznych opublikowanych w latach 1970–2012 w dziedzinie, która w roku 2000 przyjęła obowiązek rejestracji projektu badania, wskazuje że zmiana ta wpłynęła silnie pozytywnie na redukcję tendencyjności publikacji<ref>{{Cytuj|autor=Robert M. Kaplan, Veronica L. Irvin|tytuł=Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time|czasopismo=PLOS ONE|data=2015-08-05|data dostępu=2017-02-09|issn=1932-6203 |wolumin=10|numer=8 |s=e0132382 |doi=10.1371/journal.pone.0132382 |pmid=26244868 |pmc=PMC4526697}}</ref>. Podobnie, raport z 2018 r. wskazuje, że stosowanie badań rejestrowanych staje się w ostatnim czasie coraz popularniejsze, a publikacje tego typu znacznie częściej rzetelnie przedstawiają „nieistotne” statystycznie wyniki<ref>{{Cytuj |autor = John P. A. Ioannidis, Tom E. Hardwicke |tytuł = Mapping the universe of registered reports |czasopismo = Nature Human Behaviour |data = 2018-11 |data dostępu = 2019-03-05 |issn = 2397-3374 |wolumin = 2 |numer = 11 |s = 793–796 |doi = 10.1038/s41562-018-0444-y |url = https://www.nature.com/articles/s41562-018-0444-y |język = en}}</ref>.

Z drugiej strony, analizy prerejestrowanych publikacji medycznych ogłoszone w 2019 r. w ramach projektu COMPare ujawniły, że 87% tekstów zawierało niewyjaśnione odstępstwa od zadeklarowanego planu badania, co powinno było zostać wykryte i poprawione w trakcie [[Recenzja naukowa|recenzji naukowej]]<ref>{{Cytuj |autor = Ben Goldacre, Henry Drysdale, Aaron Dale, Ioan Milosevic, Eirion Slade |tytuł = COMPare: a prospective cohort study correcting and monitoring 58 misreported trials in real time |czasopismo = Trials |data = 2019-02-14 |data dostępu = 2019-03-05 |issn = 1745-6215 |wolumin = 20 |numer = 1 |s = 118 |doi = 10.1186/s13063-019-3173-2 |pmid = 30760329 |pmc = PMC6375128 |url = https://doi.org/10.1186/s13063-019-3173-2}}</ref>; redakcje którym zwrócono na to uwagę reagowały – w ocenie uczestników projektu – zbyt często obronnie, nieprzyjaźnie i niekonstruktywnie<ref>{{Cytuj |autor = Ben Goldacre, Henry Drysdale, Cicely Marston, Kamal R. Mahtani, Aaron Dale |tytuł = COMPare: Qualitative analysis of researchers’ responses to critical correspondence on a cohort of 58 misreported trials |czasopismo = Trials |data = 2019-02-14 |data dostępu = 2019-03-05 |issn = 1745-6215 |wolumin = 20 |numer = 1 |s = 124 |doi = 10.1186/s13063-019-3172-3 |pmid = 30760328 |pmc = PMC6374909 |url = https://doi.org/10.1186/s13063-019-3172-3}}</ref>.


== Przypisy ==
== Przypisy ==

Wersja z 18:45, 5 mar 2019

Prerejstracja badania, prerejestracja planu badawczego, wstępna rejestracja projektu badania – w metodologii i wnioskowaniu statystycznym, zarejestrowanie planu zbierania i analizy danych przed realizacją konfirmacyjnego badania naukowego, w celu zagwarantowania jego zgodności z założeniami metodologicznymi[1][2][3][4][5][6].

Motywacja

Wskaźniki jakości badań konfirmacyjnych, takie jak poziom istotności, zależą ściśle od przestrzegania określonych procedur metodologicznych – przede wszystkim, wykonania i opublikowania wyników nie mniej, i nie więcej niż zaplanowanej liczby testów hipotez i porównań, przy założonej z góry wielkości i randomizacji próby. Nieprzestrzeganie założeń modelu statystycznego pozwala osiągnąć nominalną istotność częściej niż dane do tego uprawniają – praktycznie zawsze, co niweczy jednak sens procedury, tj. kontrolę błędów pierwszego i drugiego rodzaju[7]. Takie postępowanie nazywa się ogólnie P-hackingiem, i jest ono zaniedbaniem lub oszustwem naukowym. Redakcje czasopism naukowych mogą dodatkowo pogłębiać zniekształcenie naukowego obrazu rzeczywistości przez tendencyjność publikacji: częstsze publikowanie istotnych statystycznie, sensacyjnych odkryć, i rzadkie publikowanie replikacji badań[8][9]. Zjawiska te można wykryć przy pomocy narzędzi statystycznych i meta-analitycznych[10][11].

W pierwszych dekadach XXI wieku ujawniono szereg tej postaci nadużyć[12][13], oraz stwierdzono, że wielu uznanych za prawdziwe wyników nie udaje się odtworzyć (tzw. kryzys replikacji)[14][15][16][17]. Według hiperbolicznego stwierdzenia Ioannidesa, ze względu na powszechność błędów metodologicznych jest możliwe, że większość opublikowanych rezultatów badań jest fałszywa (tj. PPV nauki może nie przekraczać 50%)[18].

Prerejestracja badań jest proponowaną metodą przeciwdziałania takim problemom, i środkiem zwiększenia wiarygodności badań[1][2][3][4][5][6]. Prerejestracja pozwala także badaczom na zastosowanie niekonwencjonalnych rozwiązań statystycznych, które bez tego zabezpieczenia mogłyby wzbudzić podejrzenia o P-hacking – np. jednostronnych testów hipotez lub innego krytycznego poziomu istotności niż 0,05[19].

Efekty

Przegląd badań klinicznych opublikowanych w latach 1970–2012 w dziedzinie, która w roku 2000 przyjęła obowiązek rejestracji projektu badania, wskazuje że zmiana ta wpłynęła silnie pozytywnie na redukcję tendencyjności publikacji[20]. Podobnie, raport z 2018 r. wskazuje, że stosowanie badań rejestrowanych staje się w ostatnim czasie coraz popularniejsze, a publikacje tego typu znacznie częściej rzetelnie przedstawiają „nieistotne” statystycznie wyniki[21].

Z drugiej strony, analizy prerejestrowanych publikacji medycznych ogłoszone w 2019 r. w ramach projektu COMPare ujawniły, że 87% tekstów zawierało niewyjaśnione odstępstwa od zadeklarowanego planu badania, co powinno było zostać wykryte i poprawione w trakcie recenzji naukowej[22]; redakcje którym zwrócono na to uwagę reagowały – w ocenie uczestników projektu – zbyt często obronnie, nieprzyjaźnie i niekonstruktywnie[23].

Przypisy

  1. ↑ a b Daniël Lakens, Ellen R.K. Evers, Sailing From the Seas of Chaos Into the Corridor of Stability, „Perspectives on Psychological Science”, 9 (3), 2014, s. 278–292, DOI: 10.1177/1745691614528520 [dostęp 2017-02-09] (ang.).
  2. ↑ a b Jens B. Asendorpf i inni, Recommendations for Increasing Replicability in Psychology, „European Journal of Personality”, 27 (2), 2013, s. 108–119, DOI: 10.1002/per.1919, ISSN 1099-0984 [dostęp 2017-02-09] (ang.).
  3. ↑ a b Eric-Jan Wagenmakers i inni, An Agenda for Purely Confirmatory Research, „Perspectives on Psychological Science”, 7 (6), 2012, s. 632–638, DOI: 10.1177/1745691612463078 [dostęp 2017-02-09] (ang.).
  4. ↑ a b Brian A. Nosek, Daniël Lakens, Registered Reports, „Social Psychology”, 45 (3), 2014, s. 137–141, DOI: 10.1027/1864-9335/a000192, ISSN 1864-9335 [dostęp 2017-02-09].
  5. ↑ a b Budzicz Łukasz, Dyskusja „po Stapelu” wokół rzetelności badań i publikacji w psychologii, „Roczniki Psychologiczne”, 18 (1), 2015, ISSN 1507-7888 [dostęp 2017-02-09] (pol.).
  6. ↑ a b Jerzy Marian Brzeziński, Czy warto (trzeba) dyskutować o różnych aspektach uprawiania psychologii w Polsce?, „Roczniki Psychologiczne”, 17 (3), 2014, ISSN 1507-7888 [dostęp 2017-02-09] (pol.).
  7. ↑ Joseph P. Simmons, Leif D. Nelson, Uri Simonsohn, False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant, Rochester, NY, 23 maja 2011 [dostęp 2017-02-09].
  8. ↑ K. Dickersin i inni, Publication bias and clinical trials, „Controlled Clinical Trials”, 8 (4), 1987, s. 343–353, DOI: 10.1016/0197-2456(87)90155-3 [dostęp 2017-02-09].
  9. ↑ Matthew C. Makel, Jonathan A. Plucker, Boyd Hegarty, Replications in Psychology Research, „Perspectives on Psychological Science”, 7 (6), 2012, s. 537–542, DOI: 10.1177/1745691612460688 [dostęp 2017-02-09] (ang.).
  10. ↑ Matthias Egger i inni, Bias in meta-analysis detected by a simple, graphical test, „British Medical Journal”, 315 (7109), 1997, s. 629–634, DOI: 10.1136/bmj.315.7109.629, ISSN 0959-8138, PMID: 9310563 [dostęp 2017-02-09] (ang.).
  11. ↑ Uri Simonsohn, Joseph P. Simmons, Leif D. Nelson, Better P-Curves: Making P-Curve Analysis More Robust to Errors, Fraud, and Ambitious P-Hacking, A Reply to Ulrich and Miller, Rochester, NY, 10 lipca 2015 [dostęp 2017-02-09].
  12. ↑ Uri Simonsohn, Just Post It: The Lesson from Two Cases of Fabricated Data Detected by Statistics Alone, Rochester, NY, 29 stycznia 2013 [dostęp 2017-02-09].
  13. ↑ Joseph P. Simmons, Uri Simonsohn, Power Posing: P-Curving the Evidence, Rochester, NY, 26 września 2016 [dostęp 2017-02-09].
  14. ↑ Open Science Collaboration, Estimating the reproducibility of psychological science, „Science”, 349 (6251), 2015, aac4716, DOI: 10.1126/science.aac4716, ISSN 0036-8075, PMID: 26315443 [dostęp 2017-02-09] (ang.).
  15. ↑ Monya Baker, 1,500 scientists lift the lid on reproducibility, „Nature”, 533 (7604), 2016, s. 452–454, DOI: 10.1038/533452a [dostęp 2017-02-09] (ang.).
  16. ↑ Andrew Gelman, Eric Loken, The Statistical Crisis in Science, „American Scientist”, 102 (6), DOI: 10.1511/2014.111.460 [dostęp 2017-02-09] (ang.).
  17. ↑ Regina Nuzzo, How scientists fool themselves – and how they can stop, „Nature”, 526 (7572), 2015, s. 182–185, DOI: 10.1038/526182a [dostęp 2017-02-09] (ang.).
  18. ↑ John P.A. Ioannidis, Why Most Published Research Findings Are False, „PLOS Medicine”, 2 (8), 2005, e124, DOI: 10.1371/journal.pmed.0020124, ISSN 1549-1676, PMID: 16060722, PMCID: PMC1182327 [dostęp 2017-02-09].
  19. ↑ Jelte M. Wicherts i inni, Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking, „Frontiers in Psychology”, 7, 2016, DOI: 10.3389/fpsyg.2016.01832, ISSN 1664-1078, PMID: 27933012, PMCID: PMC5122713 [dostęp 2017-02-09].
  20. ↑ Robert M. Kaplan, Veronica L. Irvin, Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time, „PLOS One”, 10 (8), 2015, e0132382, DOI: 10.1371/journal.pone.0132382, ISSN 1932-6203, PMID: 26244868, PMCID: PMC4526697 [dostęp 2017-02-09].
  21. ↑ John P.A. Ioannidis, Tom E. Hardwicke, Mapping the universe of registered reports, „Nature Human Behaviour”, 2 (11), 2018, s. 793–796, DOI: 10.1038/s41562-018-0444-y, ISSN 2397-3374 [dostęp 2019-03-05] (ang.).
  22. ↑ Ben Goldacre i inni, COMPare: a prospective cohort study correcting and monitoring 58 misreported trials in real time, „Trials”, 20 (1), 2019, s. 118, DOI: 10.1186/s13063-019-3173-2, ISSN 1745-6215, PMID: 30760329, PMCID: PMC6375128 [dostęp 2019-03-05].
  23. ↑ Ben Goldacre i inni, COMPare: Qualitative analysis of researchers’ responses to critical correspondence on a cohort of 58 misreported trials, „Trials”, 20 (1), 2019, s. 124, DOI: 10.1186/s13063-019-3172-3, ISSN 1745-6215, PMID: 30760328, PMCID: PMC6374909 [dostęp 2019-03-05].
Źródło: „https://pl.wikipedia.org/w/index.php?title=Prerejestracja_badania&oldid=56078077”