Systematycznie Modyfikowane Auto-Replikacje

Systematycznie Modyfikowane Auto-Replikacje (SMAR) – strategia opisana przez prof. Bogdana Wojciszke w 2004 r. w jego publikacji Systematycznie Modyfikowane Autoreplikacje: logika programu badań empirycznych w psychologii stanowiącej element pracy zbiorowej Metodologia badań psychologicznych. Wybór tekstów pod redakcją Jerzego Brzezińskiego. Jest to strategia stosowana np. w badaniach psychologicznych, polegająca na replikacji badania przy wprowadzaniu modyfikacji. Innymi słowy, jest to powtarzanie przeprowadzonego badania np. przy zmianie próby, metod badawczych bądź innych czynników w celu weryfikacji jego prawidłowości. SMAR zakłada, że replikacje będą dokonywane przez ten sam zespół badaczy, który przeprowadzał badanie pierwotne.

Cele stosowania strategii SMAR

Strategia SMAR służy głównie następującym celom: wykazaniu rzetelności (powtarzalności) podstawowego efektu, sprawdzeniu skuteczności manipulacji, maksymalizacji trafności wewnętrznej, maksymalizacji trafności zewnętrznej i teoretycznej, eliminacji alternatywnych wyjaśnień, poszukiwaniu moderatorów zależności oraz poszukiwaniu mediatorów zależności. Elementy strategii SMAR wykorzystała np. Beata Basińska w swojej publikacji Emocje w pracy: rozszerzenie teorii Wymagania – Zasoby w Pracy (maksymalizacja trafności zewnętrznej, maksymalizacja trafności wewnętrznej, wykazanie rzetelności podstawowego efektu).

Wykazanie rzetelności (powtarzalności) podstawowego efektu

Powtarzalność jest to możliwość zduplikowania całego eksperymentu bądź badania. Głównym celem replikacji wszelkich badań, a więc również systematycznie modyfikowanych auto-replikacji, jest potwierdzenie poprawności wyniku badania. Zdarzają się badania, których wyniki wydają się być trafne, jednak po powtórzeniu badania okazuje się, że wykazana w nich zależność nie zachodzi. Może to sugerować, że w którymś przypadku poprawność badania została zaburzona. Na przykład wiele podręczników psychologii ukazuje wpływ kolejności urodzenia dziecka na jego osobowość, jednak między innymi badania przeprowadzone przez rosyjskich naukowców wykazały znikomy wpływ kolejności urodzenia na osobowość. Podczas przeprowadzania badania, istnieje bardzo wiele czynników, które mogą zaburzyć jego poprawność. Wykazanie rzetelności podstawowego efektu polega zatem na pokazaniu, że wyniki nie są przypadkowym zbiegiem okoliczności, a potwierdzoną wiedzą naukową. Należy przy tym pamiętać, że prawidłowości psychologiczne mają charakter probabilistyczny, zatem nigdy nie możemy z całą pewnością przewidzieć, że się pojawią. Przeprowadzanie udanej replikacji zwiększa jednak prawdopodobieństwo, że wykazana w badaniach zależność występuje w rzeczywistości. Odkrycie, że wyniki wielu eksperymentów naukowych są trudne bądź niemożliwe do powtórzenia doprowadziło do powstania kryzysu replikacji. Na przykład w 2015 roku, zespół naukowców z Open Science Collaboration przeprowadził replikację 100 badań psychologicznych. Tylko 36% replikacji wykazało istotne statystycznie wyniki, podczas gdy istotne wyniki wykazało aż 97% oryginalnych badań. Ponadto oszacowane wielkości efektu były słabsze w przypadku replikacji.

Sprawdzenie skuteczności manipulacji

Sprawdzenie skuteczności manipulacji polega na sprawdzeniu, czy zastosowany przez badacza sposób manipulacji eksperymentalnej wywołuje pożądany efekt, czyli np. dany stan emocjonalny u badanego. W celu sprawdzenia skuteczności manipulacji przeprowadza się osobne badanie, ponieważ próba sprawdzenia skuteczności manipulacji podczas przeprowadzania właściwego badania może zaburzyć jego wynik. Przykładem może być tutaj badanie wpływu poczucia winy na pomaganie. Manipulacja eksperymentalna, a więc wprawienie badanego w stan odczuwania poczucia winy może być zrealizowana np. poprzez skłonienie badanego do wzięcia do ręki przedmiotu, który chwilę później ulega „przypadkowemu” uszkodzeniu. Następnie można sprawdzić, jak wpłynie to na jego chęć pomocy, np. w pozbieraniu rzeczy, które upadły nieznajomemu. Nie można jednak jednocześnie sprawdzić, czy zastosowana technika manipulacji eksperymentalnej rzeczywiście wpłynęła na jego poczucie winy, gdyż np. badany mógłby się wówczas zorientować, jaki jest cel badania lub jego poczucie winy zmalałoby na skutek przyznania się do uszkodzenia przedmiotu.

Maksymalizacja trafności wewnętrznej

Badanie trafne wewnętrznie jest to badanie, dzięki któremu otrzymujemy prawdziwą odpowiedź na zadane pytanie badawcze i rozwiązujemy problem badawczy. Umożliwia ono weryfikację hipotezy – potwierdzenie jej bądź odrzucenie. Maksymalizacja trafności wewnętrznej polega na zwiększeniu siły efektu, a więc osiągnięciu bardziej wyraźnego wyniku badania. Polega to na doprowadzeniu do wystąpienia bardziej istotnej różnicy między grupą badaną, a grupą kontrolną (w przypadku badania eksperymentalnego) lub silniejszej korelacji między zmiennymi (w przypadku badania korelacyjnego). Realizuje się to zazwyczaj zwiększając natężenie manipulacji eksperymentalnej, albo eliminując pewne niepożądane elementy. Na przykład gdy manipulacja służy wprawieniu osób w stan ulgi poprzez wcześniejsze wprawienie w stan zagrożenia, niepożądanym efektem może być tutaj brak jasnego sygnału przeminięcia zagrożenia – u różnych osób stan ulgi może następować w różnym czasie.

Maksymalizacja trafności zewnętrznej i teoretycznej

Trafność zewnętrzna związana jest z zakresem możliwości generalizacji wniosków wyciągniętych na podstawie badania próby, to znaczy możliwości odniesienia tych wniosków do całej populacji. Maksymalizacja trafności zewnętrznej polega zatem na uogólnieniu wyników badania na inne osoby i sytuacje, niż zostały zbadane. Realizuje się to na przykład poprzez zmianę sposobu manipulacji zmiennymi niezależnymi, zmianę sposobu operacjonalizacji zmiennych zależnych, zmianę samych zmiennych poddanych badaniu (przy hipotezach o dużym stopniu ogólności) lub zmianę próby badawczej. Wówczas możemy wyciągnąć wniosek, że wynik badania nie dotyczy np. tylko dzieci z gimnazjum, ale również osób dorosłych. Problem z trafnością zewnętrzną pojawia się często przy badaniach przeprowadzanych w laboratorium, ponieważ wówczas wyniki mogą znacznie różnić się od wyników badań przeprowadzonym w naturalnym środowisku.

Eliminacja alternatywnych wyjaśnień

Większość zjawisk psychologicznych jest powodowanych przez wiele czynników. Dlatego może się zdarzyć, że wyniki badania zinterpretujemy niejako błędnie, przypisując danemu skutkowi daną przyczynę, podczas gdy może okazać się, że przyczyna jest zupełnie inna. Eliminacja alternatywnych wyjaśnień jest zatem konieczna w celu znalezienia prawdziwej przyczyny występującego efektu. Problem znalezienia właściwej przyczyny pojawia się często przy badaniach uwzględniających czynniki dziedziczne i środowiskowe. Podobny problem pojawia się przy mierzeniu określonej zmiennej w badaniu korelacyjnym. Często zdarza się, że przygotowane przez badacza narzędzie mierzy nie tylko zmienną, do mierzenia której zostało przygotowane, ale również inne zmienne. W badaniu eksperymentalnym pułapka pojawia się, gdy zaproponowana przez badacza manipulacja eksperymentalna wywołuje nie tylko przewidziane przez niego skutki, ale również inne skutki niezamierzone przez badacza.

Poszukiwanie moderatorów zależności

Moderator jest to czynnik, który decyduje o tym, czy dana zależność występuje, czy nie. W celu zidentyfikowania moderatora można przeprowadzić replikację eliminując moderatora z badania. Jeśli dana zależność występuje mimo usunięcia przypuszczalnego moderatora, oznacza to, że dany czynnik nie odgrywał w badaniu roli moderatora. Poszukiwanie moderatora jest zatem poszukiwaniem granic, w jakich dana zależność występuje.

Poszukiwanie mediatorów zależności

Mediator jest to zmienna, która pośredniczy między zmienną niezależną, a zmienną zależną. Zmienną możemy sklasyfikować jako mediator, gdy dla zmiennych 1, 2 i 3 zachodzą następujące zależności: zmienna 1 wpływa na zmienną 2 zarówno bezpośrednio, jak i za pośrednictwem zmiennej 3 (zmienna 1 wpływa na zmienną 3, zmienna 3 wpływa na zmienną 2), przy czym wpływ bezpośredni zmiennej 1 na zmienną 2 zanika lub słabnie gdy kontrolujemy statystycznie związki pomiędzy zmienną 1 a zmienną 3 i związki między zmienną 3, a zmienną 2. Znalezienie mediatora zależności pomaga nam odpowiedzieć na pytanie dlaczego dana zależność występuje.

Integracja wyników badań

Po przeprowadzeniu kilku replikacji badania, konieczne jest podsumowanie wyników, aby otrzymać ich spójny obraz. Najbardziej skuteczną metodą integracji wyników kilku badań jest metaanaliza. Metaanaliza została pierwszy raz wprowadzona przez Rosenthala w 1979 roku w artykule Combinig results of independent studies. Dzięki rozwojowi metaanalizy zostały opracowane statystyczne metody, pozwalające wyciągnąć jeden wniosek z wielu badań, nawet przeprowadzonych dużo wcześniej. Przeprowadzenie metaanalizy zakłada przejście następujących etapów:

1. Zdefiniowanie tematu metaanalizy
2. Określenie źródeł, w których można zapoznać się z wynikami badań
3. Wybranie artykułów związanych z tematem
4. Zebranie wyników statystycznych rozpisanych w tabelach
5. Zdefiniowanie procedury metaanalizy
6. Zbadanie homogeniczności wyników (jednorodności doboru próby badawczej)
7. Zestawienie wyników
8. Redukcja niejednorodności próby badawczej
9. Obliczenie współczynnika wielkości efektu
10. Analiza wariancji wielkości efektu

Powyższy algorytm można wykorzystać zatem przy próbie integracji auto-replikacji, a więc przy integracji własnych badań. Wiąże się to z pominięciem punktów 2 i 3.