Trafność zewnętrzna (badanie psychologiczne)

Trafność zewnętrzna – w metodologii i psychometrii, jeden z rodzajów trafności, opisujący możliwość generalizowania wyników testu lub badania naukowego na szerszą populację. Innymi słowy, pojęcie to opisuje stopień, w jakim uzasadnione jest uogólnianie wniosków płynących z badania, które wykonano w konkretny sposób i na konkretnej próbie, na inne sytuacje i osoby. Trafność zewnętrzna może być sprawdzana na przykład przez replikację badań w zmienionych warunkach. Wyróżniono szereg czynników, które mogą wpływać na tę cechę, oraz metody jej maksymalizacji.

Kryteria trafności zewnętrznej

Badanie jest trafne zewnętrznie, jeżeli jego wyniki nie zmienią się (będą maksymalnie zbliżone), gdy zostanie ono przeprowadzone:

• na innej reprezentatywnej grupie osób,
• w odmiennych warunkach (laboratoryjnych/pozalaboratoryjnych – „życiowych”),
• przy użyciu odmiennej operacjonalizacji zmiennych,
• w innym okresie historycznym.

Czynniki zakłócające trafność zewnętrzną

Interakcja selekcji z postępowaniem eksperymentalnym

Niezastosowanie losowego doboru próby w badaniu może doprowadzić do tego, że w grupie eksperymentalnej znajdą się osoby bardziej podatne na postępowanie eksperymentalne, a w grupie kontrolnej – osoby mniej podatne. Nieuzasadnione jest wówczas uogólnienie rezultatów eksperymentu na całą populację, z której pochodzą badani, ponieważ ich cechy, które mają decydujący wpływ na wyniki poszczególnych testów, nie są charakterystyczne dla jej ogółu.

Interakcja selekcji z postępowaniem eksperymentalnym może pojawić się na przykład w badaniu nad efektywnością nowej metody nauczania, w którym grupę eksperymentalną stanowią dzieci o wysokim ilorazie inteligencji, a grupę kontrolną – dzieci o niskim ilorazie. Takie badanie będzie potwierdzało skuteczność metody jedynie wśród wąskiej grupy uczniów – nie będzie można wnioskować, że sprawdzi się ona również wśród pozostałych dzieci. Inną typową słabością badań jest dobór próby spośród ochotników lub studentów – ustalono, że te grupy różnią się cechami osobowości od reszty populacji. Publikacje z Nature z 2010 r. wskazały, że zdecydowana większość teorii psychologicznych jest podparta głównie badaniami na grupach studentów z zachodnich, rozwiniętych krajów (tzw. WEIRD – ang. western, educated, industrialized, rich, democratic), którzy pod bardzo wieloma względami różnią się od pozostałej populacji świata.

Interakcja warunków badania z postępowaniem eksperymentalnym

Wyniki badania mogą być obciążone błędem, jeżeli zostało ono przeprowadzone w warunkach, które są nietypowe dla większości społeczeństwa. Generalizacja wniosków z takich analiz na inne (większe) zbiorowości może być wówczas wątpliwa.

Ryzykiem wystąpienia interakcji warunków badania z postępowaniem eksperymentalnym są obarczone m.in. prace badawcze przeprowadzane w placówkach współpracujących z uniwersytetami, takich jak szkoły eksperymentalne i kliniki psychiatryczne, które są często lepiej wyposażone i zatrudniają lepiej przygotowanych specjalistów niż inne placówki publiczne.

Interakcja historii z postępowaniem eksperymentalnym

Prowadzenie badań w okresie, w którym mają miejsce wydarzenia historyczne mające silny wpływ na osoby badane (np. transformacja ustrojowa), może wpłynąć na ich rezultaty. Ich weryfikacja dokonana w innych warunkach dziejowych mogłaby przynieść całkowicie odmienne wnioski. Nie możemy zatem mówić o generalizacji wyników badania eksperymentalnego na inny czas, sytuację.

Interakcja pretestu Y z postępowaniem eksperymentalnym

Zastosowanie pretestu Y – pomiaru początkowego (np. w postaci testu inteligencji, testu wiadomości, skali postaw), przeprowadzonego przed zastosowaniem manipulacji – wiąże się z ryzykiem uwrażliwienia osób badanych na późniejsze postępowanie eksperymentalne. W trakcie trwania badania mogą one zacząć zwracać uwagę na pewne obiekty w swoim otoczeniu, analizować swoje zachowanie wobec pewnych osób, sytuacji, zmieniając tym samym swoją podatność na zmienną niezależną (narzędzie manipulacji).

Takie osoby nie mogą stanowić grupy reprezentatywnej dla populacji, która nie została poddana pretestowi – wyniki uzyskane z końcowego badania nie mogą zatem zostać uogólnione na inne zbiorowości.

Maksymalizacja trafności zewnętrznej

Maksymalizacja trafności zewnętrznej jest ważnym elementem strategii SMAR (Systematycznie Modyfikowanych Autoreplikacji) – strategii mającej na celu uzyskanie wiarygodnych danych z badań empirycznych poprzez wielokrotne powtarzanie, przez ten sam zespół autorów, badania przy celowym wprowadzaniu modyfikacji próby, metod pomiaru oraz zmiennych.

Wzrost trafności zewnętrznej można osiągnąć poprzez powtarzanie eksperymentu na różnych zbiorowościach, z użyciem odmiennych manipulacji zmiennymi niezależnymi oraz zróżnicowanych operacjonalizacji zmiennych zależnych.

Przykład

Przykładem badania eksperymentalnego, w którym została zwiększona trafność zewnętrzna, może być eksperyment przeprowadzony w ramach programu badawczego pod kierownictwem Dariusza Dolińskiego i Ryszarda Nawrata. W programie tym naukowcy sprawdzali oddziaływanie huśtawki emocjonalnej na podatność na wpływy wywierane przez innych.

W swoim pierwszym eksperymencie badacze zauważyli, że osoby, które zostały wprowadzone kolejno w stan lęku i ulgi (w trakcie przekraczania jezdni w miejscu niedozwolonym słyszały one dźwięk policyjnego gwizdka, ale później nie spotykały żadnego policjanta), częściej zgadzały się na wypełnienie kwestionariusza niż osoby, które nie doznały wymienionych stanów emocjonalnych (nie zostały przestraszone podczas łamania zakazu lub w ogóle nie przeszły przez jezdnię).

W innym badaniu, mającym na celu zwiększenie trafności zewnętrznej, sprawdzono, czy huśtawka emocjonalna zwiększy skłonność licealistów do pomagania innym. Podzielono ich losowo na trzy grupy. W pierwszej zapowiedziane zostało badanie dotyczące wpływu kar na efektywność uczenia się – badani mieli zapamiętywać skojarzenia różnych wyrazów, a w przypadku popełnienia błędu podczas procesu uczenia się mieli zostać uderzeni lekkim, niezbyt bolesnym impulsem prądu elektrycznego. Drugą grupę poinformowano, że weźmie udział w tym samym teście, jednak po pewnym czasie został on odwołany i zamieniony na całkowicie bezpieczne badanie nad koordynacją wzrokowo-ruchową, polegające na rzucaniu strzałek do tarczy z różnych odległości (wprowadzenie w stan ulgi). W trzeciej grupie natomiast od samego początku zapowiadano badania nad koordynacją wzrokowo-ruchową. Kilka minut po podaniu informacji o przebiegu testów do uczniów podchodziła osoba, podająca się za studentkę, która proponowała im wzięcie udziału w akcji charytatywnej na rzecz wychowanków domu dziecka. Badani w stanie ulgi (grupa 2) częściej ulegali jej prośbie niż badani w stanie strachu (grupa 1) i w stanie neutralnym (grupa 3).

Trafność zewnętrzna w tym eksperymencie została zwiększona poprzez poddanie badaniu innej zbiorowości (licealistów), zastosowanie innej operacjonalizacji zmiennej zależnej (zgoda na wzięcie udziału w zbieraniu pieniędzy) oraz innej manipulacji zmiennymi niezależnymi (sposób wywołania stanu lęku i ulgi).

Bibliografia

• Brzeziński J., Metodologia badań psychologicznych, PWN, 1996.
• Wojciszke B., Systematycznie Modyfikowane Autoreplikacje: logika programu badań empirycznych w psychologii, [w:] J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów, PWN, 2004.
• Doliński D., Nawrat R., Huśtawka emocji jako nowa technika manipulacji społecznej, „Przegląd Psychologiczny”, 37, 1994.