Ewaluacja

Z Wikipedii, wolnej encyklopedii
Skocz do: nawigacja, szukaj

Ewaluacja to systematyczne badanie wartości albo cech konkretnego programu, planu, działania (eksperymentu) bądź obiektu (programu komputerowego, programu nauczania, lekarstwa, rozwiązania technicznego) z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia.

Ewaluacja – to ocena wartości interwencji z zastosowaniem określonych kryteriów tejże oceny, podejmowana w celu określenia efektywności interwencji, oszacowania w odniesieniu do celów, a także analizy wpływu na specyficzne problemy strukturalne. (Rozporządzenie Rady Unii Europejskiej z dn. 21.06.1999 r. wprowadzające ogólne przepisy dotyczące funduszy strukturalnych)

Ewaluacja jest częścią procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie o nim informacji w odniesieniu do znanych celów, kryteriów i wartości.

Ewaluacja w oświacie – ocena przydatności i skuteczności podejmowanych działań dydaktycznych, wychowawczych i opiekuńczych w odniesieniu do założonych celów, służącą doskonaleniu tych działań (Rozporządzenie MENiS z 23 kwietnia 2004). W nowszym Rozporządzeniu MEN (z 7 października 2009) definicja ogólniejsza: Ewaluacja – praktyczne badanie oceniające przeprowadzane w szkole lub placówce.

Ewaluacja w szkolnictwie wyższym - jest środkiem formułowania opinii na podstawie wskaźników (jakościowych lub ilościowych) uznanych za ważne i wiarygodne. Za pomocą tych wskaźników porównuje się faktyczne efekty programu kształcenia z oczekiwanymi[1]. Jest to też droga do urzeczywistnienia realizacji w szkołach wyższych zarządzania publicznego bazującego na dowodach (evidence based policy), podnosząc tym samym skuteczność ich funkcjonowania[2].

Ewaluacja w prawie - jest środkiem formułowania opinii w zakresie tego, czy dany akt prawny spełnił oczekiwania ustawodawcy[3]. Odbywa się w procedurze tzw. oceny funkcjonowania ustawy, która została uregulowana w Regulaminie Pracy Rady Ministrów[4].


Typy i rodzaje ewaluacji[edytuj]

ze względu na przedmiot badania:

  • ewaluacje projektów,
  • ewaluacje programów,
  • ewaluacje polityk,
  • ewaluacje tematyczne/horyzontalne,
  • meta-ewaluacje[5].

ze względu na kryterium czasu:

  • ewaluacja wstępna / szacunkowa,
  • ewaluacja ad hoc / bieżąca lub ciągła,
  • ewaluacja ex-post / końcowa.

ze względu na sposób prowadzenia badania:

  • ewaluacje wewnętrzne,
  • ewaluacje zewnętrzne[6].

Ewaluacja demokratyczna – to proces badawczy polegający na ocenianiu wartościującym, w którym sami respondenci (a nie eksperci) wytyczają normy uznawane za wartości w danym kręgu kulturowo-społecznym. Ustalane w ten sposób standardy ewaluatywne są na danym etapie rozwojowym charakterystyczne dla konkretnej populacji. Ocenianie wartościujące jest strategią odmienną od oceniania sprawdzającego osiągany poziom, a także pełniejszą od oceniania różnicującego grupy, umożliwia bowiem wyznaczenie tego, czy mierzone cechy, właściwości, zjawiska lub procesy są rzeczywistymi wartościami uznawanymi przez kwalifikowaną większość. Społeczny proces ewaluacji ma większą rangę niż opiniowanie autorytarne, pasujące raczej do decyzyjnej fazy zatwierdzania, zwanej walidacją.

Ewaluacja splotowa – polega na ocenianiu wartości zjawiska lub cech podmiotu uwikłanego w naturalnym kontekście procesów społecznych. Na wypadkową wartość składają się różne komponenty, przy czym bierze się pod uwagę zarówno czynniki korzystne, jak i niekorzystne, osłabiające wynik końcowy. Istotą ewaluacji splotowej jest interpretacja na kilku poziomach rozwarstwienia zmiennych po to, ażeby trafnie orzekać o tym, co było katalizatorem, a co hamulcem przemian. Ważne przy tym jest rozsądzanie, czy zaobserwowana przemiana cech jest korzystna/niekorzystna, czy może raczej jest typowym zjawiskiem w procesie rozwojowym, kiedy to następuje poprawa jednego komponentu wartości kosztem innego[7].

Proces ewaluacji[edytuj]

Etapy procesu ewaluacji

  1. Określenie tematu ewaluacji – co będzie podlegało ewaluacji?
  2. Postawienie pytań kluczowych – pytań, na które szukamy odpowiedzi
  3. Sformułowanie kryteriów wartościowania i obowiązujących w organizacji standardów
  4. Ustalenie jakie zagadnienia należy przeanalizować w celu udzielenia odpowiedzi na pytania ewaluacyjne
  5. Zidentyfikowanie źródeł potrzebnych informacji – np. dobór próby przy badaniu ankietowym, gdzie znaleźć konieczne dokumenty itp.
  6. Wybranie metod pracy – badanie ankietowe, wywiady, obserwacja, analiza dokumentów…
  7. Opracowanie narzędzi – formularze ankiet, wytyczne do wywiadów…
  8. Przygotowanie harmonogramu ewaluacji oraz narzędzia monitoringu (sprawdzenie czy otrzymujemy potrzebne informacje)

Ewaluacja to systematyczne zbieranie informacji – już na etapie planowania powinniśmy określić jak będzie wyglądać ewaluacja naszych działań:

  • cele ewaluacji
  • sposoby zbierania informacji
  • terminy cząstkowe
  • odbiorcy ewaluacji.

Dzięki temu, że ewaluacja jest systematycznym zbieraniem informacji – pozwala na ulepszanie podejmowanych działań jeszcze w trakcie ich realizacji. Jeśli na przykład podczas trwania jakiegoś programu okazuje się, że do osiągnięcia zamierzonych celów zostały użyte niewłaściwe środki, innymi słowy – są to działania nieadekwatne, które nie prowadzą do osiągnięcia celu – można, a nawet należy, podjąć decyzję o zmianie podejmowanych działań. Ewaluacja wiąże się wobec tego z oszczędnością – pieniędzy, czasu i przede wszystkim zasobów ludzkich.

Na osobie, która podejmuje się ewaluacji – ciąży moralny obowiązek zachowania obiektywizmu i etycznego podejścia do procesu ewaluacji. Bez tego cały proces przestaje być ewaluacją, a może przerodzić się w próbę manipulacji lub osiągania prywatnych celów.

Ewaluacja to umiejętność zbierania i analizowania takich informacji, by odpowiedzieć na pytanie – czy zostały osiągnięte zamierzone cele. Przypuśćmy, że celem naszych działań ma być propagowanie zdrowego trybu życia. Wobec tego informacją przydatną podczas ewaluacji może być liczba zorganizowanych szkoleń pierwszej pomocy, wydanych poradników medycznych czy wyniki konkurs dotyczącego pomocy przedmedycznej.

Nie każda informacja będzie przydatna dla potrzeb ewaluacji (szum informacyjny), dlatego tak ważne jest pytanie o cele. Nie ma informacji dobrych czy złych – są tylko przydatne i nie dla danego procesu ewaluacji. Aby samo zbieranie informacji/danych było przeprowadzone prawidłowo – już na etapie planowania musimy zadecydować – czego i w którym momencie chcemy się dowiedzieć. Należy także ustalić mierniki osiągnięcia celów.

Dane możemy generalnie podzielić na 2 grupy: dane jakościowe i ilościowe. I tak liczba uzyskanych punktów podczas testu sprawdzającego, średnia wieku uczestników kursu czy liczba wydanych poradników to dane ilościowe. Zaś kwalifikacje pracowników czy stosunki międzyludzkie panujące w danej grupie to typowe dane jakościowe. Najczęściej potrzebujemy obu tych informacji, by dokonać rzetelnej ewaluacji.

Jest wiele sposobów zbierania informacji, oto najważniejsze z nich:

  • ankieta
  • wywiad
  • obserwacja
  • analiza dokumentów

Każda z nich może odkryć przed nami różne aspekty tego samego przedsięwzięcia. W dużym skrócie mogłoby to wyglądać następująco: Chcemy zbadać funkcjonowanie systemu stopni harcerskich w drużynach harcerskich. Ankieta na ten temat może zostać skierowana bezpośrednio do harcerek i harcerzy; możemy przeprowadzić wywiady z metodykami harcerskimi i pedagogami; obserwować funkcjonowanie stopni w kilku losowo wybranych drużynach oraz dokonać analizy dokumentów zastanych – np. Regulaminu stopni harcerskich – i analizy wytworów – kart prób na określone stopnie.

Kryteria ewaluacji[edytuj]

  • trafność - to stopień, w jakim cele przedsięwzięcia są zgodne z wymaganiami beneficjenta, potrzebami lokalnymi oraz politykami i priorytetami partnerów i donorów;
  • skuteczność - to stopień, w jakim przedsięwzięcie osiągnęło (lub ma osiągnąć) cele - przy uwzględnieniu stopnia ważności tych celów;
  • efektywność - to ocena właściwego przekształcenia zasobów/środków (funduszy, ludzi, czasu, itd.) w efekty;
  • użyteczność - to wszystkie konsekwencje wdrożenia przedsięwzięcia - krótko- i długoterminowe, bezpośrednie i pośrednie, pozytywne i negatywne, przewidziane i nieprzewidziane;
  • trwałość - to stopień, w jakim efekty przedsięwzięcia oddziałują po jego zakończeniu[8].

Wskaźniki ewaluacyjne[edytuj]

  • wskaźniki zasobów
  • wskaźniki produktu
  • wskaźniki wyników
  • wskaźniki oddziaływania[9]

Metody stosowane w ewaluacji[edytuj]

  • Metoda badania dokumentów,
  • Metody analizy i krytyki piśmiennictwa,
  • Metody symulacji komputerowej,
  • Metody obserwacyjne[10],
  • Metody sondażu diagnostycznego[11],
  • Metoda indywidualnych przypadków,
  • Metody analizy i konstrukcji logicznej[12].

Zobacz też[edytuj]

Przypisy

  1. FatmaF. Mizikaci FatmaF., A Systems Approach to Program Evaluation Model for Quality in Higher Education, „Quality Assurance in Education”, 2006.
  2. MonikaM. Stachowiak-Kudła MonikaM., Ewaluacja jako instrument zapewnienia jakości kształcenia w szkolnictwie wyższym, BarbaraB. Kożuch, ŁukaszŁ. Sułkowski (red.), [w:] Refleksyjnie o współczesnym zarządzaniu, Kraków 2016.
  3. Jan Chmielewski, Waldemar Hoff, Regulatory Impact Assessment (RIA) and Rationality of Law – Legal Aspects, „Management and Business Administration. Central Europe”, Vol. 23, No. 2/2015: p. 92–108, ISSN 2084-3356.
  4. Uchwała nr 190 Rady Ministrów z dnia 29 października 2013 r. Regulamin pracy Rady Ministrów (M. P. z 2013, nr 0, poz. 979), § 152-156, 174.
  5. Karol Olejniczak, Teoria i praktyka ewaluacji w świetle doświadczeń europejskich, „Studia Regionalne i Lokalne” 2005, nr 4(22), s. 39-40.
  6. Michał Boni, Ewaluacja w strategicznym zarządzaniu państwem - perspektywa średnio- i długookresowa, [w:] Ewaluacja w strategicznym zarządzaniu publicznym, pod red. Agnieszki Haber, Macieja Szałaja, Warszawa 2010
  7. Stanisław Ubermanowicz, Ewaluacja splotowa InfoKultury. Skala dwuważonych ocen, Wydawnictwo Naukowe UAM, Poznań 2005, ISBN 83-232-1608-8
  8. JarosławJ. Górniak JarosławJ., Ewaluacja w cyklu polityk publicznych,, StanisławS. Mazur (red.), [w:] Ewaluacja funduszy strukturalnych - perspektywa regionalna, Kraków 2007.
  9. Bohdan Turowski, Marcin Zawicki, Funkcje, etapy, metody i narzędzia ewaluacji, [w:] Ewaluacja funduszy strukturalnych - perspektywa regionalna, pod red. Stanisława Mazura, Kraków 2007.
  10. Korneliusz Pylak, Podręcznik ewaluacji projektów infrastrukturalnych, Warszawa 2009.
  11. Monika Stachowiak-Kudła, Wartościowanie decyzji publicznych metodą konsultacji z interesariuszami, [w:] Prawo administracyjne w ujęciu interdyscyplinarnym, pod red. Bartłomieja Opalińskiego, Oficyna Wydawnicza Uczelni Łazarskiego, Warszawa 2014, s. 51-68.
  12. Korneliusz Pylak, Podręcznik ewaluacji projektów infrastrukturalnych, Warszawa 2009.

Bibliografia[edytuj]

  • Boni Michał, Ewaluacja w strategicznym zarządzaniu państwem - perspektywa średnio- i długookresowa, [w:] Ewaluacja w strategicznym zarządzaniu publicznym, pod red. Agnieszki Haber, Macieja Szałaja, Warszawa 2010.
  • Chmielewski Jan, Hoff Waldemar, Regulatory Impact Assessment (RIA) and Rationality of Law – Legal Aspects, „Management and Business Administration. Central Europe”, Vol. 23, No. 2/2015: p. 92–108, ISSN 2084-3356.
  • Goleman Katarzyna, Ewaluacja..., „Czuwaj”, 5/2003.
  • Górniak Jarosław, Ewaluacja w cyklu polityk publicznych, [w:] Ewaluacja funduszy strukturalnych - perspektywa regionalna, pod red. Stanisława Mazura, Kraków 2007, s. 11-28.
  • Mizikaci Fatma, (2006), A Systems Approach to Program Evaluation Model for Quality in Higher Education, „Quality Assurance in Education”, no. 14 (1), s. 37–53.
  • Olejniczak Karol, Teoria i praktyka ewaluacji w świetle doświadczeń europejskich, „Studia Regionalne i Lokalne” 2005, nr 4(22), s. 39-40.
  • Pylak Korneliusz, Podręcznik ewaluacji projektów infrastrukturalnych, Warszawa 2009.
  • Stachowiak-Kudła Monika , Wartościowanie decyzji publicznych metodą konsultacji z interesariuszami, [w:] Prawo administracyjne w ujęciu interdyscyplinarnym, pod red. B. Opalińskiego, Oficyna Wydawnicza Uczelni Łazarskiego, Warszawa 2014, s. 51-68.
  • Stachowiak-Kudła Monika, Ewaluacja jako instrument zapewnienia jakości kształcenia w szkolnictwie wyższym, [w:] Refleksyjnie o współczesnym zarządzaniu, pod red. Barbary Kożuch i Łukasza Sułkowskiego, Instytut Spraw Publicznych Uniwersytetu Jagiellońskiego, Kraków 2016, ISBN 978-83-65688-00-2, s. 216-226.
  • Turowski Bohdan, Zawicki Marcin, Funkcje, etapy, metody i narzędzia ewaluacji, [w:] Ewaluacja funduszy strukturalnych - perspektywa regionalna, pod red. Stanisława Mazura, Kraków 2007, s. 29-58.
  • Ubermanowicz Stanisław, Ewaluacja splotowa InfoKultury. Skala dwuważonych ocen, Wydawnictwo Naukowe UAM, Poznań 2005, ISBN 83-232-1608-8.