Zdrowa paranoja czyli ewaluacja systemów szkoleniowych
autor Administrator, opublikowano 2003-07-21
Owocuje to wieloma zjawiskami, wśród których dwa staja się najbardziej widoczne:- pracownicy zaczynają traktować szkolenia i podnoszenie kwalifikacji jak jeden ze stałych elementów swojej pracy (widać to zwłaszcza w badaniach oczekiwań kandydatów i absolwentów)
- lawinowo rośnie ilość firm oferujących szkolenia (około 600 firm w różnych bazach danych, z czego około 300 aktywnie działających na rynku).
Nasuwa się pytanie: "jak sobie z tym poradzić?".
Na szczęście, coraz rzadszym zjawiskiem jest zamawianie szkoleń na podstawie mody lub "widzimisię" prezesa. Coraz więcej firm stosuje systematyczne podejście do szkoleń z analizą potrzeb szkoleniowych i próbami oceny ich skuteczności.
Przyjrzyjmy się poszczególnym etapom:
1. Identyfikacja potrzeb szkoleniowych - na tym etapie identyfikujemy problemy i wyzwania stojące przed firmą. Źródłem tych potrzeb mogą być zarówno sprawy aktualne jak i zmiany i projekty stojące przed organizacją w najbliższej przyszłości.
Potrzeby te mogą mieć charakter:
- indywidualny (najczęściej źródłem informacji o tych potrzebach są arkusze systemu ocen okresowych i opinie kierowników)
- zadaniowy (ang. occupational) - czyli wynikający z charakteru wykonywanej pracy lub.)
- organizacyjny - wynikający z funkcjonowania firmy jako złożonego systemu z własną strukturą, procedurami i otoczeniem.
Na tym etapie określamy również rozmiary problemu i miejsca, w których on występuje.
Analiza potrzeb szkoleniowych służy sprawdzeniu, czy zidentyfikowana potrzeba jest rzeczywiście potrzebą szkoleniową, czyli czy da się ja zaspokoić przy pomocy działań o charakterze szkoleniowym. Bardzo częstym wciąż jeszcze zjawiskiem jest traktowanie szkoleń (np. z komunikacji interpersonalnej) jako antidotum na problemy nieszkoleniowe (np. brak procedur komunikacji wewnętrznej lub brak adekwatnych standardów obsługi klienta, co owocuje dużą liczba "trudnych interpersonalnie" klientów, z którymi muszą zmagać się pracownicy obsługi). Rozdzielenie etapu identyfikacji i analizy służy zapewnieniu właściwej analizy problemu i powstrzymaniu się przed myśleniem w kategorii "rozwiązań szkoleniowych" na zbyt wczesnym etapie.
2. Wyznaczenie celów szkolenia. Tutaj zasada jest jedna - im bardziej konkretnie, tym lepiej. Dobrze sformułowany cel szkoleniowy powinien spełniać kryteria "SMART" (ang. bystry, sprytny), czyli być:
- SPECIFIC - szczegółowy i konkretny
- MEASUREABLE - mierzalny (bezpośrednio lub przy pomocy wyznaczników)
- AGREED - akceptowalny (dla firmy oraz dla uczestników)
- REALISTIC / RELEVANT - realny do osiągnięcia ale adekwatny do zidentyfikowanych potrzeb
- TIMED - terminowy (określony jest czas osiągnięcia)
Zbyt szerokie określenie celów jest najczęściej popełnianym błędem na tym etapie. Im konkretniej je określimy - tym lepiej (i dla klienta i dla wykonawcy szkolenia, a przede wszystkim dla uczestników).
3. Planowanie i projektowanie działań szkoleniowych. Celowo mówimy tu o "działaniach szkoleniowych" a nie o "kursach", "warsztatach" czy "treningach". Zakres działań podnoszących wiedzę i umiejętności pracowników może być bardzo szeroki - od "klasycznych" szkoleń z wykorzystaniem interaktywnych technik szkoleniowych poprzez bardziej "tradycyjne" metody edukacji (jak studia podyplomowe lub MBA) lub programy szkoleniowe na kasetach audio i video po najbardziej zawansowane technologicznie szkolenia z wykorzystaniem komputerów i CD-ROMów lub sieci intranetowej (w ten sposób, wbrew pozorom, można doskonalić nawet umiejętności "tzw. miękkie"). Nie można też pominąć samorozwoju pracowników, zwłaszcza, jeśli poparty jest on pracą w grupach, zgodnie z metodologią "action learning". Na tym etapie, poza wyborem metody dokonujemy również określenia ram czasowych działań rozwojowych oraz określamy wykonawcę (własnymi siłami czy konsultanci zewnętrzni) i osobę lub osoby odpowiedzialne za właściwy przebieg procesu.
4. Przeprowadzenie działań szkoleniowych - czyli wdrożenie planu w życie. Wbrew pozorom, może to być jeden z trudniejszych etapów. Wiele programów szkoleniowych skończyło się niepowodzeniem z powodu braku konsekwencji i odpowiednio wysokiego stopnia motywacji podczas wdrożenia. Najbardziej niebezpieczne tutaj są dwa zjawiska:
- "bieżączka" - czyli zarzucenie planów szkoleniowych z powodu natłoku spraw bieżących (nie będących wcale sytuacjami kryzysowymi),
- fałszywie pojęte oszczędności - odbijające się na jakości szkolenia (np. na szkolenie prowadzone metodami interaktywnymi przychodzi o 10 osób więcej niż było wcześniej ustalone) lub motywacji uczestników (są firmy, w których handlowcy uczestniczący w szkoleniu "zamkniętym", zamówionym przez kierownictwo muszą sami zapłacić za swoje posiłki i dojechać do ośrodka szkoleniowego na drugi koniec Polski na własny koszt).
5. Ewaluacja, czyli ocena szkolenia na poziomie:
- reakcji uczestników,
- przyswojonej wiedzy i nowo nabytych umiejętności,
- zastosowania tej wiedzy i umiejętności po powrocie ze szkolenia (środowisko pracy),
- sprawniejszego działania firmy jako całości.
I PO SZKOLENIACH...
Podejście to lokuje ewaluację po przeprowadzeniu działań szkoleniowych, jako element cyklu służący sprawdzeniu ich efektywności i skuteczności.
Ma to uzasadnienie logiczne i długą tradycję oraz umocowanie formalne (np. w normach ISO 9000).
Schody zaczynają się przy próbie oceny. Ocena na poziomie podniesienia sprawności całej firmy jest prawie niemożliwa (ilość zmiennych "pozaszkoleniowych" wpływających na firmę utrudnia uchwycenie wielkości wpływu działań szkoleniowych na ogólną efektywność firmy). O wiele łatwiej jest policzyć efektywność szkolenia(łącznie ze stopą zwrotu z inwestycji - zwłaszcza w przypadku szkoleń technicznych lub językowych)na pojedynczym stanowisku pracy czy stopień przyswojenia wiedzy i umiejętności po szkoleniu (porównując stan "na wejściu" i "na wyjściu" lub sprawdzając, czy uczestnicy osiągnęli wymagany poziom).
Wymaga to jednak sporo pracy i nakładów, więc, niestety, w wielu firmach ocena szkolenia kończy się na poziomie "arkusza ewaluacyjnego" wypełnianego przez uczestników po szkoleniu. Problem w tym, że na tym poziomie możemy sprawdzić wyłącznie opinie uczestników (tzn., czy szkolenie się podobało i czy uczestnicy sądzą, że "to" się im przyda). Tego typu działanie (Brytyjczycy często nazywają te arkusze "happy sheets", czyli "zadowolone kartki") na tyle utrwaliło się w sposobie myślenia wielu menedżerów szkoleń, że tu i ówdzie pojawiają się pomysły, by płatności honorariów dla firm szkoleniowych uzależniać od wyników arkuszy oceny szkolenia wypełnianych przez uczestników (np. co najmniej 8,5 na 10 możliwych punktów). Cóż, można i tak, jednakże autorzy tych pomysłów nie dostrzegają podstawowego niebezpieczeństwa takiego podejścia - promuje ono szkolenia na których jest miło i uczestnicy dobrze się czują abstrahując od efektów.
Przykład:
Wiele problemów z poziomem obsługi klienta (zwłaszcza w usługach z "wyższej półki" - finanse, bankowość, ubezpieczenia, linie lotnicze) wynika z niewłaściwego nastawienia i nieświadomej niekompetencji "obsługantów" - ludziom wydaje się, że sam fakt pracy w znanej i szanowanej firmie dowodzi ich kompetencji. Z drugiej strony wysoki poziom kultury osobistej klientów "chroni" osoby obsługujące przed zdarzeniami krytycznymi (czyli większością "trudnych" klientów). Osoby korzystające z tego typu usług raczej pójdą do konkurencji niż zacznie się awanturować a jeśli nawet zaczną, to "obsługant" nie przyjmie tego do wiadomości ("MY jesteśmy świetni, to klient jest niezrównoważony i niekulturalny").
Pierwszym krokiem w szkoleniu tego typu jest pokazanie uczestnikom negatywnych skutków ich zachowań (uświadomienie niekompetencji) - co bywa często dosyć bolesne, a dopiero potem uczy się ich właściwych sposobów działania ("świadoma kompetencja") i pokazuje dalsze kierunki rozwoju.
Szkolenia takie są efektywne na poziomie postaw i umiejętności, nie należy jednak oczekiwać, że uczestnicy (na świeżo) ocenią je na 9,99 w skali 10-punktowej.
Oczywiście nie należy lekceważyć opinii uczestników po szkoleniu, gdyż niosą one ważne informacje nie tylko o ocenianym szkoleniu ale też (często "nie wprost") o stosunku uczestników do systemu szkoleń "w ogóle". Na przykład szkolenia organizowane w weekend często mają niższe oceny niż szkolenia organizowane w dni powszednie - zwłaszcza, jeśli uczestnicy są nisko zmotywowani do uczestnictwa w nich), czasami też duża ilość szkoleń (np. związanych z wdrażaniem systemu ISO) powoduje przesyt i warto na pewien czas ograniczyć organizowane szkolenia do absolutnie niezbędnych (nie należy jednak mylić szkoleń niezbędnych z obligatoryjnymi - czasami szkolenie z obsługi klienta jest bardziej potrzebne niż obowiązkowe szkolenie z BHP - należy wtedy zorganizować obydwa lub przesunąć na później termin realizacji szkolenia z BHP).
Niezależnie jednak od jakości i "głębokości" oceny dokonywanej po szkoleniu klasyczne ujęcie ewaluacji ma jedną zasadniczą słabość - powoduje, że działania szkoleniowe w firmie zaczynają przypominać grę w kręgle. Mamy tutaj do czynienia z sytuacją, w której po wstępnej analizie odległości, kierunku i oszacowaniu potrzebnej siły rzutu i nadaniu biegu kuli efektom przyglądamy się dopiero na końcu, kiedy liczymy zbite kręgle.
Szkolenie nie jest jednak gra w kręgle i możemy sterować kula w trakcie jej toczenia się, potrzebna jest do tego jednak planowa i ciągła ewaluacja przed, w trakcie i po szkoleniu.
Bez niej nie uda się osiągnąć odpowiedniego sprzężenia zwrotnego pozwalającego korygować tor "szkoleniowej kuli".
EWALUACJA PRZED, W TRAKCIE I PO SZKOLENIU.
Ewaluacja powinna nastąpić po każdym etapie cyklu szkoleniowego, gdyż tylko ciągły monitoring daje nam wgląd w przebieg procesu i pozwala czuwać nad jego prawidłowością. Oczywiście musimy pamiętać, ze celem działań szkoleniowych jest rozwój pracowników z korzyścią dla firmy a nie ciągła kontrola. Dlatego momentami ("kamieniami milowymi") oceny powinno być zakończenie każdego etapu cyklu szkoleniowego (Rys. 2).
PRZYKŁADOWE PYTANIA DO KAŻDEGO ETAPU:
IDENTYFIKACJA POTRZEB:
- Czy zidentyfikowane problemy mają istotny wpływ na efekty naszej firmy?
- Czy problem zakłóca przebieg podstawowych procesów w firmie?
- Czy problem jest powiązany z wyzwaniami stojącymi przed organizacją?
- Czy użyto prawidłowych narzędzi?
ANALIZA POTRZEB:
- Czy problem da się rozwiązać za pomocą działań szkoleniowych?
- Czy działania szkoleniowe są wystarczające do rozwiązania problemu?
WYZNACZANIE CELÓW SZKOLENIOWYCH:
- Czy cele spełniają kryteria SMART?
- Czy służą realizacji celów firmy?
PLANOWANIE I PROJEKTOWANIE SZKOLEŃ:
- Czy zaplanowano właściwie termin i ramy czasowe szkolenia?
- Czy konwencja szkolenia jest właściwa dla stylu naszej organizacji?
- Czy właściwie dobrano sposób realizacji?
- Czy nie można tego zrobić bardziej skutecznie?
PRZEPROWADZENIE SZKOLENIA:
- Czy osiągnięto zamierzone cele?
- Czy nie ma negatywnych skutków ubocznych?
POWRÓT DO SZAREJ RZECZYWISTOŚCI
Tom Lambert w swojej książce "Problemy Zarządzania" (Dom Wydawniczy ABC, Warszawa 1999) wśród głównych pułapek programów szkoleniowych wymienia:
- Brak przygotowania uczestników, których nie informuje się, czego firma będzie od nich oczekiwać po ukończeniu kursu.
- Brak efektywnych spotkań informacyjnych po zakończeniu szkoleń.
- Projektowanie szkoleń z większym naciskiem na gry i zabawy niż na transfer treści nauczania do miejsca pracy.
Badania przeprowadzone w krajach anglosaskich dowodzą , że kluczowe znaczenie dla efektywności szkoleń (czyli zastosowania nabytej wiedzy i umiejętności w codziennej pracy) ma to, co uczestnik szkolenia i jego bezpośredni przełożony robią po zakończeniu szkolenia.
Dlatego w cyklu szkoleniowym i jego ewaluacji nie można pominąć działań wspierających transfer wiedzy i umiejętności ze szkolenia do środowiska pracy (Rys. 3).
Aby pracownicy rzeczywiście mieli możliwość wdrożenia nowo nabytych umiejętności w środowisku pracy konieczne jest odpowiednie działanie ich bezpośrednich przełożonych, polegające na:
- stworzeniu odpowiednich warunków (czyli np. zgoda na popełnianie błędów przy wdrażaniu i utrwalaniu nowych zachowań),
- odpowiednim motywowaniu (czyli dostrzeganiu sukcesów we wdrażaniu nowych zachowań).
Tylko takie działanie pozwala "skonsumować" firmie efekty szkolenia.
Przykładowe pytania do etapu wspierania transferu:
- Czy pracownicy wiedza, czego się będzie od nich wymagać po szkoleniu?
- Czy wiedza, na jaką pomoc mogą liczyć?
- Czy menedżerowie wiedzą, czego mogą wymagać od uczestników po szkoleniu?
EWALUACJA EWALUACJI?
Na koniec nie można zapomnieć o pytaniach do etapu samej ewaluacji:
- Czy mamy informacje o przyczynach powodzenia lub niepowodzenia działań na poszczególnych etapach?
- Czy wyciągamy wnioski z tych informacji?
- Czy występuje "krzywa uczenia się" z naszym zarządzaniu szkoleniami i rozwojem pracowników?
Efektywne systemy szkoleniowe, to takie, w które zaangażowane jest 5 stron (nazwanych przez Leslie Rae "kwintetem szkoleniowym):
- wyższa kadra kierownicza,
- menedżer ds. szkoleń,
- menedżer liniowy,
- uczący się,
- trener.
Odpowiedzialność ich jest różna, jednakże bez zaangażowani wszystkich (w tym również menedżerów "nie do spraw szkoleń") nie da się prowadzić spójnej i długofalowej polityki szkoleniowej w firmie.
Polecana literatura:
1. Lambert T.: Problemy zarządzania. Dom Wydawniczy ABC, Warszawa 1999
2. Rae L.: Planowanie i projektowanie szkoleń. Dom Wydawniczy ABC, Warszawa 1999
3. Sloman M.: Strategia szkolenia pracowników. Wydawnictwo Naukowe PWN, Warszawa 1997
AG TEST Human Resources-Kraków
Marian Kulig, Dyrektor Działu Szkoleń
