FEP03 2.4.2 Erfolgskontrolle – Evaluation von Weiterbildung

2 Maßnahmen und Instrumente der Personalentwicklung 2.4Bildungscontrolling

2 Maßnahmen und Instrumente der Personalentwicklung 2.4Bildungscontrolling


Marcus Devan
Diese Karteikarten behandeln die Evaluation von Weiterbildungsmaßnahmen im universitären Kontext. Sie konzentrieren sich auf Methoden zur Bewertung von Trainings, die Verwendung von Fragebögen und die Einschätzung des Verhaltens von Teilnehmern. Die Lernkarten sind besonders nützlich für Studierende und Fachleute in der Medizin und Pharmazie, die sich mit der Erfolgskontrolle von Weiterbildungen befassen und deren Auswirkungen auf Unternehmen und Jobs verstehen möchten.
Karten
33
Lernende
1
Sprache
Deutsch
Kategorie
Medizin/Pharmazie
Stufe
Universität
Erstellt / Aktualisiert
24.03.2014 / 24.10.2014

Lernkarten

Die Evaluation von betrieblicher Weiterbildung ist ein zentraler Bestandteil des umfassenderen Bildungscontrollings. Hier geht es darum,

•
die Effekte einer Weiterbildungsveranstaltung zu beschreiben und zu bewerten,
•
den Grad der Zielerreichung zu überprüfen (hier schließt sich der Kreis zur bereits beschriebenen Bedarfsanalyse),
•
Hinweise zur Verbesserung der betrieblichen Weiterbildung zu erhalten.

Dazu gehört natürlich auch die Prüfung, inwieweit die Zielgruppe die Maßnahme akzeptiert hat. Im Zentrum stehen der

Erlebnis- und Verhaltensbereich der Teilnehmer sowie die Effekte in der Gesamtorganisation.

Für Weiterbildungsverantwortliche einzelner Unternehmen sowie für Bildungsanbieter sind fundierte Evaluationen genauso wie Bildungsbedarfsanalysen zudem ein Frühwarnsystem zur Steuerung des Bedarfs:

Was wird erwartet? Womit waren die Teilnehmer besonders zufrieden/unzufrieden? etc.

Was wird erwartet? Womit waren die Teilnehmer besonders zufrieden/unzufrieden? etc.

1.
Die Evaluation hat zunächst eine Kontrollfunktion. Sie soll den Erfolg eines Trainings bestimmen und zur Selbstkontrolle der Teilnehmer beitragen. Darüber hinaus dient sie der Dokumentation.
2.
Durch Überprüfung des Transfers von Weiterbildungseffekten in das Arbeitsumfeld lassen sich Entscheidungshilfen zur Gestaltung einer Weiterbildungsmaßnahme gewinnen.
3.
Die Evaluation hat eine selektive Funktion. Sie trägt dazu bei, Maßnahmen und geeignete Methoden im Training auszuwählen.
4.
Die Evaluation stellt aber auch eine Intervention dar. Bereits durch das Wissen über bestehende Transferkontrollen können sich Engagement der Teilnehmer und Trainer positiv verändern.
5.
Last but not least dient Evaluation der Legitimation der Weiterbildungsmaßnahme; in Zeiten knapper Mittel sind kostenbewusstes Vorgehen

Dementsprechend bemühen sich fast alle Unternehmen um Rückmeldung, ob das für die Weiterbildung investierte Geld einen entsprechenden Nutzen bringt. Allerdings verharren viele bei

relativ unsystematischen Evaluationen und der Erhebung ausschließlich der Zufriedenheitsreaktionen der Teilnehmer

Empfehlungen für ausgewählte Kennzahlen und Ansätze zur Erfolgsmessung von Weiterbildungsmaßnahmen lassen sich nach vier Ebenen gliedern:

Zufriedenheitserfolg, Lernerfolg, Transfererfolg, Geschäftserfolg (Return on Investment).

Zufriedenheitserfolg (wie zufrieden sind die Teilnehmenden mit der Weiterbildungsveranstaltung?), z. B.

–
Abfrage von Relevanz der Inhalte, Zufriedenheit mit Kompetenz und Verhalten von Dozenten/Trainern, Bewertung von Organisation und Zeitstruktur, Räumlichkeiten etc. auf Basis von Feedbackbögen oder Interviews
Zeitpunkt: direkt zum Abschluss einer Weiterbildung

Lernerfolg (was wurde gelernt?), z. B.

–
Wissenserweiterung gemessen durch (standardisierte) Lerntests, Prüfungen, Arbeitsproben u. Ä.
–
Messung des Kompetenzzuwachses mit Vorher-Nachher-Tests, durch Beobachtung, Rollenspiele oder Simulationen
Zeitpunkt: während, zum Abschluss oder zeitnah im Anschluss an eine Weiterbildung

Transfererfolg (was wird vom Erlernten umgesetzt?), z. B.

–
Anzahl positiver Leistungsbeurteilungen nach der Weiterbildung durch Vorgesetzte
–
Anzahl umgesetzter Maßnahmen oder Aktionen, die in der Weiterbildung vereinbart wurden
Zeitpunkt: drei bis sechs Monate nach einer Weiterbildungsmaßnahme

4.
Geschäftserfolg (was hat die Weiterbildung für das Unternehmen gebracht?), z. B.

–
Messung von direkten Auswirkungen bei quantitativen („harten“) Zahlen wie Rückgang von Kundenbeschwerden, Umsatzentwicklung, Senkung der Rücklaufquote oder Ausschussquote
–
Subjektive Einschätzung durch Fragebögen oder Interview (z. B. Arbeitszufriedenheit)
Zeitpunkt: sechs bis zwölf Monate nach einer Maßnahme

Zu unterscheiden ist also generell, inwieweit subjektive Einschätzungen der Teilnehmer bzw. objektive Daten (z. B. Umsatzentwicklung) erhoben werden. Kaum ein Unternehmen verzichtet auf die

Beurteilung neuer oder besonders teurer Maßnahmen durch die teilnehmenden Mitarbeiter

Die Zufriedenheit der Einzelnen mit der Veranstaltung sowie die Einschätzung ihrer Qualität und Effektivität sind relativ
 

leicht zu erheben.

Verwendete Bögen unterscheiden sich nach ihrem Umfang (ein bis zu vier Seiten) und der Strukturiertheit der Fragen:

Gibt es vorgegebene Antwortalternativen oder aber primär offene Fragen? So können z. B. Antwortalternativen vorgegeben sein – man setzt solche Fragen in der Regel ein, um eine bessere Vergleichbarkeit der Antworten zu gewährleisten und den Teilnehmern die Beantwortung zu erleichtern.

Geschlossene Fragen sind meist schneller zu beantworten und stoßen damit auf größere Akzeptanz, was die Rücklaufquote positiv bestimmt. Allerdings besteht die Gefahr, dass

die Befragten durch die Antwortformulierung bereits beeinflusst werden und wichtige Aspekte in der Beantwortung untergehen.

Im Folgenden finden Sie jeweils ein Beispiel für einen kaum strukturierten Fragebogen (Abb. 2.6) bzw. einen stärker strukturierten Fragebogen (Abb. 2.7). Das Ausfüllen nimmt bei beiden Bögen ca. 5 bis 15 Minuten in Anspruch.

Im Folgenden finden Sie jeweils ein Beispiel für einen kaum strukturierten Fragebogen (Abb. 2.6) bzw. einen stärker strukturierten Fragebogen (Abb. 2.7). Das Ausfüllen nimmt bei beiden Bögen ca. 5 bis 15 Minuten in Anspruch.

Im Folgenden finden Sie jeweils ein Beispiel für einen kaum strukturierten Fragebogen (Abb. 2.6) bzw. einen stärker strukturierten Fragebogen (Abb. 2.7). Das Ausfüllen nimmt bei beiden Bögen ca. 5 bis 15 Minuten in Anspruch.

Im Folgenden finden Sie jeweils ein Beispiel für einen kaum strukturierten Fragebogen (Abb. 2.6) bzw. einen stärker strukturierten Fragebogen (Abb. 2.7). Das Ausfüllen nimmt bei beiden Bögen ca. 5 bis 15 Minuten in Anspruch.

Erhoben werden mit solchen Fragebögen die subjektiven Eindrücke der Teilnehmer. Aus verschiedenen Untersuchungen ist bekannt, dass solche subjektiven Eindrücke

•
zum einen deutlich variieren können (z. B. in Abhängigkeit von den Erwartungen oder den Vorerfahrungen der Befragten),
•
von Randfaktoren beeinflusst sein können (z. B. zu große Heterogenität der Gruppe, schlechte Zimmer und schlechtes Essen im Hotel führen zu Unzufriedenheit, während bzw. umgekehrt ein hoher Unterhaltungswert des Referenten zu positiven Aussagen beiträgt, obwohl die Lernziele möglicherweise nicht erreicht wurden),
•
nicht stabil sein müssen – so kann sich die erste Euphorie nach einer gelungenen Veranstaltung mit zeitlicher Distanz deutlich abschwächen.

Es empfiehlt sich deshalb,

•
weitere Befragungen mit einem zeitlichen Abstand von einigen Wochen bis Monaten vorzusehen;
•
Antwortmöglichkeiten mit möglichst konkreten Aussagen zu verknüpfen (Beispiel: „Ich habe das Seminar als herausfordernd, anstrengend, innovativ ...“ erlebt, statt „Das Seminar hat mir sehr gut/schlecht gefallen“), und offene Fragen einzusetzen;
•
den individuellen Hintergrund mit auszuleuchten, um die jeweiligen Antworten richtig interpretieren zu können (also nicht „Wurden Ihre Erwartungen nicht erfüllt/übertroffen“, sondern „Mit welchen Erwartungen kamen Sie zu dem Seminar“ und „Inwieweit wurden diese Erwartungen nicht erfüllt/übertroffen“ oder „Inwieweit haben Sie Ihr Fortbildungsziel erreicht“);
•
deutlich zu machen, dass die Aussagen berücksichtigt und anonymisiert werden, um die Motivation der Teilnehmer zum Ausfüllen der entsprechenden Bögen zu fördern.

Zur generellen Beurteilung von Seminaren wird ein standardisierter Beurteilungsbogen durch die Personalabteilung an die jeweiligen Mitarbeiter verteilt. Dies erfordert einen geringen zeitlichen Einsatz, ergibt aber schließlich eine gesammelte Rückmeldung. Damit erhält man

über die Jahre einen guten Überblick und kann diese Bewertungen interessierten Kollegen zur Verfügung stellen und Kontakte herstellen.

Zudem empfiehlt es sich, bei sachlich begründeten schlechten Rückmeldungen den Veranstalter zu kontaktieren und

auf einer Gutschrift der Teilnahmegebühren zu bestehen, was viele Veranstalter auch zugestehen dürften.

Es ist nicht einfach, klare Bewertungskriterien für Weiterbildungsveranstaltungen festzulegen. Auch relativ einfach durchzuführende Lerntests lösen das Problem nicht, denn i. d. R. geht es nicht darum, dass

ein Mitarbeiter z. B. weiß, wie er einen Kunden richtig beraten sollte, sondern dass er genau dieses Wissen umsetzt, d. h. in der geeigneten Situation aktiviert.

Eine direkte Kosten-Nutzen-Abschätzung wird daher umso schwieriger,

•
je mehr es sich um Veränderungen von Verhaltensweisen handelt,
•
je zeitlich langfristiger die Veränderungen greifen,
•
je mehr Variablen hineinspielen können (werden z. B. die Umsatzsteigerungen nach einem Verkaufstraining aufgrund des hohen Lernerfolges realisiert oder wegen der neuen Preispolitik oder der Qualitätsprobleme des wichtigsten Wettbewerbers?).

Verhaltensänderungen können über Beobachtungen in Verbindung mit einem Vorher-Nachher-Vergleich oder über Befragungen der Kontaktpersonen erhoben werden. D. h.,

vor der Schulung werden im Rahmen einer Bedarfsanalyse Verhaltensdaten gesammelt – z. B. mithilfe einer 360-Grad-Beurteilung, einem Kundenfeedback oder einer Einschätzung durch die Führungskraft.

Diese Ergebnisse werden mit dem wahrgenommenen Verhalten nach dem Training verglichen. Eine Verbesserung sollte natürlich das Ziel sein. Einschränkend ist allerdings zu berücksichtigen, dass

Verhalten in der konkreten Situation nicht nur von den eigenen Fertigkeiten und der Motivation, sondern auch von Umgebungsvariablen abhängt. Dies bedeutet, dass ein Training durchaus erfolgreich und gut gewesen sein kann. Dass der Einzelne aber beispielsweise nicht besser moderiert, liegt nicht an seiner mangelnden Schulungserfahrung, sondern daran, dass der Vorgesetzte diese Aufgabe immer selbst wahrnimmt.

Der Geschulte hat aufgrund der Situation gar keine Möglichkeit, sein Verhalten zu verändern. D. h.

auch bei der Beobachtung von Verhalten wird es schwer sein, „die Wahrheit“ herauszufinden. Zudem sind Verhaltensbeobachtungen besonders aufwendig und werden deshalb nur in Ausnahmefällen systematisch realisiert.

Als weitere Möglichkeit der Evaluation bieten sich die Auswirkungen einer Weiterbildung auf die Geschäftsergebnisse („results“) an. Auf den ersten Blick erscheint ein solches Vorgehen besonders geeignet, setzt man doch bei dem eigentlichen Trainingsziel, der

Verbesserung des Outputs bzw. der Unternehmenseffizienz an. Zudem kann man „harte Daten”, d. h. objektiv messbare und vergleichbare Kriterien erheben.

In Abhängigkeit von dem Trainingsthema bieten sich beispielsweise an:

Reduktion der Fehlzeiten (bei einem Führungsseminar), Reduktion der Kundenbeschwerden (bei einem Kommunikationstraining), Erhöhung der Verkaufszahlen (bei einem Verkaufstraining) etc.

Doch genauso wie bei dem oben angeführten Kriterium des Verhaltens am Arbeitsplatz gilt auch für solche harten Daten, dass sie von einer Reihe von Faktoren mitbestimmt sind, die sich im Laufe der Trainingsphase und in der Zeit danach gleichfalls gewandelt haben können. D. h

es lässt sich zwar eindeutig feststellen, inwieweit sich die einzelnen Variablen geändert haben, doch die Interpretation und Ursachenzuweisung sind meist nicht eindeutig.

Informationsbezogene PE:

Als wichtige Informationsgrundlage der Personalentwicklung dienen die Instrumente Stellenbeschreibung, Anforderungsprofil einer Stelle, Potenzialanalyse und das Personalentwicklungsgespräch. Die Stellenbeschreibung enthält alle wesentlichen Merkmale einer Stelle, sie liefert Hinweise zur Einordnung der Stelle in die Organisationsstruktur, zu Stellenzielen und zu Aufgaben, Qualifikationen, Rechte und Pflichte des Stelleninhabers. Aus der Stellenbeschreibung kann das Anforderungsprofil einer Stelle nach fachlichen und persönlichen Anforderungen abgeleitet werden. Die Potenzialanalyse ist ein prognostisches Verfahren, um Qualifikations-, Leistungs- und Verhaltensreserven zu vermitteln. Im Personalentwicklungs- oder Fördergespräch wird der Entwicklungsbedarf aus Unternehmens- und Mitarbeitersicht abgestimmt.

Stellen- und arbeitsplatzbezogene PE:

Hierzu zählen die Laufbahn- und Nachfolgeplanung und die Förderinstrumente Arbeitserweiterung (Jobenlargement), Arbeitsanreicherung (Jobenrichment) und Arbeitsplatzwechsel (Jobrotation). Mit dem Instrument Laufbahnplanung wird festgelegt, welche Positionen ein Mitarbeiter im Laufe seiner weiteren Entwicklung einnehmen kann und welche Entwicklungsmaßnahmen dazu erforderlich sind. Die Nachfolgeplanung orientiert sich im Unterschied zur Laufbahnplanung an der Bedarfssituation des Unternehmens.

Jobenlargement bedeutet, dass an einem Arbeitsplatz

mehrere gleichwertige, vor- und nachgelagerte Aufgaben zusammengefasst werden, mit dem Ziel eines geistigen und körperlichen Belastungswechsels. Demgegenüber wird mit dem Instrument Jobenrichment eine qualitative Erweiterung der Entscheidungs- und Kontrollspielräume eröffnet. Mit Jobrotation wird in unterschiedlichster Weise ein Arbeitsplatzwechsel organisiert. Jobrotation kann aber auch als bildungsbezogene Maßnahme konzipiert werden.

Bildungsbezogene PE:

Hierunter werden alle Maßnahmen der betrieblichen Weiterbildung am Arbeitsplatz (Training on the Job), außerhalb des Arbeitsplatzes (Training off the Job) oder in Arbeitsplatznähe (Training near the Job) zusammengefasst. Das Training off the Job kann überbetrieblich oder innerbetrieblich erfolgen und reicht von Seminaren, Kursen über Vorträge, Tagungen bis hin zu Fernunterricht und E-Learning. Zu den wichtigsten Formen und Maßnahmen des Trainings on the Job zählen beispielsweise Unterweisungen durch Vorgesetzte, Kollegen oder externe Trainer, Jobrotation oder die Übertragung begrenzter Verantwortung. Eine Entscheidung für die eine oder andere Variante kann nur unter Berücksichtigung der jeweiligen Unternehmenssituation getroffen werden.

Bildungscontrolling:

Zunächst haben Sie die Kostenarten im Bildungsbereich kennengelernt. Unterschieden wurde dabei nach Maßnahmen on und off the Job. Dann wurden die zentralen Ziele eines systematischen Bildungscontrollings vorgestellt und verschiedene Vorgehensweisen zur Evaluation eines Trainings erläutert. Im Einzelnen vorgestellt wurden die häufig eingesetzten Beurteilungsbogen zur Evaluation von Schulungsmaßnahmen. Sie haben deren Vorteile und Schwächen kennengelernt.

Study