Vom (Un-)Sinn der Feedbackbögen - Warum sie nicht messen, was sie messen sollen


BILD_Vom (Un-)Sinn der Feedbackbögen - Warum sie nicht messen, was sie messen sollen

Das Ende des Seminars ist die Zeit der Feedbackbögen. Für die TeilnehmerInnen inzwischen eine lästige Pflicht. Und wenn die gesammelten Ergebnisse auf den Tischen der PersonalentwicklerInnen landen hält sich die Beschäftigung damit meist in Grenzen. Kurz durchblättern. Viele lächelnde Smileys. Zur Seite legen. Vielen HRD Professionals sind die Feedbackbögen schon länger ein Dorn im Auge. Ihre Erfahrung zeigt, dass sie nur geringe Aussagekraft. Und das bestätigt nun auch die Transferforschung und zeigt darüber hinaus, dass Feedbackbögen den Transfererfolg sogar negativ beeinflussen können…

In diesem Artikel lesen Sie:

  • Welche Feedbackbögen nichts über die Wirksamkeit unserer Trainings aussagen

  • Warum Feedbackbögen den Transfererfolg sogar negativ beeinflussen können

  • Wie Sie durch Ihre Feedbackbögen an die falschen TrainerInnen geraten können und

  • Wie sie ihre Feedbackbögen schnell und einfach optimieren können

Zufriedene TeilnehmerInnen = Wirksames Training?

Diese Gleichung geht nicht auf

„What gets measured, gets done“. Dieser Ausspruch stammt von den Transferforscherinnen Lisa Burke und Holly Hutchins [1]. Er gilt aber ganz universell in Unternehmen. Das was wichtig und bedeutungsvoll ist, ist steuerungsrelevant. Es wird diskutiert, gemessen und optimiert. Logisch! Wie sonst könnte das Unternehmen wissen, ob es am richtigen Weg ist bzw. wie nah oder fern es seinen Zielen ist? Wir messen Umsätze, um den Verkaufserfolg zu bestimmen und treffen Maßnahmen, wenn die Umsatzzahlen nicht stimmen. Wir messen die Anzahl unpünktlich gelieferter Ware um die Liefertreue zu bestimmen und treffen Maßnahmen, wenn Kunden zu häufig auf ihre Produkte warten müssen und die Beschwerden nach oben gehen. Die gleiche Logik gilt natürlich auch in der Personalentwicklung. Transfer ist das erklärte Ziel. Also messen wir den Transfer um den Erfolg ihrer Trainings zu bestimmen und nutzen diese Daten, um die Transferwirksamkeit weiter zu fördern. Das tun wir doch, oder? Oder tun wir das eigentlich nicht? Was messen wir, um den Erfolg unserer Trainings zu bestimmen?

Eine Studie der American Society for Training & Development (ASTD Research) zeigt, dass 92% der Unternehmen Feedbackbögen zur Evaluierung Ihrer Trainings nutzen [2]. Diese standardisierten Bögen werden zumeist am Ende des Trainings ausgegeben und von den TeilnehmerInnen ausgefüllt. Solche Feedbackbögen werden in der Transferforschung liebevoll-provokant „Happy Sheets“ genannt weil sie häufig eine Skala mit unterschiedlich grinsenden Smileys enthalten. Warum dieser provokante Name? Weil sie meist nichts anderes messen, als die Zufriedenheit der TeilnehmerInnen. Typische Fragen sind „Wie gut hat Ihnen das Training gefallen?“ oder „Wie zufrieden waren Sie mit dem Training, den Seminarunterlagen, dem Seminarhotel, dem Trainer/der Trainerin, usw“. Diese „Happy Sheets“ messen demnach die Zufriedenheit der TeilnehmerInnen. Und diese Daten sind zumeist das einzige Kriterium, an dem wir festmachen, ob das Training erfolgreich war oder nicht. Das ist in etwa so, als würden wir den Verkaufserfolg im Unternehmen messen, indem wir die VerkaufsmitarbeiterInnen fragen, wie zufrieden Sie mit Ihren KundInnen waren. Irgendwie absurd, oder?

Von der Zufriedenheit der Teilnehmer auf den Transfererfolg zu schließen ist als würden wir den Verkaufserfolg im Unternehmen anhand der Zufriedenheit der Vertriebsmannschaft messen.

Wir steuern im Blindflug

Ein falscher Rückschluss und seine Folgen

Nun könnte man einwerfen, dass das im Trainingsbereich ja ganz anders ist. Immerhin wird ja viel mehr des Gelernten angewandt, wenn die TeilnehmerInnen mit dem Training zufrieden waren! Von dieser Annahme wurde auch in der Transferforschung lange ausgegangen. Das Bekannteste und am weitesten verbreitete Evaluierungsmodell wurde von Don Kirkpatrick in den 60er Jahren entwickelt.

BILD_Die 4 Ebenen nach Kirkpatrick

Das Evaluierungsmodell von Kirkpatrick beschreibt 4 Evaluierungsebenen. Die unterste Evaluierungsebene ist die Reaktion. Hier wird erhoben, wie zufrieden die TeilnehmerInnen mit dem Training waren. Auf diese Ebene folgt die Lernebene auf der der Zuwachs an Wissen festgestellt wird. Auf der dritten Ebene wird das Verhalten am Arbeitsplatz evaluiert. Erst wenn eine Verhaltensänderung oder eine Verbreiterung des Verhaltensspektrums statt gefunden hat, kann von Transfer gesprochen werden. Schließlich wird auf der Ergebnisebene betrachtet, inwieweit die Verhaltensänderung zu positiven Veränderungen für die Organisation geführt hat.

Lange ging man davon aus, dass die Ebenen aufeinander aufbauen. Wir dachten also, je positiver die Reaktion, desto mehr Wissen wurde erworben. Je mehr Wissen, desto höher der Transfererfolg. Und je höher der Transfererfolg, desto positiver die Ergebnisse, die durch das Training für die Organisation erzielt werden konnten. Demnach wäre die Evaluierung der Zufriedenheit der TeilnehmerInnen zwar keine direkte Messung des Transfererfolgs, aber dennoch aussagekräftig, weil ja die Ebenen aufeinander aufbauen. Weit gefehlt, wie sich später zeigte. Eine Gruppe von TransferforscherInnen überprüften das Evaluierungsmodell von Kirkpatrick metaanalytisch und untersuchten damit, ob zufriedene TeilnehmerInnen tatsächlich mehr anwenden [3]. Das Ergebnis: Nein! Zufriedenheit sagt nichts über den Transfererfolg aus. Diese Erkenntnis zeigt ganz klar: Wenn wir die Zufriedenheit messen, dann wissen wir nur, wie zufrieden die TeilnehmerInnen mit dem Training waren. Das kann eine durchaus interessante Information sein. Aber sie lässt keine Rückschlüsse darauf zu, wie hoch der Transfererfolg ist bzw. sein wird. Wie auch? Das wissen die TeilnehmerInnen zu diesem Zeitpunkt meist selbst noch nicht. Wenn wir also unser Ziel – den Transfererfolg unserer Trainings – messen wollen, dann sind Happy Sheets das falsche Instrument. Sie messen nicht das, was wir eigentlich messen wollten! Und wenn wir diese Reaktionsmessungen als Kritierium für die Steuerung der Trainings hernehmen, dann steuern wir im Blindflug.

Wenn die Ergebnisse aus den Happy Sheets das einzige Steuerungsinstrument für die Wirksamkeit ihrer Trainings ist, dann steuern sie im Blindflug

"Wir wollen Sie glücklich machen"

Warum Happy Sheets dem Transfererfolg schaden können

Mit dem was wir evaluieren, zeigen wir, was im Unternehmen wichtig und anstrebenswert ist. Beispielsweise messen und monitoren wir die Servicequalität und signalisieren damit „Die Servicequalität ist uns wichtig - die gilt es zu steigern. Was aber signalisieren wir, wenn wir mit unseren Feedbackbögen die Zufriedenheit der TeilnehmerInnen messen? Wir signalisieren: „Das Ziel unserer Trainings ist, dass du zufrieden damit bist“ oder noch pointierter: „Mit unseren Trainings wollen wir dich glücklich und zufrieden machen!“ Aber ist das wirklich das Signal das wir senden wollen? Sind zufriedene TeilnehmerInnen wirklich das primäre Ziel einer schlagkräftigen Personalentwicklung? Wollen wir nicht viel mehr, dass sich die Teilnehmenden mit Hilfe der Trainings weiterentwickeln, das Gelernte erfolgreich nutzen und so das Unternehmen voranbringen? Erst wenn das unser primäres Ziel ist, wird die Personalentwicklung von der „Wohlfahrtsabteilung“ zum entscheidenden und respektierten Businesspartner für das Unternehmen. Verstehen sie mich nicht falsch - es ist nichts verkehrt daran, dass die Teilnehmer mit den Trainings zufrieden sind - genau so wie nichts daran verkehrt ist, dass ihre VertriebsmitarbeiterInnen zufrieden sind. Aber Zufriedenheit ist nicht alleinige, das primäre Ziel einer wirksamen Personalentwicklung, auf dessen Basis Entscheidungen getroffen werden - etwa darüber ob ein Training weiter durchgeführt wird. Mit dem was wir evaluieren, signalisieren wir, was im Unternehmen wichtig ist - und bei einer schlagkräftigen Personalentwicklung ist das die Wirksamkeit des Trainings - also sollten wir auch die evaluieren.

Mit der Happy-Sheet-Evaluierung signalisieren wir den Teilnehmenden: Das Ziel unserer Trainings ist, dich glücklich zu machen!

"Machen Sie sie glücklich"

Warum mit Happy Sheets die falschen TrainerInnen zu ihnen kommen