2. Gesundheitsförderung, Prävention und Intervention

Evaluation = langfrisitiges und komplexes Projekt. Wichtig Prozess zu strukturieren und in einzelne Phase einzuteilen.

Phasenmodelle können helfen, die Projektabwicklung und Projektdarstellung umzusetzen.

Für Evaluationsprojekte müssen diese Modelle drei Perspektiven vereinen (Döring & Bortz, 2016):

1) Die Phasen des empirischen Forschungsprozesses müssen eingehalten werden (wissenschaftliche Perspektive).

2) Die Phasen müssen entsprechend des Projektmanagements organisiert werden (Projektmanagementperspektive).

3) Die Phasen müssen den Zeitpunkt der Interventionsentwicklung oder ‑durchführung berücksichtigen (Entwurfsperspektive).

2. Projektphasen

Initiierung, Konzeption, Planung, Realisierung, Abschluss

1. Mögliche Projekte werden identifiziert, Finanzierung geklärt. Wichtiger Punkt hier ist die Zielklärung, da Evaluationsforschung ohne eindeutiges Ziel nicht gelingen kann. Zielunterscheidung in: 1. Ziele der Intervention - Was soll mit der Intervention erreicht werden? 2. Ziele der Evaluation - Was soll die Evaluation bewerten?

Fünf verschiedene Ziele der Evaluation:

1. Erkenntnisziel: Bei dieser Art von Ziel geht es darum, wissenschaftliche Erkenntnisse über die Zusammenhänge von Intervention und Wirkung zu erlangen.

2. Optimierungsziel. Geht es bei der Evaluation vorrangig um Optimierung, dann sollen Stärken einer Intervention herausgefiltert und Möglichkeiten identifiziert werden, wie diese noch weiter optimiert werden können. Ebenso sollen Schwächen der Intervention aufgedeckt und wenn möglich abgebaut werden.

3. Kontrollziel. In diesem Fall steht die Kontrolle der Maßnahme im Vordergrund. Dazu soll evaluiert werden, ob die Maßnahme korrekt umgesetzt wird und ob die intendierten Wirkungen mit der erwarteten Effektivität und Kosten-Nutzen-Bilanz erzielt werden.

4. Entscheidungsziel. Ist es das Ziel, eine Entscheidung zu treffen, dann richtet sich die Evaluation darauf aus, verschiedene Interventionen miteinander zu vergleichen. Es kann bei dieser Art Ziel auch um die Entscheidung gehen, ob eine Intervention gefördert, weiterentwickelt oder zusätzlich in anderen Bereichen implementiert werden soll.

5. Legitimationsziel. Bei dem Legitimationsziel sollen die Ergebnisse der Evaluation dazu beitragen, die Intervention nach außen gegenüber Dritten zu legitimieren und beispielsweise die Vergabe von Geldern zu rechtfertigen.

1. Konzeptionsphase:

Erster Schritt = Evaluationsbedingungen müssen genauer untersucht werdern.

1. Zusammenstellung des Evaluationsteams: Single-Evaluator, arbeitsteilige Teams

2. Genaue Betrachtung des Evaluationsgegenstandes - Was genau steht im Fokus? Wer sind Stakeholder?, Was sind deren Interessen und Erwartungen? Welche Möglichkeiten der Datenerhebnung lässt das Evaluationsobjekt zu?

3. Entwicklung eines Evaluationskonzepts - dafür liegen erprobte Checklisten vor, die die einzelnen Arbeitsschritte beschreiben - "Evaluation Design Checklist". Checkliste sollte folgenden Informationen enthalten:

• Evaluationsziele (Grobziele und Feinziele)

• Forschungsfragen und/oder Hypothesen, ggf. auch Theoriebildung

• Untersuchungsplanung (mit Bezug zu Evaluationsmodellen und Evaluationsstandards)

• Projektmanagement (Zeitplan, Kostenplan, Projektorganisation)

• Datenerhebung und Datenanalyse

• Art und Umfang der Evaluationsberichte

• Maßnahmen zur Evaluationsnutzung

• Metaevaluation

Wichtig auch bei der Konzeptionsphase: Nützlichkeit, Durchführbarkeit, Fairness, Genauigkeit.

Weiter wichtig: operatives Projektmanagement - Magische Dreieck des Projektmanangements Balance zwischen Zeit, Kosten, Qualität.

1. Formulierung von Evaluationsfragen und -hypothesen, Erstellung der Untersuchungsplanung, Projektplanung.

Bei den Evaluationsfragen kann mit offenen Fragen (Erreicht die Intervention die gewünschte Wirkung?) oder mit gerichteten Hypothesen (Die spezifische gewünschte Wirkung wird mit der Intervention in stärkerem Maße erreicht als bei Unterlassen der Intervention.) gearbeitet werden. Die Untersuchungsplanung setzt sich anschließend mit dem detaillierten Untersuchungsdesign, der Stichprobe und den einzusetzenden Instrumenten auseinander (Döring & Bortz, 2016). Die Projektpläne, die bereits bei dem Konzeptentwurf erstellt wurden, werden nun im Rahmen der Planungsphase ausdifferenziert und verfeinert (Keßler & Winkelhofer, 2004).

1. Umsetzung der erstellten Pläne: es werden Daten erhoben. Da meist Feldforschung, ist Störfaktoren besondere Aufmerksamkeit zu widmen. Beispiel für Störfaktor: Intervention zu Alkoholismusprävention kann wirksam sein ABER Wirksamkeit wird aber durch konkurrierende Maßnahmen anderer Akteure überlagert (z. B. durch omnipräsente Werbung für alkoholische Getränke). Durch die detaillierte Betrachtung der beiden Faktoren können die jeweiligen Wirkweisen bei einer Verbesserung der Intervention in Betracht gezogen werden. In diesem Beispiel wäre es empfehlenswert, die Veränderung bei der Intervention anzusetzen, da an den äußeren Umständen (Werbung für alkoholische Getränke) wenig bis kein Einfluss zu nehmen ist.

Nach der Planung erfolgt die Datenerhebung und dann die Datenauswertung, dann die Interpretation.

Ergebnisse werden kommuniziert, Entscheidungen für die Praxis werden abgeleitet. Bei Kommunikation sind wieder die Bewertungskriterien wie: 1. Nützlichkeit wie Zielgruppenorientiert, verständlich, ohne überflüssige Fachbegriffe, 2. Genauigkeit, 3. Fairness wie Datenschutz - DeGEval. Es sollte auf mögliche Störfaktoren, Fehlinterpretationenen, Unterinterpretationen hingewiesen werden.

Bundesamt für Gesundheit der Schweiz hat Checkliste erstellt und wichtigeste Fragestellungen zusammengefasst die für die Nutzung der Ergebnisse nach Abschluss des Evaluationsprojektes hilfreich sind.

1. Haben wir die für unsere Planung und Entwicklung wichtigsten Aussagen der Studien identifiziert?

2. Ist klar, was aus der Studie für die Umsetzung von Projekten erfolgt?

3. Haben wir mögliche Folgen für die Aktivitäten verschiedener Gruppen abgeschätzt?

4. Haben wir überlegt, was zu tun ist?

5. Ist klar, welche Rahmenbedingungen dafür geschafffen werden müssen?

6. Wissen wir, welcher Aufwand mit der Durchführung solcher Folgearbeiten verbunden ist?

7. Haben wird die Personen oder Gruppen identifiziert, die am eheseten geeignet sind, die nächsten Schritte zu übernehmen?

8. Haben wir überlegt, welche Personen/Gruppen Priorität haben?

9. Ist uns klar, wir wir am besten an diese Gruppen herantreten?

10. Wer ist am ehesten geeignet, an diese Gruppen heranzutreten?

Weitere Aspekte: Publikation und Verbreitung der Ergebnisse, Metaevaluation