MM6 3473

Kontrolle des Evaluationsprozesses (Entscheidungsmacht)  

Auswahl der (partizipierenden) Stakeholder  

Tiefe der Partizipation (Einbindung in Phasen) 

den Nutzen/die Anwendung der Evaluationsergebnisse zu erhöhen

den Kreis der Stakeholder zu erhöhen, die ein Mitspracherecht in der Identifizierung von Evaluationsfragestellungen haben

Stakeholdern mehr Kontrolle über den Evaluationsprozess zu geben   

PPE (practical participatory evaluation): zentral ist die Nutzung der Ergebnisse und die Verbesserung der Entscheidungsfindung – kein Einbeziehen der unmittelbaren Nutznießer  

TPE (transformative participatory evaluation): zielt insbesondere auf die Zusammenarbeit mit marginalisierten Gruppen mit dem Ziel des sozialen Wandels – Evaluatoren mehr in einer Moderatorenrolle

Sensibilität / Offenheit (Responsiveness) gegenüber aufkommenden Themen (von den Stakeholdern benannten Themen)

die Rechte der Benachteiligten sollen so vertreten werden 

- UFE richtet sich an dem Glauben aus, dass die Evaluation die Nützlichkeit der Erkenntnisse maximieren muss

- Nützlichkeit muss durch Evaluation geplant und gefördert werden

• Patton (2008): nur die Stakeholder einbeziehen, die direkt in das Programm involviert sind
• Stakeholder sind aktiv in alle Phasen der Evaluation involviert 

RRA fokussiert auf das kostengünstige Sammeln von Informationen in ländlichen Communities (top-down)

PRA soll die Betroffenen selbst befähigen, Projekte zu designen und zu evaluieren (bottom-up) 

in nur 4 von 16 Ansätzen liegt die Verantwortung allein bei den Zielgruppen

in 8 von 16 Ansätzen ist sie geteilt/balanciert

in 4 Ansätzen liegt sie beim Evaluator   

- radikalerer Weg im Gegensatz zu anderen partizipativen Evaluationen

- besondere inhaltliche Nähe zur Community Psychology

- Evaluationsansatz, bei dem die Stakeholder vollständige Kontrolle über den Evaluationsprozess haben 

improvement: Evaluierende haben Interesse daran, dass sich Programme, Personen oder Organisationen erfolgreich weiterentwickeln

community ownership: Evaluation sollte dann zu einer erfolgreichen Programmentwicklung führen, wenn Beteiligte und Betroffene selbst über Prozess und Nutzung der Evaluation entscheiden können

inclusion: Evaluation sollte von der Inklusion vieler Beteiligter und Betroffener bei Planungen und Entscheidungen profitieren

democratic participation: Beteiligte und Betroffene haben Kompetenz für intelligente Entscheidungen und Aktivitäten, wenn sie mit Informationen und entsprechenden Voraussetzungen ausgestattet werden

social justice: Evaluierende fühlen sich dem Konzept der sozialen Gerechtigkeit verpflichtet und tragen zum höheren Ziel sozialer Gerechtigkeit bei

community knowledge: Empowerment Evaluation wertschätzt und fördert lokales Wissen und glaubt daran, dass die Menschen ihre Probleme selbst gut kennen und selbst gute Lösungen dazu entwickeln können

evidence-based strategies: Wertschätzung der Rolle der Wissenschaft, Evidenzbasierung und empirischer Informationen bei der Auswahl von Interventionen

capacity building: wenn Beteiligte und Betroffene grundlegende Schritte und Fähigkeiten für eine Programmevaluation erlernen, sollten sie auch in einer besseren Position sein, ihr Leben und das ihrer Zielgruppen zu verbessern

organizational learning: Verbesserung ist dann erreicht, wenn es in der Organisation Prozesse und Strukturen gibt, die weiteres Lernen anregen bzw. möglich machen

accountability: Bereitstellung von Möglichkeiten für Organisationen zur Präsentation mit verlässlichen Prozess- und Outcome-Daten und damit zur Wahrnehmung der Verantwortung gegenüber der Öffentlichkeit 

die verwendeten Studien waren alle mehr als 10 Jahre alt und deckten nicht den aktuellen Stand ab

internationale Studien fehlten ebenfalls

die Klassifizierung als „Empowerment Evaluation“ bezog sich meist nur auf den Namen, ohne dass das Konzept tatsächlich angewandt wurde

es wurden nur veröffentlichte Artikel einbezogen 

- Menschen werden nicht durch andere in die Kraft gebracht, sie tun es selber

- Empowerment Evaluatoren schaffen dazu die Umweltbedingungen

- hilft, die potenzielle Energie einer Gemeinde in kinetische Energie umzusetzen

• der Baseballschläger gibt den Schwung, der Spieler bringt (mit diesem Mittel) den Ball ins Ziel

- Empowerment Evaluation ist nicht neutral

• Empowerment Evaluatoren sind aber nicht Advokaten eines bestimmten Programms 

- Programmmitglieder

- Evaluatoren

- Geldgeber

- Teilnehmer 

Empowerment Evaluation kann praktisch und / oder transformativ sein

praktische Empowerment Evaluation fokussiert auf Entscheidungsfindung und Problemlösung (=> P-PE)

transformative Empowerment Evaluation ist von ihrer Natur aus in erster Linie psychologisch und in zweiter Linie politisch (=> T-PE)

Einsatz hängt von der Aufgabenstellung ab 

Evaluation ist kein Movement / Ideologie, weil sie die drei Kriterien der Evaluation von Chelimpsky (1977) erfüllen : Entwicklung, Verantwortung (accountability), Wissen   

experimentelle/randomisierte Designs und EE schließen sich nicht aus

EE verwendet durchaus experimentelle Designs

experimentelle Designs werden für die Testung der Wirksamkeit geschätzt 

Unterschiede :

• im Kontinuum von geringer Partizipation bis voller Kontrolle ist die Empowerment Evaluation dichter am Ende des Kontinuums angesiedelt
• explizites Commitment zur Selbstbestimmung als Ziel

ansonsten mehr Gemeinsamkeiten 

Konzept enthält

• Selbstbestimmung
• Empowerment
• Community  

Klarstellung der Prinzipien

1. improvement

2. community ownership

3. inclusion

4. democratic participation

5. social justice

6. community knowledge

7. evidence-based strategies

8. capacity building

9. organizational learning

10. accountability

(Festlegung von Mission und Zielen)

(1) Bestandsaufnahme des Status Quo

(2) Zukunftspläne schmieden (Interventionen planen)

(3) erneute Bestandsaufnahme in ausreichendem zeitlichen Abstand zur Maßnahme

Grundprinzip formative Evaluation – prozessbegleitend, Monitoring des eigenen Fortschritts

Capacity Outcomes: EE verbessert die individuellen und kollektiven Kompetenzen im Hinblick auf Planung, Implementierung und Evaluation von Programmen

Standardized Test Score Outcomes: Messbare Verbesserung in “objektiven” Testverfahren

Explicit Program Outcomes: EE als Entwicklungstool für Organisationen mit messbaren Ergebnissen i.S.e. Entwicklung

Accreditation Outcomes: EE als selbstreflektives Tool zur Erhöhung organisationaler Klarheit (hier im Hochschulkontext zur Verbesserung der Kursqualität) 

es gab keine systematische Datenerhebung (über Personen, die das Rauchen aufgaben)

es wurde eine Monitoringsystem etabliert, um die Effektivität der Maßnahme zu belegen (i.S.v. eingesparten $ an Folgekosten)

müssen Ziele und Ressourcen regelmäßig überprüft werden

muss beobachtet werden, ob die Ziele geteilt sind oder ob es konfligierende Ziele gibt

muss die Partizipation geklärt werden

muss frühzeitig klar sein, ob die Community ausreichend Ressourcen für einen solchen Partizipationsprozess hat 

Analyse von Bedarf und Ressourcen

Bedarf kann bei einzelnen Individuen oder gesamter Community bestehen

abgeschätzt werden muss, inwieweit Community / Organisation bereit für Veränderungen ist und ob sie in der Lage ist, diese umzusetzen  

Fokusgruppen

Fragebögen

Interviews

Dokumentenanalyse 

Auswahlkriterien für Strategie der Bedarfsanalyse muss explizit gemacht werden

auch:  Ressourcen  und   Durchführbarkeit innerhalb der speziellen Community

Phase vor Beginn der Analyse

• Einschätzung der Situation
• Bewertung der unterschiedlichen Methoden im Kontext dieser Einschätzungen

eigentliche Bedarfsanalyse

• Sammlung der notwendigen Daten
• Analyse
• Rückmeldung an die Community
• ggf. Revision   

(1) Problem wird intuitiv angegangen als „allgemeines Wissen“ bzw. über anekdotische Informationen

• Informationen können auf zu kleiner oder fehlerhafter Stichprobe beruhen oder einfach falsch sein

(2) meist nur eine Messung auf einen Teil der Zielpopulation

• Risiko fehlender kritischer Subgruppen
• Probleme beruhen auf der (eingeschränkten) Erfahrung des Serviceproviders
• mehrere Quellen müssen einbezogen werden, am besten mit quantitativen und qualitativen Methoden zur Ermittlung der unterschiedlichen Bedürfnisse

(3) Fehlen der Umsetzung von Lösungen

• Bedürfnisse werden zwar ermittelt, aber es passiert nichts
• Implementierung und Dissemination muss geplant werden

(4) Isolation der Berater / Wissenschaftler

• Amtsträger der Community, Serviceprovider, Forscher und Mitglieder der Zielpopulation sollten einbezogen werden 

(1) empirische Evidenz durch Forschung für Bedürfnisse und Lösungen

(2) Daten von verschiedenen Gruppen sammeln ( Zielpopulation, Serviceprovider, Entscheidungsträger )

(3) aktionsorientierter Ansatz: Bedürfnisse => Lösungen => Dissemination

(4) Inklusion aller Wissens- und Entscheidungsträger 

drei Komponenten: Feststellung -> Dissemination -> Implementation   

1.Komponente Feststellung soll sein

• empirisch, nicht nur intuitiv
• umfassend, nicht nur Daten aus einer Messung
• eher aktionsorientiert als statisch
• eher inklusiv mit allen Betroffenen / Beteiligten als isoliert 

Ziele:

• Identifizierung der Bedürfnisse einer wachsenden Zahl älterer Erwachsener in der lokalen Community
• Hauptziel
  • Unterstützung der Unabhängigkeit
  • Reduktion der Fragmentierung bei Dienstleistungen
  • Unterstützung der komplexen Bedürfnisse durch Zusammenschluss von Forschung und Unterstützungsleistung  

Zielgruppe: ältere Bevölkerung des Gebietes Greater Williamsburg in Virginia  

Assessment

• Literaturreview
• Zensusdaten (lokal, Staat, national)
• lokale Gesundheitsdaten
• sechs Surveys
• Telefonsurvey mit älteren Personen
•  zwei Fokusgruppen 
• Fallstudie zu Alzheimer (AD)  

Dissemination

• Konferenz, um erste Resultate des Assessment zu diskutieren
• verschiedene Community-Foren
• Präsentationen
• White Papers
• Artikel in Fachzeitschriften
• finaler Bericht  

Implementierung

• Durchführung durch lokale Dienstleister
• Reformierung eines existierenden Netzwerkes in eine Senior Services Coalition
  • Transportprojekte
  • In-Home Services
  • Informationen und Überweisungen
  • Schulung von Ärzten 

(1) randomisierte Auswahl für Telefonsurvey => evtl. wurden dabei SchlüsselSubgruppen nicht berücksichtigt

(2) unvollständige Daten beim Telefonsurvey

(3) Response-Rate beim Telefonsurvey lag bei 38 % => Selbstselektions-Bias möglich

• auch bei anderen Surveys waren die Rückläufe nicht vollständig
• Pflegende haben sich über Schneeballsystem selbst gesucht

(4) möglicherweise wurden nicht alle Gruppen erreicht, die etwas zu sagen gehabt hätten 

die Fallstudie wurde auf der Basis der Erfahrungen von mehreren Familien mit an Alzheimer erkrankten Angehörigen erstellt

dadurch sollten Basisinformationen über die verfügbaren Services gewonnen werden

Alzheimer wurde gewählt wegen:

• hoher gesellschaftlicher Bedeutung
• massiver Beeinflussung auf physischer, emotionaler und finanzieller Ebene – ohne sozioökonomische Grenzen  
• der Tatsache, dass durch Alzheimer früher oder später alle Services in Anspruch genommen werden, die es gibt
• der Verfügbarkeit von lokalen Experten
• der Möglichkeit,  die komplexen medizinischen und sozialen Systeme nachzuvollziehen

Stärken

• Zufriedenheit mit den angebotenen Services
• relativ gute Gesundheit der lokalen Senioren   

Schlüsselprobleme

• reliable und vertrauenswürdige Informationsquellen werden benötigt, die zu ihren Bedürfnissen passen
• Senioren mit geringem oder mittleren Einkommen können nicht an alle Services herankommen oder müssen dazu einen beschwerlichen Weg auf sich nehmen
• Gesundheitsdienstleister und Pflegende haben ein Bedürfnis und Interesse an Programmen, die ihnen einen besseren Service ermöglichen
• Unzufriedenheit mit Transportdiensten: zu teuer sowie Fehlen von Flexibilität, Reliabilität und Behindertengerechtheit
• Reparatur- und Hausdienstleistungen sind schwer zu erreichen und zu teuer
• Medikamente verursachen finanzielle Probleme   

Verbreitung

• Community-Foren für Dienstleister
• Dienstleistungs-Beratungs-Komitee
• Konferenz
• Website
• professionelle Konferenzen
• Zeitschriftenartikel und finaler Bericht 

Umsetzung

• Bildung von drei Subkomitees
  • Transport
    • Zusammenbringen aller Anbieter unter einer Telefonnummer
    • Beratung mit anderen Gemeinden
    • Services für medizinische Belange, Einkäufe und soziale Kontakte
  • In-Home-Services
    • Erstellung eines Verzeichnisses möglicher Dienstleistungen
  • Informationen
    • Problemauflistungen unter Berücksichtigung der Ressourcen der Community
• Trainings für Ärzte
  • Bereitstellung von Toolkits 

- Strenght, Weakness, Opportunity, Threat

- kann eingesetzt werden, um eine Situation zu strukturieren und Faktoren innerhalb der Organisation oder Community sowie Umgebungsfaktoren zu identifizieren, die ein Projekt beeinflussen können  

- sowohl planmäßige als auch unübliche Situationen sollten betrachtet werden  

- interne Faktoren : Analyse von Erfahrungen und Ressourcen

- externe Faktoren : Analyse von Möglichkeiten und Bedrohungen

- kann eingesetzt werden, um eine Situation zu strukturieren und Faktoren innerhalb der Organisation oder Community sowie Umgebungsfaktoren zu identifizieren, die ein Projekt beeinflussen können  

- kann genutzt werden für

• Herausarbeiten von neuen Möglichkeiten für Anstrengungen und Lösungen in Bezug auf Probleme
• Entscheidungsfindung für den besten Weg für eine Initiative => Identifizierung der Chancen im Kontext mit den Risiken 
• Bestimmung, welche Veränderungen möglich sind anhand von Stärken und Schwächen
• Adjustierung und Verbesserung der Pläne unterwegs

allein die Erkenntnis, dass ein Risiko existiert, ist entscheidend

durch das Einnehmen externer und interner Perspektiven können sich Bedrohungen zu Chancen entwickeln 

- interne Faktoren (SW)

• Human Ressources: Personal, Freiwillige, Gremienmitglieder, Zielpopulation
• physische Ressourcen: Örtlichkeiten, Gebäude, Ausstattung
• Finanzen: Stipendien, Stiftungen, andere Einkommensquellen
• Aktivitäten und Prozesse: laufende Programme und Systeme
• frühere Erfahrungen: Gelerntes und Erfolge, Reputation 

externe Faktoren (OT)

• Trends
• Ökonomie
• Geldquellen
• Demografie
• physische Umgebung
• Legislatur
• lokale, nationale und internationale Ereignisse