ergänzende Fragen Evi

Zustandsevaluation:

Bei der Zustandsevaluation zielt die Evaluationsforschung darauf ab, alle

Eigenschaften oder Attribute zu ermitteln, die den Evaluationsgegenstand –das Forschungsobjekt –definieren und es von anderen Forschungsobjekten unterscheiden bzw. abgrenzen. Wenn der Kultusminister von Sachsen-Anhalt das aktuelle Wissensniveau aller Schüler der 8. Klasse des Landes im Fach Mathematik in Erfahrung bringen will, entspricht dies einer Zustandsevaluation.

Veränderungsevaluation:

Veränderungsevaluation.

Bei der Veränderungsevaluation wird der Zustand eines Forschungs-

objektsineinemraum-zeitlichenProzessanalysiert.DerProzesskannunterschiedlichabgebildet

werden:

--> Diagnosen: Das Forschungsobjekt kann über die Zeit im Rahmen mehrerer Erhebungen hinsichtlich seiner Quantität und/oder Qualität erfasst werden. Hierbei ist der Trend von Interesse, also wie sich das Objekt über die Zeit hinweg entwickelt hat bzw. entwickeln wird.

--> Prognose.

--> Retrognose. aktuelle Situation wird mit einem in der Vergangenheit liegenden Zeitpunkt verglichen

Wirksamkeitsevaluation

1. Evaluationsbedarf

2. Evaluationsauftrag

3. Evaluationsgrundlagen

4. Rahmenbedingungen der Evaluation

5. methodische Projektplanungen

6. Durchführung der Evaluation

7. Datenauswertung

8. Präsentation und Berichtigung

9. Dissementation der Ergebnisse

10. Nutzung der Ergebnisse

11. Bewertung der Evaluation

1. Komplexität eines Eval.gegenstandes (muss sich in der Theorie und im methodischen Zugang widerspiegeln)
2. Gültigkeitsbereich einer Fragestellung
3. Objektivierbarkeit mit den Kriterien
   1. Erkennbarkeit: Gegenstand muss der Erkenntnis zugänglich sein (Gott ist z.B. der Wahrnehmung icht zugägnglich)
   2. Bestimmbarkeit: welche beobachtbaren Parameter können Auskünfte über den Gegenstand geben
   3. Dokumentierbarkeit
4. Transparenz: Regeln der Eval. müssen nachvollziehbar sein

NEIN!

Interne

Va

lidität.

InterneValiditätbedeutet,dassein

hypothesenbasiertesEvaluationsdesigninderLageist,

eineeindeutigeAussageüberdieAnnahmeoderdie

AblehnungderentsprechendenHypothesezuliefern

Externe

Validität.

Externe Validität bedeutet,dass es

möglich ist, die Ergebnisse der Evaluationsuntersuchung

auf andere Kontexte zug eneralisieren

1. Nützlichkeitsstandards --> an den Infobedürfnissen der Eval.nutzer orientiert

2. Durchführubarkeitsstandards --> Eval ist möglichst realistisch, gut durchdacht, diplomatisch und kostenbewusst

3. Fairnessstandards --> in der Eval wird rechtlich und ethisch korrekt mit allen Beteiligten und Betroffenen umgegangen

4. Genauigkeitsstandards --> für den Evalgegenstand und die Fragestellung werden valide Infos bereitgestellt

Methodische und methodologische Orientierungen:

Prozess,dem eine Evaluation folgen soll:

(1) Formulierung allgemeiner Ziele,

(2) Klassifikation der Ziele,

(3) Beschreibung dieser Ziele durch geeignete Verhaltenskategorien,

(4) Identifikation von Situationen und Bedingungen, in denen das fragliche Verhalten gezeigt

werdenkann,

(5) Auswahl oder Entwicklung von wissenschaftlichen Messmethoden zur Überprüfung der

Wirkungen,

(6) Datengewinnungund

(7) VergleichzwischendenempirischenErgebnissenmitdenzuvordefiniertenZielen

Bewertungsorientierte Ansätze (auch gegnerschaftsorientierte Evaluation oder adversary Evaluation)

Anwalt und Gegenanwalt ringen um die Sache (beste Ziele, wie kann Evaldesign entwickelt werden), Zentrale Bedeutung haben die Begriffe: Bewertungsmaßstäbe (= Voraussetzungen zur Bewertung) und Bewertung von Ergebnissen (Schlussfolgerungen)

Nutzungsorientierte Ansätze: welchen Zwecken dienen welche Arten von Ergebnissen?

vier Ebenen: Reaktionsebene, Ebene des Lernerfolgs, Verhaltensebene, Ebene objektiver Endergenisse

Normative Ansätze: wie soll ein Evaluationsprozess gestaltet werden, wenn das Vorgehen wissenschaftlichen Kriterien genügen soll?

Ermittlung des konkreten Interventionsbedarfs,

"

Erfüllung einer gesetzlich vorgeschriebenen Berichtspflicht,

"

Entscheidung über die Weiterführung einer Maßnahme

Nein !!!

Ist-Zustand = zeitliche Spezifikation, die Evaluation soll sich auf einen akutellen Zustand zum Zeitpunkt X beziehen

wenn sich Indikatoren in theoretisch und/oder phänomenlogisch sinnvolle Kategorien zusammenfassen lassen.

Bsp.: Ängstlchkeit

emotionale Modalität (affektive Erlebniszustände)

kognitive Modalität (typ. Gedanken bei Konfro mit dem angstauslösenden Reiz)

physiologische Modalität (Merkmale physiologischer Erregung, z.B. Schwitzen, Herzrasen)

verhaltensbezogene Modalität (vor dem angstauslösenden Reiz davonlaufen wollen)

Selbstdarstellungstendenz (soziale Erwünschtheit) --> an Ehrlichkeit appelieren, darauf hinweisen, dass es keine richtigen und keine falschen Antworten gibt

- der Aufforderungscharakter der Befragungssituation --> Testperson um ehrliche Antwort bitten, Messinstrument objektivierbar und verhaltensnah konstruieren, nicht-reaktive Messmethoden verwenden (z.B. verdeckte Beobachtung), Testperson nach der Untersuchung befragen, welchen Sinn und Zweck sie hinter der Untersuchung vermutet

- der Hawthorne-Effekt --> Messwerte werden dadurch beeinflusst, dass eine Untersuchung stattgefunden hat

- der Rosenthal-Effekt --> = Pygmalioneffekt = durch die Erwartungen des Versuchsleiters werden die untersuchten Personen dadurch beeinflusst, dass ihnen der Versuchsleiter subtile Reize sendet und so in bestimmtes Verhalten seitens der VP untersützt/fördert

Primacy-Effekt

Recency-Effekt

Halo-Effekt

Bestätigungsfehler

Assimilationsfehler

Kontrasteffekt

- Angemessene Verfahren --> praxisverträgliche Verfahren, d.h. angemessenes Verhältnis zw. Beschaffung der benötigten Infos und Belastung der Beteiligten

- Diplomatisches Vorgehen --> Durchführung der E., so dass bei den Beteiligten eine hohe Aktzeptanz hinsichtlich aller Stadien des E.prozesses erreicht wird

- Effizienz von Evaluation --> gutes Verhältnis zwischen Aufwand für und Nutzen von E.

- beschreibung des Evaluationsgegenstandes

- Kontextanalyse

- Beschreibung von Zwecken und Vorgehen

- Angabe von Informationsquellen

- Valide und reliable Informationen

- Systematische Fehlerüberprüfung

- Analyse quantitativer und qualitativer Informationen

- Begründete Schlussfolgerung

- Metaevaulation

0) Produktebene --> Qualität des Produktes (Wie bewerten z.B. Experten eine Maßnahme)
5) Mehrwertebene (ROI = Return of Investment) --> langfristige Gewinne

Evaluationsbedarf

Evaluationsauftrag

Evaluationsgrundlagen

Rahmenbedingungen der Evaluation

methodische Projektplanung

Durchführung der Evaluation

Datenauswertung

Präsentation und Berichtlegung

Dissemination der Ergebnisse --> D. = Verbreitung der Ergebnisse

Nutzung der Ergebnisse

Bewertung der Evaluation

Deskriptive Ansätze

- Häufigkeitsaussagen

- Zeitliche Fluktuation --> Anzahl aller HIV-Positiven in Deutschland ist nicht exakt bestimmbar, deshalb werden statistische Kennwerte (z.B. Häufigkeit) in Bezug zu zeitlichen Parametern gesetzt --> = die Anzahl der registrierten HIV-Positiven am 10.3.2017 (auch wenn klar ist, das nicht ALLE Menschen mit HIV zu diesem Zeitpunkt registriert sind (--> Dunkelziffer))

- Umöglichkeit einer Totalerhebung --> Dunkelziffer immer vorhanden

- Hellfeld vs. Dunkelfeld --> Gegensatz zw. offiziell registrierter Anzahl von ... und der vermutlich weitaus höheren Anzahl von..., die aber nicht offiziell registriert wurde (z.B. Vergewaltigungen, Opfer melden Vorfälle nicht immer der Polizei)

Epidemiologischer Ansatz

- Prävalenz

- Lebenszeitprävalenz

- Inzidenz

Inferenzstatistische Ansätze

-Population und Stichprobe

- Probabilistische und nicht-probabilitische Stichproben --> p. = Wahrscheinlichkeit mit der ein Element in eine Stichprobe gezogen wird, ist vorher bekannt

- geschichtete Stichproben --> empfiehlt sich besonders bei kleinen Stichproben, da hier ein Merkmal oft über- oder unterrepräsentiert ist  (a-Priori-Stratifizierung ( zuvor wird festgelegt, wieviele Elemente aus jeder Schicht gezogen werden, Ziehung innerhalb der Schicht erfolgt zufällig) & Ex-Post-Stratifizierung (Elemente werden zunächst ohne Berücksichtigung der Schichten gezogen, hinterher wird dann gemäß der Populationsverhältnisse gewichtet)

- Quotenstichprobe (nicht-probabilistisch Variante der geschichteteten Stichprobe) --> Größen der Schichten im Vorfeld festgelegt, Ziehung ist aber nicht vollkommen zufällig, Ziel ist es, Quoten aufzufüllen, jede Person, die die Teilnahme verweigert, wird bei der Quotenstichprobe nicht mitgezählt, Rekrutierung wird so lange fortgesetzt, bis die Quote erfüllt ist

Normative Vergleiche

- Idealnormen (definiertes Ideal)

- Kriteriale Normen (sind auch Idealnormen, da sie ein Kriterium vorgeben, z.B. in Mathearbeit müssen 50% der Punkte für ein ausreichend erreicht werden)

- Realnormen (vorher ermittelte Durchschnittwerte werden zugrunde gelegt und sollten dann erreicht werden, z.B. sind 500 Punkte in einem PISA-Untertest normal, aber nicht unbedingt auch ideal)

Empirische Vergleiche (Vergleich zweier Ist-Zustände)

- sozialer Vergleich (z.B. zwischen zwei Personen oder Gruppen (Arbeitslosenquote in zwei Bundesländern)

- temproralter Vergleich (Zeitlicher Vergleich einer Person zum Zeitpunkt t1 wird mit zeitlich vorgelagertem Zeitpunkt t0 vergleichen) --> Zeitpunkt muss inhaltlich begründet werden

Man braucht aus der Population eine Eichstichprobe. 

Vorgehen Standardwerte: Den Einzelwert (x) in einen Standardwert (z-Wert) transformieren. den z-Wert interpretieren d.h. Realnormvergleich (= Beurteilung eines Wertes x im Bergleich mit allen anderen Werten in der Vergleichsstichpobe, da z-Werte unabhängig von Mittelwert und SD der Eichstichprobe interpretierbar sind)

Vorgehen Wahrscheinlichkeit. z-Test durchführen und p berechnen.

Vorgehen Prozentränge/Perzentile: Wenn keine Standardnormalverteilung eines Merkmals gegeben ist (siehe oben bei Standardwerte), dann diese Variante benutzen. Man kann angeben, wie viel % der Fälle einen gleichen oder einen niedrigeren Wert haben.

Idealnormvergleiche.

z-Test

Realnormvergleiche.

Ein-Gruppen-t-Test

Soziale Vergleich: Mittelwertsunterschiede.

2 Gruppen: t-Test für unabhängige Stichproben

mehrere Gruppen: Varianzanalyse

Real- und Idealnormvergleiche. 

X²-Test

Binominaltest

Soziale Vergleiche.

X²-Test

d = einfache Differenz

d(st) = standardisierte Differenz, d.h. die absolute Differenz d wird an der SD des gemessenen Merkmals zum ersten Messzeitpunkt standardisiert, auf diese Weise wird die Skala der Testwerte berücksichtigt (die Aussage "die Differenz liegt bei + 4 ist unterschiedlich zu bewerten, wenn die Skala von 0 bis 100 liegt oder im Vergleich nur zwischen 0 und 10)

d(k) = klinische Signifikanz (kritische Differenz, RCI = reliable change index) --> dazu werden benötigt: der Populationsmittelwert aller intraindividuellen Differenzen und die SD aller intraindividuellen Differenzen

Ist die Wahrscheinlichkeit für d(k) unter der Nullhypothese klein (überlicherweise kleiner als 5%), so ist die empirisch gefundene intraindividuelle Differenz signifikant größer als Null, d.h. die Veränderung ist statistisch bedeutsam  (die Nullhypothese muss abgelehnt werden und die H1 wird angenommen)

X²Test --> aber nur dann,wenn die Daten aller auf HIV getesteten Personen vorlägen, sonst nicht. Liegt nur die Anzahl der positiv getesteten vor, dann kann man einen Veränderungsquotienten berechnen (Differenz zwischen Ausgangsinzidenz und aktueller Inzidenz wid berechnet und dann durch die Ausgangsinzidenz geteilt (d.h. an der Ausgangsinzidenz standardisiert)

indirekte Veränderungsmessung: man schließt von einer beobachteten Differenz oder einem beobachteteten Trend indirekt darauf, dass eine Veränderung stattgefunden hat

direkte Veränderungsmessung: Für jede Person wird ein Mittelwert von vorliegenden Fremdbeurteilungen zu einem einzigen Zeitpunkt berechnet. Ist der Mittelwert negativ, dann ist der Schüler weniger aggressiv, ist er positiv, dann ist der Schüler über die Zeit hinweg aggressiver geworden

Nicht die wahre Merkmalsausprägung hat sich über die Zeit hinweg geändert, sondern die subjektive Repräsentation des Merkmals (und damit auch die Validität des Messinstruments).

Eine Person kann z.B. im Verlauf der Zeit sensibilisierter für eigene Verhaltensweisen werden und gibt möglicherweise bei einer Befragung höhere WErte für aggessive Verhaltensweisen an als bei der gleichen Befragung, die ein Jahr zuvor stattgefunden hat.

1. Erinnerungseffekte
2. Testübung
3. Sensibilisierung für die Fragestellung
4. zwischenzeitliches Geschehen (kann Antwortverhalten einer Person beeinflussen)
5. Response Shift

Konfirmationseffekte (Gollwitzer S. 94)

selektive Gewichtung von Infos (Primacy- oder Recencyeffekt)

Assimilations- und Kontrasteffekte: Abweichungen werden systematisch unterschätzt (A) oder überschätzt (K)

Response Shift

direkte und indirekte Veränderungsmessung werden kombiniert und man lässt eine Person zum Zeitpunkt t2 ihre Merkmalsauspräung zum Zeitpunkt t1 (der also zeitlich davor lag) einschätzen, anschließend berechnet man die Differenz zwischen Zeipunkt t2 und t1 --> verringert die Gefahr eines Response Shift

Wenn ein Wert zu einem Zeitpunkt t1 weit vom Mittelwert entfernt liegt und zum anderen Zeitpunkt t2 dann wieder weiter am Mittelwert dran liegt

Beispielsweise könnte ein Junge im Verglieich zum MIttel seiner Klasse sehr aggressiv sein. Am Ende des Jahres liegt er sehr nahe am MIttel. DAs bedeutet aber noch nicht, dass der Junge weniger aggressiv geworden ist. (Es könnte ja auch sein, dass die KLasse insgesamt aggressiver geworden ist?)

• Autokorrelation r12 < 1 (ist alleine aber keine hinreichende Bedingung und kommt in der Realität meist so vor (selten gibt es perfekte Korrelationen) und
• beide Messwertreihen haben identsche Varianzen 

Autokorrelation hoch

Varianzen zwischen zwei Messpunkten sind gleich (z.B. nach einer z-Standardisierung)

Wirksamkeit: durch eine Maßnahme versursachte Konsequenzen

Wirkung: angenommene Mechanismen (Prozesse), die zu einem beobachteten Effekt geführt haben

ein Nachweis der Wirksamkeit beschränkt sich also auf die Feststellung, dass eine Maßnahme etwas bewirkt hat, eine

Analyse der Wirkung einer Maßnahme fragt danach, wie eine Maßnahme gewirkt hat