3401.7.3 Quasi-experimentelle Designes

Untersuchungsanordnungen, die wie Experimente darauf abzielen, die Wirkung einer UV auf eine AV zu ermitteln, in denen aber keine Randomisierung erfolgt

1. Zielgruppe des Treatments wird von der auftraggebenden Institution festgelegt

2. Treatment komplexer als in Experimenten

3. im Feld/natürlichen Settings durchgeführt

systematische Beurteilung eines Objektes oder Vorgangs

Momentaufnahme

untersucht Zusammenhänge zwischen bestimmten Maßnahmen und erwarteten Effekten

mangelnde Kontrolle von Störfaktoren sollte nicht dazu führen, keine Evaluationsstudie durchzuführen, sondern dazu, möglichst viele potentielle Störfaktoren zu kontrollieren und entsprechend nur begrenzt kausale Schlussfolgerungen zu ziehen

Patry und Hager "Evaluation psychologischer Interventionsmaßnahmen" 2000

1. Auswahl-Dilemma
2. Dilemma der Wissenschaftlichkeit
3. Dilemma der Allgemeinheit vs. Konkretheit
Kontroll-Dilemma

Welche Programme sollen angesichts der limitierten Mittel evaluiert werden

Wissenschaftliches Vorgehen bei Planung und Evaluation von Interventionsmaßnahmen Voraussetzung für objektive Bewertung

Je abstrakter die Formulierung, desto weiter der potentielle Anwendungsbereich aber desto schwierigere Operationalisierung

bezieht sich auf Interventionen im Bildungsbereich

Wegen Komplexität (der Unterrichtssituation) ist Kontrolle von Störvariablen durch Standardisierung nicht möglich

Untersuchung von Effekten wird erst nach Durchführung des Treatments geplant (nur Nachtest)

keine Kontrolle von Störfaktoren

Kausale Interpretation kaum möglich

Nützlichkeit

Durchführbarkeit

Fairness

Genauigkeit

N1 Identifizierung der Beteiligten und Betroffenen 
N2 Klärung der Evaluationszwecke 
N3 Glaubwürdigkeit und Kompetenz des Evaluators 
N4 Auswahl und Umfang der Informationen 
N5 Transparenz von Werten 
N6 Vollständigkeit und Klarheit der Berichterstattung  
N7 Rechtzeitigkeit der Evaluation  
N8 Nutzung und Nutzen der Evaluation

D1 Angemessene Verfahren 
D2 Diplomatisches Vorgehen 
D3 Effizienz von Evaluatio

F1 Formale Vereinbarung 
F2 Schutz individueller Rechte 
F3 Vollständige und faire Überprüfung  
F4 Unparteiische Durchführung und Berichterstattung 
F5 Offenlegung der Ergebnisse

G1 Beschreibung des Evaluationsgegenstands

G2 Kontextanalyse

G3 Beschreibung von Zwecken und Vorgehen

G4 Angabe von Informationsquellen

G5 Valide und reliable Informationen

G6 Systematische Fehlerprüfung 

G7 Analyse qualitativer und quantitativer Informationen

G8 Begründete Schlussfolgerungen

G9 Meta-Evaluation

Vermeidet systematische Bevorzugung von Gruppen bei "Zuteilung" von Interventionen

Führt nicht zu Vergleichbarkeit der Untersuchungsgruppen

wird als (R) dargestellt

Anfangsunterschiede zwischen den Gruppen (daher Vortest)

Testeffekte, natürliche Änderungsprozesse, zwischenzeitliche Geschehen, Wechselwirkung

kann inhaltlich sinnvoll sein

führt zu Problemen bei

• Beschreibung und Vergleichbarkeit individueller Aktivitäten bzw. Treatments
• Interpretation der Treatmenteffekte

Bestimmung des Effekts des Treatments durch Vergleich des - über Messzeitpunkte bestimmte - durchschnittlichen Wertes der abhängigen Variable bei der Person i vor dem Treatment mit dem durchschnittlichen Wert derselben Person nach dem Treatment

O1  O2  O3  X  O4  O5 O6 O7 Versuchsgrupppe 

O1  O2  O3      O4  O5 O6 O7 Kontrollgrupppe

Gruppe statistischer Verfahren zur Auswertung vielfach wiederholter Messungen (n>9)

Fokus auf intraindividuellen Schwankungen

besteht nur aus Versuchsgruppe

Fehlen der Kontrollgruppe hat Auswirkungen auf interne Validität

besteht aus Vergleichs- und Kontrollgruppe

alle Störfaktoren der internen Validität werden kontrolliert (Campbell und Stanley 1970)

gute Kontrolle verschiedener Störfaktoren, weil zu jedem Treatment mehrere Gruppen als Kontrollgruppen zur Verfügung stehen

Bsp. Klassenfahrt