Quasi-experimentelle Designs & Evaluationsforschung, M1 3401

1. Es soll die Wirkung eines bestimmten Treatments untersucht werden. Zielgruppe des Treatments wird vom Auftraggeber bestimmt

2. Im Unterschied zum Experiment ist das Treatment weitaus komplexer und über eine längere Zeitspanne dauernd

3. Die Untersuchungen werden stets im Feld also in einem natürlichen Setting durchgeführt

Die fehlende randomisierte Zuweisung von Probanden zu EG und KG.

Weil nicht randomisiert werden kann und somit Störvariablen nicht gleich verteilt werden können

Ist eine systematische Beurteilung eines Objekts oder eines Vorgangs. Es handelt sich dabei im Prinzip um Momentaufnahmen.

Untersucht Zusammenhänge zwischen bestimmten Massnahmen/Evaluationen und derer erwarteten Effekte. Setzt voraus, dass Massnahmen durchgeführt worden sind

1. Welche generellen und differentiellen Effekte hat die Massnahme X auf Personen bzw. Gruppen

2. Welchen Effekt hat die Massnahme X für den Betrieb, die Institution?

3. Welche Personen nehmen freiwillig an Massnahme X teil? (wichtig für Innovationen)

Faktoren die möglicherweise mit dem Treatment konfundiert sind. Es bestehen bei den meisten natürlichen Untersuchungsgruppen systematische Unterschiede die zur konfundierung beitragen können.

Campcell im Buch "Quasi-Experimentation" 1979 Kausalitätskonzepte, Einführung der Begriffe Konstruktvalidität und statistische Validität neben bereits bekannten Begriffen wie interner und externer Validität

Lee Cronbach 1989, stärker praxisorientierter und deskriptiver Ansatz, positionierte sich zwischen einem "scientistic ideal" und einem "humanistic ideal". Er stellte die Reproduzierbarkeit als Kriterium für Evaluationsforschung in den Vordergrund

1. Das Auswahl-Dilemma: Welche Programme sollen evaluiert werden?

2. Das Dilemma der Wissenschaftlichkeit: Eine zutreffende Hypothese muss sich bewähren können und eine nicht-zutreffende Hypothese muss falsifiziert werden können

3. Das Dilemma der Allgemeinheit versus Konkretheit

Nach Patry und Hager ist es nicht möglich die Forderung nach Kontrolle von Störfaktoren durch Standardisierung nur annähernd zu erfüllen

Wenn eine Untersuchung von Effekten erst nach der Durchführung eines oder mehrerer Treatments geplant ist und somit keinerlei Kontrolle von Störfaktoren mehr erfolgen kann. Es wird somit also nur ein Nachtest durchgeführt. Kausale Interpretationen sind somit kaum möglich

1. Nützlichkeit

2. Durchführbarkeit

3. Fairness

4. Genauigkeit

Randomisierung bestehender Gruppen - führt aber im Gegensatz zur Randomisierung einzelner Personen - nicht zu einer Vergleichbarkeit der Untersuchungsgruppen. Ein Vortest ist obligatorisch!

(R) O1 X O2 - Versuchsgruppe mit Vor- und Nachtest

(R) O1 O2 - Kontrollgruppe mit Vor- und Nachtest

Wenn kein Vortest durchgeführt werden konnte!

Und beim Nachtest nur die abhängige Variable und keine weiteren Kontrollvariablen erhoben wurden

Longitudinalstudie, Panelstudie

Ist ein konzeptionell anderer Ansatz zur Diagnose von Treatmenteffekten (anstatt z.B. eine Anordnung mit nicht gleichartiger Kontrollgruppe).

Über mehrere Messzeitpunkte werden Mittelwerte der abhängigen Variablen bei der Person i erhoben und die verschiedenen Mittelwerte der verschiedenen Messzeitpunkte werden dann untereinander verglichen. Vor und nach dem Treatment.

Wenn Zeitreihenanordnung nur aus einer Versuchsgruppe besteht handelt es sich um eine einfache Zeitreihenanordnung ansonsten ist es eine mehrfache Zeitreihenanordnung.

Mehrfache Zeitreihenanordnung.

Weil alle Störfaktoren der internen Validität kontrolliert werden können. Ist besonders für die Unterrichtsforschung geeignet.

Eine Art der Anordnung einer quasi-experimentellen Untersuchung. Die Treatments in den verschiedenen Gruppen können nicht gleichzeitig erfolgen. Dadurch ergibt sich eine sehr gute Kontrolle der Störfaktoren (vor allem von zwischenzeitlichem Geschehen).

Es müssen Annahmen über den kausalen Prozess getroffen werden, der von der Interventionsmassnahme zum Eintreten der Effekte führt - damit sollen dann konstakte Zeitintervalle festgelegt werden, die innerhalb der wiederholten Messungen liegen sollen.