Bildungspsychologie - Modul AF B Teil 1

Treffen von Entscheidungen darüber, wer Zugang zu den Ergebnissen haben soll, wie die Befunde zu interpretieren sind und welche Konsequenzen sich daraus für ein Produkt bzw. Programm ergeben

An die Bereitstellung von Evaluationsbefunden wird sich dementsprechend ein Katalog von
Maßnahmen zur Implementation der erwünschten Veränderungen anschließen

Kontroll- bzw. Vergleichsgruppen können alternative oder keine Interventionen erhalten

—> nur bei alternativen Interventionen spricht Hager von echten Kontrollgruppen

• In der Interventionsgruppe und in der Kontrollgruppe wird unmittelbar vor der Maßnahme eine Baseline-Erhebung der Zielvariablen durchgeführt, die zweite Messung erfolgt unmittelbar nach Ende der Maßnahme.

• Schließlich wird längere Zeit nach Abschluss der Maßnahme eine dritte Messung durchgeführt um zu überprüfen, ob das Programm nachhaltige Effekte auf die Zielgrößen hat

• Zum Zeitpunkt der Baseline-Erhebung sollten keine Unterschiede zwischen Interventions- und Kontrollgruppen bestehen!

Messfehlerbedingt höhere Ausgangswerte reduzieren die Chance, dass beim Zielkriterium Wachstum beobachtbar ist

nach einem extrem ausgefallenen Messwert die nachfolgende Messung wieder näher am Durchschnitt liegt, falls der Zufall einen Einfluss auf die Messgröße hat

1. Mittelwertsverlauf bei erfolgloser Intervention
2. Mittelwertsverlauf bei einer teilweise erfolgreichen Intervention
3. Mittelwertsverlauf bei einer erfolgreichen Intervention mit stabilen Effekten beim Follow-Up
4. Mittelwertsverlauf bei einer erfolgreichen Intervention mit zunhemendem Effekt
5. Mittelwertsverlauf bei einer erfolgreichen Intervention mit verzögerten Effekt

• Im Hinblick auf die inferenzstatistische Absicherung der Interventionen werden typischerweiseVarianzanalysen mit Messwiederholung und/oder geplante Kontraste durchgeführt
• Im Falle ungleicher Ausgangswerte zwischen Interventions- und Kontrollgruppen werden Kovarianzanalysen angewendet
• Als Prüfgröße wird (in Varianzanalysen) die F-Statistik verwendet, und die Entscheidung für oder gegen H0 erfolgt entsprechend den in der Inferenzstatistik geltenden Konventionen:
  • Erreicht der F-Bruch einen Wert, für den unter der Annahme von H0 gilt, dass dieser oder größere Werte nur noch mit einer Wahrscheinlichkeit von unter 5 % (α = 0,05) oder von unter einem Prozent (α = 0,01) auf- treten, so wird H0 verworfen
• Wir vertreten eine Position, wonach zu einer angemessenen Auswertung der Daten sowohl die inferenzstatistische Absicherung als auch die Bestimmung von Effektstärken gehört
• Maße für die Effektstärke, die bei kontinuierlichen Zielvariablen typischerweise berechnet werden, sind die Koeffizienten d und η2
  • Der Koeffizient d wird als Differenz zwischen zwei Mittelwerten, geteilt durch die gepoolte Standardabweichung bestimmt
  • η2 ist ein deskriptives Maß für die durch die Gruppenzugehörigkeit aufgeklärte Varianz, das dem quadrierten multiplen Regressionskoeffizient R2 entspricht

                                           Entscheidung für

                                        H₀                                H₁

Wahr ist                                

H_{0                                     1-a                            a}

H_{1                                      ß                             1-ß}

\(d = {M_{IG}-M_{KG} \over\sqrt{S^2_{IG}+S^2_{KG} \over 2}}\)\(x = {{QS_{zwischen}} \over QS_{Total}}\)

• M_IG Mittelwert in Der Interventionsgruppe
• M_KG Mittelwert in der Kontrollgruppe
• S²_IG Varianz der Interventionsgruppe
• S²_KG Varianz der Kontrollgruppegruppe
• QS_zwischen Streuung zwischen der Interventionsgruppe und den Kontrollgruppen
• QS_Total Gesamtsteuung

• η2 ebenso wie R2 stellt nur in sehr großen Stichproben eine unverzerrte Schätzung der Effektstärke auf Populationsebene dar
  • In kleinen Stichproben überschätzt η2 die Effektstärke, das hier adäquatere Maß ist die Größe ω2
• Die in Stichproben ermittelte Größe d ist dagegen ein unverzerrter (erwartungstreuer) Schätzer für die Effektstärke auf Populationsebene

Unbedutender Effekt: d < 0,20...........η2 < 1%

Kleiner Effekt:               d < 0,20-0,50...........η2 < 1-5%

Mittlerer Effekt:              d < 0,50-0,80...........η2 < 6-14%

Großer Effekt:               d > 0,80...........η2 > 15%

• Ein anderer Weg, die praktische Bedeutsamkeit einer Intervention zu beleuchten
• Zielt primär nicht auf die Wirksamkeit einer Maßnahme ab (Effektivität), sondern betrachtet den Aufwand einer Intervention in Relation zu den Erträgen (Effizienz)

Hier geht es vor allem auch um die Frage, ob die potenziellen finanziellen Gewinne bzw. später
ausbleibenden Kosten eines Programms höher sind als die für das Programm aufgewendeten
Finanzmittel

• Z.B.: Cost-Benefit-Quotient von ungefähr 1 : 3, d. h. aus jedem pro Kind investierten Dollar resultierten später mehr als drei Dollar

Reifungs- und Entwicklungseffekte

• Veränderungen, die nicht auf die Interventionen selbst, sondern auf organismische oder umweltbedingte Effekte zurückzuführen sind
• Übungseffekte

Nichtäquivalenz von Vergleichsgruppen

• Wenn keine Randomisierung möglich ist
• In solchen Fällen der Nichtäquivalenz ist es nötig, Ausgangsunterschiede und Störvariablen in der Vortestung mit zu erheben

Stichprobenmortalität

• bzw. Verweigerung der weiteren Teilnahme

Hierarchische Daten

Diffusion oder Imitation der Intervention kann auftreten, wenn beispielsweise in einer Kontrollgruppe das Programm bekannt wird und die Mitglieder der Kontrollgruppe sich bemühen, das Treatment zu imitieren.

Ein kompensatorischer Ausgleich der Intervention kann auftreten, wenn Kontrollgruppen große Anstrengungen unternehmen, die fehlenden Interventionen durch andere Fördermaßnahmen auszugleichen

Von einer kompensatorischen Anstrengung innerhalb der Kontrollgruppe spricht man, wenn sich ihre Mitglieder benachteiligt fühlen und sich dann aber in der Posttestung besonders anstrengen

Eine negative Reaktion der Kontrollgruppe liegt vor, wenn ihre Mitglieder aus dem Gefühl der Benachteiligung sich im Posttest nicht anstrengen, sodass es zu einer erheblichen Unterschätzung ihrer Leistungen kommt

• ein Verlust an Effizienz, da die Stichprobengröße eingeschränkt ist

• ein erschwerter Umgang mit den Daten, weil die statistischen Standardverfahren vollständige Datenmatrizen erwarten

• die Gefahr verzerrter Parameterschätzungen aufgrund möglicher Unterschiede zwischen den beobachteten und den fehlenden Daten

• In der neueren methodischen Literatur besteht Konsens darüber, dass ein fallweiser Ausschluss die Validität der Befunde deutlich senken kann und Verfahren der Mehrfachschätzung fehlender Werte („multiple imputation“) den Schwierigkeiten am besten begegnen und zu vergleichsweise validen Befunden in den statistischen Analysen führen
• Mittlerweile existieren zufriedenstellende Softwarelösungen zur multiplen Imputation:
  • NORM
  • Mplus
  • implementierte Routinen in R
• Üblicherweise werden je nach Menge der fehlenden Werte zwischen 5 und 50 vollständige Datensätze generiert, die anschließend simultan statistisch analysiert werden
• Die aktuellen Versionen vieler Softwarepakete bieten darüber hinaus sog. „Full-informationmaximum-likelihood“-Verfahren (FIML) zur unverzerrten Parameterschätzung bei unvollständigen Daten an

• In Interventionsprogrammen im Kontext Schule werden häufig nicht Personen, sondern ganze Klassen oder gar Schulen einer Interventions- und einer Kontrollgruppe zugewiesen
• Innerhalb der Klassen und Schulen, die als „Klumpen“ bezeichnet werden, trifft man Schüler an, die sich hinsichtlich verschiedener Merkmale oft sehr ähnlich sind, wohingegen Schüler unterschiedlicher Klassen und Schulen sich oftmals sehr unähnlich sind
• Die Ziehung von Klumpenstichproben hat für die weiteren statistischen Analysen erhebliche Konsequenzen, vor allem bei der Bestimmung von Standardfehlern
  • Die übliche Berechnung des Standardfehlers setzt eine Zufallsstichprobe mit voneinander unabhängigen Beobachtungen voraus
• Bei Klumpenstichproben führt die Berechnung des Standardfehlers auf dem üblichen Weg zu einer Unterschätzung
• Das Ausmaß der Unterschätzung von Standardfehlern hängt zum einen von der Klumpengröße in der Stichprobe ab: Steigt diese, so nimmt auch die Unterschätzung zu
• Zum anderen bestimmt die Homogenität der Klumpen die Verschätzung der Standardfehler
  • Die Homogenität wird üblicherweise über die Intraklassenkorrelation bestimmt
    • Die Intraklassenkorrelation beschreibt das Verhältnis der Varianz zwischen den Klumpen zu der Varianz innerhalb der Klumpen
    • Je größer die Intraklassenkorrelation, desto stärker die Verschätzung bei der Bestimmung der Standardfehler
• Einen eleganten Weg bei der multivariaten Behandlung von hierarchischen Daten aus Klumpenstichproben stellen mehrebenenanalytische Verfahren dar
  • Bei diesen Verfahren wird die hierarchische Struktur der Daten direkt modelliert
    • Der HLM-Ansatz löst die aufgezeigten Probleme, indem er die hierarchische Struktur selbst zum Gegenstand der Prüfung macht