Bildungspsychologie - Modul AF B Teil 1

Summative Evaluationen (Produktevaluationen) finden nach Fertigstellung eines Produktes bzw.
Beendigung einer Maßnahme bzw. Intervention statt

• Das primäre Ziel besteht darin, Fragen hinsichtlich der Wirksamkeit von Programmen zu beantworten

Formative Evaluationen (Prozessevaluationen) setzen direkt während der Entwicklung oder
Erprobung einer Maßnahme bzw. Intervention ein, können aber auch interventionsbegleitend
sein

• Sie haben die Funktion, die Komponenten eines Programms zu modifizieren bzw. zu optimieren, um die Gesamtwirkung der Maßnahme zu erhöhen

1. Entscheidung über die Druchführung einer Evaluation
2. Entschiedung über zu untersuchende Bereiche
3. Entwicklung von Fragestellungen und Indikatoren
4. Konstruktion von Instrumenten
5. Durchführung, Aufbereitung, Auswertung und Dokumentation
6. Entscheidung über Zugang zu den Ergebnissen
7. Interpretation von Ergebnissen
8. Ziehen von Konsequenzen

Entstehungszusammenhang: Schritt 1 + 2

• Konzeptualisierungsphase: Schritte 1–3

Begründungszusammenhang: Schritte 3-5

• Implementationsphase: Schritte 4 + 5

Verwertungszusammenhang: Schritte 6-8

• Wirkungsforschungsphase: Schritte 6–8

• Festlegung der zentralen Zieldimensionen, die infolge einer Maßnahme optimiert werden sollen Präzisierung der Zielgruppe
• Festlegung des Ortes und des zu verwendenden Evaluationsmodells
• Festlegung, in welchen Einrichtungen (Institutionen) die Intervention durchgeführt werden soll, welche Personengruppen und welche Bereiche eingebunden werden sollen
• Festlegungen auf eine Evaluationsstrategie: Prozessevaluation oder Produktevaluation oder Kombi
• Berücksichtigung einer oder mehrerer Kontroll- bzw. Vergleichsgruppen – wo immer möglich
  • Bzw. Versuch eines fairen Vergleichs: Begibt man sich auf die Ebene der Einzelschule und definiert hier passgenaue Indikatoren der Schul- und Unterrichtsqualität, so werden an die Stelle von Kontrollgruppen Schulen treten, die in vergleichbaren Lagen ähnliche Schüler aufnehmen

• Qualität von Curriculum und Lernumgebungen
• Aktive und positive Beziehungen zwischen der Schule und ihrem Umfeld (z. B. Eltern, Betriebe)
• Effiziente Schulleitung
• Konsens und Zusammenhalt im Kollegium
• Schulklima
• Evaluationsorientierung
• Leistungsorientierung, hohe Lernerwartungen der Lehrkräfte an die Schüler
• Zielstrebige Führung des Unterrichts
• Klassenklima
• Klar strukturierter Unterricht
• Selbstständiges Lernen
• Differenzierung, lernerangepasste Methodik
• Rückmeldung

Formulierung von Fragestellungen bzw. Hypothesen, die das Kausalgefüge zwischen Maßnahmen bzw. Interventionen und Kriterien beschreiben:

• Welche Maßnahmen führen zu welchen Effekten aufseiten der Qualitätsindikatoren?
• Wie intensiv müssen sie sein?
• Gibt es Bedingungen, unter denen sie unwirksam werden?
• Wirken mehrere, gleichzeitig implementierte Maßnahmen jede für sich oder kumulativ oder gar kompensatorisch?

Nur bei Verwendung adäquater Untersuchungsdesigns, messgenauer und in der Literatur etablierter Erhebungsverfahren und der Anwendung adäquater Auswertungsmethoden ist die
Validität der in der Evaluation gewonnenen Befunde gegeben

Treffen von Entscheidungen darüber, wer Zugang zu den Ergebnissen haben soll, wie die Befunde zu interpretieren sind und welche Konsequenzen sich daraus für ein Produkt bzw. Programm ergeben

An die Bereitstellung von Evaluationsbefunden wird sich dementsprechend ein Katalog von
Maßnahmen zur Implementation der erwünschten Veränderungen anschließen

Kontroll- bzw. Vergleichsgruppen können alternative oder keine Interventionen erhalten

—> nur bei alternativen Interventionen spricht Hager von echten Kontrollgruppen

• In der Interventionsgruppe und in der Kontrollgruppe wird unmittelbar vor der Maßnahme eine Baseline-Erhebung der Zielvariablen durchgeführt, die zweite Messung erfolgt unmittelbar nach Ende der Maßnahme.

• Schließlich wird längere Zeit nach Abschluss der Maßnahme eine dritte Messung durchgeführt um zu überprüfen, ob das Programm nachhaltige Effekte auf die Zielgrößen hat

• Zum Zeitpunkt der Baseline-Erhebung sollten keine Unterschiede zwischen Interventions- und Kontrollgruppen bestehen!

Messfehlerbedingt höhere Ausgangswerte reduzieren die Chance, dass beim Zielkriterium Wachstum beobachtbar ist

nach einem extrem ausgefallenen Messwert die nachfolgende Messung wieder näher am Durchschnitt liegt, falls der Zufall einen Einfluss auf die Messgröße hat

1. Mittelwertsverlauf bei erfolgloser Intervention
2. Mittelwertsverlauf bei einer teilweise erfolgreichen Intervention
3. Mittelwertsverlauf bei einer erfolgreichen Intervention mit stabilen Effekten beim Follow-Up
4. Mittelwertsverlauf bei einer erfolgreichen Intervention mit zunhemendem Effekt
5. Mittelwertsverlauf bei einer erfolgreichen Intervention mit verzögerten Effekt

• Im Hinblick auf die inferenzstatistische Absicherung der Interventionen werden typischerweiseVarianzanalysen mit Messwiederholung und/oder geplante Kontraste durchgeführt
• Im Falle ungleicher Ausgangswerte zwischen Interventions- und Kontrollgruppen werden Kovarianzanalysen angewendet
• Als Prüfgröße wird (in Varianzanalysen) die F-Statistik verwendet, und die Entscheidung für oder gegen H0 erfolgt entsprechend den in der Inferenzstatistik geltenden Konventionen:
  • Erreicht der F-Bruch einen Wert, für den unter der Annahme von H0 gilt, dass dieser oder größere Werte nur noch mit einer Wahrscheinlichkeit von unter 5 % (α = 0,05) oder von unter einem Prozent (α = 0,01) auf- treten, so wird H0 verworfen
• Wir vertreten eine Position, wonach zu einer angemessenen Auswertung der Daten sowohl die inferenzstatistische Absicherung als auch die Bestimmung von Effektstärken gehört
• Maße für die Effektstärke, die bei kontinuierlichen Zielvariablen typischerweise berechnet werden, sind die Koeffizienten d und η2
  • Der Koeffizient d wird als Differenz zwischen zwei Mittelwerten, geteilt durch die gepoolte Standardabweichung bestimmt
  • η2 ist ein deskriptives Maß für die durch die Gruppenzugehörigkeit aufgeklärte Varianz, das dem quadrierten multiplen Regressionskoeffizient R2 entspricht

                                           Entscheidung für

                                        H₀                                H₁

Wahr ist                                

H_{0                                     1-a                            a}

H_{1                                      ß                             1-ß}

\(d = {M_{IG}-M_{KG} \over\sqrt{S^2_{IG}+S^2_{KG} \over 2}}\)\(x = {{QS_{zwischen}} \over QS_{Total}}\)

• M_IG Mittelwert in Der Interventionsgruppe
• M_KG Mittelwert in der Kontrollgruppe
• S²_IG Varianz der Interventionsgruppe
• S²_KG Varianz der Kontrollgruppegruppe
• QS_zwischen Streuung zwischen der Interventionsgruppe und den Kontrollgruppen
• QS_Total Gesamtsteuung

• η2 ebenso wie R2 stellt nur in sehr großen Stichproben eine unverzerrte Schätzung der Effektstärke auf Populationsebene dar
  • In kleinen Stichproben überschätzt η2 die Effektstärke, das hier adäquatere Maß ist die Größe ω2
• Die in Stichproben ermittelte Größe d ist dagegen ein unverzerrter (erwartungstreuer) Schätzer für die Effektstärke auf Populationsebene

Unbedutender Effekt: d < 0,20...........η2 < 1%

Kleiner Effekt:               d < 0,20-0,50...........η2 < 1-5%

Mittlerer Effekt:              d < 0,50-0,80...........η2 < 6-14%

Großer Effekt:               d > 0,80...........η2 > 15%

• Ein anderer Weg, die praktische Bedeutsamkeit einer Intervention zu beleuchten
• Zielt primär nicht auf die Wirksamkeit einer Maßnahme ab (Effektivität), sondern betrachtet den Aufwand einer Intervention in Relation zu den Erträgen (Effizienz)

Hier geht es vor allem auch um die Frage, ob die potenziellen finanziellen Gewinne bzw. später
ausbleibenden Kosten eines Programms höher sind als die für das Programm aufgewendeten
Finanzmittel

• Z.B.: Cost-Benefit-Quotient von ungefähr 1 : 3, d. h. aus jedem pro Kind investierten Dollar resultierten später mehr als drei Dollar

Reifungs- und Entwicklungseffekte

• Veränderungen, die nicht auf die Interventionen selbst, sondern auf organismische oder umweltbedingte Effekte zurückzuführen sind
• Übungseffekte

Nichtäquivalenz von Vergleichsgruppen

• Wenn keine Randomisierung möglich ist
• In solchen Fällen der Nichtäquivalenz ist es nötig, Ausgangsunterschiede und Störvariablen in der Vortestung mit zu erheben

Stichprobenmortalität

• bzw. Verweigerung der weiteren Teilnahme

Hierarchische Daten

Diffusion oder Imitation der Intervention kann auftreten, wenn beispielsweise in einer Kontrollgruppe das Programm bekannt wird und die Mitglieder der Kontrollgruppe sich bemühen, das Treatment zu imitieren.

Ein kompensatorischer Ausgleich der Intervention kann auftreten, wenn Kontrollgruppen große Anstrengungen unternehmen, die fehlenden Interventionen durch andere Fördermaßnahmen auszugleichen

Von einer kompensatorischen Anstrengung innerhalb der Kontrollgruppe spricht man, wenn sich ihre Mitglieder benachteiligt fühlen und sich dann aber in der Posttestung besonders anstrengen

Eine negative Reaktion der Kontrollgruppe liegt vor, wenn ihre Mitglieder aus dem Gefühl der Benachteiligung sich im Posttest nicht anstrengen, sodass es zu einer erheblichen Unterschätzung ihrer Leistungen kommt

• ein Verlust an Effizienz, da die Stichprobengröße eingeschränkt ist

• ein erschwerter Umgang mit den Daten, weil die statistischen Standardverfahren vollständige Datenmatrizen erwarten

• die Gefahr verzerrter Parameterschätzungen aufgrund möglicher Unterschiede zwischen den beobachteten und den fehlenden Daten

• In der neueren methodischen Literatur besteht Konsens darüber, dass ein fallweiser Ausschluss die Validität der Befunde deutlich senken kann und Verfahren der Mehrfachschätzung fehlender Werte („multiple imputation“) den Schwierigkeiten am besten begegnen und zu vergleichsweise validen Befunden in den statistischen Analysen führen
• Mittlerweile existieren zufriedenstellende Softwarelösungen zur multiplen Imputation:
  • NORM
  • Mplus
  • implementierte Routinen in R
• Üblicherweise werden je nach Menge der fehlenden Werte zwischen 5 und 50 vollständige Datensätze generiert, die anschließend simultan statistisch analysiert werden
• Die aktuellen Versionen vieler Softwarepakete bieten darüber hinaus sog. „Full-informationmaximum-likelihood“-Verfahren (FIML) zur unverzerrten Parameterschätzung bei unvollständigen Daten an

• In Interventionsprogrammen im Kontext Schule werden häufig nicht Personen, sondern ganze Klassen oder gar Schulen einer Interventions- und einer Kontrollgruppe zugewiesen
• Innerhalb der Klassen und Schulen, die als „Klumpen“ bezeichnet werden, trifft man Schüler an, die sich hinsichtlich verschiedener Merkmale oft sehr ähnlich sind, wohingegen Schüler unterschiedlicher Klassen und Schulen sich oftmals sehr unähnlich sind
• Die Ziehung von Klumpenstichproben hat für die weiteren statistischen Analysen erhebliche Konsequenzen, vor allem bei der Bestimmung von Standardfehlern
  • Die übliche Berechnung des Standardfehlers setzt eine Zufallsstichprobe mit voneinander unabhängigen Beobachtungen voraus
• Bei Klumpenstichproben führt die Berechnung des Standardfehlers auf dem üblichen Weg zu einer Unterschätzung
• Das Ausmaß der Unterschätzung von Standardfehlern hängt zum einen von der Klumpengröße in der Stichprobe ab: Steigt diese, so nimmt auch die Unterschätzung zu
• Zum anderen bestimmt die Homogenität der Klumpen die Verschätzung der Standardfehler
  • Die Homogenität wird üblicherweise über die Intraklassenkorrelation bestimmt
    • Die Intraklassenkorrelation beschreibt das Verhältnis der Varianz zwischen den Klumpen zu der Varianz innerhalb der Klumpen
    • Je größer die Intraklassenkorrelation, desto stärker die Verschätzung bei der Bestimmung der Standardfehler
• Einen eleganten Weg bei der multivariaten Behandlung von hierarchischen Daten aus Klumpenstichproben stellen mehrebenenanalytische Verfahren dar
  • Bei diesen Verfahren wird die hierarchische Struktur der Daten direkt modelliert
    • Der HLM-Ansatz löst die aufgezeigten Probleme, indem er die hierarchische Struktur selbst zum Gegenstand der Prüfung macht

Der Aufbau und die Art und Weise der sozialen Vermittlung dieser wünschenswerten Persönlichkeitsausprägungen.

Die überdauernden Ausprägungen der Persönlichkeit eines Menschen, die unter einer gesellschaftlich-normativen Perspektive wünschenswert sind.

1. Wissensbestände und kulturelle Fähigkeiten
2. kommunikative Kompetenz und Ausstrahlung

• Abscheu und Abwehr von Unmenschlichkeit;
• Wahrnehmung von Glück;
• Fähigkeit und Wille, sich zu verständigen;
• Bewusstsein von der Geschichtlichkeit der eigenen Existenz
• Wachheit für letzte Fragen;
• Bereitschaft zur Selbstverantwortung und in der res publica

• Vermittlung der kulturellen Basiskompetenzen
  • Beherrschung der Verkehrssprache,
  • mathematische Modellierungsfähigkeit,
  • fremdsprachliche Kompetenz,
  • informationstechnologische Kompetenz
  • Selbstregulation des Wissenserwerbs
• Vermittlung eines hinreichend breiten, in sich gut organisierten, vernetzten sowie in unterschiedlichen Anwendungssituationen erprobten Orientierungswissens in zentralen kulturellen Wissensbereichen
• Aufbau sozial-kognitiver und sozialer Kompetenzen
  • Fähigkeit zum Perspektivenwechsel, zum Mitempfinden, zur Hilfsbereitschaft, zur Kooperation, zur Verantwortungsbereitschaft, zum moralischen Urteil

Mikroebene = individuelle Bedingungen
Mesoebene = Ebene der Institutionen
Makroebene = Bildungspolitisch relevantes Gesamtsystem

• Wurzeln in der Philosophie:
  • Rousseau, Pestalozzi, Herbart, Fröbel
• Wurzeln in der Lehrerbildung:
  • Schon im Jahr 1824 gab es die Anordnung, dass Schulamtskandidaten neben ihrem Unterrichtsfach auch Kenntnisse in Philosophie und Psychologie erwerben müssen
• Ihr Weg zur empirisch orientierten wissenschaftlichen Disziplin:
  • Wundt und seine Schüler Meumann & Münsterberg

• Geburtsstunde: Erstausgabe der „Zeitschrift für pädagogische Psychologie“ im Januar 1899; danach immer mehr Publikationen
• Kooperation mit der Pädagogik
• Wissenschaftlicher Austausch innerhalb der Psychologie (die Pädagogische Psychologie bleibt nicht „unter sich“)
• Aufbereitung des Wissens für die pädagogische Praxis (in Form von Lehrbüchern etc.)

• empirisch-experimentelle Wissenschaftsauffassung vs. traditionelle geisteswissenschaftlichphänomenologisch orientierte Auffassung
  • Streit darüber, wie geforscht werden sollte, um zu den „richtigen" Erkenntnissen zu kommen (Psychoanalyse vs. Behaviorismus etc.)
• Rückkehr der Pädagogischen Psychologie zu geisteswissenschaftlichen Forschungsmethoden und Auffassungen

• Wissenschaftler verlassen das Land
• Kein internationaler Austausch mehr
• Wichtigstes außeruniversitäres Arbeitsfeld für Psychologen: Wehrmachtspsychologie
  • Eignungsprüfungen für Offiziere etc.
• Erste Diplomprüfungsordnung für Psychologie Im Jahre 1941
  • Vereinheitlicht die Ausbildung von Psychologen an Unis
  • Zu den Prüfungsfächern im Hauptstudium zählte u.a. das Fach „Pädagogische Psychologie und Psychagogik"

• Entnazifizierung
• Internationaler Gedankenaustausch (aber vor allem Import, wenig Export)
• Aufbereitung des aktuellen Wissensstandes
• Man bleibt geisteswissenschaftlich orientiert
• Die Pädagogische Psychologie versteht sich als unabdingbarer Bestandteil der Psychologie
• Unterschiedliche Entwicklungen in BRD und DDR

BRD:

• Freiheit der Wissenschaft in Forschung und Lehre
• Streit um die „richtige“ Forschungsmethode endet in einem Sich-Ergänzen
• In der gesamten Psychologie wächst das Interesse an der Pädagogik

DDR:

• Pädagogik soll sich den politischen Zielen des Staates unterordnen
• Kaum Austausch mit Wissenschaftern aus dem Westen
• Theorien von Pawlow und Wygotski sind wichtig

• Generationenwechsel unter den führenden Wissenschaftlern
• Bildungskatastrophe in der BRD
  • Danach Reformmaßnahmen und Verstärkung der empirischen Bildungsforschung (staatliche Förderung)
  • Akademisierung der Lehrerbildung für Grund- und Hauptschullehrer

• Auseinandersetzung mit behavioristischen Lerntheorien
• Begabung und Chancengleichheit
• Groß angelegte Untersuchungen zur Schulleistung
  • Neue diagnostische Mess- und Testverfahren und die Verfügbarkeit computerbasierter Techniken ließ dies zu
• Differenzierte Analysen schulischer und familiärer Lernbedingungen
  • z.B. Studie zum Pygmalion-Effekt (Sich selbst erfüllende Prophezeiung) (1971)

• Stärkere Beteiligung an grundlagenorientierter Forschung
  • Der Reformeifer stagniert, bildungspolitisch motivierte Forschungsprojekte werden weniger finanziert
• Weg vom Behaviorismus hin zum Kognitivismus
• Internationalisierung (mehr Austausch mit anderen Wissenschaftlern)
• Teilnahme an internationalen Schulleistungstests
• Aufgabe der in der DDR entwickelten Denkansätze und Forschungstraditionen ohne gründliche Diskussion (nach der Wende)

LOGIK- und SCHOLASTIK-Studie:

• Die LOGIK-Studie wollte menschliche Entwicklung in unterschiedlichen Bereichen untersuchen
  • sie startete im Herbst 1984 mit ca. 4-jährigen Kindergartenkindern und dauerte bis ins junge Erwachsenenalter an
• Die SCHOLASTIK-Studie wurde 1987 begonnen und verfolgte das Ziel der Beschreibung und Erklärung individueller Entwicklungsverläufe während der Grundschulzeit in Abhängigkeit von affektiven und kognitiven Eingangsbedingungen sowie von Merkmalen des schulischen Kontextes.

BIJU-Studie:

• Sie wurde 1991 begonnen und untersuchte Bildungskarrieren im Jugend- und frühen Erwachsenenalter in Abhängigkeit von unterschiedlichen institutionellen und gesellschaftlichen Rahmenbedingungen