Pädagogische Psycho

Erfolglose Intervention = parallele Entwicklung der

Mittelwerte in EG und KG Keine Ausgansunterschiede =Verlaufslinien decken sich

Teilweise erfolgreiche Intervention = Anstieg zwischen

Vor- und Nachtest; verschwindet bis zur Follow-up, kurzfristiger Effekt

Erfolgreiche Intervention

mit stabilem Effekt: Anstieg Interventation, bei Follow-up gleich-stabil

mit zunehmendem Effekt: Anstieg Interventation bis Follow-up

mit verzögertem Effekt: Bei Posttestung kein Unterschied, erst bei Follow-Up Ansteig der interventionsgruppe

einfachste und hinreichend flexibles Design

3 Erhebungszeitpunkte

vor Beginn der Maßnahme: keine Unterschiede zwischen Interventions- und Kontrollgruppe (Baseline-Erhebung) sonst Auswertungsprobleme (z.B. Regression zur Mitte)

unmittelbar nach Ende der Maßnahme

längere Zeit nach Beendigung der Maßnahme

Bereitstellung von Evaluationsbefunden/ Entscheidungen

o Wenn keine Umsetzung der Befunde in konkrete Anschlussmaßnahmen erfolgt  -> gesamtes Vorgehen der Evaluation fragwürdig

- Zur Vereinfachung: Katalog von Maßnahmen zur Implementation der erwünschten Veränderungen

o fehlt ein solcher Begleit- bzw. Implementationsprogramm, wächst Gefahr nicht intendierter Effekte der Evaluation, indem Adressaten die Befunde einfach ignorieren oder gar abwerten

Formulierung von Fragestellungen bzw. Hypothesen, die Kausalgefüge zwischen Maßnah-me/ Intervention und Kriterium beschreiben (schritt3)

- Einhaltung wissenschaftlicher Standards und Gütekriterien , Credo des kritischen Realismus (theoretische Ableitung& Formulierung von Hypothesen über Kausaliätsgefüge) und Konstruktion von Messinstrumenten mit deren Hilfe Zielvariablen& potentielle Prozessindikatoren der Intervention operationalisiert werden können -> Schritt 4

Planung/Entscheidung …

o Zentrale Zieldimensionen  (Schritt 1, rest Schritt 2)

o Kontext

o Präzisieren der angestrebten Zielgruppe

o Ort der Evaluation

o Evaluationsmodell

o Qualitätsverständnis folgt Schule oder Un-terricht (Steigerung der Schul- oder Unterrichts-qualität), Forschungstradition (vgl. Tab.)

o Berücksichtigung einer oder mehrerer Kontroll- bzw. Vergleichsgruppen

- Versuch eines fairen Vergleichs:

o Auf Systemebene Wirksamkeit von Schulen nicht durch Vergleich von Schülern mit Nicht-Schülern möglich -> letztere gibt es kaum in Industrienationen

o Statt Kontrollgruppen Schulen, die in vergleichbaren Lagen ähnliche Schüler aufnehmen

Entstehungszusammenhang/ Konzeptualisierungsphase

1. Entscheidung über die Durchführung einer Evaluation

2. Entscheidung über zu untersuchende Bereiche

Begründungszusammenhang/ Implementationsphase

3. Entwicklung von Fragestellungen &Indikatoren

4. Konstruktion von Instrumenten

5. Durchführung, Aufbereitung, Auswertung, Dokumentation

Verwertungszusammenhang/ Wirkungsforschungsfrage

6. Entscheidung über Zugang zu den Ergebnissen

7. Interpretation von Ergebnissen

8. Konsequenzen ziehen

PISA: Reihenfolge der 16 Bundesländer (öffentlich)

- League-Tables: Reihenfolge von Einzelschulen hinsichtlich der erreichten Schülerleistungen (England, online)

- CHE-Hochschulranking: Rangfolge von fachbereichsspezifisch deutschen Universitäten hinsichtlich ihrer Angebote für Studierende

- Forschungsrankings: Informationen über Forschungsleistungen (Zahl der Publikationen, Promotionen, Zitationen, eingeworbene Drittmittel) von Fachbereichen an Universitäten

Planung, Durchführung, Interpretation der Evaluation liegen in den Händen der Lehrkräfte

vs.

Schulaufsicht ist treibende Kraft

Summative Evaluation.Produktevaluation :nach Fertigstellung eines Produktes bzw. Beendigung einer Maßnahme/ Intervention .Ziel: Wirksamkeit von Programmen

Formative Evaluation.Prozessevaluation:setzt direkt während der Entwicklung oder Erprobung einer Maßnahme/ Intervention ein; aber auch interventionsbeglei-tend möglich .Funktion: Modifizierung/ Optimierung der Komponenten eines Programms, um Gesamtwirkung der Maßnahme zu erhöhen

Isolierte Evaluation: Wirksamkeitshypothese (Hager, 2008): grundsätzliche Frage nach der Wirksamkeit eines Programms

Vergleichende Evaluation:

Gegenüberstellung mindestens zwei Maßnah-men/Interventionen, die (mit unterschiedlichen Mitteln) dieselben Ziele verfolgen

Kontrollgruppe

Äquivalenzhypothese –Maßnahmen sind gleich erfolgreich

Überlegenheitshypothese – eine Maßnahme hat größere Effekte auf Zielvariable als andere

Nicht-Unterlegenheitshypothese – eine Maß-nahme mind. ebenso wirksam wie Alternative

Kombinierte Evaluation:

Zusammenführung der isolierten und vergleichen-den Evaluation

Dritte „echte" Kontroll-gruppe -> Prüfung der Wirksamkeitshypothese

Bewertung des Evaluationsgegenstandes ist wenigstens ansatzweise theoriebasiert und stützt sich auf empirische Daten, die im Rahmen der Evaluationsforschung mit wissenschaftlichen Methoden bzw. Verfahren gewonnen und analysiert wurden

Globale Evaluation Bewertung eines Programms/Objektes als Ganzes

Analytische Evaluation detaillierte Überprüfung einzelner Komponenten eines Programms

Soziale Normen,

Politische Struk-turen,

Wirtschaftliches Umfeld,

Interessengrup-pen,

Erwartungen des Auftraggebers der Evaluation,

Interessen von direkt und indirekt Beteiligten

ohne Output im Umfeld steigt Wahrscheinlichkeit des vorzeitigen Abbruchs d. Maßnahme

… die eigentliche Evaluation, die idealerweise prozessbegleitet stattfinden sollte;

… Informationen ermöglichen Modifikationen auf Input- und Transformationsseite

ohne Feed-backschleifen steigt Gefahr von Misserfolgen

Ergebnisse der Transformation aufseiten der Zielobjekte/Zielpersonen;

Effektivität, Durchführbarkeit, Akzeptanz, theoretische Fundierung

Naziele vs. Fernziele (Wann Effekt von Intervention)

Prozess; Durchführung der eigentlichen Maßnahme/ Intervention

Ressourcen, die für eine Maßnahme bereitgestellt werden (organi-sationale Strukturen, Personal, Finanzen, Infrastruktur )

Ressourcen, die für eine Maßnahme bereitgestellt werden (organi-sationale Strukturen, Personal, Finanzen, Infrastruktur )

Input, Transformation, Output, Umwelt, Feedback

wissenschaftliche fundierte, empirische &hypothesenorientierte Forschung

unter systematischer Anwendung sozialwissenschaftlicher Forschungsmethoden

Ergebnisse Evaluationsforschung bilden wesentlich (nicht einzige) Grundlage einer wissenschaftlichen Evaluation

!!!Grundlagenforschung steht Forschungsfrage im Fokus

jegliche Art der zielgerichteten und zweckorientierten Festsetzung des Wertes einer Sache

Schulleistungstest = Erfassung von Leistungen in spezifischen Schulfächern in spezifischen Jahrgangsstufen

o Z.B.: DEMAT 4 (Görlitz, Roick & Hasselhorn, 2006): Erfassung mathemat. Rechenfertigkeiten in der Grundschule für Klassenstufe 1-4

o Spezifischere Tests für Dyskalkulie-Diagnose: RZD (Jacobs & Petermann, 2005), ZAREKI

Intelligenztests sind Verfahren, bei denen wesentliche Anteile der Varianz auf individuelle Unterschiede in kognitiver Leistungsfähigkeit zurückzuführen sind. Intellektuelle Fähigkeiten, die mit solchen Verfahren erfasst werden, gelten als über die Zeit relativ stabile Persönlichkeitseigenschaften

aktuelle Verfahren erfassen Generalfaktor und mehrere Gruppenfaktoren

schließt grundsätzlich Schulleistungstest mit ein

1. Lebensdaten oder biografische Fakten

2. Aussagen über Interessen, Persönlichkeit oder typische Verhaltensweisen (meist Fragebögen)

3. Leistungsbezogenes Verhalten

Verfahren, bei denen eine Person sich selbst bzgl. interessierender Eigenschaften oder Verhaltensweisen einschätzen soll

Es gibt keine objektiv richtige Antwort

Problem: Verfälschbarkeit der Antworten -> vermeintlich sozial erwünsch-te Antworten

- Weniger verbreitete Form: Einschätzungen der eigenen Leistungsfähigkeit

Test zum situerten Urteil: messintention aus Verhaltensabsichten in kritischer Situation auf für xy ausschlaggebende Persönlichkeitseigenschaften bzw. Fertigkeiten der Person zu schließen

Problem: mangelnde Objektivität und Reliabilität

wegen:

Erinnerungsfehler

fehlerhafte Attributionen

Urteilstendenzen (Milde-, Strengeeffekt, Tendenz zur Mitte)

Einstellungs- und Erwartungseffekte

aktuelle Befindlichkeit des Lehrers

Grundlegende Schwäche des Lehrerurteils (gilt nicht für Leistungstests)

o Mangelnde Vergleichbarkeit von Noten aufgrund des fehlenden klassenübergreifenden Maßstabs für die Leistungsbeurteilung

o D.h. objektiv gleiche Leistung wird in Abhängigkeit vom allgemeinen Leistungsniveau der Klasse und der Schule verschieden bewertet

!!!!obwohl sich bei wiederholter Bewertung der Leistung durchaus große Unter-schiede zeigen, weicht die Mehrheit der Zweiturteile nur wenig vom Ersturteil ab

wichtige biografische Information wie Alter, Geschlecht etc.

manifeste Spuren bestimmter Merkmale und Dispositionen im Lebenslauf eines Individuums (Schulnoten zählen nur mittelbar zu Lebensdaten)

Ergebnis lange währender Vorgänge (z.B. Berufsausbildung), deren Ergebnisse durch zahlreiche, häufig unbekannte Determinanten bestimmt sind

Größte Schwierigkeit: verlässliche Bestimmung, welche konkreten Aussagen über die Ausprägungen der in Frage stehenden Merkmale und Dispositionen sich aus Lebensdaten ableiten lassen

Verhältnis der Wahrscheinlichkeit eines positiven Ergebnisses bei positiver Ausprägung im Vergleich zu einem positiven Ergebnis bei negativer Ausprägung

Anteil der korrekt klassifizierter Kinder

Anteil der korrekterweise als ungestört diagnostizierten Kindern

Anteil der korrekterweise eine positive Diagnose bekommen

Anteil der Kinder, für die der Test eine positive Diagnose ergibt

Anteil gestörter Kinder Stichprobe

= Entscheidung am Ende eines diagnostischen Prozesses (A ist angenommen, B leidet an Dyskalkulie, C wird abgelehnt…) = Zuordnung/Einteilung in mehrere – meist nur zwei – Kategorien

- Für legitimen Test muss eine von Null verschiedene Korrelation zwischen Entscheidung und tatsächlichem Zustand vorliegen

- Zwei Arten von Fehlern können auftreten

o Falsch-negativ

o Falsch-positiv

- Zur Beurteilung der Klassifikation bei Entscheidungen werden herangezogen…