Pädagogische Diagnostik

Die psychologische Diagnostik beruht immer auf empirischer Evidenz und setzt geeignete Messinstrumente voraus, um valide Aussagen treffen zu können.

In der pädagogisch-psychologischen Diagnostik fehlt es an einer verbindlichen Fort- und Weiterbildungsforderung für diagnostisch tätige Personen, wie es in anderen Disziplinen wie der Medizin üblich ist. Dies kann zu unzufriedenstellenden Gegebenheiten und veralteten Diagnoseinstrumenten führen.

• Evaluation in Anlehnung an Scriven (1991) ist die zielgerichtete Festsetzung des Wertes einer Sache.
• Es können beliebige Objekte, Gegenstände, Maßnahmen usw. evaluiert werden, auch im pädagogisch-psychologischen Bereich.

1. Input: Ressourcen, die für die Maßnahme bereitgestellt werden (z.B. organisatorische Strukturen, Personal, Finanzen).
2. Transformation (Prozess): Die Durchführung der Maßnahme, die Veränderungen bei den Zielobjekten hervorrufen soll.
3. Output: Ergebnisse der Transformation bei den Zielobjekten (z.B. kognitive Variablen, Leistungsmaße, Sozialverhalten).
4. Feedback: Die eigentliche Evaluation, die prozessbegleitend stattfinden sollte, um Modifikationen vorzunehmen.
5. Umwelt: Die natürlichen Kontexte, in denen die Maßnahme stattfindet und von Umweltfaktoren beeinflusst wird.

• Nahziele: Effekte einer Intervention direkt zum Zeitpunkt ihrer Beendigung.
• Fernziele: Längerfristige Effekte von Interventionen, die sich erst nach einer gewissen Zeit zeigen können.

• Wissenschaftliche Evaluation: Bewertung des Evaluationsgegenstandes auf Basis von empirischen Daten und wissenschaftlichen Methoden.
• Evaluationsforschung: Wissenschaftlich fundierte Forschung mit sozialwissenschaftlichen Methoden zur Bewertung von Interventionen.
• Grundlagenforschung: Erforschung von Forschungsfragen, die aus Theorien abgeleitet wurden, um abgeleitete Aussagen zu überprüfen.

1. Isolierte Evaluation: Frage nach der grundsätzlichen Wirksamkeit eines Programms, mit Wirksamkeitshypothesen für Interventions- und Kontrollgruppen.
2. Vergleichende Evaluation: Gegenüberstellung von mindestens zwei Maßnahmen/Interventionen, Äquivalenz-, Überlegenheits- und Nicht-Unterlegenheitshypothesen.
3. Kombinierte Evaluation: Verbindung von isolierter und vergleichender Evaluation, hinzufügen einer dritten "echten" Kontrollgruppe, um die Wirksamkeit zu prüfen.

• Summative Evaluationen: Bewertung von Produkten oder abgeschlossenen Maßnahmen, um Fragen zur Wirksamkeit zu beantworten.
• Formative Evaluationen: Bewertung von Prozessen während der Entwicklung oder Durchführung einer Maßnahme, um Optimierungen vorzunehmen.

• Interne Evaluation: Bewertung innerhalb eines Kollegiums, Planung, Durchführung und Interpretation durch Lehrkräfte.
• Externe Evaluation: Bewertung durch die Schulaufsicht oder unabhängige Einrichtungen, die von außen durchgeführt wird.

• Rankings sind eine Reihenfolge der Bewertung von pädagogischen Einrichtungen oder Systemen basierend auf bestimmten Kriterien.
• Beispiele sind Ländervergleiche zur Schulleistung, Schulrankings, Hochschulrankings und Forschungsrankings.

• Konzeptualisierungsphase (Schritte 1-3): Klärung der Zieldimensionen, des Kontexts, der Zielgruppe, des Evaluationsmodells und der Evaluationsstrategie.
• Implementationsphase (Schritte 4-5): Planung der Intervention und Berücksichtigung von Kontroll- bzw. Vergleichsgruppen.
• Wirkungsforschungsphase (Schritte 6-8): Evaluation der Intervention und Interpretation der Wirkung.

1. Leistungsorientierung und hohe Lernerwartungen der Lehrkräfte an die Schüler.
2. Effiziente Schulleitung.
3. Konsens und Zusammenhalt im Kollegium.
4. Qualität von Curriculum und Lernumgebungen.
5. Schulklima.
6. Evaluationsorientierung.
7. Aktive und positive Beziehungen zwischen der Schule und ihrem Umfeld (z.B. Eltern, Betriebe).
8. Klassenklima.
9. Zielstrebige Führung des Unterrichts.
10. Klar strukturierter Unterricht.
11. Selbstständiges Lernen.
12. Differenzierung und lernerangepasste Methodik.
13. Rückmeldung.

• Kontroll- bzw. Vergleichsgruppen bieten einen wissenschaftlich haltbaren Vergleichsmaßstab für die Interpretation von Wirkungen.
• Sie ermöglichen die Bewertung der Wirksamkeit einer Intervention im Vergleich zu Alternativen oder keiner Intervention.
• In der Evaluationsforschung spricht man von "echten" Kontrollgruppen, wenn sie alternative Interventionen erhalten.

• Auf Systemebene kann die Wirksamkeit von Schulen nicht dadurch untersucht werden, dass man beschulte Kinder mit unbeschulten Gleichaltrigen vergleicht.
• In der Praxis werden passgenaue Indikatoren der Schul- und Unterrichtsqualität verwendet, um ähnliche Schüler und Schulen in vergleichbaren Lagen für einen fairen Vergleich heranzuziehen.

• Formulierung von Fragestellungen und Hypothesen, die das Kausalgefüge zwischen Maßnahmen/Interventionen und Kriterien beschreiben.
• Klärung, welche Maßnahmen welche Effekte auf Qualitätsindikatoren haben, wie intensiv sie sein müssen und unter welchen Bedingungen sie wirksam oder unwirksam werden.

• Die theoriebasierte Ableitung und Formulierung von Hypothesen über Kausalitätsgefüge legitimiert den wissenschaftlichen Anspruch der Evaluationsforschung.

• Die Präzisierung ermöglicht die Konstruktion von Messinstrumenten, um Zielvariablen und potenzielle Prozessindikatoren der Interventionen zu operationalisieren.
• Quantitative und qualitative Daten müssen unter Beachtung der Regeln der sozialwissenschaftlichen Methodenlehre und Statistik erhoben und interpretiert werden.

• Die Verwendung adäquater Untersuchungsdesigns, Erhebungsverfahren und Auswertungsmethoden gewährleistet die Validität der gewonnenen Befunde in der Evaluation.
• Erhebungsinstrumente müssen vor ihrer Anwendung entwickelt, erprobt und psychometrische Eigenschaften festgestellt werden.

• Es werden Entscheidungen getroffen, wer Zugang zu den Ergebnissen haben soll.
• Die Befunde werden interpretiert, und es werden Konsequenzen für ein Produkt oder Programm abgeleitet.
• Es wird ein Katalog von Maßnahmen zur Implementation der erwünschten Veränderungen erstellt, um die Effektivität der Evaluation sicherzustellen.

• Das längsschnittliche Vortest-Nachtest-Follow-up-Design, das mindestens eine "echte" Kontrollgruppe berücksichtigt.
• Es ermöglicht die Messung der Zielvariablen vor der Maßnahme, unmittelbar nach der Maßnahme und zu einem späteren Zeitpunkt, um nachhaltige Effekte zu überprüfen.

1. Parallele Entwicklung der Mittelwerte in Interventions- und Kontrollgruppe bei einer erfolglosen Intervention.
2. Teilweise erfolgreiche Maßnahme mit kurzfristigem Anstieg der Zielvariable in der Interventionsgruppe, der jedoch bis zur Follow-up-Messung verschwindet.
3. Erfolgreiche Intervention mit stabilen Effekten bis zur Follow-up-Messung.
4. Erfolgreiche Intervention mit positivem Trend bis zur Follow-up-Messung, bei dem die Zielvariable weiter ansteigt.
5. "Schläfer-Effekt", bei dem die Intervention bis zur Nachtestmessung erfolglos ist, aber bei der Follow-up-Messung ein deutlicher Anstieg erkennbar ist.

• Der Koeffizient d, der die Differenz zwischen zwei Mittelwerten durch die gepoolte Standardabweichung teilt.
• η2, ein deskriptives Maß für die durch die Gruppenzugehörigkeit aufgeklärte Varianz, das dem quadrierten multiplen Regressionskoeffizient R2 entspricht.
• Die Effektstärke d ist in kleinen Stichproben unverzerrt, während η2 verzerrt sein kann. Es wird empfohlen, beide Maße zu verwenden, um die praktische Bedeutsamkeit einer Intervention angemessen zu beurteilen.

• Die Kosten-Nutzen-Analyse betrachtet den Aufwand einer Intervention in Relation zu den Erträgen (Effizienz) und untersucht, ob die potenziellen finanziellen Gewinne bzw. später ausbleibenden Kosten eines Programms höher sind als die für das Programm aufgewendeten Finanzmittel.
• Sie berücksichtigt auch den Zeitpunkt des Einsetzens der Intervention, da früh einsetzende Programme eine höhere Effizienz aufweisen können als spät beginnende Programme.

• Reifungseffekte: Veränderungen, die nicht auf die Interventionen selbst zurückzuführen sind, sondern auf organismische oder umweltbedingte Effekte.
• Nichtäquivalenz von Vergleichsgruppen: Unterschiede zwischen Interventions- und Kontrollgruppen, die zu Verzerrungen in den Ergebnissen führen können.
• Stichprobenmortalität: Das Ausscheiden von Teilnehmern aus der Studie, das die Repräsentativität der Stichprobe beeinträchtigen kann.

• Reifungseffekte beschreiben Veränderungen, die nicht auf die Interventionen selbst zurückzuführen sind, sondern auf organismische oder umweltbedingte Effekte.
• Entwicklungseffekte sind Veränderungen in den Zielvariablen, die allein durch die wiederholte Messung unter Verwendung desselben Tests entstehen können, z. B. durch Übungseffekte („test wiseness“).

• Arbeiten zur Effizienz von Schule versuchen, konkurrierende Beschulungs- und Alterseffekte zu trennen, indem sie der "schulischen Intervention" Reifungseffekte gegenüberstellen.
• Durch eine sorgfältige Kontrolle der Entwicklungsbedingungen und unkontrollierten Umwelteinflüsse wird versucht, die Auswirkungen von Reifungseffekten auf die Ergebnisse zu minimieren.

• Übungseffekte sind Veränderungen in den Zielvariablen, die allein durch die wiederholte Messung unter Verwendung desselben Tests entstehen können.
• Bei Studien zu Effekten kognitiver Denktrainings ist es wichtig, die Veränderungen in den unbehandelten Kontrollgruppen aufgrund von Übungseffekten zu berücksichtigen, um die tatsächliche Wirksamkeit der Intervention zu ermitteln.

• Personen werden zufällig der Interventions- und Kontrollgruppe zugewiesen (Randomisierung).
• Die Evaluation erfolgt in einem Vortest-Nachtest-Follow-up-Design.
• Durch die Randomisierung werden alle Personmerkmale, die außerhalb der Intervention einen Einfluss auf die Zielvariable haben könnten, gleichmäßig auf die Gruppen verteilt.

• In solchen Fällen werden intakte Gruppen (z. B. Klassen) den jeweiligen Bedingungen zugeordnet.
• Nichtäquivalenz von Gruppen hinsichtlich der Ausgangswerte und Störvariablen kann auftreten.
• Ausgangsunterschiede und Störvariablen müssen durch Vortestung kontrolliert werden.

• Diffusion oder Imitation der Intervention: Mitglieder der Kontrollgruppe versuchen das Programm zu imitieren, wenn sie davon erfahren.
• Kompensatorischer Ausgleich der Intervention: Kontrollgruppen unternehmen andere Fördermaßnahmen, um die fehlende Intervention auszugleichen.
• Kompensatorische Anstrengung innerhalb der Kontrollgruppe: Die Mitglieder fühlen sich benachteiligt und zeigen im Posttest eine besondere Anstrengung.
• Negative Reaktion der Kontrollgruppe: Die Mitglieder fühlen sich benachteiligt und zeigen im Posttest eine geringere Leistungsbereitschaft, was zu einer Unterschätzung ihrer Leistungen führen kann.

• Stichprobenmortalität tritt auf, wenn Teilnehmer einer Interventionsstudie während des Programms aus verschiedenen Gründen ausscheiden und somit für weitere Datenerhebungen nicht mehr verfügbar sind.

1. Verlust an Effizienz, da die Stichprobengröße eingeschränkt ist.
2. Erschwerter Umgang mit den Daten, weil statistische Standardverfahren vollständige Datenmatrizen erwarten.
3. Gefahr verzerrter Parameterschätzungen aufgrund möglicher Unterschiede zwischen den beobachteten und den fehlenden Daten.

• Verfahren der Mehrfachschätzung fehlender Werte ("multiple imputation") sind empfohlen, um zu vergleichsweise validen Befunden in den statistischen Analysen zu gelangen.
• Full-information-maximum-likelihood-Verfahren (FIML) zur unverzerrten Parameterschätzung bei unvollständigen Daten können ebenfalls eingesetzt werden.

• Strategien zur Stichprobenpflege, um die Mortalität zu minimieren und Teilnehmerverluste zu reduzieren.
• Einsatz adäquater statistischer Analyseverfahren, um zu unverzerrten Parameterschätzungen zu gelangen und die Validität der Befunde zu erhalten.