Pädagogische Diagnostik

In der klassischen Testtheorie werden Konzepte wie Reliabilität sowie deskriptive Item- und Testkennwerte wie Itemschwierigkeiten und Itemtrennschärfen definiert.

Die Itemschwierigkeit wird bestimmt über den Mittelwert aller Antworten auf eine konkrete Aufgabe (auch genannt Item). Bei Leistungstests, bei denen eindeutige richtige und falsche Antworten bekannt sind, liegt die Aufgabenschwierigkeit zwischen 0 und 1 und gibt den prozentualen Anteil der Personen an, die die Aufgabe richtig gelöst haben.

Die Itemtrennschärfe gibt an, inwieweit die Aufgabe im Sinne des Gesamttests zwischen den Personen diskriminiert. Sie wird bestimmt durch die Korrelation zwischen der einzelnen Aufgabe und dem Summenwert im Gesamttest (bzw. in der interessierenden Skala).

Itemschwierigkeiten und Itemtrennschärfen einer Aufgabe sind nicht unabhängig voneinander. Für besonders schwere und besonders leichte Items findet man in der Regel eher geringe Trennschärfen, da sich für diese Items kaum Unterschiede in den individuellen Antworten zeigen. Aufgaben mit mittlerer Schwierigkeit hingegen unterscheiden gut zwischen Personen im mittleren Bereich und weisen meist höhere Trennschärfen auf.

In einem Handbuch sollten insbesondere für Leistungstests Itemschwierigkeiten und Itemtrennschärfen für alle Aufgaben angegeben sein. Die Verteilung der Itemschwierigkeiten sollte der Verteilung der angestrebten Personenverteilung folgen.

Die Trennschärfe einer Aufgabe sollte möglichst hoch sein, in der Regel 0,20 oder höher. Abhängig von der Fragestellung können aber auch hier nötigenfalls Kompromisse eingegangen werden.

In der klassischen Testtheorie werden Aufgaben, die das gleiche Konstrukt messen, einer Skala zugeordnet. Der erzielte Wert wird häufig als Summenwert über alle Items der Skala gebildet, und anschließend wird die interne Konsistenz der Skala als Cronbach's Alpha berechnet. Die Korrelation des Summenwerts mit einem zusätzlich erfassten Außenkriterium (z.B. Schulnoten) dient als Maß für die Validität des Tests.

Klassifikatorische Diagnostik erfolgt am Ende eines diagnostischen Prozesses und beinhaltet kategoriale Entscheidungen, bei denen Merkmalsträger in wenigstens zwei Kategorien eingeteilt werden, z. B. "angenommen" oder "abgelehnt" bei Bewerbern oder die Diagnose von bestimmten Störungen.

Das Vorgehen bei der Klassifikation in der Pädagogik oder Psychologie weist beträchtliche Ähnlichkeit mit dem Vorgehen in der Medizin auf, wobei in der medizinischen Praxis oft ein diagnostischer Goldstandard als optimale Machbarkeit zur Operationalisierung der "tatsächlichen Ausprägung" dient.

Bei der Klassifikation können zwei Arten von Fehlern auftreten: Falsch-negative Entscheidungen (ein Merkmalsträger wird fälschlicherweise in die Kategorie ohne Merkmal eingeordnet) und falsch-positive Entscheidungen (ein Merkmalsträger wird fälschlicherweise in die Kategorie mit dem Merkmal eingeordnet).

Zur Beurteilung der Klassifikationen werden die Spezifität, Sensitivität sowie die Effizienz des Tests bzw. der Entscheidungsprozedur und einige weitere Koeffizienten herangezogen.

Das relative Risiko ist das Verhältnis der Wahrscheinlichkeit eines positiven Ergebnisses (Dyskalkuliediagnose) bei positiver Ausprägung im Vergleich zu einem positiven Ergebnis (Dyskalkuliediagnose) bei negativer Ausprägung des zu untersuchenden Merkmals.

Die Odds Ratio ist ein Maß für die Stärke des Unterschieds zwischen zwei Gruppen. Sie setzt die Odds (Wettverhältnisse) der beiden Gruppen zueinander ins Verhältnis. Im Beispiel beträgt die Odds Ratio 12, was bedeutet, dass die Chancen von Kindern mit auffälligem Dyskalkulietestergebnis tatsächlich dyskalkulisch zu sein, 12-mal so groß sind wie die von Kindern ohne auffälliges Ergebnis.

Daumenregeln für die Bewertung der Koeffizienten sind schwer zu formulieren, da die Zusammenhänge und Implikationen im Anwendungskontext und mit Blick auf etwaige Kosten und Nutzen berücksichtigt werden müssen.

Bei der Beurteilung der Qualität pädagogisch-psychologischer Diagnostik steht oft nicht die Frage nach einer optimalen und fehlerfreien Entscheidung im Vordergrund, sondern vielmehr das Ziel, eine Verbesserung gegenüber alternativen Vorgehensweisen oder dem Status quo zu erzielen, unter Berücksichtigung von Kosten und Nutzen.

In der Diagnostik stehen verschiedene formalisierte Werkzeuge wie Tests, Fragebögen, Beobachtungsinventare oder Interviews zur Verfügung, um konkrete Aussagen über Beobachtungseinheiten wie Personen, Situationen, Gruppen oder Institutionen zu treffen und begründete Entscheidungen zu treffen.

In der Diagnostik von Personen werden verschiedene Datenquellen verwendet, darunter:

1. Lebensdaten und biografische Fakten wie Alter, Geschlecht, Schulabschluss, Sitzbleiben in der Schule, Auslandspraktikum usw.
2. Selbstangaben über Interessen, Persönlichkeit oder typisches Verhalten mittels Fragebögen oder Interviews.
3. Leistungsbezogenes Verhalten durch standardisierte Leistungstests, um maximale Anstrengung zu erfassen.
4. Beobachtungsinventare zur Beurteilung von Verhaltensauffälligkeiten in kritischen Situationen.

Lebensdaten in der Diagnostik sind wichtige biografische Informationen wie Alter, Geschlecht, Schulabschlüsse und weitere Merkmale im Lebenslauf einer Person. Schwierigkeiten bei ihrer Beurteilung bestehen darin, verlässlich zu bestimmen, welche konkreten Aussagen über die Ausprägungen der Merkmale und Dispositionen sich aus den Lebensdaten ableiten lassen, da sie durch viele Faktoren bestimmt sind.

Bei der Beurteilung von Lebensdaten spielen verschiedene Determinanten eine Rolle, darunter Fähigkeiten, Interessen, Persönlichkeitseigenschaften der betreffenden Person, der sozioökonomische Status der Eltern, epochale Einflüsse, zufällig eintretende Opportunitäten und vieles mehr.

Das Sitzenbleiben in der Schule kann in den meisten Fällen eine schwache Schulleistung indizieren, in einigen Fällen jedoch wiederholen Kinder mit durchschnittlichen schulischen Fertigkeiten eine Klasse aufgrund von mangelnden Sprachkenntnissen oder anderen Faktoren.

Schulnoten haben im deutschen Bildungssystem eine herausragende Bedeutung bei wichtigen Selektionsentscheidungen und beeinflussen den weiteren Bildungsweg der Schüler.

Schulleistungen entscheiden darüber, welche weiterführende Schule nach der Grundschule empfohlen und besucht wird und bilden die Grundlage für die Zulassung zum Hochschulstudium. Hohe methodische Anforderungen werden gestellt, weil schulische Leistungsbeurteilungen objektiv, reliabel und vergleichbar zwischen verschiedenen Klassen und Schulen sein müssen. Sie sollten auch valide sein, um den oben genannten Anforderungen gerecht zu werden.

Die mangelnde Objektivität und Reliabilität der Schulnoten wurden vielfach festgestellt und kritisiert. Da Lehrkräfte die Schulleistungen beurteilen, sind die Einzelnoten von ihren diagnostischen und pädagogischen Kompetenzen sowie individuellen Beurteilungstendenzen abhängig. Subjektive Urteile können durch verschiedene verzerrende Einflussfaktoren beeinflusst werden, wie Erinnerungsfehler, fehlerhafte Attributionen, Urteilstendenzen (Milde- oder Strengeeffekte), Einstellungs- und Erwartungseffekte sowie die aktuelle Befindlichkeit der Lehrkraft.

Bei objektiv gleicher Leistung schwanken die Lehrerbeurteilungen teilweise erheblich. Die meisten Urteile weichen jedoch nur geringfügig voneinander ab. Ähnliches gilt auch für die Reliabilität der Schulleistungsurteile, bei denen sich bei mehrmaliger Bewertung derselben Leistung Abweichungen zeigen können.

Eine grundlegende Schwäche des Lehrerurteils besteht in der mangelnden Vergleichbarkeit von Noten aufgrund des fehlenden klassenübergreifenden Maßstabs für die Leistungsbeurteilung. Dies bedeutet, dass eine objektiv gleiche Leistung je nach allgemeinem Leistungsniveau der Klasse und Schule unterschiedlich bewertet wird.

Selbstberichtsinstrumente sind Verfahren, bei denen eine Person sich selbst bezüglich interessierender Eigenschaften oder Verhaltensweisen einschätzen soll. Es gibt keine objektiv richtige Antwort, da die Beurteilungen subjektiv gefärbt sind und von der Person manipuliert werden können.

Beispiele für Selbstberichtsinstrumente sind Persönlichkeitstests wie der NEO-PI-R, Einstellungsfragebögen, semantische Differentiale, Ratingskalen, Interessentests wie der AIST und Motivationsfragebögen zur Leistungsmotivation.

Ein schwerwiegendes Problem ist die Verfälschbarkeit der Antworten. Versuchspersonen können ihre Antworten manipulieren, etwa indem sie sozial erwünscht reagieren. In Selektions- oder Beratungssituationen, bei denen viel auf dem Spiel steht, sind Selbstberichte daher kritisch zu beurteilen.

Einschätzungen der eigenen Leistungsfähigkeit sind eine Mischform zwischen Selbstbericht und Leistungstests. Hier wird beispielsweise die Frage gestellt, wie viele Aufgaben im Test der Teilnehmer seiner Meinung nach richtig gelöst hat.

Selbstberichtsinstrumente können auch zur Erfassung von relevanten Kontextaspekten wie Unterrichtsqualität oder Eltern-Kind-Beziehung eingesetzt werden. Lehrkräfte beurteilen ihren eigenen Unterricht, während Schüler analoge Fragebögen ausfüllen, um ihre Wahrnehmung des Unterrichts zu erfassen. In nationalen und internationalen Bildungsstudien werden Fragebögen zur Erfassung des sozioökonomischen Status oder Migrationshintergrunds der Schüler häufig verwendet. Es sind auch Fragebögen zur Erfassung der Eltern-Kind-Interaktion aus der Perspektive der Kinder und der Eltern denkbar.

Intelligenz wird als "Begabung" oder "allgemeine kognitive Fähigkeit" bezeichnet und gehört zu den am besten etablierten Konstrukten der empirischen Sozialwissenschaft. Es gibt jedoch keine allgemein anerkannte Definition von Intelligenz.

Intelligenztests sind Verfahren, bei denen wesentliche Anteile der Varianz auf individuelle Unterschiede in kognitiver Leistungsfähigkeit zurückzuführen sind. Die erfassten intellektuellen Fähigkeiten gelten als über die Zeit relativ stabile Persönlichkeitseigenschaften.

Ein weitgehend anerkanntes Intelligenzstrukturmodell postuliert neben einem Generalfaktor (g-Faktor) mehrere breite Gruppenfaktoren, zu denen beispielsweise fluide und kristalline Intelligenz gehören. Fluide Intelligenz beschreibt die Fähigkeit, komplexe logische Zusammenhänge zu begreifen, während kristalline Intelligenz individuelle Unterschiede im verfügbaren und anwendbaren Wissen umfasst.

Ein Beispiel für einen Schulleistungstest ist DEMAT 4 (Gölitz, Roick & Hasselhorn, 2006). Dieser Test erfasst mathematische Rechenfertigkeiten in der Grundschule und umfasst die Bereiche Arithmetik, Sachrechnen und Geometrie.