Diagnostik

Inhaltsvalidität 

Inhalts Relevanz und Repräsentativität 

Strategien: 

->rationale Test Konstruktion 

Kriteriumsorientierte Tests und induktive Konstruktionsstrategie 

Kriteriumsvalidität 

Rational V: erstellen Konstrukt Karte (Konstruktion items; Kodierung Antworten: Qual/quant; Auswahl eines Messmodels) 

Inhalts V: zu messendes Merkmal repräsentativ erfassen; kriteriumsorientiert, wenn Inhalts valide, Erfassung: Fähigkeit einer Person; Zuordnung zu Klasse anhand fähigkeitsausprägung 

Induktiv TK: lexikalische Methode, Faktorenanalyse "vieler" items, Prototypenansatz 

External TK: Konkurrente V, Prädiktive V/ prognostische V/ Vorhersage, retrograde V; items auswählen die eng mit Kriterium zshg und optimale Vorhersage Gruppenzugehörigkeit 

Objektivität

Päzision 

Offen/ halb offen/ geschlossenes Format; Anzahl Antwortkategorien (Genauigkeit, Stil,...) 

Experten Urteil 

Prozessanalyse 

Itemanalyse (Passung zum Modell; schätz Genauigkeit; Ökonomie; Zumutbarkeit; Test Fairness; unverfälschbarkeit) 

Erhebung an neuer Stichprobe 

Passung zum Testmodell 

Testeigenschaften und Passung zur intendierten Population 

Güte Kriterien 

Wahl der skala der Testwerte  ist willkürlich 

Norm orientierte Transformation (z standardisiert; IQ Werte) 

Kriteriumsorientierte Transformation (sinnvolle cut scores)

Vergleichbarkeit von Testwerten 

Power tests 

Speed tests 

Fragebögen 

Erheben woran, wie und zu welchen Gelegenheiten sich Konstrukt manifestiert 

Ob erhobene Vhtnsweisen repräsentativ für Konstrukt sind 

Verhaltensweise zwischen Personen mit unterschiedlichen Ausprägungen des Konstrukts differenzieren 

Qualitätsmaxime: nichts wofür nicht ausreichend Belege 

Quantitätsmaxime: nur so informativ wie erforderlich 

Relevanz Maxime: sachbezogen und sachlich äußern 

Klarheitsmaxime: kurz und bündig, nicht mehrdeutig 

formal und syntaktische Merkmale 

Poling def items 

Verneinungen und doppelte Verneinung 

Anker Effekte 

Konsistenz- oder assimilations Effekte 

Kontrast Effekte 

Salienzeffekte 

Primingeffekte 

Subtraktionseffekte 

Frei/ offen 

Gebunden/ geschlossen 

Atypisch 

Auswahl Aufgaben 

Pro: Ökonomisch in Durchführung und Auswertung und objektiv 

Contra: Hohe Rate Wahrscheinlichkeit, evtl. keine passende Antwort Möglichkeiten 

Antwort Vorgaben als Orientierungshilfe 

-> graphisch, semantisch, numerisch (zb Skalen) 

Soll Einstellungen erfassen 

Geordnetes gebundenes Format 

Items in zustimmender/ ablehnender polung 

Numerische Kodierung 

Diskriminationsfähigkeit für extrem Gruppen als überprüfungsmaß der items 

Intervall skalierte weete

Ja nein oder richtig falsch 

Variablen die zwei Werte annehmen können. Durch dichotome variablen werden den zwei Kategorien eines beobachtbaren Merkmals Werte zugewiesen. 

Typischerweise werden als Werte dichotomies variablen 0 und 1 gewählt 

Werte Zuordnung -> Kodierung 

Itemschwierigkeit: Wahrscheinlichkeit P (Y=1) ist Itemschwierigekit in Testtheorie. Bei Interpretation beachten: eigentlich item Leichtigkeit 

Je größer Wahrscheinlichkeit umso leichter Aufgabe zu lösen/ item im sinne der merkmalsausprägung zuzustimmen 

Häufig multipliziert mit 100

Validitat

Reliabilität

Objektivität 

Macht Parameterschätzungen über Maximum likelihood Ansatz 

Fähigkeit von Person (θ) und die Schwierigkeit von Aufgaben (b) auf gemeinsamer Skala 

-> Familie der item-response-theory (IRT) 

Personenmerkmaö, dessen Ausprägungen nicht direkt beobachtbar sind , sondern über Verhalten erschlossen werden 

Direkt beobachtbare Reaktionen (zB lösen einer Aufgabe)

Menge von Reizen mit zugehörigen zugelassenen Reaktionen 

Menge manifesten Variablen, Vorschrift (Skala), die den reaktionsmustetn der manifesten variablen Ausprägungen von mindestens einer latenten Viatable zuordnet 

Beobachtbares Verhalten als Funktion eines latenten Personenmerkmals und Itemmerkmals 

Funktion beschreibt nicht deterministischen Zusammenhang 

Konstrukte als latente Variablen definiert 

Messmodelle zur Messung von Konstrukten, Basis auf testbaren Annahmrn 

Können zur testlonstruktion herangezogen werden 

V (Verhalten) = P (Pwrson) x U (Umwelt) 

Personenmerkmal beeinflusst testverhalten 

Testverhalten lässt über testauswertung auf personenmerkmal schließen 

Bild 

Bild 

Verbinden von Itemresponses zu dem, was wir messen wollen 

Score focused approach: high score -> high on construct 

Item focused approach: hard item -> high score on construct 

Edgeworth and spearman: some sets of items give more consistent results 

Observed score on instrument X, Aus Summe Truescore T und Fehler E 

X = T+E 

Scores können auch Norm-referenced sein 

-> schaffts nicht Subtests von Items oder individuelle Items zu verwenden 

Langfristiger Durchschnittswert, den die Person über viele Wiedererhebunhen des Testinstruments beibehält 

Was übrig bleibt, wenn man true Score rausnimmt