m6 1

x Dichotome Aufgaben x Mehrfachauswahlaufgaben

x Leistungstest x Persönlichkeitstests

x Umordnungsaufgaben x Zuordnungs -aufgaben

 Leistungstest

Reihenfolgeeffekte

x Assimilationseffekt: Reihung der Items beeinflusst das Ergebnis; theoretisch erklärbar über die Aktivierung kognitiver Kategorien

x Systematische Verzerrungen werden daher durch zufällige Reihung vermindert (inhaltlich zusammenhängende Items werden möglichst weit voneinander entfernt präsentiert)

x Bei Powertests: aufsteigende Schwierigkeiten

x Schiefe und Exzess <abs(1)

x Standardabweichung bei 5-stufiger Skala ca. 1

x Überprüfung ob Werte normalverteil sind mittels Kolmogorov-Smirnov-Test: Ist der Test signifikant (p<.05, besser <.20) so liegt keine NV vor.

x Wichtigster Kennwert der Itemanalyse
x Ist definiert als der prozentuale Anteil der richtigen Lösungen (bei Ja-Nein-Fragen: Anteil der Zustimmungen) an allen Lösungen eines Items innerhalb der Stichprobe 
  \(P= (NR/N) * 100\) 
N R ist die Anzahl der Probanden, die die Aufgabe Richtig gelöst hat (im Sinne des Aufgabenkriteriums), N ist die Anzahl aller Probanden,  P ist der Schwierigkeitsindex ohne Korrektur

Bei Leistungstests mit Mehrfachauswahl entsteht ein Prozentsatz an richtigen Antworten durch reinen Zufall, der korrigiert werden mus
\(Pzk = {NR-{Nf\over m-1} \over 2a} * 100\) 
m ist hierbei die Anzahl der Wahlmöglichkeiten, NF die Anzahl der Probanden, die die Aufgabe falsch beantwortet haben

x Müssen so transformiert werden, dass der Minimalwert 0 annimmt

x NR ist dann der transformierte Mittelwert der Stichprobe x N ist der transformierte Maximalwert

x Die Schwierigkeit berechnet sich aus der unkorrigierten Formel

x Inangriffnahmekorrektur: statt N wird die Zahl derer eingesetzt, die die Aufgabe überhaupt bearbeitet haben.

x Der Informationsgehalt eines Items (die Zahl der theoretischen Unterscheidungen) hängt von dessen Schwierigkeit ab

x Das Maximum liegt genau bei mittlerer Schwierigkeit (50%- U-förmiger Zusammenhang mit Maximum in der Mitte)

x Items, die von allen oder keinem Probanden richtig gelöst werden besitzen keinen empirischen Gehalt

x Bevorzugt werden daher Items mit mittlerer Schwierigkeit

x Umkehrschluss: bei Ratingskalen sollte der Mittelwert der Messung also in der Skalenmitte liegen.

x Die Trennschärfenanalyse ist in der KTT der wichtigste Indikator dafür, wie gut jedes einzelne Item das zugrunde liegende Merkmal abbildet

x Die Trennschärfe stellt die korrigierte Korrelation einer Aufgabe mit der Skala dar. Korrektur bezieht sich auf das Herausnehmen des jeweiligen Items aus der Gesamtskala.

x Wichtig ist, dass alle Items korrekt gepolt sind !

x SPSS: ANALYSIERENÆSKALIERUNGÆRELIABILITÄTSANALYSE; bei STATISTIKEN die Option SKALA WENN ITEM GELÖSCHT wählen (Ausgabe: korrigierte Item-SkalaKorrelation)

x Niemals negative Korrelationen zulassen (diese messen schlicht ein anderes Konstrukt). Faustregel r > .30 (Aber: „Behalte Items bei, solange sie positiv zur Reliabilität beitragen“)

x Homogen sind Skalen, deren Items annähernd gleiche Korrelationen aufweisen (wünschenswert)

In der Probabilistischen Testtheorie geht es im Gegensatz zur Klassischen Testtheorie darum, wie Antworten auf Items zustande kommen. Aus diesem Grunde werden Antwortmuster untersucht. Das Rasch-Modell gilt als das wichtigste Probabilistische Testmodell.

Die Lösungswahrscheinlichkeit für ein bestimmtes Item hängt nach dem Rasch-Modell ab von
 
1. Der Fähigkeit oder Eigenschaftsausprägung einer Person – abgebildet im Personenparameter, der die Fähigkeitsausprägung θ kennzeichnet 2. Der Schwierigkeit des Items– abgebildet im Itemparameter, der die Itemschwierigkeit σ kennzeichnet 3. Die Idee des Rasch-Modells ist, dass die Lösung eines Items immer wahrscheinlicher wird, je weiter die Fähigkeit oder Eigenschaftsausprägung die Itemschwierigkeit übersteigt: θ-σ
 
Æ danach besteht immer eine gewisse Wahrscheinlichkeit auch für eine Person mit geringer Fähigkeit, ein bestimmtes Item zu lösen

Im Rahmen der PTT werden Modelltests durchgeführt. Wird das Rasch-Modell hierbei nicht angelehnt, so gilt für den Test:
 
1. Der ungewichtete Summenwert der Itemantworten sagt (wirklich) etwas über den Ausprägungsgrad einer Person auf der latenten Variable aus
2. Der Summenwert bildet eine erschöpfende Statistik
3. Der Test ist eindimensional – die Itembeantwortung ist genau auf eine einzige Fähigkeit zurückzuführen
4. Äquivalent hierzu ist die Definition der lokalen stochastischen Unabhängigkeit – die Leistung bei einem Item ist vollständig auf die Fähigkeitsausprägung auf der latenten Variablen zurückzuführen und nicht auf andere (weitere)  Variablen !
5. Spezifische Objektivität: Konzept der Invarianz a) bei Vergleichen zwischen  Personen  b) Vergleiche zwischen Items

x es wird eine logarithmische Verhältnisskala (Logit) mit Differenzskalenniveau eingeführt, um die Personenparameter zu schätzen

x da man der Ort einer Person auf der latenten Variablen nicht kennt, schätzt man ihn mit Hilfe eines Personenparameters (Logit-Transformation) x Itemparameter werden mit der conditional maximum likelihood methode cML geschätzt

x Wertebereich der Logit-Skala theoretisch plusminus unendlich, real plusminus 3

x Negative Werte kennzeichnen leichte Items bzw. Personen mit geringerer Fähigkeit, positive Werte entsprechend umgekehrt

x Man bezeichnet die logistische Funktion für ein Item auch als Item Characteristic Curve ICC

x 1-PL, 1-Parameter-Modell: Personenparameter θ und Itemparameter σ, Trennschärfe wird =1 gesetzt

x 2-PL, 2-Parameter-Modell (Birnbaum-Modell): hinzu kommt Trennschärfe beta β; die Trennschärfe ist die Steigung der Tangente am Wendepunkt der ICC Funktion (p=.50 im dichotomen Fall)

x 3-PL, 3-Parameter-Modell: hinzu kommt der Rateparameter gamma γ, also Wahrscheinlichkeit, ein Item zufällig richtig zu beantworten

x Arbeiten mit dem Schwellenkonzept: Übergangsstellen, an denen die Wahrscheinlichkeit zweier Antwortalternativen gleich hoch ist

x Bei mehreren Antwortkategorien wird aus der ICC die Category Characteristics Curve CCC

x Partial-Credit-Modell: berechnet die Wahrscheinlichkeit, mit der eine Person eine bestimmte Antwortkategorie wählt

x Arbeitet mit Schwellenparametern

x Die Antwortschwellen dürfen sich nicht überschneiden (Voraussetzung)

x Das Mixed-Rasch-Modell quantifiziert und klassifiziert zugleich, d.h. es wird die Annahme von Eindimensionalität überprüft (Klassenzugehörigkeit)

wissenschaftliche Tests unterscheiden sich zu unwissenschaftlichen i.d.R durch die Existenz eines Testmanuals bzw. Dokumentation. Die Nichtexistenz ist ein sicheres Zeichen für einen unwissenschaftlichen Test

x Aufschluss über Fähigkeiten und Fertigkeiten

x Antworten richtig oder falsch

x Fragen nach Gefühlen, Abneigungen, Vorlieben, Interessen, Einstellungen etc.

x Subjektive Selbstbeurteilung, kein richtig und falsch

x Fragebögen, die mehrere Merkmale erfassen, bezeichnet man als Inventare

x Projektive Tests – unterstellt wird das Projizieren unbewusster Motive, Gefühle oder Einstellungen

x Antworten müssen gedeutet werden

x Subjektiver Interpretationsspielraum

x i.d.R. nicht nach testtheoretischen Prinzipien konstruiert

x Rückschluss vom Testverhalten auf Eigenschaften des Konstrukts möglich

x Normorientiert an einer Bezugsgruppe

x Vergleich mit Idealnorm/Lernziel

x Entsprechen  „Verhaltensgelegenheiten“

x In der Regel geschlossenes Antwortformat (außer bei projektiven Tests) x

Item ist ein beobachtbarer Indikator (manifeste Variable) eines nicht beobachtbaren Konstrukts (latente Variable)

x Gesamtwert über alle Items bildet der Testscore, der eine Schlussfolgerung über das Konstrukt zulässt.

x 95% aller Tests basieren auf der KTT

x KTT ist eine Theorie der Messfehler und der Reliabilität

x Fehlerbegriff der KTT bezieht sich auf unsystematische Fehler, die normalverteilt sind

x Keine Annahmen darüber, wie eine Testleistung zustande kommt – die Summation der Items stellt eine gültige Verrechnungsvorschrift der Items dar

x Die Reliabilität ist definiert als der Anteil der Varianz der wahren Werte an der Gesamtvarianz – systematische Messfehler (Bias) werden der Varianz des wahren Wertes zugeschlagen und erhöhen damit rechnerisch die Reliabilität !

x Die Validität bezieht sich ausschließlich auf die Messung des Zielkonstrukts (ohne Bias), allgemein also um die Gültigkeit inhaltlicher Aussagen.

x keine Verbindung zwischen einem Merkmal und der Itembeantwortung her (keine Annahmen über das Zustandekommen von Leistungen)

x Ungenaue Messungen in Extrembereichen

x KTT setzt Eindimensionalität ohne Prüfung voraus (keine korrelierten Fehler zwischen Messwerten=lokale Unabhängigkeit)

x Die Annahme einer völligen Unabhängigkeit von wahrem Wert und Messfehler ist schwer haltbar, da in psychometrischen Messungen oft nicht zufällige Verzerrungen (Übungseffekte, Wechselwirkungen) auftreten

x Testwerte sind grundsätzlich stichprobenabhängig (unterschiedliche Bedeutungen bei unterschiedlichen Referenzgruppen)

x KTT ist ohne Einschränkungen nur für intervallskalierte oder kontinuierliche (rationale skalierte) Merkmale anwendbar. Problematisch sind dichotome Items und Ratingskalen

x Geltungsbereich: wo, bei wem und wofür soll der Test eingesetzt werden?

x Merkmalsbereich: was soll der Test messen ?
 der Merkmalsbereich = Konstrukt ist oft nur schwer abzugrenzen. Oft beginnt man mit einer Arbeitsdefinition.

x Inhaltlich: was frage ich ?

x Formal: wie frage ich ?

o Objektiv (Leistungstest) o Subjektiv (Selbst- und Fremdeinschätzung)

x Verwendung vorhandener Testverfahren: ggf. urheberrechtliche Problematik
x Intuitiv und regelgeleitet: meist unsystematisch , geleitet von der Intuition des Testautors
x Hilfstechniken: Act Frequency Approach AFA und Critical Incident Technique CIT