M6 Grundlagen der Testkonstruktion 03421

Merkmale: multivariate Normalverteilung, postiv definitve Matrix, skaleninvariant & skalenfrei

- Maximum-Likelihood (ML): skaleninvariant & skalenfrei, multivariate Normalverteilung

- Generalized Least Square (GLS): eng mit ML verwandt, eher etwas schlechter

- Unweighted Least Square (ULS): skalenfrei, skaleninvarianz nicht gegeben

- Asymptotically Distribution Free (ADF):  Gruppe von Methoden (WLS, DWLS, ERLS) skalenfrei, skaleninvariat, kaum Verteilungsannahmen aber große Stichprobe -> ALTERNATIVE ZUR ML, GERADE WENN KEINE NORMALVERTEILUNG vorliegt

- Nicht-Kovergenz: Wird direkt zurückgemeldet, Schätzlogarithmus konvergiert nicht

- Heywood-Cases: unzulässige Lösungen (technische Ursachen oder grobe Fehlspezifikation)

-> Wenn Schätzung im zulässigen Bereich konvergiert, dann kann Güte der Lösung global evaluiert werden.

- Signifikanztests (Chi²-Test) (Ablehnung bei siginifikanten Befund, eher kleine Stichproben hilfreich)

- Fit-Indizes: nicht signifikante Tests als Hinweis auf exakten Modell-Fit -> Versuch das Ausmaß der Modellgüte in einem Index (0-1) zu quantifizieren

- Badness-of-Fit-Indizes: höhere Werte=schlechterer Fit

- Goodness-of-Fit-Indizes: hohe Werte=gute Passung

-> Fitindizes nicht unabhängig von Chi²-Test

Sensitivität: RP/ (FN+RP) -> Anteil der richtig klassifizierten Personen unter allen Personen, die das Kriterium tatsächlich erfüllen.

Spezifität: RN/ (FP+RN) -> Anteil der richtig klassifizierten Personen, die das Kriterium nicht erfüllen.

- Standards for Educational & Psychological Testing

- DIN 33430

- Principles for the Validation and Use of Personnel Selection Procedures

- Guidelines for Test Translation and Adaption

- International Guidelines on Computer-Based and Internet Delivered Testing

- Buros-System

- COTAN-System

- TBS-TK

- DIN Screen

- Review Model for the Description and Evaluation of Psychological Tests

Fallbeispiele können die Übergeneralisierung von Einzelfällen fördern

- interne Konsistenz

- Retest-Reliabilität

- Paralleltestreliabilität

- Interrater-Reliabilität

...ein  notwendiges Kriterium zur Bestimmung der Güte eines Tests.

I.K. ist kein gutes Maß für Homogenität, setzt diese aber voraus.

- Standardmaß der internen Konsistenz

- kann Reliabilität durch systematische Messfehler (soz. Erwünschtheit) überschätzen

- Varianz des Testitems, Anzahl der Testitems, Varianz des Gesamtwerts der Skala

1. Niveau -> .80 (Einzellfall)

2. Niveau -> .70 (weniger wichtige Einzelfalldiagnostik)

3. Niveau -> .60 (Gruppenuntersuchung)

1) Inhaltsvalidität

2) Konstruktvalidität

3) Kriteriumsvalidität

- im einfachsten Fall bivariate Korrelation

-> Unterschätzung der latenten Korrelation, da Tests nicht perfekt reliabel sind

- Attenuations- oder Minderungskorrektur (einfach/ doppelt)

Hohe Trennschärfe -> hoher Homogenität -> geringe Bandbreite des Konstrukts -> geringe Korrelation mit Außenkriterien

- Prüfung der Konstruktvalidität

- Einfluss von Messerergebnisse von Einfluss der Methode trennen

- Monotrait-Monomethod -> Reliabilität

- Heterotrait-Monomethod & Heterotrait-Heteromethod -> diskriminante V.

- Monotrait-Heteromethod -> konvergente V. oder diskriminate V., wenn niedriger als Heterotrait

+ betrachtet auch latente Konstrukte

- Identifizierbarkeitsproblem

- bivariates Validitätsmaß

- Klassifikation von Personen in Gruppen (Diagnose depressiv vs. nicht depressiv)

- gibt Mittelwertsunterschiede in den Testwerten der beiden Gruppen in Einheiten der SD an

- d= (Mt1-Mt2)/ St.gesamt

-r & d lassen sich unmittelbar ineinander überführen

schwacher Effekt: r= .10; d= .20

mittlerer Effekt: r= .30; d= .50

starker Effekt: r= .50; d= .80

- subtile Items

- forced-choice

- objektive Tests

- bogus pipeline (Lügendetektor) -> Hinweis auf verbesserte Validität

- Erwünschtheitsskala

- strenge Anforderungen an Gütekriterien

- spezifische Standards für Vergleichbarkeit

- Messgenauigkeit

- COTAN-Beurteilung

1. Niveau N=300, r= .80

2. Niveau N=200, r =.70

3. Niveau N= 100, r= .60

- Äquivalenzhypothese & Standardmessfehler -> Annahme: beobachteter Wert ungefähr wahrer Wert, bei einzelnem Test

- Regressionshypothese & Standardschätzfehle

-> Konfidenzintervalle

- geben mit festgelegter Wahrscheinlichkeit den Bereich an, in dem der wahre Wert der Testperson zu vermuten ist

-einseitig (z1-alpha) oder zweiseitig (z1-alpha/2) (Fragestellung)

- KI= X +/- SEx * z (Äquivalenz, beobachteter Wert)

- KI= t +/- SEt * z (Regression, geschätzter wahrer Wert)

Unterscheiden sich zwei Testwerte wirklich?

1) Unterschiede Messwerte des identischen Tests -> Äquivalenzhypothese, gleicher Test

2) Unterschiede Messwerte, 1 Person, mehrere Tests -> Äquivalenzhypothese, verschiedene Tests

3) Unterschiede Messwerte, 1 Person, mehrere Tests, unterschiedliche Konstrukte -> Regressionshypothese, verschiedene Tests

alpha-Fehler, Fehler 1. Art, Entscheidung für H1, obwohl H0 gilt.

beta-Fehler, Fehler 2. Art, Entscheidung für H0, obwohl H1 gilt.

-> beta-Fehler-Wahrscheinlichkeit nur bei spezifischer H1 bestimmbar.

Gruppe 1 Pretest - Treatment - Posttest -> klassische Experimentalgruppe, PT1 = f (T, P, Z)

Gruppe 2 Pretest - Posttest -> Kontrollgruppe, PT2 = f (P, Z)

Gruppe 3 Treatment - Posttest -> One-Shot-Case, PT3 = f (T, Z)

Gruppe 4 Posttest, PT4 (Z)

...haben eine höhere interne Validität als quasiexperimentelle Untersuchungen.

- experimentell-Feld -> hohe interne & externe V. (Königsweg)

- experimentell-Labor -> hohe interne, niedrige externe V.

- quasiexp.-Feld -> niedrige interne, hohe externe V.

- quasiexp.-Labor -> niedrige interne & externe V.

Verteilungsfrei:

- Nominalskala -> Chi²-Test

- Ordinalskala -> Mann-Whitney-U-Test (bei unabhängigen Stichproben)

Parametrische Tests (verteilungsgebunden):

- Intervall-/ Verhältnisskala

-> 1 Stichprobe -> 1-SP-t/z-Test

-> 2 Stichproben -> 2-SP-t/z-Test

-> > 2 Stichproben -> Varianzanalyse

- Crossed-lagged-Panel

- Partialkorrelation

- Pfadanalyse, SEM (Detailanalyse vn Wirkungspfaden)

- magelnde instrumentelle V.

- Stichprobenfehler

- experimentelle Reaktivität

- Pretesteffekte

- Hawthorne-Effekte

- empärte Demoralisierung

- kompensatorischer Wettstreit

- kompensatorischer Ausgleich (Versuchsleiter)

- Treatmentdiffusion

- externe zeitliche Einflüsse

- Reifungsprozesse

- Testübung

- mangelnde instrumentelle Reliabilität

- statistische Regressionseffekte

- Selektionseffekte

- experimentelle Mortalität

...testen Annahmen über Zusammenhänge, Unterschiede und Veränderungen ausgewählter Merkmale bei bestimmten Populationen

Nominalskala: Modalwert

Ordinalskala: Rangordnung der Zahlen, Modalwert, Median

Intervall-/Verhältnisskala: Differenzen/ Verhältnisse der Zahlen, Modalwert, Median, Mittelwert