M6 Grundlagen der Testkonstruktion 03421

- strenge Anforderungen an Gütekriterien

- spezifische Standards für Vergleichbarkeit

- Messgenauigkeit

- COTAN-Beurteilung

1. Niveau N=300, r= .80

2. Niveau N=200, r =.70

3. Niveau N= 100, r= .60

- Äquivalenzhypothese & Standardmessfehler -> Annahme: beobachteter Wert ungefähr wahrer Wert, bei einzelnem Test

- Regressionshypothese & Standardschätzfehle

-> Konfidenzintervalle

- geben mit festgelegter Wahrscheinlichkeit den Bereich an, in dem der wahre Wert der Testperson zu vermuten ist

-einseitig (z1-alpha) oder zweiseitig (z1-alpha/2) (Fragestellung)

- KI= X +/- SEx * z (Äquivalenz, beobachteter Wert)

- KI= t +/- SEt * z (Regression, geschätzter wahrer Wert)

Unterscheiden sich zwei Testwerte wirklich?

1) Unterschiede Messwerte des identischen Tests -> Äquivalenzhypothese, gleicher Test

2) Unterschiede Messwerte, 1 Person, mehrere Tests -> Äquivalenzhypothese, verschiedene Tests

3) Unterschiede Messwerte, 1 Person, mehrere Tests, unterschiedliche Konstrukte -> Regressionshypothese, verschiedene Tests

alpha-Fehler, Fehler 1. Art, Entscheidung für H1, obwohl H0 gilt.

beta-Fehler, Fehler 2. Art, Entscheidung für H0, obwohl H1 gilt.

-> beta-Fehler-Wahrscheinlichkeit nur bei spezifischer H1 bestimmbar.

Gruppe 1 Pretest - Treatment - Posttest -> klassische Experimentalgruppe, PT1 = f (T, P, Z)

Gruppe 2 Pretest - Posttest -> Kontrollgruppe, PT2 = f (P, Z)

Gruppe 3 Treatment - Posttest -> One-Shot-Case, PT3 = f (T, Z)

Gruppe 4 Posttest, PT4 (Z)

...haben eine höhere interne Validität als quasiexperimentelle Untersuchungen.

- experimentell-Feld -> hohe interne & externe V. (Königsweg)

- experimentell-Labor -> hohe interne, niedrige externe V.

- quasiexp.-Feld -> niedrige interne, hohe externe V.

- quasiexp.-Labor -> niedrige interne & externe V.

Verteilungsfrei:

- Nominalskala -> Chi²-Test

- Ordinalskala -> Mann-Whitney-U-Test (bei unabhängigen Stichproben)

Parametrische Tests (verteilungsgebunden):

- Intervall-/ Verhältnisskala

-> 1 Stichprobe -> 1-SP-t/z-Test

-> 2 Stichproben -> 2-SP-t/z-Test

-> > 2 Stichproben -> Varianzanalyse

- Crossed-lagged-Panel

- Partialkorrelation

- Pfadanalyse, SEM (Detailanalyse vn Wirkungspfaden)

- magelnde instrumentelle V.

- Stichprobenfehler

- experimentelle Reaktivität

- Pretesteffekte

- Hawthorne-Effekte

- empärte Demoralisierung

- kompensatorischer Wettstreit

- kompensatorischer Ausgleich (Versuchsleiter)

- Treatmentdiffusion

- externe zeitliche Einflüsse

- Reifungsprozesse

- Testübung

- mangelnde instrumentelle Reliabilität

- statistische Regressionseffekte

- Selektionseffekte

- experimentelle Mortalität

...testen Annahmen über Zusammenhänge, Unterschiede und Veränderungen ausgewählter Merkmale bei bestimmten Populationen

Nominalskala: Modalwert

Ordinalskala: Rangordnung der Zahlen, Modalwert, Median

Intervall-/Verhältnisskala: Differenzen/ Verhältnisse der Zahlen, Modalwert, Median, Mittelwert

Name, Erscheinungsjahr, Titel d. Kapitels, Name d. Herausgebers, Seitenangabe, Titel d. Herausgebers, Verlagsort, Verlag

Bund deutscher Psychologen (BDP) & Deutsche Gesellschaft für Psychologen (DGP)

- Widerspruchsfreiheit

- Kritisierbarkeit (Möglichkeit zur Falsifizierung)

- Operationalisierbarkeit (Konstruktvalidität)

1-ß

- gibt an, mit welcher Wahrscheinlichkeit man sich für eine richtige H1 entscheidet

1) Titelblatt

2) Zusammenfassung (Fragestellung, Methoden, Ergebnisse, Beurteilung, max. 100 Wörter)

3) Einführung (Problemvorstellung, Zweck der Untersuchung, Fragestellung)

4) Methoden (Reliabilität der Instrumente, Vpn N, Apparatur, Reize, Verfahren)

5) Ergebnisse (Bericht der Daten, Resultate, statistischer Verfahren, Ergebnisse der Hypothesen)

6) Diskussion (Interpretation der Ergebnisse & Konsequenzen, Anregung, Kritik)

7) Literaturverzeichnis

8) Anhang (mathematische Ableitungen, Rohdaten)

Beurteilung des Gesamtwerts im Test als auch von dessen Bestandteile hinsichtlich des Zusammenhangs zwischen Testverhalten und psychologischen Merkmalen.

- Inhalt (Leistungstests, psychometrische Persönlichkeitstests, projektive Tests)

- Testungsstrategie (normorientierte Konstrukttests vs. kriterienorientierte Tests)

- Formale Kriterien (speed vs. power, ein- vs. mehrdimensional, Gruppe vs. Einzel, mediale Unterstützung, verbal vs. non-verbal)

+ Grundlage der meisten psychologischen Testverfahren (95%)

+ einfache Anwendbarkeit

1) Grundaxiom: X= T+E

- E= X-T

- M (E)i= 0/ M(E)p= 0

2) r (E, T)= 0

3) r(Ea, Eb)= 0

4) r (Ea, Tb)= 0

- Übungs- und Transfereffekte

- nicht intendierte systematische Varianzanteile (bias) werden dem wahren Wert zugerechnet

- stellt keine Verbindung zwischen Fähigkeit, Merkmal/ Eigenschaft und Itembeantwortung her

- fehlender Zusammenhang zwischen wahrem Wert und Messfehler

- prüft Eindimensionalität nicht

- ungenaue Messung in den Extrembereichen

- Stichprobenabhängigkeit der Testwerte

- Zusammenhang zwischen der Fähigkeit einer Person und der Wahrscheinlichkeit, mit der diese Person eine Aufgabe löst.

- Frage: Wie kommen Antworten auf Items zustande?

Summenwert einer Person liefert alle Informationen über die Fähigkeitsausprägung der Person.

Man darf die Lösungswahrscheinlichkeiten der Items für alle Personen multiplizieren.

Messung des Zielkonstrukts C:

rtc= S²c/ (S²c + S²b + S²e)

- Literaturrecherche als Grundlage

- explorative Verfahren qualitative Interviews, Facettentheorie, AFA, CIT)

1. Teilmerkmale (Facetten) & 2. deren Ausprägungen zergliedern

3. Beziehung darstellen und empirisch skalieren

- durch Auftragsgeber

- ethische Richtlinien

- Vermeidung von diskriminierenden Merkmalsbereichen

- deduktiv/ theoriegeleitete Itemgenerierung

- bei Skalenbildung keine, später Überprüfung auf Gütekriterien

- Inhalts- und Konstruktvalidität

+ intuitiv zugängliche Ergebnisse

+ geriner Validitätsverlust bei Übertragung auf andere Situation

- subjektive Vorentscheidungen

- ungeeignet bei schlecht erforschten Situationen

- großer konzeptioneller Aufwand

-> BIS, RBS, WIE, HAWIK

- empirisch/ kriterienorientiert, Items oft sehr heterogen

- Regressionsanalyse

- Kriteriumsvalidität

+ gute Kriteriumsvalidität

+ geeignet zur Exploration

- situativ instabil

- schlecht interpretierbare Skalen

- große Stichproben

- Kreuzvalidierung zwingend

-> MMPI, CPI

induktiv/ faktoranalytisch, Bildung homogener Subskalen auf Grundlage der IIC

- Faktoranalyse

- Konstruktvalidität, Homogenität der Subskalen

+ erleichtert Interpretation bei Exploration

+ abgrenzbare Konstrukte, Homogenität

- große Stichproben

- subjektive Interpretation

- kriterienbezogene V. kann eingeschränkt sein

- Metatheorie der Persönlichkeit

- Itemsammlung hinsichtlich Prototypizität

- Unabhängigkeit von Testautor

- Verhaltensnähe

- Problem der Aktivitätsfaktoren (tendenziell überhöhte Korrelationen)

- aus Organisationspsychologie

- Unabhängigkeit von Testautoren

- Verhaltennähe

- gute oder unbefriedigende Leistungen können sich in konkreten erfolgskritischen Ereignissen niederschlagen -> Stelleninhaber/ Experten

- gute Validität zur Vorhersage beruflicher Leistung

- Verständlichkeit (doppelte Verneinungen, Fachbegriffe, Satzlänge)

- Eindeutigkeit (ein Gedanke, Verallgemeinerungen)

- Meidung von Antworttendenzen (suggestiv, Geminplätze)

- Assimilationseffekte -> pos. Verzerrung durch Verbindung mit Vorabinfo

- Kontrasteffekte -> negativer Effekt, fehlende Verbindung

- Kontexteffekte -> beeinflussender Zusammenhang der Antwortalternativen