testkonstruktion

Die Reliabilität ist in KTT definiert als Anteil der wahren Varianz an der gesamten beobachteten Varianz

Sensivität

relativ eindeutig definierte und nachweisbar relevante Merkmale sollen erfasst werden

Konstrukion beruht auf statistischen Modellen psychologischer Testtheorien

Bewährung gemäß psychologischer Gütekriterien

Dokumetation im Detail nachvollziehbarer Form

1. Modellspezifikation

2. Bestimmung der Identifizierbarkeit des Modells

3. Design und Datenerhebung

4. Durchführung SEM

a- Festlegung von Datenmatrix und Schätzalgorithmus

b- Evaluation der Passung zwischen Daten und Modell (fit)

c- Berücksichtigung von ggf. Vergleich mit alternativen Modellen

d- Interpretation der Parameter

5. Ggf. Modifikation und Respezifikation des Modells

6. Dokumentation der Analyse im schriftlichen Bericht

ist eine oblique Rotation (SEM)

es kann der Grad der Korreliertheit verändert werden

Delta= 0 maximale Korreliertheit

Delta = -4 Orthogonalität

Ergebnisse situativ instabil

schlecht interpretierbare Skalen

große Stichproben erforderlich

Kreuzvalidierung zwingend

ermöglichen quantitative Beurteilung

psychometrisches Optimum 5-9 Stufen

Analogskala Stufenlos

Items unipolar (logisches Minimum 0 oder nie) vs bipolare Items (Extremausprägungen sind durch gegensätzliche Begriffe gekennzeichnet)

verbale, symbolische bzw. grafische oder numerische Verankerungen führt zur Verbesserung Reliabilität und Validität

Probleme: streng genommen außer Analogskalen nur Ordinalskalenniveau

sozial erwünscht antworten (nicht spez Rating)

Tendenz zur Zustimmung (Akquieszenz) oder Ablehnungb (nichtspez. Rating)

Bevorzugung bestimmter Skalenbereiche (Mitte, Extremen)

Unterschiedlche Interpretation der Bereiche

subjektive Vorentscheidung

ungeeignet bei schlecht definierten oder wenig erforschten Situationen

großer konzeptioneller Aufwand

Messwerte, die Ausprägung auf latentem Merkmal beschreiben

gewichtete Kombination der Items, die zu dem jeweiligen Faktor beitragen

In SPSS in der Koeffizientenmatrix der Faktorenwerte -> aus Datenberechnet und damit sehr stichprobenabhängig

nur ein sachlicher Gedanke

keune stake Verallgemeinerungen

eindeutige zeitl. und situative Bezüge

gewichtete Kombination der Items, die zum jeweiligen Faktor beitragen

in SPSS in der Koeffizientenmatrix der Faktorwerte

werden aus Daten errechnet und damit extrem stichprobenabhängig

Regressionsberechnung (z-standardisierte Variablen -> keine Mittelwertvergleiche möglich, immer Null)

aber Vergleich zwischen zweit Teilstichproben (Mann, Frau)

Berechnung erfolgt schrittweise

Algorithmus ist iterativ

Es wird PCA durchgeführt

neu geschätzten Kommunalitäten werden in Diagonale der Korrelationsmatrix eingesetzt (statt R² )

erneute PCA mit Kommunalitätenschätzung etc.

solange bis gemäß Abbruchkriterium konvergiert (z.B. 25 Iterationen)

Entdeckung theoretischer Variablen

theoriebildenes bzw. hypothesengenerierendes Verfahren

Fit als proportionale Verbesserung gegenüber dem Nullmodell (independence model)

Typenklassen 1-3, je höher desto mehr Informationen gehen ein

je höher Index,desto besser die Passung

Assimilationseffekt: positive Verzerrung einer vorherigen Darbietung einer positiven Verankerung

Kontrasteffekt negative Verzerrung """""""""

Kontexteffekte innerhalb Items oder durch Gruppeirung Items

sytsmatische Verzerrung durch zufälige Reihung minimieren

überhöhter Korrelation bei mehrdimensionalen tests dadurch inhaltlich zusammenhängende Items mögcihst entfernt voneinander

Leistungstest in aufstegender Schwierigkeit sortiert

Streudiagramm

geschätze Itemparameter aus zwei Stichproben (z.B. Median, Alter, Geschlecht)

für resultierende Teilstichproben werden Itemparameter geschätzt

Idealfall (Item soll in jeder Stichprobe, dieselben Eigenschaften messen-> Schätzung soll gleichausfallen für jede beliebige Schätzung)

Itemparameter liegen auf einer Regressionsgerade die mit der Winkelhalbierende zusammen fällt

Spezifität

Testtheorie als Theorie des zusammenhangs zwischen Testverhalten und psychischen Merkmalen

Fit Index von Bollen 1989

Typ2

maximal >1

cut off .95

Muster und Strukturmatrix bei obliquer Rotation vershieden (orthogonaler sind sie identisch)

Unterscheiden sich stärker je höher Faktoren korrelieren

Strukturmatrix enthält oft höhere Korrelationen als Mustermatrix

freizugängliche Quelle für Persönlichkeitsitems

International Personality Item Pool

mittlere Schwierigkeit und hohe Trennschärfe (Korrelation der Skala mit Items -> "freir von Messfehlern")

-hängt von kompetenten und verantwortungsvollen Anwender ab

- viele nicht objektive Entscheidungen müssen getroffen werden

-Gefahr der Herumprobierens

+ benötigt keine Erhebung von externen Vaidierungskriterien

+essentiell bei induktiven Tests, external begleitenden informativen Charakter

z.B. Barlett-Test (Anwendung auf Residualmatrix, um zu prüfen, ob es sich signifikant von der identitätsmatrix abweicht-> wenn ja: hinweis auf weitere Faktoren)

Problem (nach Thompson): bei großen stihproben werden auch triviale Abweichungen signifikant und oft zuviele Faktoren extrahiert werden

z.B. ML- faktorenanalyse und chi-quadrat Test: (Angemessenheit Faktoren wrd geprüft; Nullhypothese: aktuelle lösung passt zu Daten-> Signifikanz bedeutet weiter extrahieren ; faktorenzahl hängt von Stichprobengröße ab)

bei interner Konsistenz bei dichotomen Items
 

KTT

Es möge sein Messung

KTT ist implizit nur für Messfehler definiert, die mind. intervalskaliert sind (Berechnung von Differenzen sinnvoll)

Man geht davon aus, dass

durch Aufsummierung der Anzahl der richtigen Lösungen oder Itemantworten sich Differnzen annähern

daher sinnvoll zu interpretieren sind

H(0)Das Modell passt zur beobachteten Datenstruktur

Signifikanz führt zur Ablehnung

damit steigt die Wahrscheimlichkeit, dass Modell abzulehnen mit größerern Stichprobe

Wahrscheinlichkeit der Ablehung steigt zudem mit Anzahl der Freiheitsgrade (Strenge, Sparsamkeit Modell)

-> nicht alleiniges Kriterium

trotzdem unabdinglich mit p-Wert und Freiheitsgraden darzustellen

Bei nicht signifikanz: exakter Modell-Fit

Grundlage für alle approximativen und relativen Fit-Indizes (chiquadrat/df)

Steigung im Wendepunkt

null bis plus unendlich

Reliabilität setzt Validität technische Obergrenze

Erhöhung der Trennschärfe der Items (damit interne Konsistenz) bei gleichbleibender Validität der einzelnen Items führt zur Minderung der Validität des gesamtenTests

Test wird homogenisiert durch erhöhte Trennschärfe und Konstrukt verliert an inhaltlicher Breite-> Korrelation mit heterogenen Außenkriterien sinkt

Minderung der Validität entsteht somit aus Verringerung der Symmetrie zwischen Test und Außenvariable durch Wegfall extern valide aber itemspezifische Varianz

Standardisierte Gewichte je Item und Faktor

Korrelation zwischen Item und Faktor

ggf. mehrdeutig

eigentlich läd Fktor auf Item

sprachlich hat sich Item auf Faktor durchgesetzt

keine dopplete Verneinung

keine Wörter die ncht von allen Verstanden werden

sokurz wie möglich so lang wie nötig

Bestätigung der intendierten faktoriellen Struktur eines Tests

Stimmt die empirische Binnenstruktur mit theoretischen überein (EFA oder CFA)

Facette der Konstruktvalidität

linear