Diagnostik 1
VL + übung + tut
VL + übung + tut
Begriffe je nach Testmethode
- Reliabilität durch Retest Korrelation / auch Teststabilität -> "retest reliabilität", "wiederholugnsreliabilität"
- aufpassen: zeitl. stabilität ist nicht gleich reliabilität
- reliabilität durch paralleltest-korrelation -> "paralleltest-reliabilität"
- reliabiabilität durch korrel testhälften (um spearman brown korrigiert) -> split-half-reliabilität
sprachgebrauch ist irreführend weil er verschiedene formen der reliabilität suggestiert, aber es gibt nur einen reliabilitätskoeffizienten, die schätzmethoden sind nur anders
Modell t-kongenerischer Variablen
(HERLEITUNG: bei modell essentiell t-äquivalenter variablen -> hier geht man ja davon aus das true scores exakt gleich beeinflussen und das is halt normalerweise net so realistisch dass der true score 1 also voll eingeht)
- nach definition + konseequenzen der KTT
- Annahme: es gibt beta1 und beta 2, sagen wie doll es eingeht
- auch hier zwei messungen nötig (siehe methoden zuvor)
Strukturgleichungsmodelle
= prüft verträglichkeit annahmen mit empirischen Daten
- Vorraussetzung für strenge prüfung: mind drei Y-Variablen
- strukturgleichungen: formeln übereinander geschrieben, erst nur messungen, dann aussagen über datenstruktur (siehe beispiel für 4 Messungen)
- mit dem modell kann man eigentl. fast alles prüfen
- man nutzt strukturgleichungen
- prüft ob modellparameter satz vorliegt -> kann man für var truescore + var fehler werte finden die mit emp. daten in einklang sind
- modellparameter in strukturgleichungen einsetzen -> implizierte kovarianzmatrix (basis: modellparameter und pfaddiagramm also strukturmodell)
- abgleich implizierte kovarainmatrix mit beobachtete kovarianzmatrix (also abgl. mathematischer daten und erhobene daten)
- über maximum likelihood schätzung: immer wieder neue parameter einsetzen bis eine minimale diskrepanz erreicht ist -> das is der finale modellparameter datensatz und entschiedet dann obs nah genug ist
- wenn man ende immer noch stat. bedeutsame diskrepanz kann man das theoretische modell verwerfen
Theore des geplanten Verhaltens (ajzen, madden)
- warum zeigen menschen nicht genau das verhalten was sie gerne würden
- verhalten ist folge von absicht/ intention/ verhaltenskontrolle
- absicht/intention hängt von einstellungen, normen, verhaltenskontrolle ab
- Modelltest
- nullhypothesentest
- also annahme dass die modell these den erhobenen daten entspricht
- also alternativ entschiedung
- zusätl. modellevulation mit passungsgüteindixes
- (goodness of fit index gfi. adjusted goodness of fit index agfi, comparative fit cfi, root mean square error of approximation rmsea - also wie viel varianz bleibt übrig - je kleiner umso besser)
Konsisntenzanalyse
erweiterung der testhalbierungs-methode
- test wird in so viele teile aufgeteilt wie er items hat, also jedes item eigener testteil
- korrel. zwischen alle items für schätzung der reliabiliätt der items -> hochrechnung der rel. des ganzen test
- annahme: alle items messen dieselbe true-score-variable, sind konsistent (konsistenzmaße)
Aggregation der Items
- wie sieht die Varianz von Items und Summenscores überhaupt aus? (S = Y1 + y2 + ...)
- für Varianz des Testscores S gilt: siehe foto, varianz der items + kovarianz der items
- Bedeutung der Konsistenz der Items
- hoch: alle messen etwas sehr ähnl., cov(yi,yj) großer anteil var(s), summecov(Yi, Yj)/Var(S)=groß
- niedrig: alle items messen etwas anderes, cov(yi,yj) kleiner anteil var(s), summecov(Yi, Yj)/Var(S)=klein
- Var(S) = varianz summen variable
- daraus erigbt sich Konsistenmaß
Konsistenzmaß
anteil der kovarianz der items an der varianz des testscores
einfaches Konsistenzmaß
- hochgerechnete standartisierte Kovarianz der Items
- standardisierte kovarianz = korrelation
- konssitenmaße -> schätzer der reliabilität des testscores -> untere schranke der reliabilität
K-R-Formula 20
- kuder und richardson (1937)
- für dichotome items, ausgangspunkt konsistenzmap kon(yi)
- pq bei einer durchführung
- p = schwierigkeitsgrad = Nr/N = P/100
- q = 1-p
- einführung eines korrekturfaktors m/(m-1), wobei m azahl der items
Cronbachs alpha
für itnervallskallierte Daten
inkl. korrekturfaktor (m/m-1) -> mit summe ist nicht alles an varianz drin (also die systematische Varianz)
sumem varianzen aller items geteilt durch summenscore
McDonalds Omega
basiernd auf Faktorenanaylse
Reliabiltität über Summe Faktorladungen auf einen gemeinsasmen Faktor
omega meist etwas höher als alpha
Axiome KTT
Axiom = als gültig anerkannter Grundsatz
in KTT
- Messwert betsteht aus warem Wert und Fehler
- Erwartungwert des Fehlers ist null
- Fehler sind unkorreliert
Implikationen
- aus diesen axiomen lassen sich alle formeln der KTT ableiten
- Nachteile gegenüber stochastische Definition:
- keine präzise definition wahrer wert vs. fehler
- keine differzenzierung zwischen definitionen (sind nach zweck und unzweckigmäßig, nicht wahr bzw falsch differnziert),, mathematischen konsequenzen können durch definition nie falsch sein, annahmen (zusatzannehmen) notwendig können aber halt falsch sein
Kritik an der KTT
- Axiome sind empirisch nicht prüfbar
- is bei axiomen halt net angebracht, zusatzannhamen lassen sich aber auch prüfen (SEM)
- Annahme absollute Stabilität von True-Score nur bei kurzen Messinvervallen vertretbar
- is nur bei retest methode das problem, soll man halt andere reliabilitätsschätzungs methoden nehmen
- KTT setzt mind. Intervallskalenqualität der Testscores voraus
- das stimmt laut mathematik nicht
- REliabilitätsschätzungen sind stichprobenabhängig (-> problem gernerelisierbarkeit/ verindlichkeit)
- ja true aber wir können uns an mögl. repräsentativen stichproben versuchen
- gruppenstat. lassen sich nicht auf einzelfall übertragen, true score diagn. einzelfall unbekannt
- ist leider so und lässt sich halt nur annähern, reliabiltitskoeffizient als heuritische abschätzung der messgaunigkeit
=> zwar einige wenige theoretische schäwchen aber tests nach ktt entwickelt haben sich bewert
Einfluss von Gütekriterien
- Gütekriteren für messwerkzeuge werden an Normstichproben errechnet
- sie geben für mess/testwerkzeige an, wie dieses insgesamt in dieser stichprobe misst (also wie reliabel/ valide etc.)
- generell GÜltigkeit dieser Zahlen abhängig von: Übereinstimmung Einzelfalltestung mit Normerhebung
- Manualadhärenz: also wurde test so angeweandt/ ausgewertet wie in normstichprobe
- passt einzelfall zu erhobener normstichprobe
=> bedenke: gütekriterien geben nur an, wie der test über viele messungen hinweg im schnitt funktioniert, bestimmungen zum einzelfall sind also nicht direkt mögl., daher immer genaue planung testsituation notw.
Einzelfallmessungsprobleme
- bestimmung reliabilität abhängig von unsystematischen einflüssen (e.g. situative einflüsse, stichproben)
- bestimmung validität stichproben, stiuationsabhängig (e.g. muttersprache oder nicht)
- variation zwischen und innerhalb einzelfälle (also ob war reliabel + valide ist) (e.g. individuelle temperatursensitivität, testängstlichkeit, müdikgeit, nervosität)
=> guter test bringt nicht automatisch gute ergbenisse, diagnostiker*innen sollen passung normstichprobe und einzelfall prüfen + störquellen minimieren
einzelne Testungen + Konfidenzintervalle
- einzelne Testungen erklauben keine Trennung von True-Score und Fehlervarianz
- sehr plausinel, dass wahrer wert nicht dem ermittelten entspricht -> eher darum herum -> daher notw. Konfidenzintervall
- bei einer einzelnen Testung fehlen allerding die Daten für Konfidenzintervall Berechnung bw. Definition
- wir tun also so, als würden wir n-mal testen
- gemessener testscore = mittelwert intervall
- normstichprobenstatistik = streuung/ fehelrbereich definition
- hypothetische testwert verteilung entsteht = konfidenzintervall
- "mit x% whkt. liegt mittelwert der n-maligen testungen zwischen grenzen des KI"
Konfidenzintervalle
- Regressionsmethdoe schätzt wahren Wert der Person auf Basis gesamtverteilt
- wahrer wert = reliabilität x beobachtung + mittelwert x (1-reliabilität)
Kofidenzintervall mit Schätzer
- schätzer für standardmessfehler
- Set: standardmessfehler (sx + wurzel(rtt x (1-rtt))
- sx : standardabweichungavon x
- bei standardsmessfehler nicht restets reliabiiltät, da sonst auch mangelende stabilität enthalten ist
Kritik Konfidenzintervall
- nur problemverschiebung
- kein schätzer für intraindivid. testscore verteilugn: testscore könnte extrem typisch o. untypisch sein, nfache hypothetische ziehung behandelt den dadruch aber wie nen mittelwert
- wir wissen also ismmer noch nicht was der true score ist (bei einmaliger testung)
also wir können zwar anwenden und ahaltspunkte haben aber so richtig gut kann man da keine aussage/ schlüsse draus ziehen
rel. sagt uns also net wie gut wir einzelffalltestung trauen können, aber dafür halt wie gut wir dem test als mittel grundlegend trauen können
Diagnosen und Testscores
einzelne testergebnisse lassen sich nicht direkt in Diagnosen übersetzen -> einzelne diagnosen + konstrukte oft mit anderen korrel. (oft starke kovariate wie medis, verfälschungsabsichten, komorbiditäten)
- häufig items, die keine direkten daognsekriterien abfragen, redundant zueinander sind (beeinflussung summenscores obwohl irrelevant)
- redundante items erhöhen rel. wichtigeit einzelner bereiche/ symptome
- meist dichotome symptombestimmung aber intervallskalierte einordnung in symptomtest
- einzelfälle passen dudrch komorbiditäten nicht zu normstichproben, eventuell führt dies zu fehleinschätzungen
- summenscores zeigen ausprägung eines zielkonstrukts an, nicht, woher die ausprägung kommt
gesetzliche Rahmenbestimmungen psychologische Diagnostik
- Schutz der Vertraulichkeit (datenschutz)
- Zeugnisverweigerungsrecht -> Psycholog*innen nicht, therapeut*innen schon
- offenbarungspflicht bei zu erwartenden schweren straftagen
- Personalfragebögen benötigen zustimmung betriebsrat
- Heilkunde benötigt erlaubnis
Spannugnsfeld psycholigsche Diagnostik
- technische Rahmenbedingungen
- soziale Rahmenbedingungen
- wirtschaftl. Rahmenbedingungen
- kulturelle Rahmenbedingungen
diagnostischer Abklärungsprozess
- Anmeldung
- Erstgespräch
- ggf. gespräch mit bezugsperson(en)
- klassifikatorische Differentialdiagnostik/ klinisches Interview
- problembezogene standardisierte psychodiagnostik
- differentielle indikationsstellung
- therapieangebot
Therapieprozess: therapie, therapieabschluss
Katamnese: längfristige erfolgsbewertung
Wortbedeutung Diagnostik
genau erkennen, bemerken, unterscheiden
jurist: entscheiden
sich entscheiden, beschließen
historische definitionen diagnostik
- Wellek: methodenlehre im dienste der praktischen psychologie
- dieterich: ziel, personen richtig zu beurteilen
- hörmann: ziel zu erfahren, wie menschen sich voneinander unterscheiden
- leichner: ermittlung interindividueller differenzen von personen unter standardisierten bedingungen: erleben, verhalten
moderne definition diagnostik
- eine methodenlehre für angewandte psychologie
- ziel: interindividiuelle merkmale + veränderungen inkl. rel. bedingungen erfassen
- präzise verhaltensvorhersagen + eventl. veränderungen
zentrale Teilaspekte der Diagnostik
- genaue Messung der Psyche (eigenschaft, zustand)
- prognose über psyche auf basis eigenschaft, zustände + Entscheiden & maßnahmen ableiten
Probleme psychologischer Messungen
- subj. verschiedene ergebnisse, generell eher ungenau und ggf. falsch
- konstrukt/ messgegenstand sowie messlatte nicht direkt beobachtbar
- oft nicht objektiv, nicht immer reliabel (zufälle beeinfllussen=, validität (manchmal wird was ganz anderes gemessen)
Grundvoraussetzungen psychometrischer Tests
- differenzierung
- standardisierung
- objektivität
- reliablität
- validität
Differenzierung
- max. unterschied in diagn. relev. verhalten
- funktion nicht differenzierter items: eisbrecher, übungsitems, verschleierung messintention
- differenzierbarkeit erhöht durch mittelere itemschwierigkeit -> Itemanalyse
Standardisierung
determinanten des verhalten sind testinstruktion, situative bedingung, persönlichkeitsmerkmale
standardisierung -> konstanthaltung situative bedingungen
gefördert durch: gleichheit material, instruktion, genaue anl. zu durchführung + auswertung
Arten der Objektivität
- durchführungsobjektivität
- auswertungsobjektivität
- interpretationsobjektivität
Vorgehensweise bei Testkonstruktion
- Problemstellung, Planung, Literaturrecherche, abreitsdefinition
- Generierung Items (Konstruktionsprinzipien)
- Datenerhebung 1 - Erste Erprobung Stichprobe
- Datenanalyse 1 - Itemanalyse / Auswahl
- Datenerhebung 2
- Datenanalyse 2
- Testeichung: Datenerhebung & Datenanalyse 3
Konstruktionsprinzipien
Generierung Itemsatzes
- Rationale Kosntruktion
- Externale Konstruktion
- Induktive Konstruktion
- Prototypenanasatz
- > Itempool
Itemanalyse
Datenanylse 1
- Schwierigkeit
- Trennschärfte
- Homogenität
- < vorläufige Testform
Hauptgütekriterien
Datenenalyse 2
- Objektivität
- Reliabilität
- Validität
- > TEstendform
Rationale Methode
= Rationale Konstruktion, deduktive Methode
- Ausgangspunkt Eigenschaftstheorie
- Konstrukte theoriegeleitet definiert, spezifiziert, differenziert
- mögl. Ableitung indikative Verhaltensweisen aus Konstrukten
- Skalenvalidierung erfoderlich
Bsp. Rationale Methode
- wechselr intelligenztestt für erwachsene (WAIS)/ Kinder (WISC)
- kreativitätstest guilford
- manifest anxiety scale/ MAS von taylor
- Beck Depression Inventory
Projektive Verfahren
Sonderfall der rationalen Methode
=> projektion unbewusster konflikte/ Prozesse/ motive auf mehrdeutige/ unbewusste Testvorlagen -> interpretation/ bewusst machung
- theoretischer Hintergrund: Tiefenpsychologie, v.a. Psychoanalyse -> mainly unbewusste psychodynamische Prozesse -> direktes Befragen bring irreführende Antworten
- Messung unbewusste Motive/ Konflikte/ Prozesse
- freie ASsoziation, Traumdeutung etc. aufwändig -> projektive Tests gute alternative
- e.g. Picture Frustration Test
P.S implizite Tests (e.g. IAT) ähnl. Ideen
Externale Methode
= externale Konstruktion, kriteriumsbezogene Methode
- Ausgangspunkt Vorliegen verschiedener Personengruppen (testenwt. für klassifikation dieser)
- theoretische Reflexion Merkmalsausprägung ist überflüssig
- problem. siehe bspw. ätiologie schizophrener störungen
- Itempool möglst. groß, inhaltl. breit gefächert
- auswahl items, die emp. gut diskriminieren
- Kreuzvalidierung skalen erforderl.
- skalen strenggenommen nur für differenzierung von gruppen -> für einzelpersonen nur whkt. ob sie zu gruppe gehören mögl.
- nicht mögl.: dimensionale Interpretation wenn Gruppen = distinkte Klassen, inhalt. Interpretation
-
- 1 / 89
-
Cartes-fiches
Interpretation der Homogenität
- Skala soll homogen sein -> ein spezi./ eng umschriebenes Merkmal soll erfasst werden, je größer H umso homogener ist die Skala
- Skala soll heterogen sein -> breites Merkmal/ Spektrum von Verhaltensweisen soll erfasst werden -> je kleiner H, desto heterogener ist die Skala
Zusammenhang Trennschärfe und Homogenität
- trennschärfe und homogenitätindize hängen von interkorrel. der items ab
- trennschärfe: korrel. itemscores mit mittl. scores anderer items
- homogenität: mittl. korell itemscore mit anderen itemscores
- algebraische abhkt. trennschärfe und homogenität
- pos. korrell
- sie sind essentiell dasselbe: trennschärfe ist eine funktion der itemhomogenität
Zusammenhang Schwierigkeit und Streuung
standardabweichung/streuung dichtotomes Items is nur funktion seiner Schwierigkeit
std(x) maximum ist bei mittlerer itemschwierigkeit (P=50)
Zusammenhang Schwierigkeit und Trennschärfe
- mittelre schwierikgiet + trennschärfe
- mittlere werte (P=50) bedeuten max. streuung der itemscores
- ausreichende streuung ist praktische vorraussetzung für hohe korrelationskoeefizienten -> ohne variation variable keine kovariation
- mittlere schwierigkeit begünstigen hohe Trennschärfe und Homogenität (garantieren aber nicht)
- extreme/ unterschiedl. schwierigkeit + trennschärfe
- extreme werte = geringe streuung itemscore -> vermindert meist korrell
- unterschiedl. werte meist nicht mit hohen pos. interkorrelationen vereinbar
- => verhindern hohe trennschärfte + homogenität
Zusammenhang schwierigkeit und trennschärfe, homogenität
meist umgekehrt u-förmig
trennschärfe/ homogenität y, schwierigkeit x
Grundregeln Itemselektion
- Schwierigkeitsindex mögl. breite streuung (differenzierung auch in randbereichen)
- trennschärfeindex mögl. groß bei allen items (jedes item trägt zur differenzierung möglst. viel bei)
- unterschiedl. schwierigkeiten -> niedr. iteminterkorrel -> niedrige trennschärfe => gegenseitiges ausschließen möglst. hoher indice
=> items mit niedr. trennschärfe weg, mit hoher trennschärfe beibehalten
=> itemselektion anhand SELEKTIONSKENNWERT
Selektionskennwert
- oben: je größer trennschärfeindex desto größer wird selektionskennwert, items mit großer trennschärfe werden bevorzugt
- unten: je extremer schwierigkeit desto kleiner wird standardabweichung und desto größer selektionswert, items mit extremer schwierigkeit werden bevorzugt
- stabw.: Std(x) = wurzel pq
=> Selektionsregel: item mit größeren selektionskennwert wird behalten
Gütekriterien
- keine verbindl. Kriterien zur Beurteilung von Tests
- aber Kriterienkatalog des Testkoratoriums der Föderation Deutscher Psychologenverbände
- Kriterein zu Testgrundlagen (e.g. theoretische Grundlagen, Nachvollzieharkeit der konstruktion)
- Kriterien zur Testdurchführung (e.g. durchführungsobj., transparenz, zumutbarkeit)
- Kriterien zur Testvrewertung (e.g. auswertugnsobjektivität, zuverlässigkeit, gültigkeit)
- Kriterien zur Testevaluation (e.g. ökonomie, fairness, vergleichbarkeit)
- Kriterien zur äußeren Testgestaltung (e.g. verständlichkeit des testmanuals + der testmaterialien)
Beispiele Gütekriterien (formen)
- DIN 33430 (zur eignungsbeurteilung, normwierung bewerberauslese durch leistungstests, verbraucherschutz)
- hauptgütekriterien -> objektivität, reliabilität, validität
- Nebengütekriterien -> normierung, testfairness
Definition
= Ausmaß, in dem Ergebnisse eines Tests unabhängig von Person der Untersuchungsleiters sind
Formen der Obejtkivität
- Durchführungsobjektivität
- Auswertungsobjektivität
- Interpretationsobjektivität
=> kann in verschiedenen Phasen der Testung gefährdet sein, also in Durchführung/Auswertung/Interpretation (bspw. durch unterschiedl. Instruktionen, unterschiedl. Launen des Testletiers/ Auswerters/ Gutachters)
Maßnahmen zur Sicherung Objektivität
- maximale Standardisierung der Testsituation
- testmaterialien, zeitvorgaben
- identische instruktion (schriftl. Vorgabe oder auswendig gelernt)
- regeln, wie auf nachfragen oder störungen reagiert wird
- minimale soziale interaktion zw. testleiter und testperson
- max. standardisierung der testauswertung
- interpretation mittels statistischer Regeln
- ermittlung individ. position proband in population anhand von normtabellen
=> quantitative Bestimmung
- jeder proband mit selben verfahren, auswertung, interpretation von unterschiedl. testleitungen
- objektivität durch mittlere korrell. testergebnisse zwischen testleitungen
- unterscheide zw. testleitungen/ subjetkitves findbar durch mittelwertsvergleiche, intraklassen korrelation
- Praxis
- mehrfach wiederholte testdurchführung bei desnelben probanden kaum sinnvoll tho
- darum selten quantiative angaben
- bewertung objektivität anhand von plausibilitätserwägung
Ziel der Reliabilität
- wie viel systematische unterschiede sind in messung
- wie viel unsystematische varianz/ fehler
Stochastisfche Formulierung der KTT
KTT = klassiche Test theorie
- Ausgangspunkt: zufallsvariable für eine person -> intraindividuelle verteilung = unsystematische varianz
- true score = wahrere wert der person, wir gehen davon aus dass es den gibt, ist also bedingter erwartungswert von der person
- fehlerwerte: abweichung der testwert Yi vom True-Score
True Score Variable
geht bei gruppe von personen, also das bei jeder person ein anderer wert ist (+ halt messfehler)
Formel Fehlerwerte
Konsequenz Fehlervariable
- True-Score Variable wird als Regression TEstvariablen Yi auf Personen U aufgefasst
- i ist hier ein Laufindex über personen
- testvariable Yi lässt sich additiv in true score und fehlervariable zerlegen
- Fehler ist also abweichen von einer Regressionsgerade
- Erwartungswert Residuum = 0 (is bei Regressionen halt einfach so)
- vorhergesagter wert und residuum korrelieren zu 0/ covarianz zwischen true score und messfehler ist 0 (is halt auch einfach so wegen regressionsrechnung)
- manchma gibt es so mini faktoren die beeinflussen halt die messergbnisse, aber halt die validität nicht die reliabilität -> also da können anteile mit drin sein die korreliert sind mit true score, das is kein problem für reliabiltiät nur für validität, also sie wollen nur systematische Varianz isolieren
zerlegte Varianz Tesetvariable Yi
die varianz lässt sich auch zerlegen, also varianz die auf den true score fällt und die die auf fehler fällt
Reliabilitätskoeffizient
= anteil der varianz einer testvariabe Yi, der auf die varianz der true score variable zurückgeführt werden kann
- reliabilitätskoeffizeint hängt von zwei faktoren ab
- varianz true-score-variable = stichprobe
- varianz der fehlervariable = test
- reliabilität ist keine eigenschaft eines tests, sondern die eigenschaft einer zufallsvariable, aber in praxis spricht ma obv vom Test
- zur Berechnung braucht eig man Varianz der True-score-variable -> is aber halt nie bekannt -> darum muss man die schätzen (siehe Messmodelle)
Reliabilität ist also nur schätzbar
Schätzproblem
- eckig: tatsächlich gemessen
- kreis: latent, psychologische konstrukte, true score
- pfeil: direkter einfluss, ohne extra zahl: 1, also vollständigese eingehen
- problem: varianz true score und varianz e nicht bekannt -> gleichung mit zwei unbekannten -> lösung: erweiterung zufallsexperiment: doppelte Messung
Doppelte Messung
- jeder wird zweimal gemssen, jeder messwert hat eigenen true-score wert + eigenen messfehler -> dementsprechende varianzzerlegung
- dadurch halt neues problem näml. mehr unbekannte größen als bekannte größen
- bekannt, berechenbar: var y1, y2, cov (y1,y2)
- unbekannt: var true 1, 2, var e 1, 2
- Annnahme: beide true scored identsich, wodurch gleichungen einfacher werden weil true score nicht mehr t1 und 2 ist sondern nur t, und dadurch sind variablen additiv
- Annahme: fehler sind untereinander unkorreliert -> also cov (ee1, e2) = 0e
- dadurch wird var(t) berechbar
- covarianz (t+e1, t+e2) -> cov (t,t) + cov (t, e2) + cov (e1, t) + cov(e1, e2) -> cov (t,t) + 0 + 0 +0 -> var(t)
=> die varianz des true-scores ist die kovarianz beider variablen
Modell essentiell t-äquivalenter Variablen
= ergebnis von allem was wir eben gemacht haben, eines der beliebtesten Testmodelle
- resultierend aus definition+konseqzenten der KTT + zufallsexpereiemmtn/doppelte Messung
- Annahme: t1 = t2 =: t
- Annahme: cov (e1, e2) = 0
=> wichtigste konsequenz reliabilitätschtäzung
arten der doppelten Messung
- restest methode (wdh. messung mit selbem test)
- paralleltest-methode (messungen mit 2 paralleln tests)
- Testhalbierungs-methode (halbierung der tests)
retest Methode
= zweimal mit exakt demselben test
- hierbei annahme absolute zeitl. stabilität des true scores + keine testwiederholungs effekte
- unkorell fehler -> annahme probanden spezif. fehler wdh. sich nicht, fehler nicht systematisch bzgl. personen
- Problem: wenn sich true-score unsystemisch verändern, reduzieren sich die Kovarianzen -> var (t) kleiner-> rel(yi) wird unterschätzt
- Problem: wenn sich true scores systematisch ändern, erhöht sich kovarianz >1 + Y2 -> var (t) größer -> rel (yi) überschätzt
- falls doch pos. korrel zw. messungen (e.g. probandenspezf. fehler) -> kovarianz ergebnisse höher -> korrel. fehler gehen in var(t) ein -> auf true score zurückgehende var. wird überschätzt -> rel (y) wird fälschl. erhöht -> und es gibt auch noch nen validitätsproblem weil net mehr nur das agewollte gemessen wird
Zeitintervall Dilemma:
- mögl. lang um erinnerungs- übungseffekte zu meiden (gut bei traits)
- mögl. kurzes um wahre veränderungen des messendes merkmals zu verhindern (gut bei states)
- wahl je nach was gemessen wird etc.)
=> besonders gut bei persönlichkeitstest da sehr hohe stabilität, bei leistungstest eher problematisch
Paralleltest Methode
= jeder proband wird mit zwei parallelen formen des tests untersucht
- Annahme: beide tests messen exakt denseben true score
- Annahme: unkorrelierte fehler -> probanden spez. fehler wiederholen sich nicht, fehler sind nicht systematisch bzgl. personen
- Problem: unsystematische unterschiede true score zwischen test (also sie messen nicht esxakt dasselbe) -> kovarianz zwischen Y1 und Y2 (testergebnissen) reduziert sich -> var(t) unterschätzt -> rel (y) wird untersschätzt
- auch bei parallel tests können übungs und lerneffekte auftreten
- bei pos. korrel. fehler (also wegen person) -> fehler in true score var -> var(t) falsch höher -> rel falsch höher -> außerdem wieder validitätsproblem
- bspw. durch fehler übertragung (also der eine wirkt sich auf den rest aus), situative faktoren etc.
bei Entw. paralleler Teste zu beachten
- gleiche mittelwerte
- gleiche stabw.
- korrel. nahe 1
- is aber schwierig, besonders bei eng begrenzten eigeschaften, items begrenz, meist gibt es halt keine streng parallele testformen
- Ausnahme: reine speed tests -> ähnl. oder identisch zwischen tstes -> derselbe test kann paralleform aufgefasst werden, also hier retest=paralleltest (bspw. d2)
- aufteilungsmethoden: spit-half, odd-even-split, random split, über itemkennwerte
Testhalbierungs-Methode
= untersuchung einmal mit einem Test, items wurden auf test hälften eingeteilt
- Annahme: beide testhälften messen exakt denselben true score
- .unkorrel. fehler
- falls nicht derselbe true score gemessen wird weniger kovarianz zw. Y1 und Y2 -> unterschätzung var(t) und rel(y)
- schätzung reliabiltitä der testhälften -> man brauch aber halt reliabilität des gesamten tests ->hochrechnung reliabität für gesamten test (siehe spearman-brown formel) (siehe unten)
- beide Testhälften müssen äquivalent sein
Bewertung: störfaktoren lassen sich ausschließen (schwankung motivation, stimmung, aufmerksamkeit, wahre veränderung des merkmals, störfaktoren), methode kommt isntrummenteller Messgenauigkeit sehr nahe
bsp: panas, skala PA, odd-even-split
Testhalbierung bei Speed
- unproblematisch mit items und itemkennwerten (e.g. d2 Test)
- Testscore = anzahl gelöste Items
- Probem: übgl. aufteilungsmethoden lassen sich nicht anwenden
- Lösung: halbierung nach Testzeit (aber ermüdungseffekte)
Spearman-Brown-Formel
- bei schätzung reliabiltitä mit testhalbierungsmethode muss rel. des gesamten Testscores mit Spearman Brown Formel hochgerechnet werden
- kann auch verwendet werden um herauszufinden wie viele items der test brauch damit der testscore eine bestimmte reliabilität hat
- nach k auflösen: k = Rel(s)*(1-Rel(y)) / Rel(Y)*(1-Rel(s))
- k * anzahl items = neue anzahl items benötigt
Phrophecy formula
allg. form spearman brown formel
vorraussetzugn. zugefügte testteile sind homogen, äquivalent zum bestehenden Test
Begriffe je nach Testmethode
- Reliabilität durch Retest Korrelation / auch Teststabilität -> "retest reliabilität", "wiederholugnsreliabilität"
- aufpassen: zeitl. stabilität ist nicht gleich reliabilität
- reliabilität durch paralleltest-korrelation -> "paralleltest-reliabilität"
- reliabiabilität durch korrel testhälften (um spearman brown korrigiert) -> split-half-reliabilität
sprachgebrauch ist irreführend weil er verschiedene formen der reliabilität suggestiert, aber es gibt nur einen reliabilitätskoeffizienten, die schätzmethoden sind nur anders
Modell t-kongenerischer Variablen
(HERLEITUNG: bei modell essentiell t-äquivalenter variablen -> hier geht man ja davon aus das true scores exakt gleich beeinflussen und das is halt normalerweise net so realistisch dass der true score 1 also voll eingeht)
- nach definition + konseequenzen der KTT
- Annahme: es gibt beta1 und beta 2, sagen wie doll es eingeht
- auch hier zwei messungen nötig (siehe methoden zuvor)
Strukturgleichungsmodelle
= prüft verträglichkeit annahmen mit empirischen Daten
- Vorraussetzung für strenge prüfung: mind drei Y-Variablen
- strukturgleichungen: formeln übereinander geschrieben, erst nur messungen, dann aussagen über datenstruktur (siehe beispiel für 4 Messungen)
- mit dem modell kann man eigentl. fast alles prüfen
- man nutzt strukturgleichungen
- prüft ob modellparameter satz vorliegt -> kann man für var truescore + var fehler werte finden die mit emp. daten in einklang sind
- modellparameter in strukturgleichungen einsetzen -> implizierte kovarianzmatrix (basis: modellparameter und pfaddiagramm also strukturmodell)
- abgleich implizierte kovarainmatrix mit beobachtete kovarianzmatrix (also abgl. mathematischer daten und erhobene daten)
- über maximum likelihood schätzung: immer wieder neue parameter einsetzen bis eine minimale diskrepanz erreicht ist -> das is der finale modellparameter datensatz und entschiedet dann obs nah genug ist
- wenn man ende immer noch stat. bedeutsame diskrepanz kann man das theoretische modell verwerfen
Theore des geplanten Verhaltens (ajzen, madden)
- warum zeigen menschen nicht genau das verhalten was sie gerne würden
- verhalten ist folge von absicht/ intention/ verhaltenskontrolle
- absicht/intention hängt von einstellungen, normen, verhaltenskontrolle ab
- Modelltest
- nullhypothesentest
- also annahme dass die modell these den erhobenen daten entspricht
- also alternativ entschiedung
- zusätl. modellevulation mit passungsgüteindixes
- (goodness of fit index gfi. adjusted goodness of fit index agfi, comparative fit cfi, root mean square error of approximation rmsea - also wie viel varianz bleibt übrig - je kleiner umso besser)
Konsisntenzanalyse
erweiterung der testhalbierungs-methode
- test wird in so viele teile aufgeteilt wie er items hat, also jedes item eigener testteil
- korrel. zwischen alle items für schätzung der reliabiliätt der items -> hochrechnung der rel. des ganzen test
- annahme: alle items messen dieselbe true-score-variable, sind konsistent (konsistenzmaße)
Aggregation der Items
- wie sieht die Varianz von Items und Summenscores überhaupt aus? (S = Y1 + y2 + ...)
- für Varianz des Testscores S gilt: siehe foto, varianz der items + kovarianz der items
- Bedeutung der Konsistenz der Items
- hoch: alle messen etwas sehr ähnl., cov(yi,yj) großer anteil var(s), summecov(Yi, Yj)/Var(S)=groß
- niedrig: alle items messen etwas anderes, cov(yi,yj) kleiner anteil var(s), summecov(Yi, Yj)/Var(S)=klein
- Var(S) = varianz summen variable
- daraus erigbt sich Konsistenmaß
Konsistenzmaß
anteil der kovarianz der items an der varianz des testscores
einfaches Konsistenzmaß
- hochgerechnete standartisierte Kovarianz der Items
- standardisierte kovarianz = korrelation
- konssitenmaße -> schätzer der reliabilität des testscores -> untere schranke der reliabilität
K-R-Formula 20
- kuder und richardson (1937)
- für dichotome items, ausgangspunkt konsistenzmap kon(yi)
- pq bei einer durchführung
- p = schwierigkeitsgrad = Nr/N = P/100
- q = 1-p
- einführung eines korrekturfaktors m/(m-1), wobei m azahl der items
Cronbachs alpha
für itnervallskallierte Daten
inkl. korrekturfaktor (m/m-1) -> mit summe ist nicht alles an varianz drin (also die systematische Varianz)
sumem varianzen aller items geteilt durch summenscore
McDonalds Omega
basiernd auf Faktorenanaylse
Reliabiltität über Summe Faktorladungen auf einen gemeinsasmen Faktor
omega meist etwas höher als alpha
