Bodeneffekte

Es existiert ein wahrer Testwert (true score) τvi als Erwartungswert einer Messung x_vi:

τ_vi = E (x_vi)

τ_vi = wahrer Wert (true score) einer Person v im Item i eines Tests
x_vi = Meßwert einer Person v im Item i eines Tests
Erwartungswert E = Mittelwert einer theoretischen Verteilung

Ein beobachteter Meßwert x setzt sich zusammen aus einem konstanten wahren Wert τ und einem zufälligen Fehlerwert ε.

x_vi = τ_vi + ε_vi

ε_vi = Meßfehler der Messung mit Item i an Person v

Der zufällige Fehlerwert ε ist die Differenz zwischen beobachtetem Testwert x und dem wahren Wert τ einer Person. Er repräsentiert alle unkontrollierbaren, unsystematischen (!) Störeinflüsse:

ε_vi = x_vi – τ_vi

Bekannte Größe in Axiom 1 und 2: beobachteter Wert x_vi
Unbekannte Größen in Axiom 1 und 2: wahrer Wert τ_vi und Fehlerwert ε_vi (Fehlervarianz σ²), können aus den Beobachtungen nicht direkt erschlossen werden, sind aber schätzbar

Aus der Kombination von Existenz- und Verknüpfungsaxiom ergibt sich, daß der Erwartungswert des Zufallsfehlers εvi gleich null ist:
E (ε_vi) = 0

Auch Summe und Mittelwert der Fehler sind gleich null

Der Erwartungswert des Testwertes einer Person (Summe aller Items eines Tests) ist der wahre Wert (Summe der wahren Werte der Items)

E(x_v) = τ_v

Meßfehler und wahrer Wert korrelieren nicht systematisch miteinander („Nullkorrelation“):

Corr (τ_vi, ε_vi) = 0

Die Höhe des Meßfehlers ε ist unabhängig vom wahren Ausprägungsgrad τ des getesteten Merkmals

Die Meßfehler einzelner Items und Personen sind unkorreliert

Die Meßfehler der Messungen mit den Items i und j von derselben Person v sind unabhängig voneinander:

Corr (ε_vi, ε_vj) = 0

Die Meßfehler der Messungen mit demselben Item i von den Personen v und w sind unabhängig voneinander:

Corr (ε_vi, ε_wi) = 0

Meßgenauigkeit eines Tests

Varianz eines Meßwertes:

Reliabilität eines Tests ist definiert als der Anteil der Varianz der wahren Testwerte an der Varianz der beobachteten Testwerte:

Fehlervarianz ist definiert als der Anteil der Fehlervarianz an der Varianz der beobachteten Testwerte:

Reliabilität als Quotient aus der Varianz der wahren und der beobachteten Werte

Wenn der Testwert von Personen bei wiederholter Messung immer gleich ist und/oder die Rangreihe immer gleich ausfällt; in der Praxis sind wiederholte Messungen jedoch selten realisierbar

Behelfslösung: Test-Test-Korrelation rtt, parallele Messungen erlauben Schätzung der
Reliabilität

Zur Beurteilung, wie gut die Schätzung des wahren Wertes ist, wird die Meßfehlervarianz bzw. Reliabilität benötigt

Damit ist die Berechnung des Standardmeßfehlers möglich, der es erlaubt, ein Konfidenzintervall um den beobachteten Wert zu bilden

In diesem Bereich befindet sich der wahre Wert mit der zuvor bestimmten Wahrscheinlichkeit

Definition Standardmeßfehler SMF: Anteil an der Standardabweichung eines Tests, der zu Lasten seiner Unreliabilität (1 – Rel) geht.

Standardabweichung der Verteilung der zufälligen unsystematischen Meßfehler um den wahren Wert

Formel

Eigenschaften:

• Standardmeßfehler für alle Personen gleich
• Je größer die Reliabilität, desto kleiner der Standardmeßfehler

kennzeichnet den Bereich eines Merkmals, in dem sich 95% (bzw. 99%) aller möglichen Populationsparameter befinden, die den empirisch ermittelten Stichprobenkennwert erzeugt haben könnten.

Die angenommene Irrtumswahrscheinlichkeit meist 5%, sodaß z_α/2 = 1.96 bei zweiseitiger Fragestellung

Je geringer der Standardmeßfehler, desto größer die Reliabilität und desto schmaler das Konfidenzintervall

Standardmeßfehler erlaubt es, den Vertrauensbereich zu schätzen, innerhalb dessen bei gegebenem beobachtetem Wert (Meßwert) der wahre Wert liegt:

Streuung in eine Richtung mal zwei

+ KTT hat sich in der Praxis bewährt, über 95 % der Testverfahren beruhen auf ihr
+ ökonomisch und praktisch

- reine Meßfehlertheorie
- setzt Intervallskalierung voraus
- Grundannahme (x = τ + ε) ist nicht empirisch überprüfbar
- der wahre Wert wird idealtypisch als invariant betrachtet
- Eindimensionalität kann nicht nachgewiesen werden
- keine Stellungnahme zur Konstruktvalidität
- Kennwerte stichprobenabhängig

• Test-Retest-Reliabilität (Testwiederholung)
• Paralleltest-Reliabilität (dieselbe Personenstichprobe bearbeitet zwei ähnliche Testversionen)
• Split-half-/Testhalbierungsreliabilität (Items werden nachträglich in zwei Testhälften geteilt)
• Interne Konsistenz/Cronbachs alpha (jedes Item wird als eigenständiger Testteil betrachtet, Verallgemeinerung der Split-half-Reliabilität)

Ausmaß, in dem bei denselben Vpn und mit demselben Test die Ergebnisse mehrerer Messungen miteinander korrelieren (Autokorrelation)

• Kovarianz wird als Schätzung der wahren Varianz gedeutet
• Produkt der Standardabweichungen wird als Schätzung der beobachteten Varianz gedeutet
• Voraussetzung: Testwert- und Fehlervarianz konstant
• Anwendung bei Speedtests und Persönlichkeitstests (bei stabilen Merkmalen)

Zeitaufwendig und teuer

Einflußfaktoren

• Testabstand (Retest-Intervall)
  • falls zu kurz, höhere Wahrscheinlichkeit für Carry-over-Effekte
  • falls zu lang, sind Merkmalsveränderungen möglich
• Carry-over-Effekte (Transfereffekte)
  • Gedächtniseffekte
  • Übungs- und Lerneffekte

Merkmalsfluktuation:

• iedrige Reliabilität, wenn das Merkmal nicht stabil ist, aber: kein Einfluß auf Retest-Reliabilität bei systematischer Merkmalsveränderung (Linien verlaufen parallel von 1. Testzeitpunkt zu 2. Testzeitpunkt)

Korrelation zwischen Test A und seinem Paralleltest B bei denselben Probanden (!)

Anwendung bei Power-/Niveautests und Speedtests, für Persönlichkeitstests zu aufwendig zu konstruieren

Korrelation der beiden Tests:

Test A und B sind äquivalent

• Gleiche Testwertvarianz
• Gleiche Fehlervarianz
• Das gleiche Merkmal wird mit der gleichen Genauigkeit (Reliabilität) und der gleichen Validität gemessen

Schwierigkeit, einen äquivalenten Test zu konstruieren

• Deskriptive Überprüfung, ob die wichtigsten Kennwerte äquivalent sind: Verteilungskennwerte (Mittelwerte, Varianzen, Kovarianzen) sowie Reliabilität und Validität der Einzeltests
• Besser: konfirmatorische Faktorenanalyse

Einflußfaktoren:

• Carry-over-Effekte vermindert, dennoch Übertragen von Lösungsprinzipien möglich: Testvorgabe ausbalancieren, Gruppe 1 erst Test A, dann Test B, Gruppe 2 umgekehrt
• Item-Unterschiede: dasselbe Merkmal mit ähnlichen, aber nicht identischen Items messen
• Testabstand: sollte eher kurz sein
• Reliabilität der einzelnen Testformen

Reliabilität kann nur so hoch sein wie die Reliabilität der einzelnen Tests oder Testformen

Maximal mögliche Korrelation zwischen zwei Tests/Merkmalen

Falls einer der beiden Tests weniger reliabel wäre, würde die Reliabilität der Parallelformen niedriger werden, und die tatsächliche Reliabilität der Testformen würde unterschätzt

Es ist möglich, daß die Paralleltest-Reliabilität niedriger ausfällt als jede der beiden Testformen

Korrelation zwischen zwei Hälften desselben Tests bei denselben Vpn

• Vorgabe eines einzigen Tests (einmalige Durchführung)
• Bildung von zwei Testhälften
• Bildung eines Test-Scores je Vp und Testhälfte
• Korrelation der zwei Test-Scores

Anwendung oft bei Speedtests, wenn Retest- und Paralleltest-Reliabilität unpraktisch sind

• Zufällig (bei homogenen Items)
• Itemzwillinge (bei heterogenen Items)
• Odd-even (Item 1 in Test A, Item 2 in Test B usw.)
• Aufteilung nach Testzeit (Vpn sollen markieren, wieviele Items sie geschafft haben, Aufteilung nach gleicher Testzeit)

Korrelation der Testhälften
Spearman-Brown-Korrektur

Aufwertung der Korrelation (weil jede Hälfte nur die halbe Aussagekraft des ganzen Tests hat; Halbtestkorrelation entspricht nur der Reliabilität eines Tests halber Länge, Reliabilität wird geringer bei niedrigerer Itemanzahl)

ohne Korrektur wird die Reliabilität bei der Split-half-Methode unterschätzt

• Ausmaß, in dem eine Vp alle Items in gleicher Weise beantwortet
• Erweiterung der Split-half-Reliabilität
• Ein Test wird in so viele Teile wie Items zerlegt, jedes Item wird als Testteil betrachtet

• Ausmaß, in dem eine Vp alle Items in gleicher Weise beantwortet
• Erweiterung der Split-half-Reliabilität
• Ein Test wird in so viele Teile wie Items zerlegt, jedes Item wird als Testteil betrachtet

Berechnung des mittleren Split-half-Koeffizienten

Vorgehen: Vorgabe eines einzigen Tests, einmalige Durchführung

Berechnung: verschiedene Konsistenzkoeffizienten, die aber alle auf Interitem-Korrelationen basieren; am häufigsten verwendet: Cronbachs alpha