Testtheorie und Fragebogenkonstruktion

Merkmalsausprägungen (z.B. kategoriale Variablen) mit Abstufungen.

Kennwert zur Identifizierung „nicht trennscharfer“ Items bei der Latent-ClassAnalyse.

Eine Eichstichprobe ist eine repräsentative Stichprobe von Probanden, die zur Normierung eines Testverfahrens eingesetzt wird.

Verzerrung des Ergebnisses, die dadurch entsteht, dass Probanden die Neigung haben, Antwortmöglichkeiten unabhängig vom Inhalt zuzustimmen.

Definition im Moosbrugger: Mit Akquiszenz bezeichnet man die Antworttendenz, auf Aussagen (Statements) unabhängig vom Inhalt eher mit Zustimmung zu reagieren.

Testkonstruktion
Testanalyse
Testauswertung
Testinterpretation.

Ein adaptiver Algorithmus ist ein Regelsystem, welches beim adaptiven Testen die Itemauswahl zu Beginn und während des Tests regelt, sowie Kriterien der Testbeendigung spezifiziert.

Eine spezifische Aufgabenform, aus mehreren vorgegebenen Antwortalternativen die richtige Antwort auszuwählen.

Der Teil der Grundgesamtheit, der – da bekannt und zugänglich – als Erhebungsgrundgesamtheit verwendet wird.

Eine Korrelation von Variablen über Messzeitpunkte hinweg, die eine Interdependenz aufeinander folgender Beobachtungen aufzeigt.

Badness of fit: Maße der Anpassungsgüte, die den Grad der Nicht-Übereinstimmung zwischen einem theoretischen und einem empirischen Modell anzeigen. Hohe Maßzahlen sprechen für eine schlechte Anpassung.

Goodness of fit: Maße der Anpassungsgüte, die den Grad der Übereinstimmung zwischen einem theoretischen und einem empirischen Modell anzeigen. Hohe Maßzahlen sprechen für eine gute Anpassung. 

In Persönlichkeitstests wird häufig der Grad der Zustimmung oder Ablehnung zu einer im Aufgabenstamm vorgelegten Aussage (Statement) als Indikator für die Ausprägung des untersuchten Persönlichkeitsmerkmals herangezogen.

Mögliches Antwortformat: Stufenantwortaufgaben

• Kontinuierliche Analogskala ohne konkrete Skalenstufen
  z.B visuelle Analogskala: Beantwortung des Items, indem an einer Stelle der Skala ein Kreuz gesetzt wird.
• Diskret gestufte Ratingskala mit konkreten Skalenstufen
  Nicht mehr wie sieben Stufen sonst Informationsverlust
  Antworttendenzen sind zu berücksichtigen z.B. bei wenige Antwortkathegorien ist die Tendenz zum extremen Urteil weniger ausgeprägt.
   

1. Skalenstufen (viele oder wenige Skalenstufen)
2. Polarität der Antwortskala:  unipolar oder bipolar? 
3. Skalenpunkte (Numerische Ratingskala, Verbale Ratingskala, Optische Skala und Symbolskala, Kombinierte Skala)
4. Soll die Skala eine neutrale Mittelkategorie haben oder nicht? 
5. Soll es eine "weiß nicht"- Kategorie geben? 
6. Können auch asymetrische Beurteilungsskalen eingesetzt werden? 

Unipolar: Die Skala hat einen "Nullpunkt" bzw. einen Bezugspunkt, der das geringste Ausmaß der Zustimmung kennzeichnet sowie einen positiven Pol, der die stärkste Zustimmung kennzeichnet
oder umgekehrt: Die Skala hat einen "Nullpunkt" bzw. einen Bezugspunkt, der das geringste Ausmaß der Ablehnung kennzeichnet sowie einen negativen Pol, der die stärkste Ablehnung  kennzeichnet.

Bipolar: Bei einer bipolaren Skala reicht der Zustimmungsbereich/Ablehnungsbereich von einem positiven Pol, der eine starke Zustimmung ausdrückt , über einen Indifferzbereich zu eine negativen Pol, der eine starke Ablehnung ausdrückt.
 

• Kontinuierliche Analogskala ohne konkrete Skalenstufen
  z.B visuelle Analogskala: Beantwortung des Items, indem an einer Stelle der Skala ein Kreuz gesetzt wird.
• Diskret gestufte Ratingskala mit konkreten Skalenstufen
  Nicht mehr wie sieben Stufen sonst Informationsverlust
  Antworttendenzen sind zu berücksichtigen z.B. bei wenige Antwortkathegorien ist die Tendenz zum extremen Urteil weniger ausgeprägt.

Hier werden die Stufen mit Zahlen markiert.

Merke: Die Anwendung einer numerischen Skala stellt jedoch nicht sicher, dass die Gleichheit der Abstände zwischen den Skalenpukten auch gleichen Abständen im Urteil des Probanden entspricht.

Nachteil: Die Wahl der Numerierung kann eine Verschiebung der Antworten verursachen.
Skala: -2 bis 2 oder 1 bis 5

Alle Skalenpunkte werden mit Worten bezeichnet.

Vorteil: Interpretation der Skalenpunkte erfolgt intersubjektiv einheitlicher. (Der Probant braucht sich nicht vorstellen, was sich hinter den einzelnen Punkte verbirgt)
Die Testpersonen sind zufriedener, wenn nicht nur die zwei Extremwerte, sondern auch weitere verbale Beschreibungen aufweisen.
Nachteil: Es ist schwierig, Beschreibungen zu finden, welche äquidistante Abstände zwischen den Skalenstufen gewährleisten.

Optische Skalen und Symbolskalen unterliegen keinen subjektiven Schwankungen hinsichtlich der Bedeutung sprachlicher Bezeichnungen, wie dies bei rein sprachlichen Formaten der Fall ist.

Oft werden die verschiedenen Skalenbezeichnungen miteinander kombiniert. Von einer Vermengung einer verbalen mit einer numerischen Skala erhofft man sich Vorteile der beiden Formate. Es ist dabei zu beachten, dass die verwendeten Bezeichnungen möglichst genau mit den Zahlen korrespondieren sollen. So sollte man bspw. eine 5-stufige Intensitätsskala von »nie« bis »immer« nicht mit dem Zahlenschema von -2 bis +2 kombinieren, da dies die Eindeutigkeit der Interpretation absenkt; angemessen wären 0, 1, 2, 3, 4.

Eine neutrale mittlere Kategorie wird nicht ausschließlich im Sinne einer mittleren Merkamlsausprägung benutzt.

• Ausweichoption bei unpassendem Wortlaut
• Ausweichoption, wenn die Frage nicht verstanden wird
• Ausweichoption, wenn die Antwort verweigert wird
• Ausweichoption, wenn man die Antwort nicht weiß
• Motivierten Probanten vermeiden die Kategorie
• Probanten glauben, dass die mittlere Kategorie von "typischen/normalen" Personen angekreuzt wird und antwoten bewusst anders 
  
  => Konfundierung (Vermischung, Vermengung) des interessierenden Kostrukts mit einem kostruktfremden Antwortverhalten -  kann zu Validitätsproblemen und somit zu einer Verzerrung in der Interpretation der Befunde führen.
  
  Fazit: alle Argumente sprechen gegen eine neutrale Mittelkategorie

Die »Weiß-nicht«-Kategorie vermindert das Problem der neutralen Mittelkategorie (s. o.), da den Probanden nun explizit die Möglichkeit einer Ausweichoption gegeben ist. Die neutrale Mittelkategorie kann nun ihre Funktion als Mitte der Beurteilungsskala erfüllen und muss nicht mehr wegen Schwierigkeiten in Aufgabenverständnis, Antwortvermeidung, geringer Motivation oder Erschöpfung bei zu langen Tests etc. gewählt werden.

Psychologische Tests bedienen sich dieses Formats selten, wohl aber Fragebogen in der Marktforschung und in der Kundenzufriedenheitsforschung. Z. B. werden Schokolade- und Pralinenprodukte meist so positiv bewertet, dass symmetrische bipolare Beurteilungsskalen nur unzureichend in der Lage wären, Differenzen in der Bewertung unterschiedlicher Marken aufzudecken.

1. Quantitativ vs qualitative Merkmale
2. Unidimensional vs. multidimensionale Merkmale
3. Zeitlich stabile vs. zeitlcih veränderbare Merkmale (siehe State-Trait-Ärgerausdrucks-Inventar "STAXI")

Zeitlich stabile vs. zeitlich veränderbare Merkmale: Ein Beispiel für einen Test, in dem beide Arten von Merkmalen erhoben werden, ist das »State-Trait-Ärgerausdrucks-Inventar« (STAXI) von Schwenkmezger, Hodapp und Spielberger (1992) – ein Verfahren zur Messung von vier dispositionellen Ärgerdimensionen (Traits) sowie der Intensität von situationsbezogenen Ärgerzuständen (States).

1. Intuitive Konstruktion:

• Theorielos
• Intuition und Erfahrung
• Zu Beginn neuer Forschungszweige

2. Induktive Konstruktion:
Induktion ist eine Form des Schlussfolgerns, die aus dem Speziellen auf allgemeine Zusammenhänge schließt (psycholexikalischer Ansatz -> Big Five Persönlichkeitstests)

3. Rationale Konstruktion:
Methode der Deduktion - Welche Aufgabenvariablen haben Einfluß auf die Itemschwierigkeit? -> Schwierigkeits-Konstituenten

4. Externale/Kriteriumsorientierte Konstruktion:
Durch welche Items werden Gruppen unterscheidbar? => Items sollen das gewählte Kriterium geeignet vorhersagen

• Eignungstest: geeignet/nichht-geeignet
• Integritätstest: vertrauenswüdig-nicht-vertrauenswürdig
• Klinische Tests (z.B. MMPI): Ähnlichkeit zu Gesunden / zu Personen mit klinischer Diagnose

5. Internale/Faktorenanalytische Konstruktion
Ziel: Strukturbildung in großen Itemsammlungen, für die bereits Daten vorliegen

• Explorative Faktorenanalyse: Welche Faktoren reproduzieren die Zusammenhangsstrukur einer Korrelationsmatrix der Items?
• Welche theoretischen Schlußfolgerungen lassen sich aus einer Faktorenstruktur ziehen? (Vgl. z.B. die Diskussion um den g-Faktor in der Intelligenztest-Entwicklung.)
• Clusteranalyse: mathematisch-statistisches Konzept von ähnlichen Items / Aufgaben

Welche Aufgabenvariablen haben Einfluß auf die Itemschwierigkeit? -> Schwierigkeits-Konstituenten

Rationale Itemkonstruktion: Zunächst wird die latente Fähigkeit inhaltlich bestimmt, um dann entsprechend Faktoren festzulegen, die bei den Items entsprechend schwierigkeitserzeugend wirken könnten. Aus der Kombination dieser Faktoren wird schließlich ein Konstruktionsrational gebildet, anhand dessen Items mit ’bestimmbarer’ Schwierigkeit erzeugt werden können. => >Konstruktion eines Matrizen-Tests

Antworttendenzen

• Tendenz zur Mitte
• Tendenz zum extremen Urteil
• Tendenz zu Beschönigung bis Verfälschung z.B. Soziale Unerwünschtheit

• Itemschwierigkeit
• Itemvarianz
• Itemtrennschärfe

Der Schwierigkeitsindex P_i eines Items i ist der Quotient aus der bei diesem Item tatsächlich erreichten Punktsumme aller n Probanden (Nenner) und der maximal erreichbaren Punktsumme aller n Probanden bei diesem Item (n ⋅ max(x_vi) multipliziert mit 100 => Je größer P_i , desto leichter das Item!

Der Schwierigkeitsindex Pi hat einen Wertebereich von 0 bis 100.
P_i = 0: Kein Proband das Item gelöst hat (Leistungstest) bzw. in Sinne des Kriteriums geantwortet hat (Persönlichkeitstest
-> Hohe Itemschwierigkeit
P_i = 100: Alle Probanden haben das Item gelöst (Leistungstest) bzw. in Sinne des Kriteriums beantwortet (Persönlichkeitstest)
-> Niedrige Itemschwierigkeit

Wenn die minimal erreichbare Punktzahl nicht null ist, dann wird P_i wie folgt bestimmt:

Die Rechnung spricht für ein eher schwereres Item!

=> Eher leichtes Item!

• Grundsätzlich sind Items mit mittlerer Schwierigkeit (Pi = .50) zu bevorzugen, da sie am besten zwischen unterschiedlichen Merkmalsausprägungen differenzieren können
• Sehr leichte oder sehr schwere Items werden entweder von fast allen oder fast keinem Probanden gelöst keine bzw. geringer Informationsgehalt in Hinblick auf Unterschiede zwischen Probanden
• Dennoch können einige Items mit hohen oder niedrigen Schwierigkeiten in einem Test zweckmäßig sein, um auch im unteren oder oberen Merkmalsbereich zu differenzieren

Die Varianz \(σ\)²(x_i) eines einzelnen Items gibt an, wie stark die Antworten auf dieses Item in der Stichprobe streuen (Zur Erinnerung: Die Varianz einer Variablen ist die durchschnittliche quadrierte Abweichung der einzelnen Werte vom Mittelwert)

• Nur ein Item, auf das Personen unterschiedlich antworten, kann zur Messung von Unterschieden zwischen Personen beitragen
• Die Itemvarianz hängt mir der Itemschwierigkeit zusammen
• Eine Varianz von \(σ\)²(x_i) = 0 würde bedeuten, dass alle Personen auf ein Item gleich geantwortet hätten
• Die Zahlenwerte der Itemvarianz hängen von der jeweiligen Antwortskala ab
• Die Werte sind daher für sich genommen wenig aussagekräftig, können aber im Vergleich verschiedener Items aufschlussreich sein
• Itemvarianz wird eher nicht für die Itemselektion verwendet

• Wichtigster Itemkennwert im Kontext der klassischen Testtheorie
• Liefert eine Einschätzung, wie gut ein Item zwischen zwei Personen mit niedriger und hoher Merkmalsausprägung trennt.
• Die Trennschärfe ri_it eines Items i drückt aus, wie groß der korrelative Zusammenhang der Itemwerte x_vi mit den Testwerten x_v ist, die aus sämtlichen Items des Tests gebildet werden.
• Zur Berechnung der Trennschärfe wird über alle n Probanden hinweg der Zusammenhang des Items i mit dem Testwert x_v bestimmt rit = r(x_vi, x_v).