M7 3418 FUH

• gilt als erster ausgearbeiteter Persönlichkeitstest in Fragebogenform (stimmt nicht ganz: 1906-1909 Heymans & Wiersma, 1915 Lankes)
• zur Selektion von geeigneten Soldaten in den USA für den 1. WK (viele waren psychisch dem Kampf nicht gewachsen); Einzelinterviews waren viel zu aufwändig geworden
• Interviews sollten einfach schriftlich stattfinden, mit den standardmäßig gestellten Fragen und ja/nein-Antworten → Itemliste mit 116 Fragen
• viele andere Fragbögen wurden davon abgeleitet, z.B. der bekannteste überhaupt: MMPI

Wortassoziationstest:

• eingeführt von Jung (1910)
• zur Registrierung emotionaler Reaktionen
• Standardliste mit Wörtern, Proband soll auf jedes Wort spontan das erste Wort erwidern, das ihm einfällt
• Weg zu "Komplexen" einer Person, also zu unbewussten Gedanken
• Zögern, Herzrate, Schwitzen zeigen eine veränderte Reaktion auf einen eigentlch normalen Reiz

Rorschach-Test:

• 1921
• das Verfahren an sich war bereits gut bekannt
• Probanden sollen bei Tintenkleksbildern sagen, was sie erkennen
• Rorschach limitierte die Bilder auf 10 Tafeln und stellte ein formales Auswertungsschema auf und stellte die Deutungen in Beziehung mit Persönlichkeitsmerkmalen
• laut Rorschach selbst kein projektiver sondern ein Wahrnehmungstest

1. Objektivität
2. Reliabilität
3. Validität
4. Skalierung
5. Normierung (Eichung)
6. Testökonomie
7. Nützlichkeit
8. Zumutbarkeit
9. Unverfälschbarkeit
10. Fairness

Ein Test ist dann objektiv, wenn er dasjenige Merkmal, das er misst, unabhängig von Testleiter, Testauswerter und von der Ergebisinterpretation misst. 

• Durchführungsobjektivität
• Auswertungsobjektivität
• Interpretationsobjektivität

• liegt vor, wenn das Testergebnis nicht davon abhängt, welcher Testleiter den Test durchführt
• Standardisierung: genaue Anweiseungen bzgl. Testmaterial, Zeitbegrenzungen, Instruktionen, Umgang mit Fragen
• Standardisierung ist dann optimal, wenn die Testperson die einzige Variationsquelle ist
• andere Variablen (z.B. Versuchsleitereffekte) beeinflussen die Testleistung unkontrolliert und gefährden die interne Validität → deshalbt möglichst keine Interaktion zwischen Testleiter und Testperson, computerbasierte Testdurchführung ist gut

• ist gegeben, wenn das Testergebnis nicht von der Person des Testauswerters abhängt
• bei Multiple-Choice-Aufgaben problemlos zu erreichen
• bei offenem Antwortformal lind detaillierte Auswertungsregeln notwendig
• messbar im Grad der Übereinstimmung die von verschiedenen Testauswertern bei der Auswertung einer bestimmten Testleistung erreicht wird
• statistische Kennzahl: z.B. der "Konkordanzkoeffizient W" nach Kendall

• liegt vor, wenn verschiedene Testanwender bei Testpersonen mit demselben Testwert zu denselben Schlussfolgerungen kommen
• Hilfestellung im Testmanual (Normentabellen) zum Vergleich mit relevanten Bezugsgruppen

Ein Test ist dann reliabel (zuverlässig), wenn er das Merkmal, das er misst, exakt (d.h. ohne Messfehler) misst. Formal ist die R. definiert als der Anteil der wahren Varianz an der Gesamtvarianz der Testwerte. Die wahre Varianz bemisst dabei die Merkmalsstreuung der "wahren" Testwerte, der verbleibende Anteil kommt aufgrund des Messfehlers zustande (="Unreliabilität")

Das Ausmaß wird über den Reliabilitätskoeffizienten erfasst; nimmt Werte zw. 0 und 1 an; 1 = Freisein von Messfehlern, 0 = Ergebnis ausschließlich durch Messfehler zustande gekommen; Koeffizient bei einem gutem Test sollte 0.7 nicht unterschreiten

• Retest-Reliabilität
• Paralleltest-Reliabilität
• Testhalbierungs-Reliabilität
• Innere Konsistenz

• derselbe Test wurd zu zwei verschiedenen Zeitpunkten vorgelegt
• Reliabilität = Korrelation zwischen den beiden Testergebnissen
• ermittelte Korrelation kann variieren, je nachdem wie viel Zeit zwischen den Tests lag (Übungs- & Erinnerungseffekte, ein veränderndes Persönlichkeitsmerkmal)
• Veränderungen der Testwerte können als "Spezifität" mittels Latent-State-Trait-Modellen identifiziert und berücksichtigt werden

• "Königsweg" zur Eliminierung/Kontrolle von reliabilitätsverändernden Einflüssen
• Korrelation zwischen den beobachteten Testwerden wird in zwei parallelen Testformen berechnet, die aus inhaltlich möglichst ähnlichen Items bestehen
• 2 Testformen sind parallel, wenn sie trotz identischer Itemstichproben zu gleichen Mittelwerten und Varianzen der Testwerte führen

• wenn Retest und Paralleltest nicht gehen (Testperson kann nicht zweimal kommen, Verzerrung durch Wiederholung zu hoch, nicht genug Items für parallele Tests)
• Test wird in zwei möglichst parallele Testhälften geteilt und die Korrelation der beiden Testhälften wird bestimmt
• Korrekturfaktor sollte berücksichtigt werden, um die verminderte Split-Half-Reliabilität wieder wieder auf die ursprüngliche Testlänge hochzurechnen (z.B. Spearman-Brown-Formel)

• Verallgemeinerung der Testhalbierungsmethode
• Jedes Item eines Tests wird als eigenständiger Testteil betrachtet
• je stärker die Testteile untereinander positiv korrelieren, desto höher ist die interne Konsistenz

Ein Test gilt dann als valide (gültig), wenn er das Merkmal, das er messen soll, auch wirklich misst und nicht irgendein anderes. 

• wichtigstes Gütekriterium (Objektivität & Reliabilität sind nur Voraussetzungen für Validität)
• hohe Validität erlaubt eine Generalisierung des beobachteten Verhaltens auf das zu messende Verhalten in der Realität
• formal: Validität ist Korrelaton der Testwerte mit einem korrespondierenden Verhalten außerhalb der Testsituation
• eine Korrelation reicht nicht aus, daher 4 Aspekte: 

1. Inhaltsvalidität
2. Augenscheinvalidität
3. Konstruktvalidität
4. Kriteriumsvalidität

• Unter Inhaltsvalidität versteht man, inwieweit ein Test oder ein Testitem das zu messende Merkmal repräsentativ erfasst
• Annahme eines Repräsentationsschlusses: die Testitems stellen eine repräsentative Stichprobe aus dem Itemuniversum dar, mit dem dem das Merkmal erfasst werden kann
• nicht numerisch, sondern aufgrund logischer & fachlicher Überlegungen angegeben
• am einfachsten zu klären, wenn die Items einen unmittelbaren Ausschnitt aus dem betroffenen Verhaltensbereich darstellen

• Augenscheinvalidität gibt an, inwieweit der Validitätsanspruch eines Tests vom bloßen Augenschein her einem Laien gerechtfertigt erscheint
• Glaubhaftigkeit, Mitteilbarkeit, Akzeptanz
• Intelligenztests haben hohe Augenscheinvalidität
• aus wissenschaftlicher Perspektive nicht immer zufriedenstellend, da die Validität immer auch empirisch belegt sein muss durch Kennwerte

• bezieht sich auf theoretische Fundierung
• Ein Test weist Konstruktvalidität auf, wenn der Schluss vom Verhalten der Testeperson innerhalb der Testsituation auf zugrunde liegende psychologische Persönlichkeitsmerkmale (Konstrukte/latente Variablen/Traits) aufgezeigt wurde. Die Enge dieser Bezieung wird aufgrund von testtheoretischen Annahmen und Modellen geprüft
• also: misst z.B. ein Intelligenztest wirklich die Ausprägung der latenten Persönlichkeitsvariablen "Intelligenz"?
• 2 Ansätze bei der Beurteilung: Struktursuchendes und strukturprüfendes Vorgehen

• deskriptiv
• Explorative Faktorenanalysen zur Gewinnung von Hypos über die Merkmalsstruktur der Testitems
• innerhalb der einzelnen Merkmale geben die Faktorladungen (wie die Trennschärfekoeffizienten einer Itemanalyse) Auskunkft über die Homogenität der Testitems
• die so gewonnenen Merkmalsdimensionen erlauben eine erste deskriptive Einordnung in ein bestehendes theoretisches Gefüge (hilfreich dabei: Bildung eines nomologischen Netzwerkes)
• nomologisches Netzwerk betrachtet theoriekonforme Zusammenhänge zu anderen Tests: Vergleich hinsichtlich (Un)Ähnlichkeit, dabei wird zwischen konvergenter und diskriminanter/divergenter Validität unterschieden

• konvergent: die Übereinstimmung mit Ergebnissen aus Tests für gleiche oder ähnliche Merkmale
• divergent: die Abgrenzung von Tests für andere Merkmale; Nachweis muss ein Vergleich von relativ konstruktnahen Tests sein

• erlaubt inferenzstatistische Schlüsse bzgl. der Konstruktvalidität
• nur auf Basis von Testmodellen mit latenten Variablen möglich, die eine explizite und inferenzstatistisch überprüfbare Beziehung zwischen zuvor genau definierten, latenten Merkmalen und den manifesten Itemvariablen herstellen
• die in exploratorischen Faktorenanalysen gefundene Struktur kann an neuen Datensätzen mit Konfirmatorischen Faktorenanalysen überprüft werden
• die einzelnen Dimensionen können mit Hilfe von IRT-Modellen konfirmatorisch bzgl. der Homogenität der Testitems inferenzstatistisch überprüft werden werden
• eine weitere konfirmatorische Vorgehensweise der Konstruktvalidierung ermöglichen Multitrait-Multimethod-Analysen im Rahmen latenter Strukturgleichungsmodelle. Dabei wird der Zusammenhang zwischen versch. Merkmalen (traits) unter Herauspartialisierung der Methodeneinflüsse strukturprüfend untersucht

• bezieht sich auf praktische Anwendbarkeit
• Ein Test weist Kriteriumsvalidität auf, wenn vom Verhalten der Testperson innerhalb der Testsituation erfolgreich auf ein Kriterium (nämlich auf ein Verhalten außerhalb der Testsituation) geschlossen werden kann. Die Enge dieser Beziehung ist das Ausmaß an Kriteriumsvalidität (Korrelationsschluss)
• Bsp. Schulreifetest: Kriteriumsvalidität liegt vor, wenn die Kinder, die im Test leistungsfähig sind, sich auch in der Schule als leistungsfähig erweisen
• Überprüfung erfolgt durch Bestimmung der Korrelation zw. Test- und Kriteriumsvariablen
• Übereinstimmungvalidität: Außenkriterium liegt in der Gegenwart vor (konkurrente Validität)
• Vorhersagevalidität: Außenkriterium liegt erst in der Zukunft vor (prognostische Validität)

• betrifft die Forderung, dass sich die Relation der Leistungsfähigkeit auch in den Testwerten widerspiegelt
• bezieht sich sowohl auf interindividuelle als auch auf intraindividuelle Differenzen und auch auf Persönlichkeitstests
• Ein Test erfüllt das Gütekriterium der Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerte die empirische Merkmalsrelationen adäquat abbilden
• Umsetzbarkeit hängt vom Skalenniveau ab: 
• mindestens Ordinalskalenniveau
• Intervallskalenniveau erlaubt zusätzlich die Beurteilung der Größe der Differenzen
• Rationalskalenniveau ermöglicht Bestimmung der Verhältnisse zwischen Testleistungen

• Unter der Normierung eines Tests versteht man das Erstellen eines Bezugssystems, mit dessen Hilfe die Ergebnisse einer Testperson im Vergleich zu den Merkmalsausprägungen anderer Personen eindeutig eingeordnet und interpretiert werden können
• Prozentrangnormen: Prozentsatz derjengen Personen, die im Test beser bzw. schlechter abschneiden als die Referenzleistung in der Eichstichprobe; Pronzentrang kumuliert die in der Eichstichprobe erzielten prozentualen Häufigkeiten der Testwerte bis einschl. zu dem Testwert der gerade interessierenden Testperson
• Standardnormen: Abstand des individuellen Testwerts vom Mittelwert der Eichstichprobe; andere Normwerte als der z-Wert: IQ-Werte, T-Werte, Centil-Werte, Stanine-Werte, Standardschulnoten
• wichtig bei der Normwertinterpretation: Merkmal muss normalverteilt sein

• Ein Test erfüllt das Gütekriterium der Ökonomie, wenn er, gemessen am diagnostischen Erkenntnisgewinn, relativ wenig Ressourcen wie Zeit, Geld oder andere Formen beansprucht
• 2 Faktoren: finanzieller & zeitlicher Aufwand (zeitlich oftmals wichtiger; Vorbereitung, Bearbeitung, Auswertung, Ergebnisrückmeldung)
• Ökonomie ist oft nur im Vergleich mit ähnlichen Tests bestimmbar
• Adaptives Testen: es werden nur diejenigen Aufgaben von der Testperson bearbeitet, die für sie den größten Informationsgewinn mit sich bringen
• Ökonomie kommt erst nach den 3 Hauptgütekritierien!

• Ein Test ist dann nützlich, wenn für das von ihm gemessene Merkmal praktische Relevanz besteht und die auf seiner Grundlage getroffenen Entscheidungen (Maßnahmen) mehr Nutzen als Schaden erwarten lassen
• praktische Relevanz besteht, wenn der Test 1. ein Merkmal misst, das nützliche Anwendungsmöglichkeiten aufweist (→Kriteriumsvalidität) und 2. wenn dieses Merkmal nicht auch mit einem anderen Test erfasst werden könnte, der die restlichen Gütekriterien mind. genauso gut erfüllt

• Ein Test erfüllt das Kriterium der Zumutbarkeit, wenn er absolut und relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende Person in zeitlicher, psychischer sowie körperlicher Hinsicht nicht über Gebühr belastet
• betrifft nur die Testpersonen
• Entscheidung ist im konkreten Fall oft schwierig: was ist unter "Nutzen" zu verstehen? Bsp: Einstellungstests Pilot vs. Sekretärin

• Ein Testverfahren erfüllt das Kriterium der Unverfälschbarkeit, wenn es derart konstruiert ist, dass die zu testende Person durch gezieltes Testverhalten die konkreten Ausprägungen ihrer Testwerte nicht steuern bzw. verzerren kann
• Testpersonen versuchen das Messprinzip zu durchschauen, um sich in gutem Licht darzustellen (Soziale Erwünschtheit)
• Verfälschbarkeit wird begünstigt durch hohe Augenscheinvalidität
• bei Leistungstests unproblematisch
• "Objektive Tests" lassen Testperson über zu messendes Merkmal im Unklaren, gegen Soziale Erwünschtheit

• Ein Test erfüllt das Kriterium der Fairness, wenn die resultierenden Testwerte zu keiner systematischen Benachteiligung bestimmter Personen aufgrund ihrer Zugehörigkeit zu ethnischen, soziokulturellen oder geschlechtsspezifischen Gruppen führen
• Itembias ist zu vermeiden (systematische Benachteiligung durch unterschiedlich schwere Aufgaben für verschiedene Personengruppen)
• Culture-Fair-Tests: sind zur Lösung einer Aufgabe nicht/nicht stark an sprachliche Kompetenz gebunden (ist aber eher ein Ansatz als eine vollkommene Umsetzung)
• Durchführungsfairness: z.B. Rücksicht auf ältere Menschen beim Einsatz von Computern
• Testroutine: unterschiedliche Testerfahrung, Vertrautheit mit Testsituationen

• dient der Qualitätssicherung von Tests
• "Test" wird hier als Oberbegriff verwendet für: Intelligenz- & allgmeine Leistungstests, Persönlichkeitsfragebogen, Objektive Persönlichkeitstests, projektive Verfahren, standardisierte Interviews, Erhebungsverfahren zur Arbeitsplatzanalyse
• Durchführung: 15 Punkte

1. Auswahl des zu rezensierenden Tests erfolgt durch das Testkuratorium (TK)
2. TK beauftragt 2 unabhängige Rezensenten
3. TK stellt Rezensenten des Test & notwendiges Infomaterial zur Verfügung; sichert ihnen bei confidential tests die Vertraulichkeit z.B. wettbewerbsrechtlicher Infos zu 

1. Prüfung, ob die Verfahrenshinweise/Testmanual/Testhandbuch alle für die Beurteilung nötigen Infos enthält; sind die Anforderungen der DIN 33430 erfüllt? "Checkliste 1" sollte bereits durch den Testanbieter ausgefüllt sein und dann überprüft werden → prüffähig/nicht prüffähig
2. Testkategorisierung nach ZPID- und EFPA-System, formale Merkmale werden für Datenbanken angegeben (wenn möglich bereits durch Testanbieter)
3. Eigentliche Beurteilung des Tests; 7 Besprechungs- & Beurteilungskategorien (+ Abschlussbewertung/Empfehlung: frei, max. 2000 Zeichen), für alle eine frei formulierte Bewertung (teilweise mit Formalisierung: erfüllt die Anforderungen voll/weitgehend/teilweise/nicht), max. 1000 Zeichen; auch wenn der Test nicht prüffähig ist, muss er rezensiert werden (zur Begründung der Entscheidung)

1. Allgemeine Informationen über den Test, Beschreibung des Test und seiner diagnostischen Zielsetzung → frei & formalisiert
2. Theoretische Grundlagen als Ausgangspunkt der Testkonstruktion → frei 
3. Objektivität → frei & formalisiert
4. Normierung/Eichung → frei 
5. Zuverlässigkeit (Reliabilität/Messgenauigkeit) → frei & formalisiert
6. Gültigkeit (Validität) → frei & formalisiert
7. Weitere Gütekriterien (Störanfälligkeit, Unverfälschbarkeit, Skalierung) → frei

Der 8. Punkt (Abschlussbewertung) ergibt sich nicht automatisch aus 1.-7.; ist an der diagnostischen Zielsetzung zu messen

5. 4.1-4.3 werden von beiden Rezensenten durchgeführt und die Ergebnisse an das TK geschickt

6. Das TK hebt die Anonymität der Rezensenten auf und bittet beide um eine gemeinsame Fassung

7. Bei Uneinigkeit in einigen Punkten werden beide Positionen dargestellt; bei Bedarf Erweiterung der Maximalzeichenanzahl

8. TK schickt Rezension an den Testautor; Stellungnahme des Testautors; TK entscheidet, ob aufgrund der Stellungnahme um eine Modifikation durch die Rezensenten zu bitten ist; wenn die Modifikation nicht rechtzeitig erfolgt oder die Stellungnahme nicht berücksichtigt, kann das TK Anpassungen vornehmen

9. Testrezensionen werden in "Report Psychologie" & "Psychologische Rundschau" (& evtl. anderen Zeitschriften) veröffentlicht; Nachdrucke müssen die 4 formalisierten Bewertungen enthalten und dürfen keinen irreführenden Eindruck vom Gesamtbild entstehen lassen

10. Autorennennung: Rezensenten in alphabetischer (oder anders vereinbarter) Reihenfolge; anonym: N.N.

11. Link zu den unter 4.2 erarbeiteten klassifikatorischen Angaben

12. Die Rezensenten werden am Jahresende in "Report Psychologie" gennant (außer sie wollen anonym bleiben)

13. Das TK evaluiert regelmäßig das dargestellte System; Rezensenten sind explizit zur Mitwirkung an der Verbesserung des Systems aufgefordert

14. Das TK evaluiert regelmäßig die Ergebnisse der Beurteilungen und publiziert diese Erkenntnisse

15. Das TK dokumentiert alle erstellten Rezensionen und gewährleistet Zugriff darauf; bemüht sich um die Verbreitung