Test

• Sie sind für die meisten Situationen grundsätzlich sinnvoll
• Sie sollen als Orientierungshilfen dienen
• ABER: es gibt Situationen, in denen die Richtlinien nicht sinnvoll sind und angepasst werden müssen

• Man soll mehr wissen, als der einfache Testanwender

• Insbesondere auch über die Grenzen der Interpretation von Testwerten

• Standards for Educational and Psychological Testing

• Richtlinien für internationales Testen und Testübersetzungen

• Richtlinien für computer- und internetbasiertes Testen

• Richtlinien zur Testnutzung und Standards zur Qualitätskontrolle

• DIN 33430

• Berufsordnung der Föderation der Schweizer Psychologinnen und Psychologen (FSP)

• Ziel ist die Sicherstellung eines fundierten und ethischen Gebrauchs von Tests
• Sie sollen eine Grundlage für die Qualitätssicherung der praktischen Anwendung von Tests bieten

• Grundlagen = beziehen sich auf Testkonstruktion, Evaluation und Dokumentation wobei die Validität die wichtigste Rolle spielt

• Funktionsweisen = Hinweise zur Item und Testentwicklung und auch zur Testevaluation, -interpretation und Vorschläge zur Dokumentation

• Testanwendung = eine Reihe von Beispielen wie man in psychologischen oder erziehungswissenschaftlichen Testungen vorgehen sollte

Problemen, die durch die Testübersetzung auftauchen, soll hiermit begegnet werden

• 1) Übersetzung = Test soll aus der Originalsprache in die Zielsprache übersetzt werden (von einer Person die muttersprachlich die Zielsprache spricht)

• 2) Rückübersetzung = der übersetzte Test soll aus der Zielsprache zurück in die Originalsprache übersetzt werden (von einer Person, die muttersprachlich die Originalsprache spricht)

• 3) Synthese = die beiden Versionen (Original und Rückübersetzung) werden verglichen

   

• Das Vorgehen ist geeignet für wörtliche Übersetzungen

• Die Richtlinien gehen hierrüber hinaus

• Die Richtlinien zur Testübersetzung gehen über eine wörtliche Übersetzung hinaus:
  • Zwei Tests sollen schlussendlich dasselbe Konstrukt erfassen
  • Statt nur wörtlich zu übersetzen, sollen auch kulturelle Aspekte beachtet werden
• Man spricht daher von einer Test-Adaptation nicht von einer Übersetzung

Das Ziel war eine Reihe von international entwickelten und anerkannten Richtlinien zu erarbeiten, die fachlich kompetente Praxis beim computerbasierten (CBT) und internetgestützten Testen beleuchten; das Bewusstsein aller am Testvorgang Beteiligten dafür zu schärfen, was fachlich kompetente Praxis ausmacht

• Testentwickler

• Testanwender

• Testverlage

• Technologie
• Qualität
• Kontrolle
• Sicherheit

• Die Formulierung von Anforderungen an die Kompetenzen von Personen, die psychologische Tests einsetzen

• Kompetenzen sind: Wissen, Fertigkeiten, Fähigkeiten und weitere Charakteristiken

• Professionelle und ethische Standards beim Testen

• Berücksichtigung der Rechte der Testpersonen (und weiterer betroffener Personen)

• Begründete Wahl von Testverfahren und Abwägung von Alternativen

• Angemessene Testdurchführung, -auswertung und -interpretation

• Schreiben von Gutachten und Rückmeldungen an Auftraggeber und Testperson

• Testauswertung und Analyse sowie Testbericht sollen effizienter, präziser und akkurater gemacht werden
• -> Ergänzung der Richtlinien zur Testnutzung

• Berücksichtigung relevante Qualitätsstandards in Organisation/Land

• Berücksichtigung der involvierten Personen

• Berücksichtigung der vorhandenen Ressourcen

• Anforderungen und Erwartungen der verschiedenen Personengruppen

• Professionalität der am Prozess beteiligten Personen und Atmosphäre

• Unabhängiges Monitoring und Qualitätskontrollen

• Mögliche Fehler bei Dokumentation und Gutachten

• Umfasst den gesamten diagnostischen Prozess (vgl. Standards zur Qualitätskontrolle)
• ABER: die DIN bezieht sich auf diagnostische Prozesse in der Eignungsdiagnostik, nichtmehr auf allgemeine diagnostische Prozesse

• Prozess

• Verfahren

• Personen

• Umfassendes psychologisches Wissen im relevanten Anwendungsfeld

• Wissen über diagnostische Möglichkeiten und Verfahren

• Korrekte Durchführung
• Korrekte Auswertung
• Korrekte Interpretation
• -> Setzt ein Grundverständnis der Verfahren voraus

• Testtheoretische Grundlagen

• Die richtige Interpretation der Genauigkeit der Ergebnisse -> Vertrauensintervalle

• Die richtige Interpretation der Bedeutung der Ergebnisse -> Validität

• Die richtige Einbettung der Ergebnisse in die Gesamtheit der erhobenen Informationen -> Gutachten

• = Die Homogenität einer Aufgabe ist der mittlere Grad, mit dem sie mit allen übrigen Testaufgaben interkorreliert
• Hohe Korrelation zwischen Items ist in der KTT ein Indikator dafür, dass alle Aufgaben dasselbe Konstrukt messen

• Es wird eine lokale Stufe betrachtet, d.h. einzelne Items
• Es ergeben sich Punktschwärme
• Es ergibt sich kein offensichtlicher Zusammenhang -> das Konstrukt lässt keine Unterschiede mehr zu

• Konsequenz: mangelnde Aussagekraft der Items

• Wenn mangelnde Homogenität besteht, kann man wenig über das aussagen, was man eigentlich messen wollen würde.

• Beispiel: State/Trait-Anxiety-Inventory -> manche Items messen Trauer, andere Ängstlichkeit, demnach kann ein mittlerer Wert auf der Skala durch hohe Ängstlichkeit aber auch durch hohe Depressivität zu Stande kommen.

• Die Itemhomogenität dient der Validität der Skala
• und der Validität der Aussage, die mit der Skala getroffen wird

• Wenn Items etwas vollständig anderes erfassen und ihre Beantwortung vollkommen unabhängig ist.
• Überprüfung: die Verbundwahrscheinlichkeit ergibt sich dann direkt aus der Multiplikation der Randwahrscheinlichkeiten.
• WICHTIG: im Rahmen der IRT will man, dass zwei Items dasselbe messen, man will also dass sie etwas gemeinsames erfassen (der Zusammenhang soll auf ein variierendes latentes Merkmal zurückgeführt werden!)

• Zusammenhänge sollen auf ein latentes variierendes Merkmal zurückgeführt werden können
• Gibt es keine Variation, soll es auch keinen Zusammenhang geben -> lokale stochastische Unabhängigkeit
• Überprüfung: wenn die Verbundwahrscheinlichkeiten gleich der Multiplikation der Randwahrscheinlichkeiten sind, sind zwei Items voneinander unabhängig.

• Wenn lokale stochastische Unabhängigkeit gegeben ist, kann man von Itemhomogenität ausgehen.
• Zusammenhänge zwischen Items können eindeutig auf das zu erfassende Merkmal zurückgeführt werden

Rechtfertigung für Skalierung (Nebengütekriterium) -> Skalenwert kann gebildet werden

«Ein Test erfüllt das Nebengütekriterium der Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbilden.»

• In der IRT werden Antworten auf Items stärker mit dem dahinterliegenden Konstrukt in Verbindung gebracht

• IRT geht von stochastischen Zusammenhängen aus, nicht von korrelativen

• in der IRT wird die Eindimensionalität von Items explizit sichergestellt

• Die Wahrscheinlichkeit für das richtige Lösen (xvi = 1) eines Testitems (= Verhalten) ergibt sich aus der Funktion des Personenmerkmals (xv = Fähigkeitsparameter) und des Situationsmerkmals (σi = Itemschwierigkeitsparameter).

• Über deterministische Modelle

• Über probabilistische Modelle