UNIT 2
Kartei Details
| Karten | 72 |
|---|---|
| Lernende | 17 |
| Sprache | Deutsch |
| Kategorie | Psychologie |
| Stufe | Universität |
| Erstellt / Aktualisiert | 19.10.2017 / 30.05.2022 |
| Weblink |
https://card2brain.ch/box/20171019_m6a_wise_1718_fuh_testguetekriterien
|
| Einbinden |
<iframe src="https://card2brain.ch/box/20171019_m6a_wise_1718_fuh_testguetekriterien/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>
|
Validität - Beschreibe die strukturprüfende Vorgehensweise der Konstruktvalidität
diese Vorgehensweise erlaubt es, inferenzstatistische Schlüsse bzgl. der Konstruktvalidität zu ziehen
! nur auf Basis von Testmodellen mit latenten Variablen (IRT-Modelle und latenten Strukturgleichungsmodellen), welche eine explizite und inferenzstatischtisch überprüfbare Beziehung zwischen zuvor genau definierten, latenten Merkmalen und den manifesten Itemvariablen herstellen
- Die in exploratorischen Faktorenanalysen gefundene Struktur kann an neuen Datensätzen mit Konfirmatorischen Faktorenanalysen (CFA) überprüft werden
- Die einzelnen Dimensionen können mit Hilfe von IRT-Modellen konfirmatorisch bzgl. der Homogenität der Testitems eines Tests inferenzstatistisch überprüft werden
- Eine weitere konfirmatorische Vorgehensweise der Konstruktvalidierung ermöglichen Multitrait-Multimethos-Analysen im Rahmen latenter Strukturgleichungsmodelle. Dabei wird der Zusammenhang zwischen verschiedenen Merkmalen (traits) unter Herauspartialisierung der Mothodeneinflüsse strukturprüfend untersucht.
S. 17
Validität - Kriteriumsvalidität Definition
Ein Test weist Kriteriumsvalidität auf, wenn vom Verhalten der Testperson innerhalb der Testsituation erfolgreich auf ein "Kriterium", nämlich auf ein Verhalten außerhal der Testsituation, geschlossen werden kann.
Die Enge dieser eziehung ist das Ausmaß an Kriteriumsvalidität (Korrelationsschluss)
Moosbrugger & Kelava, S. 18
Validität - Was ist bei der Überprüfung der Kriteriumsvalidität zu beachten, welche Schritte sind zu machen?
- ist an keine bestimmte Annahmen gebuchen
- erfolgt in der Regel durch Berechnung der Korrelation zwischen der Testvariablen und der Kriteriumsvariablen
Die Kriteriumsvalidität bezieht sich auf die praktische Anwendbarkeit eines Tests für die Vorhersage von Verhalten und Erleben.
Validität - Worauf bezieht sich die Kriteriumsvalidität?
Die Kriteriumsvalidität bezieht sich auf die praktische Anwendbarkeit eines Tests für die Vorhersage von Verhalten und Erleben.
zB Schulreifest - ist das im Test leistungsfähige Kind auch in der Schule leistungsfähig und umgekehrt
Validität - Was bedeutet die "zeitliche Verfügbarkeit des Kriteriums" im Rahmen der Kriteriumgsvalidität?
Es besteht die Abhängigkeit der zeitlichen Verfügbarkeit des Kriteriums, nämlich ob es bereits in der Gegenwart oder erst inder Zukunft vorliegt, spricht man von
- Übereinstimmungsvalidität (sog. konkurrenter Validität)
= Zusammenhang eines Teswertes mit einem Kritierum von Interesse, das zeitgleich exzistiert
- Vorhersagevalidität (prognostischer Validität)
= es steht die Prognose einer zukünftigen Ausprägung eines Merkmals im Vordergrund
Was sind die Nebengütekriterien?
- Skalierung
- Normierung
- Testökonomie
- Nützlichkeit
- Zumutbarkeit
- Unverfälschbarkeit
- Fairness
Was ist die Skalierung - Definition?
Ein Test erfüllt das Gütekriterium der Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerrte die empirischen Merkmalsrelationen adäquat abbilden.
Skalierung - Worauf beziehen sich die Forderungen der Skalierung?
- die Relation der Leistungsfähigkeit soll sich in den Testwerten widerspiegeln
- interindividuelle Differenzen
- intraindividuelle Differenzen
- in analoger Form auch auf Persönlichkeitstests
Skalierung - Wovon hängt die Umsetzbarkeit des Gütekriteriums ab?
vom Skalenniveau des Messinstruments
- zumindest eine Messung auf Ordinalskalenniveau
- Intervallskalenniveau erlaubt darüber hinaus eine Beurteilung der Größe inter- und intraindividueller Differenzen
- Verhältnisse zwischen Testleistungen können nur uf Rationalskalenniveau bestimmt werden (in der Psy. selten erreicht)
Skalierung - Was ist der Unterschied der Skalierung innerhalb der KTT und der IRT?
KTT
hier können die gelösten Aufgaben zu einem Testwert verrechnet werden
IRT
hier kann die Skalierung überprüft werden, es wird untersucht, ob das Verhalten aller Testpersonen einem ganz bestimmten mathematischen Modell folgt
Normierung/Eichung - Definition
Unter der Normierung (Eichung) eines Tests versteht man das Erstellen eines Bezugssystems, mit dessen Hilfe die Ergebnisse einer Testperson im Vergleich zu den Merkmalsausprägungen anderer Personen eindeutig eingeordent und interpretiert werden können.
Moosbrugger & Kelava, S. 19
Normierung - Was ist der Zweck der Normierung?
möglichst aussagekräftige "Vergleichswerte" von solchen Personen zu erhalten, die der Testperson hinsichtlich relevanter Merkmale ähnlich sind (Alter, Geschlecht, Bildungsstand, ...)
Normierung - Was ist die "Normtabelle"?
sie dokumentiert die Ergebnisse der Testeichung
-> Eichstichprobe sollte aus einer möglichst große und repräsentativen Stichprobe bestehen
Normierung - Was ist die normorientierte Beurteilung?
Die Testergebnisse der untersuchten perosn werden bei der normorientierten Beurteilung in Relation zu den Testergebnissen von Personen aus der Eichstichprobe interpretiert
Nomierung - Beschreibe den Normwert "Prozentrang"
Er kumuliert die in der Eichstichprobe erzielten prozentualen Häufigkeiten der Testwerte bis einschließlich zu jenem Testwert, den die gerade ineressierende Testperson erzielte
Normierung - Was sind die Methoden zur Relativierung eines Testergebnisses?
- Prozentrang (am anschaulichsten)
- Standarnormen (Standardwerte)
- auf Standartwerten aufbauende Normwerte (IQ-Werte, T-Werte, Centil-Werte, Stanine-Werte Standardschulnoten, PISA-Werte
Normierung - Standardnormen - Wie bildet sich der Standardwert?
beziehen sich auf den Abstand des individuellen Testweertes xi vom Mittelwert der entsprechenden Eichstichprobe
Normierung - was ist bei der Interpretation der Normwerte zu berücksichtigen?
- ob das Merkmal in der Population normalverteilt ist
ansonsten können nur Prozentrang werde zur Interpretation herangezogen werden (sie sind nicht verteilungsgebunden)
-> nicht normalverteilte Merkmale können mit der "Flächentransformation" normalisiert werden
Normierung - Was ist der Geltungsbereich der Normtabelle?
der Geltungsbereich der Normtabellen eines Tests sind klar zu definieren dh. die Eichstichprobe muss repräsentativ für die Grundgesamtheit von Personen sein, für die der Test prinzipiell anwendbar sein soll
Normierung - was ist bei Normtabellen zu beachten?
- Geltungsbereich
- sollten nicht veraltet sein (DIN 33430 - zB berufsbezogenen Eignungsbeurteilung - nach spätestens 8 Jahren überprüfen ggf. Neunormierung)
"Normverschiebung AID vs. ADI2" siehe Moosbrugger & Kelava, S. 20
Testökonomie - Definition
Ein Test erfüllt das Gütekriterium der Ökonomie, wenn er, gemessen am diagnostischen Erkenntnisgewinn, relativ wenig finanzielle und zeitliche Ressourcen beansprucht.
Testökonomie - Was beschreibt das Gütekriterium der Testökonomie?
die Wirtschaftlichkeit eines Tests, bestimmt durch die Kosten, die bei einer Testung entstehen
- Aufwand für das Testmaterial
- zeitlicher Aufwand für die Testdurchführung - ist oft gewichtiger als der finanzielle Teil
!!!! unter Kosten minimierung leiden oft Objektivität und Reliabilität
Testökonomie - Was wird alles in die Testzeit einbezogen?
- Zeit der Vorbereitung
- Bearbeitung des Tests
- Auswertung
- Ergebnisrückmeldung
Testökonomie - wie ist dieses Gütekriterium bestimmbar?
Der ERkenntnisgewinn aus dem Einsatz eines Tests muss größer sein als die entstehenden Kosten
- Oft nur im Vergleich mit ähnlichen Test bestimmbar -
Testökonomie - was erleichtert das Erreichen der Ökonomie?
- computerbasierte Tests
- adaptive Tests
Nützlichtkeit - Definition
Ein Test ist dann nützlich, wenn für das von ihm gemessene Merkmal praktische Relevanz besteht und die auf seiner Grundlage getroffenen Entscheideungen (Maßnahmen) mehr Nutzen als Schaden erwarten lassen.
Nützlichkeit - was bedeutet praktische Relevanz?
Der Test misst ein Merkmal, das im Sinne der Kriteriumsvalidität nützliche Anwendungsmöglichkeiten aufweist
Zumutbarkeit - Definition
Ein Test erfüllt das Kriterium der Zumutbarkeit, wenn er absolut und relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende Person in zeitlicher, psychischer sowie körperlicher Hinsicht nicht über Gebühr belastet.
Moosbrugger & Kelava, S. 22
Unverfälschbarkeit - Definition
Ein Testverfahren erfüllt das Gütekriterium der Unverfälschbarkeit, wenn das Verfahren derart konstruiert ist, dass die zu testende Person durch gezieltes Testverhalten die konkreten Ausprägungen ihrer Testwerte nicht steuern bzw. verzerren kann.
Moosbrugger & Kelava, S. 23
Unverfälschbarkeit - was ist mit Verzerrung bzw. steuern durch gezieltes Testverhalten gemeint?
= faking
ist für Testpersonen machbar, wenn das Messprinzip durchschaubar ist (hohe Augenscheinvalidität)
meist geht es um die Soziale Erwünschtheit
bei Leistungstest ist es unproblematisch
bei Persönlichkeitstests ein echtes Problem, sie sind anfällig für die Verzerrung (zB MMPI) beim NEO-PI nur die Skala Neurotizismus anfällig für Soz.-Erw.
Unverfälschbarkeit - wie kann der Verzerrung "soziale Erwünschtheit" vorgebeugt werden?
es können "objektive Tests" eingesetzt werden, bei denen die Testpersonen über das zu messende Merkmal im Unklaren gelassen werden. Sie sind i.d.R. nicht durchschaubar, erschließen die zu messenden Merkmale indirekt.
Fairness - Definition
Ein Test erfüllt das Gütekriterium der Fairness, wenn die resultierenden Testwerte zu keiner systematischen Benachteiligung bestimmter Personen aufgrund ihrer Zugehörigkeit zu ethnischen, soziokulturellen oder geschlechtsspezifischen Gruppen führen.
