Bodeneffekte

Prüfung mit vielen Bodeneffekten...

Prüfung mit vielen Bodeneffekten...


Kartei Details

Karten 323
Sprache Deutsch
Kategorie Berufskunde
Stufe Universität
Erstellt / Aktualisiert 26.05.2013 / 18.08.2013
Weblink
https://card2brain.ch/box/bodeneffekte
Einbinden
<iframe src="https://card2brain.ch/box/bodeneffekte/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>

Was ist Test-Punktzahl?

Summe der Punktzahlen für einen gesamten Test

Was sind Leistungstests?

Welche Formen gibt es?

Speedtests: Geschwindigkeit entscheidend
Power-/Niveautests: Schwierigkeit entscheidend

Beispiele: Entwicklungstests, Intelligenz-T., allgemeine Leistungs-T., Schul-T., spezielle Funktionsprüfungs- und Eignungs-T.

Was sind Psychometrische Persönlichkeitstests?

Deskription: typisches Verhalten (psychische Merkmale) wird erfaßt
Spezialfall: objektive Persönlichkeitstests, z. B. objektiver Leistungsmotivationstest (Vp weiß nicht, worum es im Test geht bzw. was gemessen wird)

Beispiele: Persönlichkeitsstrukturtest, Einstellungs- und Interessen-T., Empfindungs- und Motivations-T., klinischer T.

Was sind Projektive Verfahren / Persönlichkeitsentfaltungsverfahren?

Persönlichkeitsmerkmale werden qualitativ erfaßt
Kein psychometrischer Test!

Beispiele: Formdeuteverfahren (Rorschach-T.), verbal-thematische Verfahren, zeichnerische und Gestaltungsverfahren

Was sind Apparative Tests?

Meistens computerbasiert
Erhebung sensorischer und motorischer Merkmale
Spezialfall: adaptives Testen (Antworten der Vp bestimmen weiteren Testablauf)

Beispiele: Finger-Labyrinth-Test, sensomotorische Koordination, computerbasierte Leistungsund
Persönlichkeitstests

Was ist ein qualitatives Merkmal?

Personen lassen sich bzgl. ihrer Ausprägung mindestens in verschiedene Kategorien einteilen

z. B. Geschlecht: Nominalskalenniveau

Was ist ein quantitatives Merkmal?

Personen lassen sich bzgl. ihrer Ausprägung in graduell abgestufte Merkmalskategorien einteilen

z. B. Ausbildungsjahre: Ordinal-, Intervall- oder
Verhältnisskalenniveau

Was bedeutet Skalierung und Skalenniveau?

Ein Test erfüllt das Gütekriterium der Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbilden.

Leistungstests und Persönlichkeitstests: die Relationen müssen stimmen, je leistungsfähiger eine Person bspw. ist, desto besser muß der Testwert ausfallen

Skalierung bezieht sich auf inter- und intraindividuelle Unterschiede

Bei Persönlichkeitstests versucht man oft, mit numerischen Skalenbeschriftungen eine Intervallskala zu kommunizieren / vorzutäuschen (1: starke Ablehnung bis 5: starke Zustimmung)

Was ist ein unidimensionales Merkmal?

Merkmal umfaßt nur ein Konstrukt (Fragen nur zu einem
Konstrukt, z. B. Arbeitszufriedenheit)

Was ist ein multidimensionales Merkmal?

Merkmal umfaßt mindestens zwei Konstrukte, wird am einfachsten mit einzelnen Subtests/Subskalen erfaßt

Fragen zu mehreren Konstrukten

z. B. Zufriedenheit, Verbindlichkeit, Intimität, Leidenschaft

Was ist der Geltungsbereich bzw. die Anwendungsmöglichkeiten des Tests?

inhaltliche Validität
Kriteriumsvalidität
enger Geltungsbereich testtheoretisch geeigneter

Was gibt es für Testkonstruktionsstrategien?

In der Praxis verwendet man intuitive und rationale Strategien für Testkonstruktion sowie  internale und externale Strategien für Überprüfung

Was beinhaltet eine Intuitive Strategie?

Erfahrungsgeleitete Auswahl
Items werden aufgrund ihrer vermuteten Inhaltsvalidität zu einem Konstrukt zusammengestellt, das theoretisch wenig expliziert ist
v. a. zu Beginn neuer Forschung

Was beinahltet eine Rationale (deduktive) Stratege?

Theoriegeleitete Auswahl
Items werden aufgrund eines theoretisch fundierten und explizierten Konstrukts deduktiv abgeleitet

Beispiel: HAWIK

Welche Vorgehensweise wird bei einer Rationalen Strategie angewendet?

  1. Definition und Spezifikation des zu erfassenden Konstrukts
  2. Generierung eines Itempools
  3. Auswahl durch Expertenratings
  4. Empirische Überprüfung

Was beinhaltet eine Internale/faktorenanalytische (induktive) Strategie?

Empiriegeleitete Auswahl (wie externale Strategie)
Items werden blind-analytisch mittels Faktorenanalyse zu Skalen gruppiert, die empirisch hoch miteinander korrelieren und damit gemeinsam eine Dimension konstituieren = Einfachstruktur

Beispiel: Persönlichkeitsfragebogen von Cattell (lexikalischer Ansatz, Eigenschaftswörter)

Was ist eine Einfachstruktur?

Items korrelieren möglichst gering mit Items anderer Skalen

Welche Vorgehensweise wird bei einer Internalen / faktorenanalytischen Strategie?

  1. Generierung eines großen Itempools mit prinzipiell relevanten Items
  2. Auswertung mittels Faktorenanalyse
  3. Elimination von Items mit zu geringer Ladung oder Mehrfachladungen
  4. Bildung von Subskalen und inhaltliche Deutung
  5. Itemselektion anhand der Itemanalyse

Was beinhaltet eine Externale / kriteriumsorientierte Strategie?

auch empiriegeleitete Auswahl
Items werden aufgrund ihrer Diskriminationsfähigkeit zwischen Mitgliedern verschiedener Gruppen zusammengestellt (und nicht aufgrund ihres Inhalts)
Nutzen ist entscheidend, nicht die Theorie dahinter

Beispiel: MMPI

Welche Vorgehensweise wird bei einer externalen / kriteriumsorientierten Strategie verwendet?

  1. Gruppenbestimmung nach Kriterium
  2. Generierung eines breiten Itempools
  3. Itembearbeitung durch die Gruppen
  4. Auswahl der trennenden Items

Was beinhaltet eine Kombinationsstrategie (rational und internal)?

Beispiel NEO-PI:

latente Variable/Konstrukt: Persönlichkeit

Subskalen der latenten Variablen/des Konstrukts: Neurotizismus, Extraversion, Offenheit für Erfahrung, Verträglichkeit, Gewissenhaftigkeit

beobachtete Variable/Indikator: Items wie „Ich fühle mich oft angespannt und nervös.“

Welche Vorgehensweise wir dbei einer Kombinationsstrategie verwendet?

  1. Literaturstudium
  2. Ableitung von Faktoren (rational)
  3. Entwicklung von Items anhand dieser Definition (rational)
  4. Bestätigung der Faktoren mittels Faktorenanalyse (internal)
  5. Auswahl der besten Items für jeden Faktor per Faktorenanalyse (internal)

Welche Schritte beinhaltet der Testkonstruktionsablauf?

  1. Testplanung
  2. Testentwurf
  3. Erprobung Entwurf
  4. Revision des Tests – Endfassung

Testkonstruktionsablauf:

Was gehört zur Testplanung?

Anforderungsanalyse und Problemstellung
Planung und Literatursuche
Eingrenzung des Merkmals und Arbeitsdefinition
Suche nach bereits existierenden Tests

Testkonstruktionsablauf:

Was gehört zum Testentwurf?

  • Testentwicklung (Zielgruppe, Art der Information, Struktur des Tests, Testlänge und Testzeit, Testadministration (Papier und Bleistift oder computerunterstützt; Gruppen- oder Einzeltestung))
  • Überprüfung des Testentwurfs (erste Pilotierung)

Testkonstruktionsablauf:

Was gehört zu Erprobung und Entwurf?

  • Testversion einer Stichprobe vorlegen, die der Zielgruppe ähnlich ist
  • Ermittlung mißglückter Itemformulierungen (zweite Pilotierung)
  • statistische/psychometrische Analyse der Testaufgaben
    • Verteilungsanalyse (Boden- oder Deckeneffekte?)
    • Itemanalyse und Itemselektion
    • Kriterienkontrolle Testgütekriterien

Was sind Boden-/Deckeneffekte?

Bodeneffekt: alle Vpn beantworten Fragen sehr niedrig (z. B. durch Social Bias) oder lösen sehr wenige Aufgaben (zu schwierig), fast keine Varianz

Deckeneffekt: Gegenteil, z. B. bei Fragen zur Zufriedenheit, Ehe, zu leichten Aufgaben

Testkonstruktionsablauf: Was gehört zur Revision des Tests bis Endfassung?

Revision: Selektion, Eliminierung, Überarbeitung der Items
Erneute psychometrische Überprüfung
Evtl. Normierung/Eichung an repräsentativer Stichprobe
Evtl. Cut-Off-Werte bestimmen

Was beinhaltet die Itemkonstruktion?

Aufgabenstellung:

  • Aufgaben mit freiem Antwortformat
  • Aufgaben mit gebundenem Antwortformat – Ordnungsaufgaben
  • Aufgaben mit gebundenem Antwortformat – Auswahlaufgaben
  • Aufgaben mit gebundenem Antwortformat – Beurteilungsaufgaben

Itemkonstruktion: Aufgabenstellung

Aufgabenstamm/Stimulusteil

  • Leistungstests: Frage oder Problemstellung
  • Persönlichkeitstests: Frage oder Aussage

Antwortformat/Reaktionsteil

  • frei
  • gebunden
  • atypisch (Aussagen-Vergleichs-Aufgaben: Sätze auf Widersprüchlichkeit prüfen; Zahlen verbinden)

Aufgaben mit freiem Antwortformat

Kurzaufsatzaufgaben

  • Antwort in Form von Kurzaufsätzen

Ergänzungsaufgaben

  • sinnvolle Ergänzung des Aufgabenstamms durch Schlüsselwort oder kurze Darstellung

Was sind Vor- und Nachteile des freien Antwortformats? (4/4)

+ Reproduktion von Wissen, keine zufällig richtigen Antworten
+ detaillierte Information
+ Erfassen von Kreativität oder Motiven
+ gut in frühen Phasen (Theorieentwicklung, Merkmalsdefinition)

- zeitaufwendig in Erhebung und Auswertung
- Auswertungsobjektivität eingeschränkt, Instruktion und Auswertungsschema erforderlich
- Leistung wird von sprachlichen Fertigkeiten beeinflußt
- Ergänzungsaufgaben testen vor allem Faktenwissen

Aufgaben mit gebundenem Antwortformat: Ordnungsaufgaben

Zuordnungsaufgaben

  • Zeichen oder Inhalte werden anderen Zeichen oder Inhalten zugeordnet

Umordnungsaufgaben

  • Bilder oder Inhalte in logische Reihenfolge bringen

Was sind Vor- und Nachteile von Ordnungsaufgaben? (4/3)

+ einfach, ökonomisch und objektiv
+ zufällige Beantwortung weniger problematisch als bei Auswahlaufgabe
+ sprachliche Fertigkeiten werden nicht mitgemessen
+ eignen sich auch zur Überprüfung von Wissen (v. a. bei Zuordnung), Schlußfolgerungen sowie Ursache-Wirkungs-Zusammenhängen (v. a. bei Umordnung)
- nur Rekognition/Wiedererkennen, keine Reproduktion nötig
- nach jeder richtigen Antwort nehmen die Freiheitsgrade ab
- Materialverbrauch bei Umordnungsaufgaben hoch

Aufgaben mit gebundenem Antwortformat: Auswahlaufgaben

Dichotome Aufgaben

  • Richtig-falsch-Aufgaben (auch: trifft zu/trifft nicht zu)
  • bei Leistungstests auch zwei Rechenaufgaben nebeneinander (!)
  • unechte Dichotomie: „Ich gehe abends gerne aus.“ Stimmt – Stimmt nicht (nicht „richtig / falsch“)

Mehrfachwahlaufgaben (Multiple Choice)

  • Achtung, nicht bei Persönlichkeitstests, auch wenn es mehrere Antwortmöglichkeiten gibt

Was sind Vor- und Nachteile von dichotomen Aufgaben? (3/4)

+ ökonomisch
+ kurze Bearbeitungs-, Lösungs- und Auswertungszeit
+ Testinstruktion i. d. R. leicht verständlich

- Ja-Nein-Items müssen so formuliert werden, daß sie eindeutig beantwortet werden können
- 50 % Zufallslösungen
- kaum differenzierte Informationen
- Akquieszenz (Zustimmungstendenz, Ja-sage-Tendenz)

Was sind Vor- und Nachteile von Mehrfachwahlaufgaben? (2/4)

+ Durchführung und Auswertung ökonomisch und objektiv
+ mit steigender Anzahl Antwortalternativen ist eine zufällige Beantwortung weniger problematisch

- geeignete Antwortalternativen zu finden ist evtl. schwierig, da alle falschen Antworten gleich wahrscheinlich gewählt werden sollten
- Antworten können Hinweise auf richtige Lösung enthalten
- nur Rekognition/Wiedererkennen, keine Reproduktion nötig
- nicht für alle Konstrukte sinnvoll

Was ist wichtig für Distraktoren?

  • Sollten plausibel sein
  • Ähnliche Länge und grammatikalische Struktur
  • Antwort soll mit Aufgabenstamm/Stimulusteil sprachlich übereinstimmen
  • Alternativen möglichst kurz halten
  • Nicht mehrere Distraktoren mit gleichem Inhalt, sonst zu leicht ausschließbar
  • Position der korrekten Antwort soll variieren
  • „all of the above“, „none of the above“ (alle/keine sind richtig) möglichst sparsam einsetzen

Was ist wichtig bei der Disjunktheit?

disjunkt: Antwortalternativen sollten sich gegenseitig ausschließen („Kreuzen Sie Ihren höchsten Schulabschluß/Ausbildung an“)

nicht disjunkt: Antwortalternativen schließen sich nicht gegenseitig aus („Kreuzen Sie Ihren Schulabschluß/Ausbildung an“)

Was ist wichtig kei der Exhaustivität?

Vollständigkeit der Antwortalternativen
Wichtig bei Persönlichkeitstests (zur Not Feld „andere:_________“)
Spezialfall: Forced Choice, extra keine Exhaustivität