03421- Kapitel 2
Grundlagen der Testkonstruktion Testkonstruktion- Von der Planung zum ersten Entwurf Fragen und Antworten
Grundlagen der Testkonstruktion Testkonstruktion- Von der Planung zum ersten Entwurf Fragen und Antworten
Wie können die einzelnen Stufen einer Ratingskala beschrieben werden?
- numerisch, z. B. von 0- 4
- verbal
- grafisch oder symbolisch, z. B. durch "Smilies"
Wird mit mehrstufigen Ratingformaten ein metrisches Skalenniveau erreicht?
- für den Sonderfall der Analogskala kann dies unterstellt werden
- streng genommen erreichen Ratingskalen nur Ordinalniveau
- vertretbar ist die verbreitete Unterstellung einer Intervallskala weil:
-> je mehr Skalenstufen je Item vorgegeben werden
-> je mehr Items zu einem Testwert aggregiert werden
-> je gleichmässiger die Abstände zwischen dem Skalenstufen von den Testteilnehmern empfunden werden
Weshalb kann es günstig sein, entlang der Ratingskala assymetrische Abstufungen vorzunehmen?
- um bei seltenen oder sozial erwünschten Merkmalen in solchen Bereichen der Skala besser differenzieren zu können, in denen sich Antworten sonst häufen würden
Was ist neben dem Skalenniveau ein weiteres Problem der Ratingskala?
- die Anfälligkeit für Anworttendenzen
Diese sind:
-> Tendenz bewusst oder unbewusst im Sinne sozialer Normen ( sozial erwünscht) zu antworten
-> generelle Tendenz zur Zustimmung (Akquieszenz) oder zur Ablehnung von Aussagen
-> Bevorzugung bestimmter Skalenbereiche wie die Mitte oder die Extreme
Was ist eine mögliche Ursache für Antworttendenzen?
- Formulierungen werden von verschiedenen Personen unterschiedlich interpretiert
- Formulierungen wie "oft" oder "selten" können Personen damit objektiv sehr verschiedene Häufigkeiten verbinden
Was sind dichotome Auswahlaufgaben?
- Aufgaben mit genau zwei Antwortalternativen
- werden bei Leistungstestaufgaben verwendet (richtig/falsch)
- auch in Persönlichkeitstests (Ja- Nein- Fragen)
Was ist ein Vorteil des dichotimischen Antwortformats?
erleichtert die Anwendung der Probabilistischen Testtheorie
Was sind Nachteile des dichotomen Antwortformats?
- bei Leistungstest hoher Anteil an richtigen Zufallslösungen
- bei Ja- Nein- Fragen deutlicher Informationsverlust gegenüber Ratingskalen
- beides muss in der Praxis durch längere Tests (mehr Items) ausgeglichen werden
Was sind Mehrfachwahlaufgaben?
- haben mehr als zwei, am häufigsten vier bis fünf Antwortalternativen
Auf was ist bei Multiple- Choice- Aufgaben zu achten?
- es können genau eine oder mehrere richtige Antwortalternativen vorgegeben werden
- sollte dem Probanden bei der Instruktion offen gelegt werden
- bei nur einer richtigen Antwortalternative müssen die Antworten disjunkt sein, also keine inhaltlichen Schnittmengen bestehen
- die Reihungen der richtigen Lösungen sollte so gewählt werden, dass der Proband durch irrationale Lösungsstrategien das Ergebnis nicht systematisch verzerren kann
Bezeichnung für falsche Antworten in der Fachsprache?
Distraktoren
Welchen Grund hat die Verwendung von Mehrfachwahlaufgaben bei Persönlichkeits- und Einstellungstests?
- in sogenannten Forced- Choice- Items sollen Tendenzen zu sozial erwünschtem Antwortverhalten entgegengewirkt werden
- Antwortalternativen, die bei freier Auswahl ähnlich häufig bevorzugt würden, werden zusammengruppiert mit der Instruktion genau eine davon auszuwählen
- eine ander Variante ist es, den Probanden aufzufordern die zutreffendste und am wenigsten Zutreffendste Antwortalternative auszuwählen
- oder alle Alternativen in eine Rangreihe zu bringen
Nachteile der Forced- Choice- Items.
- erheblicher Aufwand bei der Konstruktion
- Massnahme ist bei der Verbesserung der Güte von Personalauswahlverfahren empirisch von wechselndem Erfolg gekrönt
Was ist eine ipsative Messung?
- Antwortalternativen werden nicht unterschiedlichen Graden der Ausprägung eines Merkmals zugeordnet, sondern verschiedenen Merkmalen in mehrdimensionalen Tests.
Was ist ein spezifischen psychometrisches Problem der ipsativen Messung?
- fehlende stochastische Unabhängigkeit der Antwortalternativen.
- Wer sich im Beispiel für Alternative A entscheidet, entscheidet sich automatisch auch gegen die Alternativen B, C und D und erhält damit schon einen geringeren als den höchst möglichen Wert in den Persönlichkeitsdimensionen, denen letztere Alternativen zugeordnet sind. Dies führt zu künstlichen negativen Korrelationen zwischen den Merkmalen mit einer Reihe von psychometrischen Folgeproblemen u.a. für die Berechnung von Reliabilitäten und Faktorenanalysen.
Wo kommen Sortier- oder Ordnungsaufgaben vor?
- hauptsächlich in Leistungstests
In welchen Varianten gibt es die Sortier- oder Ordnungsaufgaben?
- Zuordnungsaufgaben
- Umordnungsaufgaben
Wozu eignen sich Zuordnungsaufgaben besonders?
- Abfrage von Wissen und Kenntnissen in kompakter und ökonimischer Form
Wozu eignen sich Umordnungsaufgaben?
- Erfassung von schlussfolgerndem Denken auch mit nonverbalem Material
- Beispiel: Bildersortieraufgaben im HAWIK
Studie von Schwarz und Bless zu Reihenfolgeeffekten...
- die Partei CDU wurde deutlich positiver beurteilt, wenn in der vorangegange-nen Frage die CDU-Mitgliedschaft des populären damaligen Bundespräsidenten Richard von Weizsäcker erwähnt wurde
- wenn nur dessen Präsidentschaft angesprochen war, fielen die Urteile über die CDU negativer aus als wenn Weizsäcker gar nicht erwähnt wurde
- die positive Verzerrung ist ein Beispiel für einen Assimilationseffekt, der durch die Verbindung Weizsäckers mit der CDU in der gleichen kognitiven Kategorie theoretisch zu erklären ist, während beim ne-gativen Effekt diese Verbindung fehlte und ein Kontrasteffekt entstand.
Welche Fragen sollte man sich vor der Testkonstruktion stellen?
-> Merkmalsbereich: Was soll der Test messen?
-> Geltungsbereich: Wo, bei wem und wofür soll der Test eingesetzt werden?
-> die grundsätzliche Vorgehensweise bei der Testentwicklung muss aus den bestehenden Möglichkeiten ausgewählt werden
-> Itempool muss generiert werden
-> Festlegungen zur Formulierung der Fragen und zum Format der Antworen werden getroffen
Neben der Literaturrecherche stehen zur Abgrenzung des Merkmalsbereichs eines geplanten Tests noch weitere Hilfsmittel zur Verfügung. Welche?
-> explorative Verfahren der Datenerhebung
-> Befragung von Experten oder anderen relevanten Personen mittels qualitativer Interviews
-> Facettentheorie
-> act frequency approach
-> Methode der kritischen Ereignisse bzw. critical incident technique
Was versteht man unter der Facettentheorie?
- Methode zur Systematisierung wissenschaftlicher Fragestellungen
- stellt Werkzeuge zur Verfügung, um einen Merkmalsbereich vollständig einzugrenzen, in einzelne Teilmerkmale (Facet-ten) und deren Ausprägungen bzw. Typen zu zergliedern, die Beziehungen zwischen den Facetten darzustellen und empirisch zu skalieren.
Welche Prinzipien gehören zu den wichtigsten Prinzipien der Testkonstruktion?
- die rationale oder auch deduktive oder theoriegeleitete Konstruktion
- als deren Gegenpol die externale, empirische oder kriteriumsorientierte Strategie
- das internale, induktive bzw. faktorenanalytische Vorgehen, das gewissermaßen zwischen den Extremen der beiden anderen Prinzipien steht
- relativ seltene Sonderfälle stellen der typologisierende und der Prototypenansatz dar.
Was bedeutet die Abkürzung AFA?
act frequency approach
Ansatz der Verhaltenshäufigkeiten
Metatheorie der Persönlichkeit
fasst Dispositionen als kognitive Kategorien auf, in denen Verhaltensweisen nach der Häufigkeit ihres Auftretens ohne eigentlichen Erklärungswert zusammen
Die Feststellung „Maria ist arrogant" bedeutet nach dieser Auffassung zum Beispiel, dass Maria in einem gegebenen Zeitraum relativ zu einer sozialen Norm eine große Zahl arroganter Verhaltensweisen gezeigt hat (Beispiel aus dem Originalbeitrag).
Was bedeutet die Abkürzung CIT?
critical incident technique
Während beim AFA und mit Einschränkungen auch bei der CIT Definition und Itemformulierung gewissermaßen in einem Schritt erfolgt, bildet in den meisten anderen Fällen eine Arbeitsdefinition die Grundlage der Formulierung.
Was leistet die Arbeitstheorie?
Die Arbeitsdefinition kann aus einer (überschaubaren!) Liste konkurrierender Definitionen bestehen. Dies setzt voraus, dass mit dem Test überhaupt eines oder mehrere definierte psychologische Konstrukte wie Fähigkeiten, Eigenschaften oder Einstellungen gemessen werden sollen.
Durch was ist der Merkmalsbereich bei kriterienorientierten Tests definiert?
Durch Umfang und Inhalt der Lernziele.
Welche Prinzipien, bzw. Strategien der Testkonstriuktion gibt es?
-> die rationale oder auch deduktive oder theoriegeleitete Konstruktion
-> die externale, empirische oder kriteriumsorientierte Strategie
-> das internale, induktive bzw. faktorenanalytische Vorgehen
-> der typologisierende und der Prototypenansatz (selten)
Beispiel für die rationale Testkonstruktion- die RBS- Retrospective Behavioral Self- Control Scale.
- beruht auf der Definition von Selbstkontrolle in der kriminologischen Theorie von Gottfredson und Hirschi
- Autoren definieren Selbstkontrolle als Meidung von Handlungen, die dem Handelnden langfristig mehr Schaden als Nutzen
- es wurde ein Pool von Items konstruiert, in dem nach konkreten Handlungen gefragt wird, nicht aber nach Generalisierungen (z. B. "Ich handle oft spontan aus dem Augenblick heraus) oder nach Einstellungen (z. B. Man sollte immer überlegen, bevor man etwas tut")
- lt. Autoren soll die Selbstkontrolle über die Lebensspanne relativ stabil sein, daher sind die Items in der RBS nach Lebensabschnitten geordnet.
- Autoren postulieren, dass sich ein homogenes Konstrukt, also ein Test, der sich aus theoriekonformen Items zusammensetzt, als eindimensional erweisen sollte
- dies wurde mittels konfirmatorischer Faktorenanalysen überprüft
- Beispielitems der RBS sind: "Mein Taschengeld war lange ausgegeben, bevor das nächste kam" , "Ich habe so viel Alkohol getrunken, dass ich mich am nächsten Tag nicht an alles erinnern konnte", Zu wichtigen Terminen kam ich schon mal unpünktlich"
Was bezeichnen Amelang und Schmitz- Atzert als kennzeichnend für die externale Testkonstruktion?
Das Vorliegen verschiedener Gruppen von Personen, die mit Hilfe des Tests unterschieden (in einem technischen Sinn „diskriminiert") werden. Dies können etwa Angehörige bestimmter Berufsgruppen oder Schüler verschiedener Schultypen sein.
Was ist ein besonders relevanter Fall von externaler Skalenkonstruktion?
Die Unterscheidung des Vorliegens von Persönlichkeitsstörungen von deren Nichtvorliegen.
In den Tests werden dann solche Items aufgenommen, die empirisch zwischen den Gruppen unterscheiden, bzw. diskriminieren.
Was steht bei der externalem Testkonstruktion bereits im frühen Stadium im Vordergrund?
empirische Daten
Ist die Existenz von Gruppen eine Voraussetzung für die externale Strategie der Testkonstruktion?
Nein, aber einige traditionelle Methoden der externalen Skalenkonstruktion setzten die Aufteilung in Gruppen technisch voraus.
Was bedeutet die Abkürzung FFPI?
Five Factor Personality Inventory
Was ist das FFPI (Five Factor Personality Inventory)?
Menschliche Eigenschaften von überindividueller Bedeutung schlagen sich als Adjektive in der natürlichen Sprache nieder. Da es unüberschaubar viele Adjektive gibt, muss eine Vorauswahl getroffen werden. Das FFPI beruht auf dem Versuch, diese Vorauswahl auf der Grundlage einer repräsentativen Abdeckung des Ge-samtbereichs der Persönlichkeit zu treffen.
Konstruktionsprinzipien für das konzeptionelle Prinzip:
rational: theoriegeleitete Item-generierung und Skalenbildung vor Erhe-bung von Validitätsdaten
external: Selektion und ggf. Gewichtung einzelner Items gemäß ihrer Validität bzgl. eines Außenkriteriums
internal: Bildung homogener Subskalen auf der Grundlage von InterItem-Korrelationen (kein Außenkriterium)
Was bedeutet die Abkürzung IPIP
International Personality Item Pool
- unter Einhaltung bestimmter Standarts frei zugänglicher Itempool
Formulierungsrichtlinien für Items:
1. Meide (auch versteckte) doppelte Verneinungen.
2. Meide Ausdrücke, die nicht von allen Teilnehmern verstanden werden.
3.. Drücke den Sachverhalt so kurz wie möglich und so lang wie nötig aus.
4. Lege jedem Item nur einen sachlichen Gedanken zugrunde.
5. Vermeide starke Verallgemeinerungen
6. Verwende nur eindeutige zeitliche und situative Bezüge.
7. Meide (unnötig) suggestive und (unnötig) wertende Formulierungen
8. Meide Gemeinplätze.
Antwortformate für Items?
Gebunden oder offen.
-
- 1 / 83
-
Lernkarten
Beschreibe den Vorgang der Itemgenerierung bei der Testentwicklung!
- meist unsystematisch
- geleitet von der Intuition und dem Geschick des Testautors
- Qualität der Arbeitsdefinition des Merkmalsbereich ist wesentlich
- jedes einzelne Item sollte innerhalb des Bereichs der Arbeitsdefinition liegen
- Itemmenge sollte den Bereich repräsentativ abdecken
Wie ist die Vorgehensweise beim AFA?
- rsuchspersonen, in der Regel psychologischen Laien, wird eine Eigenschaft wie z.B. Dominanz vorgegeben und sie werden gebeten, sich Personen aus ihrem Bekanntenkreis vorzustellen, die eine besonders hohe Ausprägung dieser Eigenschaft aufweisen
- danach sollen sie konkrete Verhaltensweisen aufschreiben, die sie bei den Zielpersonen beobachtet haben und aus denen sie auf die Ausprägung der Eigenschaft geschlossen haben
- So entsteht eine Itemsammlung, die von einer weiteren unabhängigen Teilnehmergruppe hinsichtlich ihrer Proto-typizität für die Eigenschaft eingeschätzt wird.
- Die nach diesem Urteil „besten" (besonders prototypischen) Items werden beibehalten und in die Ich-Form über-tragen, zu einem Test zur Selbsteinschätzung der Persönlichkeit verwendet
- Prototypisch für Dominanz sind nach einschlägigen Studien z.B. die Items „Ich verbat ihm/ihr den Raum zu verlassen" oder „Ich gab Ratschläge, ohne darum gebeten worden zu sein".
Bewertung der AFA.
- Beurteilungen der Prototypizität stimmen nach empirischen Befunden zumeist gut überein (Buss & Craik, 1983).
- Die AFA erlaubt die Generierung und Zuordnung von Items zu Skalen bzw. von Verhalten zu Eigenschaften unabhängig von der Intuition des Testautors.
- Allerdings liegt ein psychometrisches Problem bei der Umsetzung in Selbstberichte im Befund sog. Aktivitätsfaktoren.
- Manche Versuchspersonen neigen generell häufiger als andere dazu anzugeben, dass sie Verhalten jeglicher Art gezeigt haben (oder sie sind tatsächlich generell aktiver), weshalb unterschiedliche Eigenschaften in nach AFA konstruierten Tests tendenziell höher miteinander korrelieren als bei konventionell konstruierten Persönlichkeitsinventaren (zu einer fundamentalen Kritik des AFA siehe Block, 1989).
Aus welchen Teilen besteht ein Item?
- Itemstamm, der eigentichen Aufgabe/Frage/Reiz und
- der Vorgabe des Antwortformats/den möglichen Reaktionen
Auf was beziehen sich gängige Gliederungen von Aufgabentypen?
- auf unterschiedliche Antwortformate
Auf was beziehen sich Richtlinien zur Formulierung von Itemstämmen?
- Förderung der Verständlichkeit
- Eindeutigkeit der Formulierung
- Vermeidung der Bevorzugung bestimmter Antwortalternativen
Einige Bespiele für Formulierungsrichtlinien.
Verständlichkeit
1. Meide (auch versteckte) doppelte Verneinungen.
Bsp.: Ich bin nicht oft traurig O trifft zu O trifft nicht zu
2. Meide Ausdrücke, die nicht von allen Teilnehmern verstanden werden.
Bsp.: Das HI-Virus wird vor allem durch Promiskuität verbreitet.
3. Drücke den Sachverhalt so kurz wie möglich und so lang wie nötig aus.
Bsp.: Neben Fleiß, Geschick, dem richtigen Riecher, dem nötigen Kapital und einer Portion Glück kommt es für den Erfolg im Geschäftsleben auch darauf an, langfristige Beziehungen zu Geschäftspartnern aufzubauen, die auf Ehrlichkeit gegründet sind.
Bsp.: Ehrlichkeit zahlt sich aus.
4. Lege jedem Item nur einen sachlichen Gedanken zugrunde.
Bsp.: Ich gehe gern auf Parties, um neue Bekanntschaften zu machen.
5. Vermeide starke Verallgemeinerungen
Bsp.: Kinder machen ständig Lärm.
6. Verwende nur eindeutige zeitliche und situative Bezüge.
Bsp.: Ich habe im letzten Jahr eine neue Beschäftigung aufgenommen.
Meidung von Antworttendenzen
7. Meide (unnötig) suggestive und (unnötig) wertende Formulierungen
Bsp.: Viele Arbeitgeber nutzen ihr Mitarbeiter aus, wo es nur möglich ist. Da müssen sie sich nicht wundern, wenn die Mitarbeiter umgekehrt genauso handeln.
Verwandt mit Suggestivfragen sind wertende Formulierungen:
Bsp.: Man kann sich hundertprozentig auf mich verlassen.
8. Meide Gemeinplätze.
Bsp.: Ich möchte in meinem Beruf selber Entscheidungen treffen können.
Welche Formen lassen sich bezüglich der Antwortformate unterscheiden?
gebundene und offene
Was sind gebundene Antwortformate?
konkrete Antwortformate oder Lösungen sind vorgegeben
Was kennzeichnet offene Antwortformate?
nicht oder nur wenig durch Antwortvorgaben eingeschränkt
Jonkiesz und Moosbrugger unterscheiden weitere 8 Aufgabentypen, welche?
Siehe Bild
Bei welchen Fragestellungen sind offene Formate unerlässlich?
- Erfassung von stilistischer Begabung
- Reproduktion von Wissen durch einen Gedächtnistest
Was gehört zu den Nachteilen offener Fragestellungen?
- fehlende Standardisierung der Antworten
- daraus ergibt sich das Problem erschöpfender Musterlösungen
- schwierig die Antworten verschiedener Teilnehmer zu vergleichen, subjektive Elemente fliessen in die Auswertung mit ein
- größerer Auswertungsaufwand
- Auswertung muss oft in speziellen Zusatzausbildungen gelernt werden, ohne dass das Objetivitätsproblem dadurch gelöst wird
Welches sind die Gestaltungselemente gebundener Antwortformate?
- Antwortmöglichkeiten durch den Testautor vollständig vorgegeben
- dadurch schnelle, häufig automatisierte Auswertung
- kein Interpretationsspielraum für Auswerter/in, Items sind in testtheoretischen Sinn vollkommen auswertungsobjektiv
- Anwortvorgaben können allerdings von verschiedenen Teilnehmern unterschiedlich interpretiert werden
Welches ist das in der Persönlichkeits- und Einstellungsforschung gebräuchlichste Antwortformal?
Einstufungs- oder Ratingskala
-> bestehen aus mehr als zwei abgestuften Antwortkategorien
-> sollen eine quantitative Beurteilung einer Merkmalsausprägung ermöglichen
Was muss vor der Konstruktion von Ratingskalen festgelegt werden?
Wie differenziert die Abstufung werden soll (z. B. drei- vier- oder zehnstufig)
- abhängig davon, wie genau die Probanden die entsprechende Frage beantworten können
- abhängig davon, wie genau der Testkonstrukteur zwischen den Probanden differenzieren will
- zu wenig Stufen bedeutet Verzicht auf Information und psychometrische Güte
- zu viele Stufen können den Probanden überfordern und die Gütekriterien wiederum vermindern
Wie viele Stufen sind bei Ratingskalen optimal?
Das Optimum scheint im Bereich von 5- 9 Stufen zu liegen
Was ist ein Sonderfall der Ratingskala?
Die stufenlos einstellbare Analogskala.
Wovon ist es abhängig, ob eine gerade oder ungerade Anzahl von Stufen gewählt wird?
- die Wahl von ungeraden Stufen empfiehlt sich, wenn eine als neutral wahrgenommene Mittelkategorie vorgegeben werden soll
- eine gerade Zahl empfiehlt sich ,wenn gerade das vermieden und der Proband gezwungen werden soll, sich zu entscheiden
Was spricht gegen die Verwendung einer Mittelkategorie?
- wird von manchen Probanden als Ausweichoption benutzt
- die Verwendung einer "echten" Ausweichkategorie ("weiss nicht" "keine Angabe") führt wegen der Erhöhung des Anteils fehlender Werte zu Auswertungsproblemen
Was spricht für die Verwendung einer Mittelkategorie?
-der Zwang sich zu entscheiden kann bei Probanden zur Verringerung der Akzeptanz des Tests führen
Was versteht man unter einem unipolaren Item?
- Item mit einem logischen Minimum
- Bsp. bei Häufigkeitsskalen ist "nie" ein definierter Nullpunkt
Was versteht man unter einem bipolaren Item?
Extremausprägungen sind durch gegensätzliche Begriffe gekennzeichnet
Wie können die einzelnen Stufen einer Ratingskala beschrieben werden?
- numerisch, z. B. von 0- 4
- verbal
- grafisch oder symbolisch, z. B. durch "Smilies"
Wird mit mehrstufigen Ratingformaten ein metrisches Skalenniveau erreicht?
- für den Sonderfall der Analogskala kann dies unterstellt werden
- streng genommen erreichen Ratingskalen nur Ordinalniveau
- vertretbar ist die verbreitete Unterstellung einer Intervallskala weil:
-> je mehr Skalenstufen je Item vorgegeben werden
-> je mehr Items zu einem Testwert aggregiert werden
-> je gleichmässiger die Abstände zwischen dem Skalenstufen von den Testteilnehmern empfunden werden
Weshalb kann es günstig sein, entlang der Ratingskala assymetrische Abstufungen vorzunehmen?
- um bei seltenen oder sozial erwünschten Merkmalen in solchen Bereichen der Skala besser differenzieren zu können, in denen sich Antworten sonst häufen würden
Was ist neben dem Skalenniveau ein weiteres Problem der Ratingskala?
- die Anfälligkeit für Anworttendenzen
Diese sind:
-> Tendenz bewusst oder unbewusst im Sinne sozialer Normen ( sozial erwünscht) zu antworten
-> generelle Tendenz zur Zustimmung (Akquieszenz) oder zur Ablehnung von Aussagen
-> Bevorzugung bestimmter Skalenbereiche wie die Mitte oder die Extreme
Was ist eine mögliche Ursache für Antworttendenzen?
- Formulierungen werden von verschiedenen Personen unterschiedlich interpretiert
- Formulierungen wie "oft" oder "selten" können Personen damit objektiv sehr verschiedene Häufigkeiten verbinden
Was sind dichotome Auswahlaufgaben?
- Aufgaben mit genau zwei Antwortalternativen
- werden bei Leistungstestaufgaben verwendet (richtig/falsch)
- auch in Persönlichkeitstests (Ja- Nein- Fragen)
Was ist ein Vorteil des dichotimischen Antwortformats?
erleichtert die Anwendung der Probabilistischen Testtheorie
Was sind Nachteile des dichotomen Antwortformats?
- bei Leistungstest hoher Anteil an richtigen Zufallslösungen
- bei Ja- Nein- Fragen deutlicher Informationsverlust gegenüber Ratingskalen
- beides muss in der Praxis durch längere Tests (mehr Items) ausgeglichen werden
Was sind Mehrfachwahlaufgaben?
- haben mehr als zwei, am häufigsten vier bis fünf Antwortalternativen
Auf was ist bei Multiple- Choice- Aufgaben zu achten?
- es können genau eine oder mehrere richtige Antwortalternativen vorgegeben werden
- sollte dem Probanden bei der Instruktion offen gelegt werden
- bei nur einer richtigen Antwortalternative müssen die Antworten disjunkt sein, also keine inhaltlichen Schnittmengen bestehen
- die Reihungen der richtigen Lösungen sollte so gewählt werden, dass der Proband durch irrationale Lösungsstrategien das Ergebnis nicht systematisch verzerren kann
Bezeichnung für falsche Antworten in der Fachsprache?
Distraktoren
Welchen Grund hat die Verwendung von Mehrfachwahlaufgaben bei Persönlichkeits- und Einstellungstests?
- in sogenannten Forced- Choice- Items sollen Tendenzen zu sozial erwünschtem Antwortverhalten entgegengewirkt werden
- Antwortalternativen, die bei freier Auswahl ähnlich häufig bevorzugt würden, werden zusammengruppiert mit der Instruktion genau eine davon auszuwählen
- eine ander Variante ist es, den Probanden aufzufordern die zutreffendste und am wenigsten Zutreffendste Antwortalternative auszuwählen
- oder alle Alternativen in eine Rangreihe zu bringen
Nachteile der Forced- Choice- Items.
- erheblicher Aufwand bei der Konstruktion
- Massnahme ist bei der Verbesserung der Güte von Personalauswahlverfahren empirisch von wechselndem Erfolg gekrönt
Was ist eine ipsative Messung?
- Antwortalternativen werden nicht unterschiedlichen Graden der Ausprägung eines Merkmals zugeordnet, sondern verschiedenen Merkmalen in mehrdimensionalen Tests.
Was ist ein spezifischen psychometrisches Problem der ipsativen Messung?
- fehlende stochastische Unabhängigkeit der Antwortalternativen.
- Wer sich im Beispiel für Alternative A entscheidet, entscheidet sich automatisch auch gegen die Alternativen B, C und D und erhält damit schon einen geringeren als den höchst möglichen Wert in den Persönlichkeitsdimensionen, denen letztere Alternativen zugeordnet sind. Dies führt zu künstlichen negativen Korrelationen zwischen den Merkmalen mit einer Reihe von psychometrischen Folgeproblemen u.a. für die Berechnung von Reliabilitäten und Faktorenanalysen.
Wo kommen Sortier- oder Ordnungsaufgaben vor?
- hauptsächlich in Leistungstests
In welchen Varianten gibt es die Sortier- oder Ordnungsaufgaben?
- Zuordnungsaufgaben
- Umordnungsaufgaben
