03421- Kapitel 2
Grundlagen der Testkonstruktion Testkonstruktion- Von der Planung zum ersten Entwurf Fragen und Antworten
Grundlagen der Testkonstruktion Testkonstruktion- Von der Planung zum ersten Entwurf Fragen und Antworten
Wie können die einzelnen Stufen einer Ratingskala beschrieben werden?
- numerisch, z. B. von 0- 4
- verbal
- grafisch oder symbolisch, z. B. durch "Smilies"
Wird mit mehrstufigen Ratingformaten ein metrisches Skalenniveau erreicht?
- für den Sonderfall der Analogskala kann dies unterstellt werden
- streng genommen erreichen Ratingskalen nur Ordinalniveau
- vertretbar ist die verbreitete Unterstellung einer Intervallskala weil:
-> je mehr Skalenstufen je Item vorgegeben werden
-> je mehr Items zu einem Testwert aggregiert werden
-> je gleichmässiger die Abstände zwischen dem Skalenstufen von den Testteilnehmern empfunden werden
Weshalb kann es günstig sein, entlang der Ratingskala assymetrische Abstufungen vorzunehmen?
- um bei seltenen oder sozial erwünschten Merkmalen in solchen Bereichen der Skala besser differenzieren zu können, in denen sich Antworten sonst häufen würden
Was ist neben dem Skalenniveau ein weiteres Problem der Ratingskala?
- die Anfälligkeit für Anworttendenzen
Diese sind:
-> Tendenz bewusst oder unbewusst im Sinne sozialer Normen ( sozial erwünscht) zu antworten
-> generelle Tendenz zur Zustimmung (Akquieszenz) oder zur Ablehnung von Aussagen
-> Bevorzugung bestimmter Skalenbereiche wie die Mitte oder die Extreme
Was ist eine mögliche Ursache für Antworttendenzen?
- Formulierungen werden von verschiedenen Personen unterschiedlich interpretiert
- Formulierungen wie "oft" oder "selten" können Personen damit objektiv sehr verschiedene Häufigkeiten verbinden
Was sind dichotome Auswahlaufgaben?
- Aufgaben mit genau zwei Antwortalternativen
- werden bei Leistungstestaufgaben verwendet (richtig/falsch)
- auch in Persönlichkeitstests (Ja- Nein- Fragen)
Was ist ein Vorteil des dichotimischen Antwortformats?
erleichtert die Anwendung der Probabilistischen Testtheorie
Was sind Nachteile des dichotomen Antwortformats?
- bei Leistungstest hoher Anteil an richtigen Zufallslösungen
- bei Ja- Nein- Fragen deutlicher Informationsverlust gegenüber Ratingskalen
- beides muss in der Praxis durch längere Tests (mehr Items) ausgeglichen werden
Was sind Mehrfachwahlaufgaben?
- haben mehr als zwei, am häufigsten vier bis fünf Antwortalternativen
Auf was ist bei Multiple- Choice- Aufgaben zu achten?
- es können genau eine oder mehrere richtige Antwortalternativen vorgegeben werden
- sollte dem Probanden bei der Instruktion offen gelegt werden
- bei nur einer richtigen Antwortalternative müssen die Antworten disjunkt sein, also keine inhaltlichen Schnittmengen bestehen
- die Reihungen der richtigen Lösungen sollte so gewählt werden, dass der Proband durch irrationale Lösungsstrategien das Ergebnis nicht systematisch verzerren kann
Bezeichnung für falsche Antworten in der Fachsprache?
Distraktoren
Welchen Grund hat die Verwendung von Mehrfachwahlaufgaben bei Persönlichkeits- und Einstellungstests?
- in sogenannten Forced- Choice- Items sollen Tendenzen zu sozial erwünschtem Antwortverhalten entgegengewirkt werden
- Antwortalternativen, die bei freier Auswahl ähnlich häufig bevorzugt würden, werden zusammengruppiert mit der Instruktion genau eine davon auszuwählen
- eine ander Variante ist es, den Probanden aufzufordern die zutreffendste und am wenigsten Zutreffendste Antwortalternative auszuwählen
- oder alle Alternativen in eine Rangreihe zu bringen
Nachteile der Forced- Choice- Items.
- erheblicher Aufwand bei der Konstruktion
- Massnahme ist bei der Verbesserung der Güte von Personalauswahlverfahren empirisch von wechselndem Erfolg gekrönt
Was ist eine ipsative Messung?
- Antwortalternativen werden nicht unterschiedlichen Graden der Ausprägung eines Merkmals zugeordnet, sondern verschiedenen Merkmalen in mehrdimensionalen Tests.
Was ist ein spezifischen psychometrisches Problem der ipsativen Messung?
- fehlende stochastische Unabhängigkeit der Antwortalternativen.
- Wer sich im Beispiel für Alternative A entscheidet, entscheidet sich automatisch auch gegen die Alternativen B, C und D und erhält damit schon einen geringeren als den höchst möglichen Wert in den Persönlichkeitsdimensionen, denen letztere Alternativen zugeordnet sind. Dies führt zu künstlichen negativen Korrelationen zwischen den Merkmalen mit einer Reihe von psychometrischen Folgeproblemen u.a. für die Berechnung von Reliabilitäten und Faktorenanalysen.
Wo kommen Sortier- oder Ordnungsaufgaben vor?
- hauptsächlich in Leistungstests
In welchen Varianten gibt es die Sortier- oder Ordnungsaufgaben?
- Zuordnungsaufgaben
- Umordnungsaufgaben
Wozu eignen sich Zuordnungsaufgaben besonders?
- Abfrage von Wissen und Kenntnissen in kompakter und ökonimischer Form
Wozu eignen sich Umordnungsaufgaben?
- Erfassung von schlussfolgerndem Denken auch mit nonverbalem Material
- Beispiel: Bildersortieraufgaben im HAWIK
Studie von Schwarz und Bless zu Reihenfolgeeffekten...
- die Partei CDU wurde deutlich positiver beurteilt, wenn in der vorangegange-nen Frage die CDU-Mitgliedschaft des populären damaligen Bundespräsidenten Richard von Weizsäcker erwähnt wurde
- wenn nur dessen Präsidentschaft angesprochen war, fielen die Urteile über die CDU negativer aus als wenn Weizsäcker gar nicht erwähnt wurde
- die positive Verzerrung ist ein Beispiel für einen Assimilationseffekt, der durch die Verbindung Weizsäckers mit der CDU in der gleichen kognitiven Kategorie theoretisch zu erklären ist, während beim ne-gativen Effekt diese Verbindung fehlte und ein Kontrasteffekt entstand.
Welche Fragen sollte man sich vor der Testkonstruktion stellen?
-> Merkmalsbereich: Was soll der Test messen?
-> Geltungsbereich: Wo, bei wem und wofür soll der Test eingesetzt werden?
-> die grundsätzliche Vorgehensweise bei der Testentwicklung muss aus den bestehenden Möglichkeiten ausgewählt werden
-> Itempool muss generiert werden
-> Festlegungen zur Formulierung der Fragen und zum Format der Antworen werden getroffen
Neben der Literaturrecherche stehen zur Abgrenzung des Merkmalsbereichs eines geplanten Tests noch weitere Hilfsmittel zur Verfügung. Welche?
-> explorative Verfahren der Datenerhebung
-> Befragung von Experten oder anderen relevanten Personen mittels qualitativer Interviews
-> Facettentheorie
-> act frequency approach
-> Methode der kritischen Ereignisse bzw. critical incident technique
Was versteht man unter der Facettentheorie?
- Methode zur Systematisierung wissenschaftlicher Fragestellungen
- stellt Werkzeuge zur Verfügung, um einen Merkmalsbereich vollständig einzugrenzen, in einzelne Teilmerkmale (Facet-ten) und deren Ausprägungen bzw. Typen zu zergliedern, die Beziehungen zwischen den Facetten darzustellen und empirisch zu skalieren.
Welche Prinzipien gehören zu den wichtigsten Prinzipien der Testkonstruktion?
- die rationale oder auch deduktive oder theoriegeleitete Konstruktion
- als deren Gegenpol die externale, empirische oder kriteriumsorientierte Strategie
- das internale, induktive bzw. faktorenanalytische Vorgehen, das gewissermaßen zwischen den Extremen der beiden anderen Prinzipien steht
- relativ seltene Sonderfälle stellen der typologisierende und der Prototypenansatz dar.
Was bedeutet die Abkürzung AFA?
act frequency approach
Ansatz der Verhaltenshäufigkeiten
Metatheorie der Persönlichkeit
fasst Dispositionen als kognitive Kategorien auf, in denen Verhaltensweisen nach der Häufigkeit ihres Auftretens ohne eigentlichen Erklärungswert zusammen
Die Feststellung „Maria ist arrogant" bedeutet nach dieser Auffassung zum Beispiel, dass Maria in einem gegebenen Zeitraum relativ zu einer sozialen Norm eine große Zahl arroganter Verhaltensweisen gezeigt hat (Beispiel aus dem Originalbeitrag).
Was bedeutet die Abkürzung CIT?
critical incident technique
Während beim AFA und mit Einschränkungen auch bei der CIT Definition und Itemformulierung gewissermaßen in einem Schritt erfolgt, bildet in den meisten anderen Fällen eine Arbeitsdefinition die Grundlage der Formulierung.
Was leistet die Arbeitstheorie?
Die Arbeitsdefinition kann aus einer (überschaubaren!) Liste konkurrierender Definitionen bestehen. Dies setzt voraus, dass mit dem Test überhaupt eines oder mehrere definierte psychologische Konstrukte wie Fähigkeiten, Eigenschaften oder Einstellungen gemessen werden sollen.
Durch was ist der Merkmalsbereich bei kriterienorientierten Tests definiert?
Durch Umfang und Inhalt der Lernziele.
Welche Prinzipien, bzw. Strategien der Testkonstriuktion gibt es?
-> die rationale oder auch deduktive oder theoriegeleitete Konstruktion
-> die externale, empirische oder kriteriumsorientierte Strategie
-> das internale, induktive bzw. faktorenanalytische Vorgehen
-> der typologisierende und der Prototypenansatz (selten)
Beispiel für die rationale Testkonstruktion- die RBS- Retrospective Behavioral Self- Control Scale.
- beruht auf der Definition von Selbstkontrolle in der kriminologischen Theorie von Gottfredson und Hirschi
- Autoren definieren Selbstkontrolle als Meidung von Handlungen, die dem Handelnden langfristig mehr Schaden als Nutzen
- es wurde ein Pool von Items konstruiert, in dem nach konkreten Handlungen gefragt wird, nicht aber nach Generalisierungen (z. B. "Ich handle oft spontan aus dem Augenblick heraus) oder nach Einstellungen (z. B. Man sollte immer überlegen, bevor man etwas tut")
- lt. Autoren soll die Selbstkontrolle über die Lebensspanne relativ stabil sein, daher sind die Items in der RBS nach Lebensabschnitten geordnet.
- Autoren postulieren, dass sich ein homogenes Konstrukt, also ein Test, der sich aus theoriekonformen Items zusammensetzt, als eindimensional erweisen sollte
- dies wurde mittels konfirmatorischer Faktorenanalysen überprüft
- Beispielitems der RBS sind: "Mein Taschengeld war lange ausgegeben, bevor das nächste kam" , "Ich habe so viel Alkohol getrunken, dass ich mich am nächsten Tag nicht an alles erinnern konnte", Zu wichtigen Terminen kam ich schon mal unpünktlich"
Was bezeichnen Amelang und Schmitz- Atzert als kennzeichnend für die externale Testkonstruktion?
Das Vorliegen verschiedener Gruppen von Personen, die mit Hilfe des Tests unterschieden (in einem technischen Sinn „diskriminiert") werden. Dies können etwa Angehörige bestimmter Berufsgruppen oder Schüler verschiedener Schultypen sein.
Was ist ein besonders relevanter Fall von externaler Skalenkonstruktion?
Die Unterscheidung des Vorliegens von Persönlichkeitsstörungen von deren Nichtvorliegen.
In den Tests werden dann solche Items aufgenommen, die empirisch zwischen den Gruppen unterscheiden, bzw. diskriminieren.
Was steht bei der externalem Testkonstruktion bereits im frühen Stadium im Vordergrund?
empirische Daten
Ist die Existenz von Gruppen eine Voraussetzung für die externale Strategie der Testkonstruktion?
Nein, aber einige traditionelle Methoden der externalen Skalenkonstruktion setzten die Aufteilung in Gruppen technisch voraus.
Was bedeutet die Abkürzung FFPI?
Five Factor Personality Inventory
Was ist das FFPI (Five Factor Personality Inventory)?
Menschliche Eigenschaften von überindividueller Bedeutung schlagen sich als Adjektive in der natürlichen Sprache nieder. Da es unüberschaubar viele Adjektive gibt, muss eine Vorauswahl getroffen werden. Das FFPI beruht auf dem Versuch, diese Vorauswahl auf der Grundlage einer repräsentativen Abdeckung des Ge-samtbereichs der Persönlichkeit zu treffen.
Konstruktionsprinzipien für das konzeptionelle Prinzip:
rational: theoriegeleitete Item-generierung und Skalenbildung vor Erhe-bung von Validitätsdaten
external: Selektion und ggf. Gewichtung einzelner Items gemäß ihrer Validität bzgl. eines Außenkriteriums
internal: Bildung homogener Subskalen auf der Grundlage von InterItem-Korrelationen (kein Außenkriterium)
Was bedeutet die Abkürzung IPIP
International Personality Item Pool
- unter Einhaltung bestimmter Standarts frei zugänglicher Itempool
Formulierungsrichtlinien für Items:
1. Meide (auch versteckte) doppelte Verneinungen.
2. Meide Ausdrücke, die nicht von allen Teilnehmern verstanden werden.
3.. Drücke den Sachverhalt so kurz wie möglich und so lang wie nötig aus.
4. Lege jedem Item nur einen sachlichen Gedanken zugrunde.
5. Vermeide starke Verallgemeinerungen
6. Verwende nur eindeutige zeitliche und situative Bezüge.
7. Meide (unnötig) suggestive und (unnötig) wertende Formulierungen
8. Meide Gemeinplätze.
Antwortformate für Items?
Gebunden oder offen.
-
- 1 / 83
-
Cartes-fiches
Welche Fragen sollte man sich vor der Testkonstruktion stellen?
-> Merkmalsbereich: Was soll der Test messen?
-> Geltungsbereich: Wo, bei wem und wofür soll der Test eingesetzt werden?
-> die grundsätzliche Vorgehensweise bei der Testentwicklung muss aus den bestehenden Möglichkeiten ausgewählt werden
-> Itempool muss generiert werden
-> Festlegungen zur Formulierung der Fragen und zum Format der Antworen werden getroffen
Neben der Literaturrecherche stehen zur Abgrenzung des Merkmalsbereichs eines geplanten Tests noch weitere Hilfsmittel zur Verfügung. Welche?
-> explorative Verfahren der Datenerhebung
-> Befragung von Experten oder anderen relevanten Personen mittels qualitativer Interviews
-> Facettentheorie
-> act frequency approach
-> Methode der kritischen Ereignisse bzw. critical incident technique
Was versteht man unter der Facettentheorie?
- Methode zur Systematisierung wissenschaftlicher Fragestellungen
- stellt Werkzeuge zur Verfügung, um einen Merkmalsbereich vollständig einzugrenzen, in einzelne Teilmerkmale (Facet-ten) und deren Ausprägungen bzw. Typen zu zergliedern, die Beziehungen zwischen den Facetten darzustellen und empirisch zu skalieren.
Welche Prinzipien gehören zu den wichtigsten Prinzipien der Testkonstruktion?
- die rationale oder auch deduktive oder theoriegeleitete Konstruktion
- als deren Gegenpol die externale, empirische oder kriteriumsorientierte Strategie
- das internale, induktive bzw. faktorenanalytische Vorgehen, das gewissermaßen zwischen den Extremen der beiden anderen Prinzipien steht
- relativ seltene Sonderfälle stellen der typologisierende und der Prototypenansatz dar.
Was bedeutet die Abkürzung AFA?
act frequency approach
Ansatz der Verhaltenshäufigkeiten
Metatheorie der Persönlichkeit
fasst Dispositionen als kognitive Kategorien auf, in denen Verhaltensweisen nach der Häufigkeit ihres Auftretens ohne eigentlichen Erklärungswert zusammen
Die Feststellung „Maria ist arrogant" bedeutet nach dieser Auffassung zum Beispiel, dass Maria in einem gegebenen Zeitraum relativ zu einer sozialen Norm eine große Zahl arroganter Verhaltensweisen gezeigt hat (Beispiel aus dem Originalbeitrag).
Was bedeutet die Abkürzung CIT?
critical incident technique
Während beim AFA und mit Einschränkungen auch bei der CIT Definition und Itemformulierung gewissermaßen in einem Schritt erfolgt, bildet in den meisten anderen Fällen eine Arbeitsdefinition die Grundlage der Formulierung.
Was leistet die Arbeitstheorie?
Die Arbeitsdefinition kann aus einer (überschaubaren!) Liste konkurrierender Definitionen bestehen. Dies setzt voraus, dass mit dem Test überhaupt eines oder mehrere definierte psychologische Konstrukte wie Fähigkeiten, Eigenschaften oder Einstellungen gemessen werden sollen.
Durch was ist der Merkmalsbereich bei kriterienorientierten Tests definiert?
Durch Umfang und Inhalt der Lernziele.
Welche Prinzipien, bzw. Strategien der Testkonstriuktion gibt es?
-> die rationale oder auch deduktive oder theoriegeleitete Konstruktion
-> die externale, empirische oder kriteriumsorientierte Strategie
-> das internale, induktive bzw. faktorenanalytische Vorgehen
-> der typologisierende und der Prototypenansatz (selten)
Beispiel für die rationale Testkonstruktion- die RBS- Retrospective Behavioral Self- Control Scale.
- beruht auf der Definition von Selbstkontrolle in der kriminologischen Theorie von Gottfredson und Hirschi
- Autoren definieren Selbstkontrolle als Meidung von Handlungen, die dem Handelnden langfristig mehr Schaden als Nutzen
- es wurde ein Pool von Items konstruiert, in dem nach konkreten Handlungen gefragt wird, nicht aber nach Generalisierungen (z. B. "Ich handle oft spontan aus dem Augenblick heraus) oder nach Einstellungen (z. B. Man sollte immer überlegen, bevor man etwas tut")
- lt. Autoren soll die Selbstkontrolle über die Lebensspanne relativ stabil sein, daher sind die Items in der RBS nach Lebensabschnitten geordnet.
- Autoren postulieren, dass sich ein homogenes Konstrukt, also ein Test, der sich aus theoriekonformen Items zusammensetzt, als eindimensional erweisen sollte
- dies wurde mittels konfirmatorischer Faktorenanalysen überprüft
- Beispielitems der RBS sind: "Mein Taschengeld war lange ausgegeben, bevor das nächste kam" , "Ich habe so viel Alkohol getrunken, dass ich mich am nächsten Tag nicht an alles erinnern konnte", Zu wichtigen Terminen kam ich schon mal unpünktlich"
Was bezeichnen Amelang und Schmitz- Atzert als kennzeichnend für die externale Testkonstruktion?
Das Vorliegen verschiedener Gruppen von Personen, die mit Hilfe des Tests unterschieden (in einem technischen Sinn „diskriminiert") werden. Dies können etwa Angehörige bestimmter Berufsgruppen oder Schüler verschiedener Schultypen sein.
Was ist ein besonders relevanter Fall von externaler Skalenkonstruktion?
Die Unterscheidung des Vorliegens von Persönlichkeitsstörungen von deren Nichtvorliegen.
In den Tests werden dann solche Items aufgenommen, die empirisch zwischen den Gruppen unterscheiden, bzw. diskriminieren.
Was steht bei der externalem Testkonstruktion bereits im frühen Stadium im Vordergrund?
empirische Daten
Ist die Existenz von Gruppen eine Voraussetzung für die externale Strategie der Testkonstruktion?
Nein, aber einige traditionelle Methoden der externalen Skalenkonstruktion setzten die Aufteilung in Gruppen technisch voraus.
Was bedeutet die Abkürzung FFPI?
Five Factor Personality Inventory
Was ist das FFPI (Five Factor Personality Inventory)?
Menschliche Eigenschaften von überindividueller Bedeutung schlagen sich als Adjektive in der natürlichen Sprache nieder. Da es unüberschaubar viele Adjektive gibt, muss eine Vorauswahl getroffen werden. Das FFPI beruht auf dem Versuch, diese Vorauswahl auf der Grundlage einer repräsentativen Abdeckung des Ge-samtbereichs der Persönlichkeit zu treffen.
Konstruktionsprinzipien für das konzeptionelle Prinzip:
rational: theoriegeleitete Item-generierung und Skalenbildung vor Erhe-bung von Validitätsdaten
external: Selektion und ggf. Gewichtung einzelner Items gemäß ihrer Validität bzgl. eines Außenkriteriums
internal: Bildung homogener Subskalen auf der Grundlage von InterItem-Korrelationen (kein Außenkriterium)
Was bedeutet die Abkürzung IPIP
International Personality Item Pool
- unter Einhaltung bestimmter Standarts frei zugänglicher Itempool
Formulierungsrichtlinien für Items:
1. Meide (auch versteckte) doppelte Verneinungen.
2. Meide Ausdrücke, die nicht von allen Teilnehmern verstanden werden.
3.. Drücke den Sachverhalt so kurz wie möglich und so lang wie nötig aus.
4. Lege jedem Item nur einen sachlichen Gedanken zugrunde.
5. Vermeide starke Verallgemeinerungen
6. Verwende nur eindeutige zeitliche und situative Bezüge.
7. Meide (unnötig) suggestive und (unnötig) wertende Formulierungen
8. Meide Gemeinplätze.
Antwortformate für Items?
Gebunden oder offen.
Was ist das BFI?
Big Five Inventory- Inventar zur Messung des 5- Faktoren- Modells der Persönlichkeit.
Welche Faktoren können sich auf die Itemauswahl auswirken?
- Alter der Zielgruppe
- Bildungsstand
- Anwendungskontext
Was ist der Ausgangspunkt der rationalen Testkonstruktion?
- operationale, zur Umsetzung in eine Messung oder Beobachtung geeignete theoretische Definition des Zielkonstrukts
- daraus werden spezifische Indikatoren abgeleitet, die sich direkt beobachten oder erfragen lassen
- evtl. theoretische Auswahl aus einem (bereits vorhandenen) Itempool
Beispiel für ein hierarchisch strukturiertes Konstrukt, das in seiner ganzen Breite gemessen werden soll.
- Berliner Intelligenz- Struktur- Test (BIS) von Jäger, Süß und Beauducel
- basiert auf dem Berliner Intelligenz- Struktur- Modell von Jäger
- geht von einer hierarchischen Struktur der Intelligenz aus; es existieren unterscheidbare spezielle Fähigkeiten, deren gemeinsames Element auf einer höheren Ebene generelle Intelligenz ist
- Intelligenzleistungen entstehen bimodal, es ist jeweils mindestens eine inhaltsgebundene und einer operationalen Komponente beteiligt
- Subtests der BIS- Test erfassen daher jeweils die Kombination einer inhaltlichen mit einer operationalen Fähigkeit
- Bsp.; die verbale Verarbeitungskapazität wird u. a. durch einen Wortschatztest gemessen
Welches sind die prominentesten external konstruierten Tests im klinischen Bereich?
- Minnesota Multiphasic Personality Inventory (Items wurden nach der Kontrastgruppenmethode aus einem großen Pool ausgewählt, die signifikant zwischen psychisch unauffälligen und z. B. als manisch, schizophren usw. Gruppen unterscheiden)
- Caifornia Psychological Inventory (dieser Test bezieht sich auf den Normalbereich der Persönlichkeit)
Beispiel für externale Testkonstruktion- der California Psychological Interview.
- Skala für Socialization wurde zunächst unabhängig entwickelt, um psychologische Prädisposition zu kriminellem Verhalten zu identifizieren
- ursprünglicher Itempool wurde teils intuitiv, teils theoriegeleitet formuliert
- die Auswahl aus diesem Itempool erfolgte ausschliesslich nach dem empirischen Kriterium der Unterscheidung überführter Delinquenten von unauffälligen Kontrastgruppen
- die entstandene Skala ist inhaltlich heterogen
- Validität zur Vorhersage devianten Verhaltens ist empirisch gut belegt
- Beispielitems:
Ich würde niemals mit einem Fremden Karten (Poker) spielen.
Meine Eltern haben mich Entscheidungen im Allgemeinen selbst treffen lassen.
Die meiste Zeit fühle ich mich glücklich.
Ich glaube Lincoln war größer als Washington.
- Bei den Beispielitems sprach die Beantwortung mit "Nein" für eine höhre Wahrscheinlichkeit kriminellen Verhaltens
Wie funktioniert die internale Testkonstruktion?
- heisst internal, weil sie zwar- wie die externale Testkonstruktion- auf empirische Informationen zurückgreift, diese aber nicht auf ein Aussenkriterium (wie bei der externalen TK die Gruppen) sonder auf die Binnenkonstruktion des Tests bezieht
- zunächst wird auf unterschiedlichen Wegen ein Itempool generiert, der einen breit definierten Merkmalsbereich abdeckt
- Items werden dann einer Stichprobe zur Bearbeitung vorgelegt
- Daten werden hinsichtlich der Korrelationsmuster der Items untersucht, in der Regel mittels explorativer Varianten der Faktorenanalys
- Ergebnis sind in der Regel mehrdimensionale Inventare
- Subskalen messen jeweils homogene Konstrukte
- decken aber insgesamt einen breiten und heterogenen Merkmalsbereich ab
Nenne einen Klassiker der induktiven Theorieentwicklung!
Primärfaktorenmodell der Intelligenz nach Thurstone
Beispiel für internale Testkonstruktion.
- Ausgangspunkt des 5- Faktoren Modells ist die Idee des lexikalischen Ansatzes
- Adjektivlisten aus Lexika unterschiedlicher Sprachen wurden zusammengestellt
- Selbst- und Fremdeinschätzungen von Probanden auf diesen Adjektiven erhoben
- mit Faktorenanalysen auf strukturelle Ähnlichkeiten untersucht
- das FFPI- Five Factor Personality- Inventory beruht auf dem Versuch, eine Vorauswahl auf der Grundlage einer repräsentativen Abdeckung des Gesamtbereichs der Persönlichkeit zu treffen
- zur besseren Verständlichkeit wurden statt "nackter" Adjektive kurze Statements benutzt
- aus einem Pool von 900 Items wurden 100 ausgewählt
- ausser Faktorenanalysen wurden auch Außenkriterien wie z. B. die Korrelation zwischen Selbst- und Fremdurteil herangezogen
- der FFPI ist also eigentlich ein Beispiel für die in der Praxis häufige Kombination verschiedener Konstruktionsprinzipien
Beispielitems für den FFPI (jeweils eines pro Faktor):
Liebt es sich zu unterhalten (Extraversion)
Respektiert die Gefühle anderer (Verträglichkeit)
Befolgt bei der Ausführung von Handlungen einen Plan (Gewissenhaftigkeit)
Kann Rückschläge einfach verkraften (emotionale Stabilität)
Kann Fakten leicht miteinander verknüpfen (Autonomie; Anm.: dieser Faktor weicht von anderen Varianten des Fünf-Faktoren-Modells etwas ab)
Was versteht man unter der typologisierenden Testkonstruktion?
- verbindet Elemente der externalen und internalen Strategie
- Identifikation von Gruppen vonPersonen oder Objekten auf der Grundlage empirischer Information
- statistisches Verfahren: Klassifikation von Personen aufgrund mehrerer, simultan erfasster Merkmale mittels der Clusteranalyse
- es werden Personen zu Gruppen zusammengefasst, die sich durch eine ähnliche Konfiguration von Ausprägungen auf mehreren Merkmalen auszeichnen
- häufig werden keine neuen Tests konstruiert, sondern Daten zu vorhandenen, z. B. internal konstruierten Inventaren reanalysiert
- diese Vorgehensweise ist immer mit einem Informations- bzw. Validitätsverlust verbunden
Was versteht man unter dem Prototypenansatz?
- von der typologisierenden Gruppenbildung zu unterscheiden
- Ähnlichkeit mit einem als idealtypisch eingeschätzten Vertreter eines Typus oder einer Verhaltensweise wird als kognitiver Ankerreiz für die Einschätzung anderer Objekte vorgegeben
- Bsp. für die Auswahl erfolgreicher Verkäufer können Merkmale erfolgreicher Stelleninhaber untersucht und Interviewern zur Einschätzung der Antworten von Stellenbewerbern vorgelegt werden
- Gefahr liegt in diesem Beispiel in einer Stereotiypisierung
Gibt es systematische Validitätsvorteile einer der drei Hauptstrategien der Testkonstruktion?
- kaum systematische Validitätsvorteiler einer der drei Hauptstrategien
- z. T. leichte Vorteile der rationalen sowue Nachteile der internalen Strategie bei der kriterienbezogenen Validität
- rationale Methode bietet Vorteile bei der theoretischen Fundierung und damit der Interpretierbarkeit der Testergebnisse
- externale Strategie unterliegt den geringsten Vorausssetzungen an den theoretischen Kenntnisstand
Zusammenfassung- Merkmale des rationalen Konstruktionsprinzips:
konzeptionelles Prinzip: theoriegeleitete Itemgenerierung und Skalenbildung vor Erhebung von Validitätsdaten
methodisches Prinzip: bei Skalenbildung keines (später Überprüfung auf testtheoretische Gütekriterien)
Schwerpunkt der Zielsetzung: Inhaltsvalidität; Interpretierbarkeit
Vorteile: intuitiv unmittelbar zugängliche Ergebnisse
kein oder geringer Validitätsverlust bei Übertragung auf andere Situationen bzw. Replikation
Probleme: subjektive Vorentscheidungen
ungeeignet bei schlecht definierten oder wenig erforschten Situationen
großer konzeptioneller Aufwand
Zusammenfassung: Merkmale des externalen Konstruktionsprinzips:
konzeptionelles Prinzip: Selektion und ggf. Gewichtung einzelner Items gemäß ihrer Validität bzgl. eines Au-ßenkriteriums
methodisches Prinzip: Regressionsanalyse
Schwerpunkt der Zielsetzung: Kriteriumsvalidität
Vorteile: im spezifischen Be-reich sehr gute Kriteri-umsvalidität
geeignet zur Explorati-on unbekannter Situa-tionen, Konstrukte
Probleme: Ergebnisse situativ instabil (auf Stichprobe und Kriterium zugeschnitten)
schlecht interpretierbare Skalen
große Stichproben erforderlich
Kreuzvalidierung zwingend
Zusammenfassung: Merkmale des internalen Testkonstruktionsprinzips:
konzeptionelles Prinzip: Bildung homogener Subskalen auf der Grundlage von InterItem-Korrelationen (kein Außenkriterium)
methodisches Prinzip: Faktorenanalyse
Schwerpunkt der Zielsetzung: Konstruktvalidität; Homogenität der Subskalen
Vorteile: erleichtert Interpretation bei Exploration unbe-kannter Situationen
Identifikation homoge-ner, abgrenzbarer Kon-strukte innerhalb breiter Merkmalsbereiche
Probleme: Große Stichproben zur Replikation von Fakto-renlösungen nötig
Subjektive Interpretation der Skalen
Kriterienbezogene Vali-dität kann eingeschränkt sein
Zwischen welchen Aspekten kann bei der Generierung des Itempools unterschieden werden?
inhaltlich (was frage ich)
formal (wie frage ich)
Was muss bei der Frage nach den Inhalten der Items grundsätzlich geklärt werden?
Ob
objektive (Leistungstest) oder
subjektive Informationen erhoben werden sollen
Subjektive Informationen lassen ich noch nach Selbst- und Fremdeinschätzung unterscheiden
Kategorien von Persönlichkeitsitems nach Angleitner et al:
1. Beschreibung von Reaktionen, darunter:
a) offene, beobachtbare Handlungen (Bsp.: Ich gehe oft auf Parties.)
b) verborgene, interne Reaktionen (Bsp.: Ich denke viel über mich selbst nach.)
c) Symptome, physische Reaktionen (Bsp.: Ich schwitze viel.)
2. Eigenschaftszuschreibungen (Bsp.: Ich habe gute schauspielerische Fähigkei-ten.)
3. Wünsche und Interessen (Bsp.: Manchmal würde ich am liebsten laut fluchen.)
4. Biografische Fakten (Bsp.: Ich hatte in meiner Jugend schon mal Ärger mit dem Gesetz.)
5. Einstellungen und Überzeugungen (Bsp.: Ich glaube Gesetze sollten mit aller Härte durchgesetzt werden.)
6. Reaktionen anderer auf die eigene Person (Bsp.: Ich stehe auf Parties selten im Mittelpunkt.). Hier könnten über Angleitner et al. hinaus auch Eigenschaftszu-schreibungen durch andere ergänzt werden (Bsp.: Meine Freunde halten mich für etwas schüchtern.).
7. Bizarre Items (Bsp.: Jemand versucht mich zu vergiften.).
Nenne eine Quellefür Items neuer Testverfahren!
- werden nicht selten aus Items vorhandener Testverfahren ausgewählt
- KANN zu Urheberrechtsverletzungen führen, muss aber nicht
- Gerade external konstruierte Skalen schöpfen oft aus ei-nem öffentlich oder mit Zustimmung der Originalautoren zugänglichen Itempool.
