vpde

•Vorab muss keine Theorie spezifiziert werden
•Schritte:
Ausgangspunkt: Erstellung eines Itempools mit inhaltlich relevanten Items
Datenerhebung
Statistische Verfahren zur Identifizierung einer Struktur
Selektion der besten Items durch Itemanalysen
Inhaltliche Interpretation der Struktur

•Rein empirisch
•Ziel ist es zwischen Gruppen zu unterscheiden
•Nicht die Inhalte der Items sind von Interesse, sondern deren Nutzen bei der Vorhersage von Gruppenzugehörigkeiten
•Schritte:
Erstellung eines großen Itempools
Untersuchung an den interessierenden Personengruppen
Auswahl der Items, die möglichst gut zwischen den Gruppen unterscheiden
Kreuzvalidierung an einer neuen Stichprobe

Haupt-Gütekriterien

•Ein Test ist objektiv, wenn er das Merkmal, das er misst, unabhängig vom Testleiter, Testauswerter und von der Ergebnisinterpretation misst
Durchführungsobjektivität
Auswertungsobjektivität
Interpretationsobjektivität
•Standardisierung der Durchführung, Auswertung und Interpretation

•Standardisierung der Durchführung:
Genaue Festlegung von Instruktionen
•Standardisierung der Auswertung:
Verwendung von Schablone
•Standardisierung der Interpretation:
Ergebnisse werden einheitlich interpretiert
Mit Hilfe von Normtabellen und Angaben, wie welche Testwerte zu interpretieren ist

•Ein Test ist reliabel, wenn er das Merkmal, das er misst, exakt (ohne Messfehler) misst
•Verschiedene Möglichkeiten die Messgenauigkeit zu schätzen:
Stabilität: Retest-Reliabilität
Äquivalenz: Paralleltest-Reliabilität
Interne Konsistenz (Testhalbierungsverfahren, Cronbach‘s )
•Reliabilitätskoeffizienten haben Werte zwischen 0 (geringe Reliabilität) und 1 (perfekte Reliabilität)
•Koeffizienten sollten möglichst hoch sein!
Bei Fähigkeitstests liegen sie meist bei .90, bei Persönlichkeitstests häufig niedriger

Inhaltsvalidität
Konstruktvalidität
•konvergente Validität
•diskriminante Validität
Kriteriumsvalidität

•Bezieht sich auf Inhalte des Tests bzw. der Items
Beispiel: Test zur Erfassung des Lernerfolgs im Seminar
Frage bei der Beurteilung der Inhaltsvalidität: Ist das Item Teil aller möglichen Items? (Repräsentationsschluss)
Im Kontext des Abgleichs von Lernzielen mit Testinhalten wird auch von „Curricularer Validität“ gesprochen
•Inhaltsvalidität wird oft ein geringer Wert zugeschrieben: Reicht zur Validierung nicht aus
•Inhaltsvalidität sollte aber bei der Erstellung von Items beachtet werden

•Annahme: Konstrukte erklären die Testergebnisse und die Zusammenhänge der Testergebnisse mit anderen Variablen
•Ein Test weist Konstruktvalidität auf, wenn der Rückschluss vom Verhalten der Testperson innerhalb der Testsituation auf zugrunde liegende Konstrukte (z.B. Fähigkeiten) wissenschaftlich fundiert ist
•Zwei wichtige Aspekte der Konstruktvalidität:
Konvergente Validität: Korreliert der Test mit Tests, die ähnliche oder die gleiche Konstrukte messen sollen?
Diskriminante Validität: Der Test sollte nicht mit Tests korrelieren, die nicht-intendierte Konstrukte messen

•Ein Test weist Kriteriumsvalidität auf, wenn vom Verhalten der Testperson innerhalb der Testsituation erfolgreich auf ein Kriterium (Verhalten außerhalb der Testsituation) geschlossen werden kann
•Zusammenhang mit einem praktisch relevanten Kriterium

•Ausgangspunkt: Rohwerte, die in Bezug auf die Höhe der Merkmalsausprägung schwer zu interpretieren sind
•Ziel: Verbesserung der Interpretation durch die Schaffung eines Bezugssystems
•Vorgehen: Vergleich des individuellen Messwerts mit Werten einer Bezugs- oder Normpopulation
•Vorteile: Ermöglicht Vergleichbarkeit von Ergebnissen verschiedener Testformen oder Tests

•Normalverteilungsannahme der Messwerte
•Vorgehensweise:
1.Ermittlung der Rohwertverteilung des Verfahrens für bestimmte Stichprobe
2.Berechnung von arithmetischem Mittel und Standardabweichung
3.Bestimmung der Position von individuellem Messwert relativ zum Mittelwert, meist in standardisierter Form
4.Ggf. Überführung in andere „Standardskalen“: Z- oder IQ- Skala etc.

•Sind ein Problem bei Selbstberichten
•Arten von Antworttendenzen:
Akquieszenz (Ja-Sage-Tendenz)
Tendenz zur Mitte oder Tendenz zum extremen Urteil
Faking (Sozial Erwünschtes Antwortverhalten)

•Sozial erwünschtes Antwortverhalten
•Bewusste oder unbewusste Verzerrung in positive Richtung (Faking good)
Self-Deceptive Enhancement: fälschlicherweise davon überzeugt sein, positive Eigenschaft zu besitzen
Self-Deceptive Denial: fälschlicherweise davon überzeugt sein, negative Eigenschaften nicht zu besitzen
Impression Management: sich bewusst positiver darstellen als man tatsächlich ist

•Viele psychologische Fragestellungen (wie Emotionen, Einstellungen, Sexualität) greifen in die Privatsphäre der Teilnehmer ein
•Untersuchungen können zudem stark belastend sein

•Auszüge aus den Ethik-Richtlinien der DGPs und BDP (2004)
Grundsätze
Freiwilligkeit
Täuschung
Aufklärung
Anreize
Schweigepflicht

•Einwilligungen bei Aufzeichnungen (Video und Tonband)
•Dokumentation und Bereitstellung von Daten
•Kennzeichnen von Beiträgen und Leistungen
•Plagiate

•Verwendung von Begriffen:
Begriffe wie „Versuchsperson“ und „Experiment“ vermeiden
Besser: „Teilnehmer“, „wissenschaftliche Studie“
•Auf Ängste und Vorbehalte eingehen
•Anonymisierte VP-Codes verwenden
•Selbstverständlich: Dank für die Teilnahme und Versprechen einhalten

•Allgemeine Instruktion:
Vorstellen
Thema der Studie, ohne Hypothesen zu verraten
Dauer der Studie
Auf Anonymität hinweisen
•Spezifische Instruktion
Handanweisung für die Teilnehmer
•Sollten möglichst standardisiert erfolgen
•Sollten klar und verständlich sein
•Sollten so kurz wie möglich und nicht überfordernd sein

•Vorteil:
Ermöglicht hoch standardisiertes Vorgehen
Ermöglicht Reaktionszeitmessungen
Vereinfacht die Durchführung (z.B. Kontrolle, dass Person keine Fragen auslässt)
•Spezielle Programme, die auf psychologische Fragestellungen zugeschnittene Funktionen bieten (z.B. Inquisit oder Online: SoSciSurvey)

•Daten werden häufig reduziert (zum Beispiel: Bildung des Mittelwerts über eine Reihe von Items)
•Daten so spät wie möglich reduzieren
Oft interessiert die Antworten der Probanden auf ein einzelnes Item (Schwierigkeitsanalysen, Reliabilitätsanalysen)
Nach der Reduzierung nicht mehr möglich
Daher: Datenmatrix mit originalen Item-Antworten
•Daten in anonymisierter Form archivieren