WSFM-Vorlesung 4-6
4) Wissenschaftliche Beobachtungsmethoden 5) Wissenschaftliche Testmethoden 6) Qualitative und quantitative Stichproben
4) Wissenschaftliche Beobachtungsmethoden 5) Wissenschaftliche Testmethoden 6) Qualitative und quantitative Stichproben
-
- 1 / 95
-
Cartes-fiches
Leistungstest, z.B. mit Multiple-Choice-Testfragen
• Testfrage
• Richtige Lösung
• 2-4 falsche Distraktoren
Faustregeln für Multiple-Choice-Fragen
Frage
• Klar und verständlich formuliert
Antworten
• typischerweise 3-4 plausible Distraktoren
• entsprechen möglichen konzeptionellen Missverständnissen
• vergleichbar mit Länge und Formulierung der richtigen Antwort
• bieten keine Hinweise zum Raten
• sind nicht zu kompliziert
• sind klar voneinander unabhängig
• die Platzierung der richtigen Antwort wird variiert
Mögliche Multiple Choice Tests
• Identifizieren Sie die richtige Antwort …
• Identifizieren Sie die beste mögliche Antwort …
• Identifizieren Sie die falsche Antwort …
• Identifizieren Sie die möglichen Antworten …
Kriterien für einen guten Test
Objektivität
• Interessenneutralität, Forscherunabhängigkeit
Reliabilität
• Zuverlässigkeit, Genauigkeit
Validität
• Gültigkeit, Angemessenheit
Objektivität: „Interessenneutralität“
d.h. die Ergebnisse sind nicht verzerrt von der Person des Forschenden
Durchführungsobjektivität
• z.B. Standardisierte Durchführung, Nicht-Beeinflussung, Keine Hilfen
Auswertungsobjektivität
• z.B. Überprüfbare Auswertungen, Nachvollziehbare Schritte
Interpretationsobjektivität
• z.B. Schlüsse sind nicht von persönlichen Vorlieben beeinflusst
Reliabilität: „Zuverlässigkeit, Genauigkeit“
d.h. die Ergebnisse sind nicht verzerrt durch einen zufällige Messfehler
Split-Half-Reliabiltität
• Die eine Hälfte der Items liefert die gleichen Ergebnisse wie die andere
Interne Konsistenz
• Items die dasselbe messen, korrelieren miteinander& mit dem Ergebnis
Test-Retest-Reliabilität
• Gleiche Ergebnisse ergeben sich bei wiederholten Tests
Paralleltest-Reliabilität
• Gleiche Ergebnisse ergeben sich bei ähnlichen anderen Messungen
Validität: „Gültigkeit, Angemessenheit“
• d.h. die Ergebnisse sind nicht verzerrt durch systematische Messfehler
Inhaltsvalidität bzw. Expertenvalidität
• Verschiedene Experten beurteilen den Test als gültig
Kriteriumsvalidität
• Die Testergebnisse lassen sich an einem anderen Kriterium bestätigen
Konstruktvalidität
• Die Testergebnisse hängen sinnvoll mit anderen Variablen zusammen
Testverfälschung
Bei Leistungstests
• Raten
• Absichtliche Leistungsverweigerung
Bei Persönlichkeitstests
• Selbstdarstellung
• Antworttendenzen
Schritte der Testentwicklung
• Testinhalt klären (Theoretische Literaturrecherche, Konzeptspezifikation)
• Itempool entwickeln (Testfragen, Testhandlungen)
• Itemanalyse durchführen (Erste Erprobung, Ergebnisse überprüfen)
• Testgüte bestimmen (Objektivität, Reliabilität, Validität)
• Testwerte normieren (Kriterien zur Beurteilung bestimmen)
Pilottest durchführen
• Test durch Experten begutachten lassen
• Test empirisch erproben: Stichprobe von N>100
Itemanalyse
Rohwerteverteilung
• Erreicht der Test Varianz, Boden oder Deckeneffekte?
Itemschwierigkeit
• Wie viel Prozent beantworten ein Item richtig bzw. hoch/niedrig?
Trennschärfe:
• Wie gut ist Gesamtergebnis auf Basis einen Einzelitems vorhersagbar?
(Masszahl: Korrelation von Einzelitem mit korrigiertem Gesamtscore)
Homogenität
• Messen die Items dasselbe oder gibt es widersprüchliche Tendenzen?
Klassische Testtheorie
• Testwert = wahrer Messwert + zufälliger Messfehler
• Die Summe aller Messfehler tendiert gegen Null.
• d.h. bei wiederholter Messung ergibt sich im Schnitt der wahre Wert
Eichung von Tests (für spätere Einzeldiagnostik)
• Testen einer relevanten und repräsentativen Referenzstichprobe
• Bestimmen von Mittelwerten und Verteilungsmassen
• Festlegen von Grenzwerten unterschiedlicher Fähigkeitsniveaus
• Dies ermöglicht die Einordnung späterer Tests von Einzelpersonen
Wichtige Begriffe (Tests)
• Test: Leistungstest, Persönlichkeitstest
• Multiple-Choice Tests, Distraktoren
• Objektivität: Durchführungs-, Auswertungs-, Interpretationsobjektivität
• Reliabilität: Test-Retest, Interne Konsistenz, Split-Half, Paralleltest
• Validität: Experten-, Kriteriums- und Konstruktvalidität
• Itemanalyse: Verteilung, Schwierigkeit, Trennschärfe, Homogenität
• Klassische Testtheorie, probabilistische Testtheorie
• Eichung
Grundfragen der Stichprobentheorie
• Es ist zu aufwändig bzw. unmöglich, alle Personen zu untersuchen
• Es muss eine Auswahl der untersuchten Personen getroffen werden
• Darf man von der Auswahl auf alle schliessen d.h. verallgemeinern?
• Wie wahrscheinlich entspricht die Stichprobe der Grundgesamtheit?
Qualitative und quantitative Stichproben
Qualitative Stichproben
• Möglichst exemplarische Einzelfälle
• Daten in Form von Text, Bild, Video, Ton
Quantitative Stichproben
• Möglichst viele Fälle
• Daten in Form von Zahlen
Qualitative Stichproben: Wie wählt man Einzelfälle?
• Typische Einzelfälle
• Extreme Einzelfälle
• Selektives Sampling
• Theoretisches Sampling
Auswahl typischer oder extremer Einzelfälle
• Fokus der Untersuchung ist definiert
• Verteilung des Merkmals ist bekannt
• Ausprägung des Merkmals bei Individuen ist bekannt
• Auswahl von Fällen mit extremen/mittleren Ausprägungen
• Fälle werden untersucht und ausgewertet
• Ergebnis: gemeinsame/unterschiedliche Aspekte werden identifiziert
Selektives Sampling
• Fokus der Untersuchung ist definiert
• Ausprägung eines zentralen Merkmals ist bekannt
• Auswahl von Fällen mit unterschiedlichen Ausprägungen im Merkmal
• Fälle werden untersucht und nach Merkmale gruppiert ausgewertet
• Ergebnis: Gemeinsamkeiten von Gruppen, Unterschiede zw. Gruppen
Theoretisches Sampling (Grounded Theory)
• Fokus der Untersuchung ist ungefähr bestimmt
• Erster Fall wird ausgewählt und untersucht
• Fall wird ausgewertet und erste Arbeitshypothesen werden formuliert
• Zweiter kontrastierender Fall wird ausgewählt und untersucht
• Fall wird ausgewertet und Arbeitshypothesen werden reformuliert
• Dritter kontrastierender Fall wird ausgewählt und untersucht
• Fall wird ausgewertet und Arbeitshypothesen werden reformulier
• …
• Theoretische Sättigung tritt ein, keine neuen Fälle mehr nötig
• Ergebnis: Gemeinsamkeiten und Unterschiede von extrem
unterschiedlichen Fällen
Repräsentativität und Genauigkeit
Repräsentativität
• Stichprobe soll ein verkleinertes Abbild der Grundgesamtheit sein
• Wird gewährleistet durch Zufallsauswahl
Genauigkeit
• Stichprobe soll möglichst kleinen Messfehler haben
• durch ausreichend grosse Stichprobe (je nach Streuung)
Repräsentativität und Genauigkeit sind nicht dasselbe!
• Repräsentative Stichproben müssen auch genau sein
• Grosse/genaue Stichproben sind nicht unbedingt repräsentativ
Verfahren der Zufallsziehung
Allgemeines Vorgehen
• Besorgen Sie eine Urliste
• Nummerieren Sie die Fälle
• Machen Sie eine Zufallsziehung
Ziehungsmethoden
• Mischen und Ziehen
• Würfeln mit x zehnseitigen Würfeln
• Zufälliger Start, gleiche Abstände abzählen
• …
Nachträgliche Gewichtungskorrektur der Stichprobe
Wann wird das gemacht?
• Wenn eine Zufallsauswahl in nicht der Grundgesamtheit entspricht,
• d.h. wenn Personengruppen über-/unterrepräsentiert sind
• Bei mehrstufigen Stichproben,
• d.h. wenn nicht alle die gleiche Auswahlwahrscheinlichkeit besitzen
Berechnung des Gewichtungsfaktors
• Z.B. Verteilung Grundgesamtheit M/W 50/50, Stichprobe 60/40
• Gew. = % in der Grundgesamtheit / % in der Stichprobe
• Gew.M = 50/60 = 0.8
• Gew.W = 50/40 = 1.3
Mehrstufige gemischte Stichproben
Klumpenstichprobe + Zufallsstichprobe
• 100 zufällige Klassen
• In jeder dieser Klassen vier zufällige Schüler
Klumpenstichprobe + Geschichtete Zufallsauswahl
• 100 zufällige Klassen
• In jeder dieser Klassen zufällig zwei Jungen + zwei Mädchen
Vorsicht bei «Umfragen» statt Stichproben!
• Problem insb. bei unkontrollierten Online-Umfragen/Strassenumfragen
• Wer hat da geantwortet?
• Ist das repräsentativ?
• Wer hat mehrfach geantwortet? (online)
Vorsicht: Systematisch verzerrte Stichproben
• „4110 Benutzerinnen und Benutzer haben an der ersten grossen
Umfrage über Partnersuche auf einem Online-Datingportal
teilgenommen.“
• „Das neue Medium Internet befindet sich an der Spitze in der
Ratingliste aller Orte, wo romantische Bekanntschaften geknüpft
werden können: 17.4 Prozent der User sind der Meinung, dass der
Arbeitsplatz der wahrscheinlichste Ort ist, wo man seinen Partner
finden kann. An zweiter Stelle mit 17.1 Prozent folgt „Im Internet“.“