WSFM-Vorlesung 4-6

4) Wissenschaftliche Beobachtungsmethoden 5) Wissenschaftliche Testmethoden 6) Qualitative und quantitative Stichproben

4) Wissenschaftliche Beobachtungsmethoden 5) Wissenschaftliche Testmethoden 6) Qualitative und quantitative Stichproben


Samuele Simonetto
Diese Karteikarten bieten einen umfassenden Überblick über die Stichprobenziehung und deren Auswertung im universitären Kontext. Sie behandeln sowohl qualitative als auch quantitative Methoden, einschließlich Zufallsstichproben, theoretischem Sampling und selektivem Sampling. Die Karteikarten erläutern die Bedeutung von Repräsentativität und Genauigkeit sowie die Berechnung von Konfidenzintervallen und die Anwendung des zentralen Grenzwerttheorems. Sie richten sich an Studierende und Forscher, die statistische Methoden in der empirischen Forschung anwenden möchten, um zuverlässige und aussagekräftige Ergebnisse zu erzielen.
Cartes-fiches
95
Utilisateurs
1
Langue
Allemand
Catégorie
Pédagogie
Niveau
Université
Créé / Mis à jour
19.04.2017 / 12.05.2017

Cartes-fiches

Leistungstest, z.B. mit Multiple-Choice-Testfragen

• Testfrage
• Richtige Lösung
• 2-4 falsche Distraktoren

Faustregeln für Multiple-Choice-Fragen

Frage
• Klar und verständlich formuliert


Antworten
• typischerweise 3-4 plausible Distraktoren
• entsprechen möglichen konzeptionellen Missverständnissen
• vergleichbar mit Länge und Formulierung der richtigen Antwort
• bieten keine Hinweise zum Raten
• sind nicht zu kompliziert
• sind klar voneinander unabhängig
• die Platzierung der richtigen Antwort wird variiert

Mögliche Multiple Choice Tests

• Identifizieren Sie die richtige Antwort …
• Identifizieren Sie die beste mögliche Antwort …
• Identifizieren Sie die falsche Antwort …
• Identifizieren Sie die möglichen Antworten …

Kriterien für einen guten Test

Objektivität
• Interessenneutralität, Forscherunabhängigkeit


Reliabilität
• Zuverlässigkeit, Genauigkeit


Validität
• Gültigkeit, Angemessenheit

Objektivität: „Interessenneutralität“

d.h. die Ergebnisse sind nicht verzerrt von der Person des Forschenden


Durchführungsobjektivität
• z.B. Standardisierte Durchführung, Nicht-Beeinflussung, Keine Hilfen


Auswertungsobjektivität
• z.B. Überprüfbare Auswertungen, Nachvollziehbare Schritte


Interpretationsobjektivität
• z.B. Schlüsse sind nicht von persönlichen Vorlieben beeinflusst

Reliabilität: „Zuverlässigkeit, Genauigkeit“

d.h. die Ergebnisse sind nicht verzerrt durch einen zufällige Messfehler


Split-Half-Reliabiltität
• Die eine Hälfte der Items liefert die gleichen Ergebnisse wie die andere


Interne Konsistenz
• Items die dasselbe messen, korrelieren miteinander& mit dem Ergebnis


Test-Retest-Reliabilität
• Gleiche Ergebnisse ergeben sich bei wiederholten Tests


Paralleltest-Reliabilität
• Gleiche Ergebnisse ergeben sich bei ähnlichen anderen Messungen

Validität: „Gültigkeit, Angemessenheit“

• d.h. die Ergebnisse sind nicht verzerrt durch systematische Messfehler


Inhaltsvalidität bzw. Expertenvalidität
• Verschiedene Experten beurteilen den Test als gültig


Kriteriumsvalidität
• Die Testergebnisse lassen sich an einem anderen Kriterium bestätigen


Konstruktvalidität
• Die Testergebnisse hängen sinnvoll mit anderen Variablen zusammen

Testverfälschung

Bei Leistungstests
• Raten
• Absichtliche Leistungsverweigerung


Bei Persönlichkeitstests
• Selbstdarstellung
• Antworttendenzen

Schritte der Testentwicklung

• Testinhalt klären (Theoretische Literaturrecherche, Konzeptspezifikation)
• Itempool entwickeln (Testfragen, Testhandlungen)
• Itemanalyse durchführen (Erste Erprobung, Ergebnisse überprüfen)
• Testgüte bestimmen (Objektivität, Reliabilität, Validität)
• Testwerte normieren (Kriterien zur Beurteilung bestimmen)

Beispiel: Persönlichkeitstest zu „protestantischer Ethik“

• Theorien zu protestantischer Ethik?
• Aspekte protestantischer Ethik

Pilottest durchführen

• Test durch Experten begutachten lassen
• Test empirisch erproben: Stichprobe von N>100

Itemanalyse

Rohwerteverteilung
• Erreicht der Test Varianz, Boden oder Deckeneffekte?


Itemschwierigkeit
• Wie viel Prozent beantworten ein Item richtig bzw. hoch/niedrig?


Trennschärfe:
• Wie gut ist Gesamtergebnis auf Basis einen Einzelitems vorhersagbar?
(Masszahl: Korrelation von Einzelitem mit korrigiertem Gesamtscore)


Homogenität
• Messen die Items dasselbe oder gibt es widersprüchliche Tendenzen?

Mittelwert und Streuung, Boden- und Deckeneffekte

Zu leicht oder zu schwer?

Verteilung des Itemindex?

Trennschärfe: Korrelation von Einzelitem und Itemsumme

Vergleich von Trennschärfe und Schwierigkeit

Reliabilität berechnen

• Homogenitätsmass: Durchschnittliche Interkorrelation
• Reliabilitätsmass: Cronbachs Alpha

Klassische Testtheorie

• Testwert = wahrer Messwert + zufälliger Messfehler
• Die Summe aller Messfehler tendiert gegen Null.
• d.h. bei wiederholter Messung ergibt sich im Schnitt der wahre Wert

Probabilistische Testtheorie

• Testwert = Geschätzte Fähigkeit hinter einem Antwortmuster
• Jede Aufgabe hat für ein Leistungniveau eine best. Erfolgswahrscheinl.
• d.h. bei wiederholter Messung ergibt sich ein prozentualer Schätzwert

Eichung von Tests (für spätere Einzeldiagnostik)

• Testen einer relevanten und repräsentativen Referenzstichprobe
• Bestimmen von Mittelwerten und Verteilungsmassen
• Festlegen von Grenzwerten unterschiedlicher Fähigkeitsniveaus


• Dies ermöglicht die Einordnung späterer Tests von Einzelpersonen

Wichtige Begriffe (Tests)

• Test: Leistungstest, Persönlichkeitstest
• Multiple-Choice Tests, Distraktoren
• Objektivität: Durchführungs-, Auswertungs-, Interpretationsobjektivität
• Reliabilität: Test-Retest, Interne Konsistenz, Split-Half, Paralleltest
• Validität: Experten-, Kriteriums- und Konstruktvalidität
• Itemanalyse: Verteilung, Schwierigkeit, Trennschärfe, Homogenität
• Klassische Testtheorie, probabilistische Testtheorie
• Eichung

Grundfragen der Stichprobentheorie

• Es ist zu aufwändig bzw. unmöglich, alle Personen zu untersuchen
• Es muss eine Auswahl der untersuchten Personen getroffen werden
• Darf man von der Auswahl auf alle schliessen d.h. verallgemeinern?
• Wie wahrscheinlich entspricht die Stichprobe der Grundgesamtheit?

Qualitative und quantitative Stichproben

Qualitative Stichproben
• Möglichst exemplarische Einzelfälle
• Daten in Form von Text, Bild, Video, Ton


Quantitative Stichproben
• Möglichst viele Fälle
• Daten in Form von Zahlen

Qualitative Stichproben: Wie wählt man Einzelfälle?

• Typische Einzelfälle
• Extreme Einzelfälle
• Selektives Sampling
• Theoretisches Sampling

Auswahl typischer oder extremer Einzelfälle

• Fokus der Untersuchung ist definiert
• Verteilung des Merkmals ist bekannt
• Ausprägung des Merkmals bei Individuen ist bekannt
• Auswahl von Fällen mit extremen/mittleren Ausprägungen
• Fälle werden untersucht und ausgewertet
• Ergebnis: gemeinsame/unterschiedliche Aspekte werden identifiziert

Selektives Sampling

• Fokus der Untersuchung ist definiert
• Ausprägung eines zentralen Merkmals ist bekannt
• Auswahl von Fällen mit unterschiedlichen Ausprägungen im Merkmal
• Fälle werden untersucht und nach Merkmale gruppiert ausgewertet
• Ergebnis: Gemeinsamkeiten von Gruppen, Unterschiede zw. Gruppen

Theoretisches Sampling (Grounded Theory)

• Fokus der Untersuchung ist ungefähr bestimmt
• Erster Fall wird ausgewählt und untersucht
• Fall wird ausgewertet und erste Arbeitshypothesen werden formuliert
• Zweiter kontrastierender Fall wird ausgewählt und untersucht
• Fall wird ausgewertet und Arbeitshypothesen werden reformuliert
• Dritter kontrastierender Fall wird ausgewählt und untersucht
• Fall wird ausgewertet und Arbeitshypothesen werden reformulier
• …
• Theoretische Sättigung tritt ein, keine neuen Fälle mehr nötig
• Ergebnis: Gemeinsamkeiten und Unterschiede von extrem
unterschiedlichen Fällen

Quantitative Stichproben: Stichprobenziehung

• Grundgesamtheit (z.B. 800‘000 Schüler und -schüler der Schweiz)
• Auswahlverfahren
• Stichprobe (z.B. 1000 Schüler/innen, die allen entsprechen)

Repräsentativität und Genauigkeit

Repräsentativität
• Stichprobe soll ein verkleinertes Abbild der Grundgesamtheit sein
• Wird gewährleistet durch Zufallsauswahl


Genauigkeit
• Stichprobe soll möglichst kleinen Messfehler haben
• durch ausreichend grosse Stichprobe (je nach Streuung)


Repräsentativität und Genauigkeit sind nicht dasselbe!
• Repräsentative Stichproben müssen auch genau sein
• Grosse/genaue Stichproben sind nicht unbedingt repräsentativ

Einfache Zufallsstichprobe

• Grundgesamtheit ist bekannt (Urliste)
• Jede Person hat dieselbe Wahrscheinlichkeit gezogen zu werden
• Z.B. 1000 zufällige Schülerinnen und Schüler der Schweiz

Verfahren der Zufallsziehung

Allgemeines Vorgehen
• Besorgen Sie eine Urliste
• Nummerieren Sie die Fälle
• Machen Sie eine Zufallsziehung


Ziehungsmethoden
• Mischen und Ziehen
• Würfeln mit x zehnseitigen Würfeln
• Zufälliger Start, gleiche Abstände abzählen
• …

Nachträgliche Gewichtungskorrektur der Stichprobe

Wann wird das gemacht?
• Wenn eine Zufallsauswahl in nicht der Grundgesamtheit entspricht,
• d.h. wenn Personengruppen über-/unterrepräsentiert sind
• Bei mehrstufigen Stichproben,
• d.h. wenn nicht alle die gleiche Auswahlwahrscheinlichkeit besitzen


Berechnung des Gewichtungsfaktors
• Z.B. Verteilung Grundgesamtheit M/W 50/50, Stichprobe 60/40
• Gew. = % in der Grundgesamtheit / % in der Stichprobe
• Gew.M = 50/60 = 0.8
• Gew.W = 50/40 = 1.3

Geschichtete Zufallsstichprobe

• Verteilung zentraler Merkmale in der Grundgesamtheit (GG) ist bekannt
• Es werden Schichten gebildet, die der Verteilung der GG entsprechen
• In jeder Schicht wird eine Zufallsstichprobe gezogen
• Z.B. 10% zufällige Gymnasiasten, 10% DMSler, 80% Sek-Schüler

Klumpenstichprobe

• Die Zufallsauswahl erfolgt nicht an Einzelpersonen sondern
• es erfolgt eine Zufallsauswahl natürlicher Einheiten
• Z.B. 100 zufällige Schulklassen

Mehrstufige gemischte Stichproben

Klumpenstichprobe + Zufallsstichprobe
• 100 zufällige Klassen
• In jeder dieser Klassen vier zufällige Schüler


Klumpenstichprobe + Geschichtete Zufallsauswahl
• 100 zufällige Klassen
• In jeder dieser Klassen zufällig zwei Jungen + zwei Mädchen

Vorsicht bei «Umfragen» statt Stichproben!

• Problem insb. bei unkontrollierten Online-Umfragen/Strassenumfragen
• Wer hat da geantwortet?
• Ist das repräsentativ?
• Wer hat mehrfach geantwortet? (online)

Marode Schulen?

Vorsicht: Systematisch verzerrte Stichproben

• „4110 Benutzerinnen und Benutzer haben an der ersten grossen
Umfrage über Partnersuche auf einem Online-Datingportal
teilgenommen.“


• „Das neue Medium Internet befindet sich an der Spitze in der
Ratingliste aller Orte, wo romantische Bekanntschaften geknüpft
werden können: 17.4 Prozent der User sind der Meinung, dass der
Arbeitsplatz der wahrscheinlichste Ort ist, wo man seinen Partner
finden kann. An zweiter Stelle mit 17.1 Prozent folgt „Im Internet“.“

Stichprobenziehung bei SCHOLASTIK

Étudier