.


Fichier Détails

Cartes-fiches 387
Langue Deutsch
Catégorie Psychologie
Niveau Université
Crée / Actualisé 08.07.2023 / 20.07.2023
Lien de web
https://card2brain.ch/box/20230708_methoden_statistik
Intégrer
<iframe src="https://card2brain.ch/box/20230708_methoden_statistik/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>

Was ist keine zentrale Frage bei der Konkretisierung der Fragestellung?

Was trifft nicht auf das Äpfel-und-Birnen-Problem zu?

 Was trifft nicht auf das Garbage-in-Garbage-out-Problem (Rote-Socken-Problem) zu?

Was trifft auf die Wahl von Auswahlkriterien nicht zu?

Nenne drei „Orte“, wo man Primärstudien finden kann.

  • Literaturdatenbanken (PsychINFO, Medline, Web of Science, google scholar...),

  • in bereits vorliegende Reviews und Metaanalysen,

  • in den Literaturlisten bereits identifizierter Studien,

  • Datenbanken von „Review“-Organisationen (z.B. Cochrane, Campbell-Collaboration, fachübergreifende Akademien (Leopoldina), wissenschaftliche Vereinigungen),

  • Monographien (Dissertationen, Masterarbeiten),

  • durch Kontaktaufnahme zu einschlägigen Wissenschaftler*innen im Feld

Was ist keine Herausforderung bei der Suche nach Primärstudien?

Was ist kein Schritt bei der Kodierung von Studien und Ergebnissen?

Nenne die vier Kodiermerkmale?

1. Merkmale der Intervention/Manipulation (Art, Setting...)

2. Stichprobe/Klientel (Alter, Geschlecht...)

3. Method. Merkmale (Design, Dropout Rate...)

4. Ergebnisse (MW, Streuung...)

--> Anzahl und Art der Kodierungen abhängig von inhaltl. Interessen! Welche Moderatoren sollen untersucht werden? Kodierung steuert nachfolgende Auswertungen!

Was ist keine zentrale Herausforderung bei Metaanalysen?

Was stimmt nicht bezüglich der Kodierung methodischer Qualität?

Welche drei „Arten“ von Ergebnissen werden in Metaanalysen kodiert?

I) Deskriptive Parameter notieren
z.B. Mittelwert, Streuung, Anzahl der Probanden, Anzahl der Messungen

II) Statistische Kennwerte notieren
z.B. t-Wert, F-Wert, Signifikanzniveau (p-Wert)

III) Einheitliche Effektstärke berechnen: Die Effektstärke (oder Effektgröße) gibt die Größe eines statistischen Effekts an und kann die praktische Relevanz verdeutlichen

Vorteile: Effekte können verglichen werden, auch wenn verschiedene Messemethoden genutzt wurden (z.B. Leistung als Schulnote, Elternbeurteilung, erreichte Punkte in Tests, etc.); geradlinig interpretierbar

Was trifft auf einheitliche Effektstärken nicht zu?

Was stimmt nicht hinsichtlich dem d-Index bzw. Cohen’s d?

Was stimmt nicht hinsichtlich dem Hedge’s g?

Was stimmt nicht hinsichtlich dem r-Index?

Was trifft auf die Effektstärke-Berechnung (ES) nicht zu?

Was sind die vier Ziele/Fragen bei der Integration der Ergebnisse in Metaanalysen?

I) Zusammenfassung und Integration der Ergebnisparameter (Effektstärken) zur Beantwortung der zentralen Fragestellung

z.B. gibt es einen ZH von Intelligenz und Schulleistung und wie groß ist der? 

II) Analyse der Varianz von Effektstärken (Homogenitätsanalysen)

z.B. gibt es große Unterschiede zwischen den Studienergebnissen?

III) Gibt es Moderatoren?

z.B. hängt die Effektstärke von Alter, Geschlecht, Art der Studie etc. ab?

IV) Gibt es Publikationsverzerrungen?

z.B. weisen meine Ergebnisse darauf hin, dass Studien mit geringen oder keinen Effekten gar nicht erst veröffentlicht werden?

Was stimmt nicht hinsichtlich der Integration der Ergebnisparameter?

Sind Fixed- oder Random-Effects Modelle besser für Social bzw. Life Sciences?

Fixed-effects Modell:

  • beruht auf der Annahme, dass alle integrierten Studien sich auf die gleiche Population beziehen

  • Annahme: Variabilität kommt allein durch Stichprobenfehler zustande

  • angemessen bei Homogenität der Befunde

  • erlaubt geringen Generalisierungsgrad der Befunde

Random-effects Modell:

  • beruht auf der Annahme, dass Einzelstudien unterschiedliche Populationseffekte schätzen

  • Annahme: Variabilität der Ergebnisse kommt durch Stichprobenfehler und durch zusätzliche Varianzquellen zustande

  • angemessen bei Heterogenität der Befunde

  • erlaubt hohen Generalisierungsgrad der Befunde

    Random-effects Modelle in den allermeisten Fällen in social/life sciences besser!

Was trifft auf Fixed Effects Modelle bei Metaanalysen nicht zu?

Was trifft auf Random Effects Modelle bei Metaanalysen nicht zu?

Was ist/sind keine Methode/n zur Integration der Ergebnisparameter?

Was trifft nicht auf die Methoden nach Hunter & Schmidt und nach Hedges & Olkin zu?

Was trifft nicht auf die Homogenitätsanalyse zu?

Was trifft nicht auf Moderatoren bei Metaanalysen zu?

Was ist keine Methode zur Identifikation von Publikationsverzerrungen?

Welche Aussagen zu Methoden zur Identifikation von Publikationsverzerrungen stimmt nicht?

Was ist keine Methode, um Publikationsverzerrungen zu korrigieren?

Was ist kein Vorteil von Metanalysen?

  1. Welche Beschreibungen von Journal-Arten sind richtig? – 2 richtige Antworten

Was ist kein Modell von Zeitschriften in der Psychologie?

Was trifft nicht auf den Impact Factor zu?

Was trifft nicht auf den Hirsch-Index bzw. h-Index zu?

  1. Nenne drei Folgen von Fabricated Data.

  • Vertrauen in Wissenschaft beschädigt
  • Öffentliche Gelder verschwendet
  • Nutzlose Nachfolgeforschung angestoßen

Nenne drei strukturelle Ursachen von Fabricated Data.

  • Steile Hierarchien

  • Konkurrenzdruck

  • Belohnungssystem (Effekte-Psychologie; Publikationsdruck „publish or perish“)

  • Wirtschaftliche Interessen der Publisher

  • Fehlende Kontrollinstanzen

  1. Nenne drei Gründe, warum viel publizierte Forschung falsch ist (s.B. kleine SP).

  • kleine Stichproben

  • kleine Effekte

  • geringe Teststärke (power)

  • geringer Anteil tatsächlich bestehender zu abwesenden Effekten

  • große Anzahl an AVs („cherry picking“, „significance fishing“)

  • Freiheitsgrade bei der Auswertung (in Kombination mit bestimmten Erwartungen (bias) der Forschenden; „data drenching“, „p-hacking“)

  • große Anzahl an Teams, die zeitgleich an einer Frage arbeiten

  • file drawer problem (nur positive Befunde werden veröffentlicht)

  1. Erkläre folgende Probleme hinsichtlich Sloppy Science:

    1. Cherry Picking
      bzw. Significance Fishing

    2. Data Stretching bzw. p-hacking

  1. Cherry Picking bzw. Significance Fishing: große Anzahl an AVs erhöhen Wskeit signifikante Befunde zu finden, nur sig Avs werden dann berichtet (bei p = .05 Wahrscheinlichkeit falsch zu liegen, dann schon bei 5% also bei jeder 20. Studie)

  2. Data Stretching bzw. p-hacking: Freiheitsgrade bei der statistischen Auswertung (in Kombination mit bestimmten Erwartungen (bias) der Forschenden. Ziel es ist, den p-Wert (d. h. die Signifikanz) durch nachträgliche Anpassung der Testparameter unter eine bestimmte Grenze zu reduzieren.

  1. Was trifft nicht auf die „Just post it.“-Studie von Simonsohn zu?

Was soll man nicht tun, wenn man Zugang zu den Originaldaten bekommt?

  1. Was trifft auf Sloppy Science und ihre Vermeidung nicht zu?