Metaanalyse

Die Effektstärke! ES = (M_a-M_b)/s

M = Mittelwert 

s = Standardabweichung

Bekannt sein müssen…

• Versuchsdesign (Kontrollgruppe, Prä-Post)
• Stichprobengröße in EG und KG
• Mittelwerte
• Standardabweichungen in EG und KG (oder F-,t-Werte, um SD zu schätzen)

In Standardabweichungen. Habe ich zum Beispiel eine Effekstärke von 0,5 bei der Behandlergruppe, sp weiß ich, dass die Behandlergruppe eine halbe Standardabweichung über der Kontrollgruppe liegt. 

1. Berechnung der Effektstärken pro Studie
2. Berechnung der gesamten Effektstärke als Mittelwert dieser Effektstärken (evtl. mit Korrektur der erwartungstreuen Schätzer) a) Gewichtung der ES mit dem Stichprobenumfang (ESxN) b) Berücksichtigung nur solcher Effektstärken, die laut Homogenitätstest nicht durch Moderatorvariablen beeinflusst sind.
3. Interpretation der Effektstärken in Einheiten der gemittelten Standardabweichung.

Durch gepoolte Standardabweichung aus den Prä-Messungen. 

!T-Shirt-Größen können nur bei der Standardformel interpretiert werden! 

• Problem statistischer Abhängigkeit der ES
• Lösungsmöglichkeiten: Zusammenfassung innerhalb der Studie
  • Mittelwert aller ES oder
  • Auswahl einer konkreten ES nach inhaltlichen Kriterien

• Zusammenfassung / Integration der Ergebnisparameter (Effektstärken)
• Analyse der Varianz der Effektstärken (Homogenitätsanalysen)
• Analyse von Moderatoren
• Gibt es Publikationsverzerrungen

Man zählt die signifikaten und nicht-signifikanten Studien und macht einen Test wie wahrscheinlich dieses Ergebnis ist (über Verteilungsverfahren). Welcher Effektstärkenbereich würde am wahrscheinlichsten dafür rauskommen? 

• Korrelationen: Fisher-Z-Transformation
• Odds Ratio: Logarithmieren

• Methoden der Wahl: Integration nach Hedges & Olkin (z.B. 1985) oder nach Hunter & Schmidt (z.B. 2004)
• Einfachste Methode: Bestimmung der durchschnittlichen ES
• Berechnung eines Gewichtungsfaktors der Effektstärke pro Studie (oder Vergleich)
  • z.B. Stichprobengröße (Hunter & Schmidt, einfach Variante), inverse Varianz (Hedges & Olkin), weiteres methodische Aspekte (Hunter & Schmidt)
• Integration der gewichteten Effektstärken nach fixed- oder randomeffects-Modell, um mittlere Effektstärke zu erhalten (inkl. Angabe des Konfidenzintervalls)

• Diese Methode erlaubt Korrektur der ES für viele mögliche Fehlerquellen (z.B. sampling error/Stichprobenfehler, Reliabilität der Maße, Dichotomisierung von Variablen, etc.)
• Einfachste Form: r (=ES) wird gewichtet durch die Stichprobengröße

• Diese Methode korrigiert die ES für Varianz in den jeweiligen Studien
• Fixed-effects Modell: z-standardisierte r aus jeder Studie werden durch die inverse within-study Varianz der entsprechenden Studie gewichtet
• Random-effects Modell: neben der Gewichtung durch die inverse within-study Varianz wird die between-study Varianz in die Gewichtung eingerechnet

• Beruht auf der Annahme, dass alle integrierten Studien sich auf die gleiche Population beziehen
• Annahme: Variabilität kommt allein durch Stichprobenfehler zustande
• Angemessen bei Homogenität der Befunde
• Erlaubt geringen Generalisierungsgrad der Befunde

• Beruht auf der Annahme, dass Einzelstudien unterschiedliche Populationseffekte schätzen
• Annahme: Variabilität der Ergebnisse kommt durch Stichprobenfehler und durch zusätzliche Varianzquellen zustande • Angemessen bei Heterogenität der Befunde
• Erlaubt hohen Generalisierungsgrad der Befunde
• Field (2010): Random-effects Modelle in den allermeisten Fällen in social/life sciences besser!

• Berechnung auf Basis der Effektstärken-Variabilität: Ist die ESVariabilität über Studien allein durch Stichprobenfehler zu erklären oder gibt es weitere Varianzquellen?
• Prinzip: Variabilität zwischen Studien wird verglichen mit Variabilität innerhalb der Studien
• Die beiden Integrations-Methoden (Hunter & Schmidt/Hedges & Olkin) haben jeweils spezifische Formeln für Homogenitätsanalyse (siehe Field, 2010)
• Das Ergebnis hat Einfluss auf Auswahl des Modells der Integration (fixed versus random effects) und auf Annahme von Moderatoren --> ob fixed oder random sollte eher auf Basis von inhaltlichen Überlegungen entschieden werden

Inhaltliche (z.B. Dauer des Treatments) und methodische Aspekte (z.B. random assignment), die die Effektstärke signifikant beeinflussen

• Varianzanalytisch (bei kategorialen-Variablen)
• Regressionsanalytisch (bei kontinuierlichen Moderator-Variablen); multiple Regression erlaubt Einschluss kategorialer und kontinuierlicher Moderatorvariablen
• Q-Statistik (als Homogenitätsprüfung)

• Vergleich nicht publizierter und publizierter Arbeiten: gibt es eine Tendenz zu geringeren Effektstärken in nicht publizierten Arbeiten?
• Berechnung des Fail-safe N (Anzahl an Studien mit ES = 0 die es bräuchte, um den mittleren Effekt gerade nicht signifikant werden zu lassen)
• Funnel-Plots zeigen den Zusammenhang zwischen Stichprobengröße und den Effektstärken in den Primärstudien
  • → ohne Publikationsverzerrung sieht der funnel plot trichterförmig aus mit Gleichverteilung um die mittlere Effektstärke
• Rangkorrelationstest (Begg & Mazumdar‘s, 1994) für Publikationsverzerrung: korreliert Stichprobengröße mit Effektstärke?

• Definition eines cut-offs (z.B. basierend auf SD)
• Removal oder Rückkodierung der Outlier auf „realistische“ Werte (z.B. auf MW +/- 3 SD) („Winsorizing“)
• Korrektur durch Trim-and-Fill-Analyse: Ergänzung des funnelplots um fiktive komplementäre (kleine/negative) ES-Werte. Dann wird die mittlere ES neu geschätzt

• Binomial Effect Size Display (BESD): Umrechnung der ES in prozentuale Verbesserungschancen (z.B. d=.2, BESD=10%)
• Klinische Signifikanz: Effektstärken werden anhand von Normgruppen (statt Kontrollgruppen) berechnet

• ein Spezialfall der integrativen Forschung, die den wissenschaftlichen Kenntnisstand zu einer Fragestellung möglichst systematisch, nachvollziehbar und unter Verwendung statistischer Verfahren zu integrieren versucht (Lösel, 1987)
• Eine Besonderheit ist dabei die Berechnung einheitlicher Effektstärken zur Integration und zum Vergleich der Ergebnisse über und zwischen Primärstudien

Narrative Reviews sind ein Grundtyp integrativer Forschung und stellen eine mehr oder weniger systematische Auflistung und Diskussion von Befunden zu einem Thema dar. 

Es gibt Metaaanalyse, die sich mit korrelativen Zusammenhängen und beschäftigen und solche, die sich mit Gruppenkontrasten beschäftigen. 

In die Gruppe der korrelativen Zusammenhänge fallen Testvalidierung und Merkmalskovariation. 

In die Gruppe der Gruppenkontraste fallen Gruppendifferenzen und Interventionswirkungen. 

• Explosion von Publikationszahlen
• Eingeschränkte Aussagekraft von Einzelergebnissen (Idiosynkrasien in Primärstudien)
• Vielzahl sich widersprechender Befunde
• Bedarf an integrativen Zusammenfassungen für Wissenschaft, Praxis und Öffentlichkeit 

1. Forschungsfrage/Problemstellung 
2. Datenerhebung (Daten = Forschungsberichte) 
3. Datenstrukturierung und -evaluation 
4. Datenanalyse und -integration 
5. Datenpräsentation

Aufgabenstellung 

• Exploration des Bedarfs an integrativer Forschung 
• Genaue Festlegung der Fragestellung und Hypothesen 
• Definition der Konstrukte und Abgrenzung zu anderen Themenbereichen 
• Festlegung grundlegender Selektionskriterien (z.B. Inhalte, Publikationssprache, Publikationszeitraum)

Maßnahmen/Problemstellungen

• intensives Literaturstudium, langjährige Forschungserfahrung
• Uniformitätsprobleme (inhaltliche Heterogenität, Inkommensurabilität, "Äpfel-Birnen"-Problem  

Aufgabenstellung 

• Identifikation von Suchbegriffen und Suchstrategien 
• umfassende Literatursuche 

Maßnahmen/Problemstellungen 

• Multiple Suchstrategien 
• Berücksichtigung "nicht-publizierter" Literatur (publication-bias) 

Aufgabenstellung

• Kodierung der Forschungsberichte/Studien nach inhaltlichen und methodischen Merkmalen (ggf. neue/veränderte Selektionskriterien) 
• Festlegung der Analyseebenen

Maßnahmen/Problemstellung

• Erstellung eines einheitlichen Auswertungschemas (Kodiersystems) 
• Überprüfung der Kodierübereinstimmung 

Aufgabenstellung 

• Zusammenfassung der Befunde; Auswertung nach inhaltlichen/methodischen Merkmalen 
• bei empirischer Forschung: Nutzung statistischer Integrationsmethoden (Meta-Analyse) 

Maßnahmen/Problemstellung 

• Berechnung integrativer Ergebnisparameter
• Einfluss methodischer Merkmale
• Identifikation differentieller Ergebnisse 
• Feststellung von Konfundierungen 

Aufgabenstellung 

• detaillierte Dokumentation des methodischen Vorgehens, Berichtlegung und Beantwortung der Forschungsfragen 

Maßnahmen/Problemstellungen 

• je nach Adressat (Wissenschaft, Praxis, Gesellschaft, Politik) unterschiedliche Darstellungsformen

Fragestellungen, aber auch Definitionen, Stichproben, Umsetzung der Manipulation, Messinstrumente, Kontext, methodische Qualität der Primärstudien sind oft heterogen

• Konkurrierende Definitionen von Begriffen und Konstruktionen besonders bei fachübergreifenden Fragestellungen
• Historische Veränderungen von Konstrukten/Begriffen und deren Definitionen
• International uneinheitliche Definitionen/Forschungstraditionen

Beispiel: Spieltherapie 

• im angelsächsischen Raum: verknüpft mit Psychoanalyse, Spiel als Medium der Angst- und Konfliktbewältigung 
• in deutscher Tradition: verknüpft mit klientenzentrierter Therapie, Spiel als Medium zur Selbstaktualisierung
• in der Entwicklungspsychologie: Spiel als zentraler Aspekt der kognitiven Entwicklung 

• Generalisierungsabsicht (z.B. Wirkung von Psychotherapie vs. Wirkung von Hypnose zur Operationsvorbereitung) 
• Potentielle Moderatorvariablen (z.B. Alter der Klientel, Art der Intervention) 

Als "kleinster gemeinsamer Nenner" der Operationalisierungen der Primärarbeiten. 

Die Qualität der Metaanalyse ist abhängig von der Qualität der eingeschlossenen Primärstudien. 

• Klarheit bei Auswahlkriterien der Primärstudien
• Präzise Kodierung der methodischen Qualität
• Methodische Qualität als Moderatorvariable testen
• auf methodische Qualität kontrollieren
• Klare Dokumentation und Begründung aller Schritte
• Wichtig: „Data-analysis is an aid to thought, not substitute!“ (Green & Hall, 1984)

• Inhaltliche Konstrukte (zentrale Aspekte der Forschungsfrage wie Intervention und Erfolgskriterien: Was gehört zu Psychotherapie? Welcher Operationalisierungen der Effekte von Interventionen sollen ausgewählt werden?)
• Methodische Merkmale der Forschungsarbeiten (z.B. nur Studie mit kontrolliertem Design und randomisierter Zuordnung, nur Längsschnittstudien, bestimmte Stichprobengröße, unabhängiges funding (!), etc.)
• Art der Stichprobe (z.B. Kinder- und Jugendliche, Menschen mit bestimmten klinischen Diagnosen etc.)
• Publikationssprache, Publikationsjahr und Ort der Durchführung
• Abgrenzungen zu verwandten Forschungsfeldern (explizite Ausschlusskriterien)

Wichtig: Auswahlkriterien müssen transparent formuliert werden!

• Identifikation und Beschaffung älterer Forschungsarbeiten schwierig (z.T. nicht in Datenbanken)
• Identifikation und Beschaffung fremdsprachiger Arbeiten oft schwierig
• Identifikation und Beschaffung nicht publizierter Arbeiten schwierig
• Publication bias: höhere Publikationswahrscheinlichkeit hypothesenkonformer Forschungsergebnisse

Arten nicht publizierter Arbeiten und Möglichkeiten der Beschaffung 

• Dissertationen (mittlerweile über Dissertation Abstracts und Online Dienste zu identifizieren und beschaffen)
• Diplom-, BA- und MA-Arbeiten (schwierig zu beschaffen, Betreuer anfragen)
• Dokumentationen von Studien aus Ministerien, außeruniversitären Forschungseinrichtungen (über Internet mittlerweile zu beschaffen)
• Studien mit erwartungs-diskonformen Ergebnissen (schwierig zu beschaffen, bekannte Forscher anschreiben)
• Studien zu internen Zwecken (Auftragsforschung: kaum identifizierbar, i.d.R. nicht beschaffbar

Dokumentation ist wichtig: Screening Datei mit Studien und Selektionskriterien erstellen (inklusive Dokumentation der ausgeschlossenen Arbeiten)

Recall (Vollständigkeitsquote) 

• Ziel: Identifikation sämtlicher relevanter Quellen ("positive Treffer")
• Zahl der gefundenen relevanten Dokumente/ (unbekannte) Gesamtzahl der relevanten Dokumente 

Precision (Genauigkeitsquote) 

• Ziel: Ergebnismenge ohne irrelevante Quellen ("negative Treffer") 
• Zahl der gefundenen relevanten Dokumente/Gesamtzahl der gefundenen Dokumente

Ziel: Maximierung von Recall und Precision