Metaanalyse

Aufgabenstellung 

• Exploration des Bedarfs an integrativer Forschung 
• Genaue Festlegung der Fragestellung und Hypothesen 
• Definition der Konstrukte und Abgrenzung zu anderen Themenbereichen 
• Festlegung grundlegender Selektionskriterien (z.B. Inhalte, Publikationssprache, Publikationszeitraum)

Maßnahmen/Problemstellungen

• intensives Literaturstudium, langjährige Forschungserfahrung
• Uniformitätsprobleme (inhaltliche Heterogenität, Inkommensurabilität, "Äpfel-Birnen"-Problem  

Aufgabenstellung 

• Identifikation von Suchbegriffen und Suchstrategien 
• umfassende Literatursuche 

Maßnahmen/Problemstellungen 

• Multiple Suchstrategien 
• Berücksichtigung "nicht-publizierter" Literatur (publication-bias) 

Aufgabenstellung

• Kodierung der Forschungsberichte/Studien nach inhaltlichen und methodischen Merkmalen (ggf. neue/veränderte Selektionskriterien) 
• Festlegung der Analyseebenen

Maßnahmen/Problemstellung

• Erstellung eines einheitlichen Auswertungschemas (Kodiersystems) 
• Überprüfung der Kodierübereinstimmung 

Aufgabenstellung 

• Zusammenfassung der Befunde; Auswertung nach inhaltlichen/methodischen Merkmalen 
• bei empirischer Forschung: Nutzung statistischer Integrationsmethoden (Meta-Analyse) 

Maßnahmen/Problemstellung 

• Berechnung integrativer Ergebnisparameter
• Einfluss methodischer Merkmale
• Identifikation differentieller Ergebnisse 
• Feststellung von Konfundierungen 

Aufgabenstellung 

• detaillierte Dokumentation des methodischen Vorgehens, Berichtlegung und Beantwortung der Forschungsfragen 

Maßnahmen/Problemstellungen 

• je nach Adressat (Wissenschaft, Praxis, Gesellschaft, Politik) unterschiedliche Darstellungsformen

Fragestellungen, aber auch Definitionen, Stichproben, Umsetzung der Manipulation, Messinstrumente, Kontext, methodische Qualität der Primärstudien sind oft heterogen

• Konkurrierende Definitionen von Begriffen und Konstruktionen besonders bei fachübergreifenden Fragestellungen
• Historische Veränderungen von Konstrukten/Begriffen und deren Definitionen
• International uneinheitliche Definitionen/Forschungstraditionen

Beispiel: Spieltherapie 

• im angelsächsischen Raum: verknüpft mit Psychoanalyse, Spiel als Medium der Angst- und Konfliktbewältigung 
• in deutscher Tradition: verknüpft mit klientenzentrierter Therapie, Spiel als Medium zur Selbstaktualisierung
• in der Entwicklungspsychologie: Spiel als zentraler Aspekt der kognitiven Entwicklung 

• Generalisierungsabsicht (z.B. Wirkung von Psychotherapie vs. Wirkung von Hypnose zur Operationsvorbereitung) 
• Potentielle Moderatorvariablen (z.B. Alter der Klientel, Art der Intervention) 

Als "kleinster gemeinsamer Nenner" der Operationalisierungen der Primärarbeiten. 

Die Qualität der Metaanalyse ist abhängig von der Qualität der eingeschlossenen Primärstudien. 

• Klarheit bei Auswahlkriterien der Primärstudien
• Präzise Kodierung der methodischen Qualität
• Methodische Qualität als Moderatorvariable testen
• auf methodische Qualität kontrollieren
• Klare Dokumentation und Begründung aller Schritte
• Wichtig: „Data-analysis is an aid to thought, not substitute!“ (Green & Hall, 1984)

• Inhaltliche Konstrukte (zentrale Aspekte der Forschungsfrage wie Intervention und Erfolgskriterien: Was gehört zu Psychotherapie? Welcher Operationalisierungen der Effekte von Interventionen sollen ausgewählt werden?)
• Methodische Merkmale der Forschungsarbeiten (z.B. nur Studie mit kontrolliertem Design und randomisierter Zuordnung, nur Längsschnittstudien, bestimmte Stichprobengröße, unabhängiges funding (!), etc.)
• Art der Stichprobe (z.B. Kinder- und Jugendliche, Menschen mit bestimmten klinischen Diagnosen etc.)
• Publikationssprache, Publikationsjahr und Ort der Durchführung
• Abgrenzungen zu verwandten Forschungsfeldern (explizite Ausschlusskriterien)

Wichtig: Auswahlkriterien müssen transparent formuliert werden!

• Identifikation und Beschaffung älterer Forschungsarbeiten schwierig (z.T. nicht in Datenbanken)
• Identifikation und Beschaffung fremdsprachiger Arbeiten oft schwierig
• Identifikation und Beschaffung nicht publizierter Arbeiten schwierig
• Publication bias: höhere Publikationswahrscheinlichkeit hypothesenkonformer Forschungsergebnisse

Arten nicht publizierter Arbeiten und Möglichkeiten der Beschaffung 

• Dissertationen (mittlerweile über Dissertation Abstracts und Online Dienste zu identifizieren und beschaffen)
• Diplom-, BA- und MA-Arbeiten (schwierig zu beschaffen, Betreuer anfragen)
• Dokumentationen von Studien aus Ministerien, außeruniversitären Forschungseinrichtungen (über Internet mittlerweile zu beschaffen)
• Studien mit erwartungs-diskonformen Ergebnissen (schwierig zu beschaffen, bekannte Forscher anschreiben)
• Studien zu internen Zwecken (Auftragsforschung: kaum identifizierbar, i.d.R. nicht beschaffbar

Dokumentation ist wichtig: Screening Datei mit Studien und Selektionskriterien erstellen (inklusive Dokumentation der ausgeschlossenen Arbeiten)

Recall (Vollständigkeitsquote) 

• Ziel: Identifikation sämtlicher relevanter Quellen ("positive Treffer")
• Zahl der gefundenen relevanten Dokumente/ (unbekannte) Gesamtzahl der relevanten Dokumente 

Precision (Genauigkeitsquote) 

• Ziel: Ergebnismenge ohne irrelevante Quellen ("negative Treffer") 
• Zahl der gefundenen relevanten Dokumente/Gesamtzahl der gefundenen Dokumente

Ziel: Maximierung von Recall und Precision

Aufgaben 

• Festlegung der Analyse-Ebenen und der Analyse-Einheit
• Erstellung eines detaillierten Kodierplans für inhaltliche, methodische und ergebnisbezogene Informationen (einschl. detaillier Beschreibungen)
• Training der Kodierer und Kodierungsdurchführung
• Überprüfung der Kodierungsreliabilität (Interkodierer-Übereinstimmung)

Ziel

• Schaffung einer zuverlässigen und einheitlichen Auswertungsbasis unter Einschluss relevanter Beurteilungs- und Integrationsaspekte

• Merkmale der Intervention/Manipulation (Art, Intensität, Administrator, theoretische Ausrichtung, Setting, etc.)
• Merkmale der Stichprobe/Klientel (Alter, Geschlecht, Diagnose, Belastungsgrad, etc.)
• Methodische Merkmale (Design, methodische Qualität, Reliabilität, Stichprobengröße, Dropout-Rate, Reaktivität, Standardisierungsgrad, etc.)
• Ergebnisse (Mittelwerte, SD, Teststatistiken, Signifikanzniveaus, etc.)
• Identifikations-/Publikationsmerkmale (Autoren, Publikationsland und – jahr, -art, -status, - organ, etc.)
• Rahmenbedingungen der Forschung (Finanzierung, Interessenskonflikte der Autoren, etc.)

• High inference codings: methodische Qualität, Stichprobe, Dauer der Intervention 
• Low inference codings: Publlikationsjahr

• Uneinheitlich verwendete Begriffe und Konstrukte →Rückkopplung Arbeitsschritte 1/2
• (Zu) große inhaltliche und/ oder methodische Variabilität zwischen den Studien → Rückkopplungsschleife zu Arbeitsschritte 1/2
• Keine oder ungenaue Beschreibungen in den Studien (fehlende Werte, Angaben) →Autoren kontaktieren

1. Methodische Bewertungen der Primärstudien
2. Methodischen Mindeststandard für Einschluss festlegen (z.B. nur randomized controlled trials)
3. Untersuchung methodischer Einflussfaktoren (methodische Qualität als Moderator, siehe nächster Schritt)
4. Korrektur oder Gewichtung der Ergebnisse nach methodischer Qualität (siehe nächster Schritt, z.B. Hunter & Schmidt , 2004)

• Globalbewertungen (z.B. Maryland-Scale von Sherman et al., 1997) (Studien werden nach Kriterium in Punktekategorie eingestuft)
• Summenscores (Studien erhalten jeweils einen Wert-Punkt für zutreffendes Kriterium)

• 1 = Nur Post-Design ohne Kontrollgruppe
• 2 = Prä-Post-Design ohne vergleichbare Kontrollgruppe
• 3 = Prä-Post-Design mit nicht äquivalenter Kontrollgruppe (nicht randomisiert)
• 4 = Prä-Post-Design mit Kontrollgruppe (nicht randomisiert, aber mit zusätzlicher Kontrolle der Vergleichbarkeit der Gruppen)
• 5 = Prä-Post Design mit randomisierter Kontrollgruppe

1. Registrierung der deskriptiven Ergebnisparameter: M, SD, df
2. Registrierung der statistischen Kennwerte: Parameter und Signifikanzniveau
3. Berechnung einheitlicher Effektstärken: d-Index (standardisierter Mittelwertunterschied), Produkt-Moment-Korrelation r, Odd Ratio

Die Effektstärke! ES = (M_a-M_b)/s

M = Mittelwert 

s = Standardabweichung

Bekannt sein müssen…

• Versuchsdesign (Kontrollgruppe, Prä-Post)
• Stichprobengröße in EG und KG
• Mittelwerte
• Standardabweichungen in EG und KG (oder F-,t-Werte, um SD zu schätzen)

In Standardabweichungen. Habe ich zum Beispiel eine Effekstärke von 0,5 bei der Behandlergruppe, sp weiß ich, dass die Behandlergruppe eine halbe Standardabweichung über der Kontrollgruppe liegt. 

1. Berechnung der Effektstärken pro Studie
2. Berechnung der gesamten Effektstärke als Mittelwert dieser Effektstärken (evtl. mit Korrektur der erwartungstreuen Schätzer) a) Gewichtung der ES mit dem Stichprobenumfang (ESxN) b) Berücksichtigung nur solcher Effektstärken, die laut Homogenitätstest nicht durch Moderatorvariablen beeinflusst sind.
3. Interpretation der Effektstärken in Einheiten der gemittelten Standardabweichung.

Durch gepoolte Standardabweichung aus den Prä-Messungen. 

!T-Shirt-Größen können nur bei der Standardformel interpretiert werden! 

• Problem statistischer Abhängigkeit der ES
• Lösungsmöglichkeiten: Zusammenfassung innerhalb der Studie
  • Mittelwert aller ES oder
  • Auswahl einer konkreten ES nach inhaltlichen Kriterien

• Zusammenfassung / Integration der Ergebnisparameter (Effektstärken)
• Analyse der Varianz der Effektstärken (Homogenitätsanalysen)
• Analyse von Moderatoren
• Gibt es Publikationsverzerrungen

Man zählt die signifikaten und nicht-signifikanten Studien und macht einen Test wie wahrscheinlich dieses Ergebnis ist (über Verteilungsverfahren). Welcher Effektstärkenbereich würde am wahrscheinlichsten dafür rauskommen? 

• Korrelationen: Fisher-Z-Transformation
• Odds Ratio: Logarithmieren

• Methoden der Wahl: Integration nach Hedges & Olkin (z.B. 1985) oder nach Hunter & Schmidt (z.B. 2004)
• Einfachste Methode: Bestimmung der durchschnittlichen ES
• Berechnung eines Gewichtungsfaktors der Effektstärke pro Studie (oder Vergleich)
  • z.B. Stichprobengröße (Hunter & Schmidt, einfach Variante), inverse Varianz (Hedges & Olkin), weiteres methodische Aspekte (Hunter & Schmidt)
• Integration der gewichteten Effektstärken nach fixed- oder randomeffects-Modell, um mittlere Effektstärke zu erhalten (inkl. Angabe des Konfidenzintervalls)

• Diese Methode erlaubt Korrektur der ES für viele mögliche Fehlerquellen (z.B. sampling error/Stichprobenfehler, Reliabilität der Maße, Dichotomisierung von Variablen, etc.)
• Einfachste Form: r (=ES) wird gewichtet durch die Stichprobengröße

• Diese Methode korrigiert die ES für Varianz in den jeweiligen Studien
• Fixed-effects Modell: z-standardisierte r aus jeder Studie werden durch die inverse within-study Varianz der entsprechenden Studie gewichtet
• Random-effects Modell: neben der Gewichtung durch die inverse within-study Varianz wird die between-study Varianz in die Gewichtung eingerechnet