PTFuMdKP

Antwort Chambless et al: Anerkennen den Punkt: Breite Outcomemessbatterie ist wichtig!

Verweisen darauf, dass Aspekte wie die Lebensqualität in neueren Studien vermehrt erfasst werden Verweisen darauf, dass in ESTs, in welchen die Lebensqualität oder soziale Anpassung erfasst wurde, auch bezüglich dieser Masse gute Effekte gefunden wurden.

Glass: « Meta-analysis refers to the analysis of analyses (...) the statistical analysis of a large collection of results from individual studies for the purpose of integrating the findings »: MA analysieren die Analysen von statistischen Analysen einer grösseren Ansammlung von Resultaten individueller Studien um die Ergebnisse zu integrieren und eine Vorhersage zu machen.

Drinkmann: « Methode zur quantitativen Integration der Ergebnisse empirischer Primäruntersuchungen sowie zur Analyse der Variabilität dieser Ergebnisse »

Glass: « Meta-analysis refers to the analysis of analyses (...) the statistical analysis of a large collection of results from individual studies for the purpose of integrating the findings »: MA analysieren die Analysen von statistischen Analysen einer grösseren Ansammlung von Resultaten individueller Studien um die Ergebnisse zu integrieren und eine Vorhersage zu machen.

Drinkmann: « Methode zur quantitativen Integration der Ergebnisse empirischer Primäruntersuchungen sowie zur Analyse der Variabilität dieser Ergebnisse »

• Grössere Vp-Anzahl
• Überblick über Forschungsbereich
• Untersuchung von Moderatoren
• Quantifizierung
• Replizierbarkeit & Objektivität
• Umfangreiche Fallzahl

In Metaanalysen ist die Power (Teststärke) grösser: Aufgrund der grösseren Versuchspersonenzahl ist Wahrscheinlichkeit erhöht, tatsächlich vorhandene Unterschiede/Zusammenhänge auch bei relativ kleinen Effekten zu finden

Auch Studien mit kleinen Stichproben können integriert werden (no wasting of data; Rosenthal & DiMatteo, 2001)

Signifikanz eines Ergebnisses hängt von Stichprobengrösse ab = Bei einer kleinen Stichprobe ist die Wahrscheinlichkeit einen Beta-Fehler zu machen grösser als bei einer grossen Stichprobe = Nullhypothese (z.B. kein Unterschied zwischen zwei Therapieansätzen) wird beibehalten, obwohl Alternativhypothese (z.B. Unterschied vorhanden) gilt

• Publikationen von Primärstudien generieren eine unüberschaubare Menge an Einzelinformationen
• Metaanalysen liefern einen umfassenden Überblick über einen Forschungsbereich: Sie können deshalb aufzeigen, in welchen wichtigen Forschungsfragen noch Lücken bestehen und wo Defizite in Primärstudien bestehen
• Liefern Anregungen für neue Primärstudien

• In Metaanalysen ist die Variationsbreite der verschiedenen Variablen relativ gross (z.B. können bei der Untersuchung eines Therapieansatzes Studien eingeschlossen werden, in welchen sich die Behandlungsdauer stark unterscheidet)
• Entsprechend können in Metaanalysen Moderatoren zur Erklärung der Varianz in den Effektstärken untersucht werden (z.B. sind längere Therapien wirksamer als kürzere Therapien oder hängt der Therapieerfolg mit der Qualität der Studien zusammen?)
• Entsprechende Moderatoranalysen sind in Primärstudien oft nicht möglich (aufgrund der zu kleinen Stichprobe oder aufgrund einer eingeschränkten Variationsbreite der interessierenden Variablen)
• ACHTUNG! Mögliche Moderatoreffekte können nicht völlig isoliert werden, da sich Untersuchungen oft in mehreren Merkmalen unterscheiden (=Störvariablen)

Auch bei widersprüchlichen Einzelbefunden kommt man zu einem eindeutigen Gesamtergebnis; möglicherweise können Unterschiede in den Studien über Moderatorvariablen erklärt werden

Alle Einzel- und Analyseschritte lassen sich genau nachvollziehen

Replizierbarkeit: Prisma Statement hat als Ziel die Replizierbarkeit: dadurch kann man jede MA durchführen und sie wird dann auch veröffentlicht.

Metaanalysen spielen deshalb für eine Reihe von Entscheidungsträgern eine wichtige Rolle (z.B. bei der Beurteilung der Wirksamkeit eines Therapieansatzes)

Systematische Reviews machen keine integrierte Effektstärke. Es kommt am schluss keine Zahl heraus, bei dem erkennbar wird, dass ein Ansatz einem anderen überlegen wird. Metaalalysen machen dies.

Viele Forscher sagen, es ist besser, wenn man gleich noch die Quantifizierung macht: Besser eine Metaanalyse als nicht.

Narrative Reviews zeigen, was in einem Forschungsbereich schon gemacht wurde.

Metaanalyse vom Typ A: Integrieren Studien zu einer Fragestellung und prüfen die Signifikanz der ermittelten integrierten Effektstärken (z.B. ist Therapieansatz A dem Therapieansatz B überlegen). Der Theoriebeitrag ist die Bestätigung oder Verwerfung einer vorhandenen Hypothese mit höherer statistischer Power als in Primärstudien.

Metaanalyse vom Typ B: Untersuchen Moderatoren, die bereits in anderen Studien (auch in den Primärstudien) untersucht wurden (z.B. hat das Geschlecht der Patienten einen Einfluss auf den Therapieoutcome). Der Theoriebeitrag ist die mögliche Generalisierbarkeit von bereits vorhandenen Hypothesen (z.B. das Geschlecht der Probanden spielt bei verschiedenen Therapieansätzen eine Rolle)

Testung von neuen, in der Primärforschung noch nicht untersuchten Hypothesen (z.B. sind die gefundenen Therapieeffekte in RCTs höher als in effectiveness-Studien).

• Bias in Sampling the Findings: Verzerrungen in der Stichprobe
• Garbage in - Garbage out: Die Integration von Studien unterschiedlicher Qualität
• Apples and Oranges: Das Uniformitätsproblem
• «Nonindependent Effects»: Die Integration abhängiger Daten

= Verzerrungen in der Stichprobe ...

• ... aufgrund unvollständiger Recherche / Suche nach Primärstudien Bias in Sampling the Findings Verzerrungen in der Stichprobe
• ... aufgrund des publication bias (signifikante Ergebnisse werden eher veröffentlicht als nichtsignifikante)
• ... aufgrund unvollständiger Informationen in den Primärstudien (z.B. keine Angaben zu Mittelwerten, Standardabweichungen oder Effektstärken) 

Garbage in - Garbage out = die Integration von Studien unterschiedlicher Qualität
= Es werden Studien vermengt, die von unterschiedlicher Qualität sind

Möglichkeiten damit umzugehen

• Studien von minderer Qualität können ausgeschlossen werden
• Studienqualität kann auch als Gewichtungsfaktor berücksichtigt werden: Als Mediator
• Die Studienqualität kann als Moderatorvariable untersucht werden (garbage in - information out -> Studienqualität kann Erklärung für Variabilität der vorgefundenen Effektstärken liefern)

Uniformitätsprinzip = Apples and Oranges 
Es werden Studien vermengt, die sich z.B. inOperationalisierungen, Eigenschaften von Versuchspersonen oder Auswertungsmethoden unterscheiden. -> In Metaanalysen werden Äpfel und Orangen vermengt und gemittelt

Möglichkeiten damit umzugehen:

• Antwort auf diesen Einwand von Smith et al. (1980): Bei Metaanalysen werden oft übergeordnete Fragestellungen untersucht: « Indeed the approach does mix apples and oranges, as one necessarily would do in studying fruits »
• In « guten » Metaanalysen werden Unterschiede in den Primärstudien berücksichtigt und als Moderatorvariablen untersucht.

= Die Integration abhängiger Daten
Die Abhängigkeit von Ergebnissen (z.B. mehrere Studien mit gleicher Stichprobe; mehrere Ergebnisse in einer Studie, die bei gleichen Probanden erhoben wurden) wird nicht berücksichtigt.

Möglichketien damit umzugehen?

• Verschiedene Methoden, um mit möglicher Abhängigkeit umzugehen: z.B. Zusammenfassung von abhängigen Ergebnissen zu einem Wert -> nur dieser Wert fliesst in Metaanalyse ein
• Berücksichtigung von gleichen Forschergruppen als Moderatorvariablen

Die Durchführung einer Metaanalyse ist vergleichbar mit anderen empirischen Untersuchungsformen. Aber: die Untersuchungsobjekte sind nicht Probanden sondern Studien

1. Konkretisierung des Forschungsproblems
2. Sammlung relevanter Untersuchungen
3. Codierung und Bewertung der Untersuchungen
4. Datenanalyse
5. Präsentation und Interpretation der Ergebnisse

Spezifizierung des Forschungsproblems bzw. der Fragestellung (das mit Metaanalysen verbundene Forschungsinteresse ist in der Regel umfassender als in der Primärforschung; heisst: Fragestellungen werden auf relativ hohem Abstraktionsniveau formuliert).

Grobe Spezifizierung der zu untersuchenden Variablen und der einzuschliessenden Primärstudien

• Die Suche relevanter Primärstudien = Datenerhebung in Metaanalysen
• Recherche muss breit angelegt sein, um systematische Verzerrungen zu verhindern
• Heute v.a. Suche nach Begriffen in elektronischen Datenbanken wie Medline (z.B. PubMed, EBSCO) oder PsycINFO (Ovid, WebSPIRS)
• Anschliessend aber auch Durchsuchen der gefundenen Artikel nach relevanter Literatur (« Schneeballprinzip »), Anschreiben von ForscherInnen etc.

• Codierung aller Informationen, die für die metaanalytischen Berechnungen notwendig sind (z.B. Stichprobengrösse, Mittelwert und Standardabweichung bei Experimental- und Kontrollgruppe) -> kann auch zum Ausschluss von Studien führen, wenn Daten fehlen
• Codierung möglicher Moderatoren (Merkmale der Studien, Patienten etc., die für die Erklärung der Varianz der Einzelergebnisse relevant sein könnten; z.B. Qualität der Studie, Komorbidität und Schweregrad der Störung, Alter der Patienten, Therapieform, Art der Medikation)
• Bei « high inference »-codings (Codierungen mit Bewertungsspielraum; z.B. Studienqualität) sollte die Interraterreliabilität zwischen Ratern überprüft werden

• Codierung aller Informationen, die für die metaanalytischen Berechnungen notwendig sind (z.B. Stichprobengrösse, Mittelwert und Standardabweichung bei Experimental- und Kontrollgruppe) -> kann auch zum Ausschluss von Studien führen, wenn Daten fehlen
• Codierung möglicher Moderatoren (Merkmale der Studien, Patienten etc., die für die Erklärung der Varianz der Einzelergebnisse relevant sein könnten; z.B. Qualität der Studie, Komorbidität und Schweregrad der Störung, Alter der Patienten, Therapieform, Art der Medikation)
• Bei « high inference »-codings (Codierungen mit Bewertungsspielraum; z.B. Studienqualität) sollte die Interraterreliabilität zwischen Ratern überprüft werden

Integration der Einzelergebnisse:

Einfache Möglichkeit: « vote count » -> Auszählen und Vergleich der signifikanten und nichtsignifkanten Ergebnisse in den Primärstudien -> gilt als ungenau, da z.B. Stichprobengrösse oder Grösse der Effekte unberücksichtigt bleib

Üblicher bzw. empfohlen:

1. Berechnung von Effektstärken (ES) zunächst für jede Primärstudie
2. Berechnung der durchschnittlichen ES über die verschiedenen Studien hinweg
   meist Gewichtung der ES nach Stichprobengrösse in Primärstudie (Logik: eine ES, die auf einer Stichprobengrösse von 100 basiert stellt eine bessere Schätzung der ES in Population dar, als ES, die auf 10 Probanden basiert)

Klinische Relevanz

Positive Gewichte z.B. wenn...
... Patienten erheblich beeinträchtigt waren (keine subklinischen Stichproben)
... Selbstmotivierte Klienten
... Erfahrene TherapeutInnen
Negative Gewichte z.B. wenn
... Patienten fremdmotiviert waren oder eigens für Studie angeworben wurden
... weniger als 7 Behandlungssitzungen

Validität
Negative Gewichte z.B. wenn...
... Resultat zugunsten einer in der Anlage der Untersuchung begünstigten Methode (möglicher Allegiance-Effekt)
... Anzahl VPs pro Bedingung geringer als 8
... Qualifikationsunterschiede der Therapeuten zwischen den Behandlungsbedingungen
... Therapeuten Therapien durchführen mussen, mit denen sie nicht identifiziert waren
... Ungleiche Intensität der Behandlung in den verschiedenen Behandlungsbedingungen
... Andere Behandlungen mit den untersuchten konfundiert waren

Güte der Information
Negative Gewichte z.B. wenn folgende Merkmale aus den mitgeteilten Informationen nicht oder nur eingeschränkt erkennbar waren:
... Art oder Anzahl der behandelten Patienten
... Art der durchgeführten Behandlungen und Rahmenbedingungen der Therapie
... Vergleichbarkeit von Behandlungs- und Kontrollbedingungen in nicht experimentelle variierten Variablen (z.B. Alter der Patienten)
... Angaben über Medikamenteneinnahmen und Therapieabbrüche

Reichhaltigkeit der Messung
Negative Gewichte z.B. wenn...
... nur ein oder zwei Erfolgsmasse verwendet wurden
Positive Gewichte ...
... je mehr Veränderungsbereiche und Messpunkte erfasst wurden
... je mehr Beurteilerquellen (Patient / Therapeut / Angehörige / unabhängige Beurteiler) in der Messung berücksichtigt wurden
... je mehr Prozessmasse erhoben wurden

Es geht dabei um die Frage, wie die kombinierte Effektstärke berechnet wird.

Beim «fixed effect»-model wird angenommen, dass es eine «wahre» Effektstärke gibt, die für alle Originalstudien gilt (die «wahre» Effektstärke variiert nicht zwischen den Studien) = Man nimmt an, dass der Wahre Effekt zwischen den versch. Studien nicht variiert (sondern bei allen gleich ist)

Beim «random effects»-model wird angenommen, dass der wahre Effekt von Studie zu Studie variiert. Zum Beispiel könnte der Effekt höher sein, wenn die Teilnehmer in einer Studie älter sind, als in einer anderen. = Man nimmt immer das Randomeffect-Model, wenn eine Heterogenität vorliegt.
Randomeffect-Model ist tendentiell konventioneller

• Wenn alle integrierten Studien gleich präzise wären, könnte einfach der Mittelwert der Effektstärken berechnet werden (wird manchmal auch gemacht)
• Aber weil nicht alle Studien gleich präzise sind, werden die einzelnen Studien gewichtet (grundsätzlich spielt die Stichprobengrösse (je grösser die Stichprobe, desto höher die Gewichtung) für die Gewichtung eine Rolle -> das Ganze ist aber etwas komplizierter)
• Für die Gewichtung gibt es in Metaanalysen zwei Modelle: a) das fixed effect und b) das random effects model

NNT = Anzahl der notwendigen Behandlungen, um gegenüber der Kontrollbedingung EINEN Patienten zu « normalisieren » bzw. einen zusätzlichen Erfolg zu haben. NNT = klinische Bedeutsamkeit eines Effekts

Um das Resultat bzw. klinische Bedeutsamkeit des Effektes besser interpretieren zu können, kann die Effektstärke z.B. in NNT umgerechnet werden.

Nur bei einer gewissen Homogenität der einbezogenen Effektstärken stellt die integrierte Effektstärke einen akzeptablen Schätzer des wahren Populationseffekts dar => Studien (z.B. MA) müssen auf ihre Homogenität überprüft werden: eine gewisse Homogenität wird gewünscht / erwartet

Die verschiedenen Effektstärken aus den Primärstudien können mit einem Signifikanztest auf Homogenität geprüft werden (orientiert sich am Verhältnis der Effektvarianz zwischen den Studien und der stichprobenbedingten Zufallsvarianz der Studien)

Um die Homogenität zu erhöhen können Outlier-Studien (Studien mit Effektstärken, die stark von den Effektstärken der anderen Studien abweichen) ausgeschlossen werden

Bildung von Subgruppen: Geringere Varianz innerhalb der Subgruppen im Vergleich zur Gesamtvarianz aller Effektstärken? Unterscheiden sich die Subgruppen bezüglich gemittelten Effektstärken => Vergleichbare Effektstärken in beiden Gruppen

Definition: Man spricht von einem publication bias, wenn die veröffentlichten Resultate nicht repräsentativ für alle erzielten Resultate sind

Publication bias wird gefördert durch Selektionsmechanismen im Forschungs- und Publikationsprozess: Publikation signifikanter Ergebnisse ist leichter, während nichtsignifikante Ergebnisse öfter in der «Schublade der Forscher» bleiben
Da dies ein Problem für Metaanalysen ist, wird oft versucht das Vorliegen eines publication bias zu testen

Interpretation des Funnel Plot der primären Studienoutcomes: Erwartung, wenn kein Publication Bias: Mehr Variation in Effektstärken in Studien mit kleiner Stichprobengrösse (trägt man Effektstärken in Abhängigkeit der Stichprobegrösse der Studie auf, entsteht ein Trichter)

Duval & Tweedie's trim and fill procedere