PsyThFormeth

• Placebokontrollbedingung
  • Vorteile: Nicht nur Zeiteffekte, sondern auch Erwartungs- und Aufmerksamkeitseffekte werden kontrolliert. Erlaubt Schlüsse auf die spezifische Wirkung einer Intervention
  • Nachteile: Schwierig zu realisieren (meist sog. supportive therapies); Probanden müssen auch darüber informiert werden, dass sie möglicherweise in einer Placebobedingung sind; Doppelblind nicht möglich: Therapeuten wissen, dass es sich um Placebobedingung handelt (Erwartungseffekte?); Ethische Bedenken (z.B. 20 Sitzungen Placebotherapie?)
  • Einsatz: Oft gefordert, aber eher selten gut realisiert

• Vergleich mit etablierter Therapieform
  • Vorteile: Spezifische Wirkung einer Intervention kann gezeigt werden; weniger ethische Bedenken (alle erhalten eine erfolgsversprechende Intervention)
  • Nachteile: Sehr aufwändig (auch Kontrollintervention muss gut und seriös durchgeführt werden; für beide Bedingungen müssen geschulte Therapeuten verfügbar sein; grosse Stichproben erforderlich, da meist relativ kleine oder gar keine Effekte erwartet werden müssen).
  • Einsatz: In einer zweiten Phase - nach einem Wartelistekontrollgruppenvergleich - wichtig.

• Superiority und Non-inferiority trials
  • Superiority trial: Versuch des Nachweises der Überlegenheit einer Behandlung gegenüber Kontrollbedingung
  • Non-inferiority trial: Versuch des Nachweises der Äquivalenz bzw. Nichtunterlegenheit; z.B. vor dem Hintergrund von Kosten-Effektivitätsüberlegungen: herkömmliche vs. minimale (d.h. deutlich billigere) Intervention

• ermöglicht Vergleichbarkeit der Bedingungen hinsichtlich aller denkbaren Personenvariablen und anderen Einflüssen (Kontrolle von Störvariablen)
• Vergleichbarkeit ist zwar nicht garantiert (da jede Randomisierung mit Zufallsfehlern behaftet ist), aber sie gewährleistet sie innerhalb bestimmter statistischer Fehlergrenzen
• Begriff in Text: Stratifizierte Randomisierung («schichtweise» Randomisierung; im Gegensatz zu einfacher Randomisierung): Beispielsweise können Gruppen nach Schweregrad der Symptome gebildet werden, Patienten werden dann innerhalb der Gruppe randomisiert (Strata = Schicht) -> garantiert, dass in alle Versuchsbedingungen gleich viele schwer und leicht belastete Personen randomisiert werden

• Prä, Post, Follow-Up, immer öfter auch wiederholte Messung während Behandlung
• Kendall et al. betonen Wichtigkeit von Katamneseerhebungen, da nicht davon ausgegangen werden kann, dass Effekte anhalten (siehe nächste Folie)
• Katamneseerhebungen auch mit Problemen verbunden:
  • Aufwand/Kosten (« Detektivarbeit »; Langzeitkatamnesen oft auch löchrig)
  • Je länger Abstand, desto schwieriger die kausale Verbindung zu Therapie

• In RCT ist die unabhängige, manipulierte Variable meist ein bestimmter Therapieansatz (z.B. kognitive Verhaltenstherapie, interpersonelle Therapie etc.)
• Die «Vorgabe» an die Therapeuten z.B. verhaltenstherapeutisch vorzugehen, garantiert noch nicht, dass sie das auch tun («gesagt ist nicht getan»)
• Adherence (Adhärenz) misst das Ausmass, mit welchem sich Therapeuten an die Vorgaben eines Ansatzes halten («Manualtreue» bei manualisierten Therapien)
• Adhärenz wird üblicherweise von Beobachtern (externen Ratern) eingeschätzt.
• neben der Adhärenz bzw. der Frage, wie stark sich ein Therapeut an ein Manual hält, wird oft auch die Kompetenz eingeschätzt. Diese bezieht sich auf Frage, wie kompetent, gut und geschickt die einzelnen Interventionen realisiert wurden (z.B. auch ob der Zeitpunkt der Intervention günstig war)
• Metaanalyse zum Zusammenhang von Adhärenz/ Kompetenz und Therapieoutcome (Webb et al., 2010): Resultat: Adhärenz und Kompetenz korrelieren nicht mit dem Therapieoutcome (r=0.02 bzw. r=0.07)
• die Tatsache, dass die Adhärenz und Kompetenz nicht mit dem Therapieerfolg zusammenhängt, wird auch als Hinweis gedeutet, dass es nicht die spezifischen Techniken sind, die in Psychotherapien letztlich wirken

• Attrition (rate) = Schwundquote = Anzahl an Patienten, die vorzeitig aus einer Behandlung/der Studie ausscheiden oder sich nicht ans Studienprotokoll halten
• Eine höhere Attrition rate kann zu einem Attrition Bias führen.
  • Beispiel: Verglichen werden sollen zwei Therapieformen
• Bias Problem: Bei der schlechter wirksamen Therapie brechen die Patienten eher ab -> Für diese liegen dann auch keine Daten vor -> Wirkung der schlechter wirksamen Therapie wird überschätzt (wenn nicht nach dem Intention-to- treat-Prinzip analysiert wird; nächste Frage)

• Das « Intent-to-treat »-Prinzip (ITT) bedeutet, dass die Daten aller Patienten, die man beabsichtigte zu behandeln bzw. die die Einschlusskriterien einer Studie erfüllten und z.B. randomisiert wurden, ausgewertet werden.
• Das « Gegenteil » ist die Completers- oder Per-Protocol-Analyse (nur die Daten von Patienten, die vorhanden sind und/oder die eine Behandlung abgeschlossen haben werden ausgewertet)
• Konkrete Methoden (um mit Missings und nach dem ITT-Prinzip vorzugehen):
  • LOCF (Last observation carried forward): Der letzte gemessene Wert wird angenommen (z.B. Post-Messung =Prä-Messung = keine Veränderung wird angenommen)
  • Ersetzen der fehlenden Werte durch Schätzungen (mit statistischen Algorithmen, die vorhandene Daten berücksichtigen; « Imputations »)
  • Komplexere statistische Methoden: z.B. linear mixed models

Aufgrund des möglichen Attrition Bias werden Intent-to-treat-Analysen empfohlen

Reliable Change Index (RCI; Jacobson & Truax, 1991)

• Überschreitet eine Veränderung (z.B. Prä -> Post-Therapie) einen Wert, der auch aufgrund eines Messfehlers erwartet werden könnte
  • Wenn ja, wird von einer reliablen Veränderung gesprochen
• Für die Berechnung wird Test-Retest-Reliablität des Messinstruments (z.B. Beck Depression Inventar) als Schätzung des Messfehlers verwendet
• Resultat der Berechnung des RCI ist z.B. dass sich eine Person auf dem Beck Depression Inventar um mindestens 5 Punkte verbessern muss, damit von einer reliablen Veränderung gesprochen werden kann

Klinische Signifikanz (Jacobson & Truax, 1991)

• Kriterium Reliable Change erfüllt PLUS Symptomatik Post- Therapie unter einem bestimmten Cut-off
• Mögliche Kriterien für Cut-off nach Jacobson & Truax (1991)
  • A) Das Ausmaß der Symptomatik liegt nach Behandlung mindestens zwei Standardabweichungen unter dem Mittelwert der klinischen Population
  • B) Die Symptomatik liegt nach Behandlung innerhalb von zwei Standardabweichungen einer nicht gestörten Population
  • C) Die Stärke der Symptomatik liegt nach Behandlung näher am Mittelwert der nicht gestörten als am Mittelwert der klinischen Population

Beurteilung der Wirksamkeit

• Klinisch signifikante Veränderung
• Prozentsatz an gebesserten Patienten
• Effektstärken: deskriptives Mass, wie stark sich Patienten gebessert haben
• Breite der Veränderung (Wirkungsspektrum)
• Dauerhaftigkeit der Veränderung (Katamnese)
• Oft vergessen! Ausmass an negativen Effekten

• Mediatoren ERKLÄREN den Zusammenhang zwischen zwei Variablen
  • Beispiel: Eine Gitarre geschenkt zu kriegen, erhöht die Wahrscheinlichkeit einen Plattenvertrag zu erhalten.
  • Gitarre erhalten è einen Plattenvertrag erhalten

• Moderatoren VERÄNDERN den Zusammenhang zwischen zwei Variablen

• Strukturqualität: Rahmenbedingungen: Ausbildung und Qualifikation der Psychotherapeuten, Ausstattung der Praxis
• Prozessqualität: Sachgerechte Durchführung der Psychotherapie. Qualität der Psychotherapie. Z.B. Welche diagnostischen und therapeutischen Massnahmen werden durchgeführt, und erfolgt die Durchführung lege artis?
• Ergebnisqualität: Bezieht sich auf die Resultate der Psychotherapie. Den Therapieerfolg.

• Strukturqualität: z.B. Fortbildung und Qualifikation der Psychotherapeuten sichergestellt? Ist die Einrichtung angemessen ausgestattet? Ist die Einrichtung vernetzt und wird mit anderen Einrichtungen kooperiert?
• Prozessqualität: z.B. Supervision und Intervision der Therapeuten sichergestellt? Bestehen klinisch-psychologische Leitlinien, nach denen sich Therapeuten richten können? Werden die Therapien « gut » dokumentiert? Werden Prozessmessungen durchgeführt (Erhebungen während den Therapien?
• Ergebnisqualität: Wird die Ergebnisqualität der Therapien auf verschiedenen Ebenen erhoben?

• Verschiedene Datenquellen: üblich sind
  • Patienteneinschätzung (Selbsteinschätzung),
  • Therapeuteneinschätzung, « soziale » Bezugspersonen, unabhängige Beobachter (Fremdeinschätzung)
  • Beispiel Selbsteinschätzung und Fremdeinschätzung: Interpersonelle Probleme / Interpersonelles Verhalten:
    • Selbsteinschätzung: IIP-64 (Inventar Interpersoneller Probleme): Beispielitem: Ich lasse mich zu leicht von anderen überreden
    • Fremdeinschätzung Bezugsperson: IMI (Impact Message Inventory). Beispielitem: Wenn ich mit ihr zusammen bin, habe ich das Gefühl, sie macht mich häufig ärgerlich
• Verschiedene Datenebenen bzw. Funktions- bzw. Konstruktbereiche: üblich sind
  • Störungsübergreifende Masse -> z.B. Symptom-Check-Liste-90
  • Störungsspezifische Masse -> z.B. Beck Depression Inventar
  • Soziale Funktionsfähigkeit, Wohlbefinden und Lebensqualität -> z.B. Inventar interpersoneller Probleme, Fragebogen zur Erfassung der Lebensqualität
  • Teils theorie- bzw. schulspezifische Masse: z.B. Veränderung kognitiver Überzeugungen (kogn. Therapie), Inkongruenzfragebogen (Bern)
  • Biologische Masse

• Howard et al. (1993) unterscheiden drei unterschiedliche Phasen in der Veränderung von Psychotherapiepatienten, in denen jeweils unterschiedliche Problemdimensionen im Fokus stehen.
• 1. Remoralisierungsphase: Gemäss dem Modell verändert sich das subjektive Wohlbefinden zunächst relativ schnell (z.B. durch positive Erwartungen und Hoffnungen).
• 2. Remediationsphase: In der zweiten Phase verringern sich die Symptome, auf die die Intervention abzielt
• 3. Rehabilitationsphase: Wiederherstellung des allgemeinen Funktionsniveaus z.B. in Bezug auf interpersonale Verhaltensweisen. Eine Veränderung des allgemeinen Funktionsniveaus dauert nach dem Phasenmodell am „längsten“

• Es sollten verschiedene Messmittel verwendet werden, die auch die verschiedenen Phasen abbilden und auf denen auch eine unterschiedlich „schnelle“ Veränderung erwartet werden kann.
• 1. Remoralisierungsphase: Masse des subjektiven Wohlbefindens (z.B. Fragebogen zum Wohlbefinden; WHO-5)
• 2. Remediationsphase: Messmittel, die die Symptomausprägung messen (z.B. Symptom Checkliste SCL-90-R).
• 3. Rehabilitationsphase: Messmittel, die das allgemeine Funktionsniveau und interpersonale Verhaltensweisen abbilden (z.B. Inventar Interpersoneller Probleme IIP)
• Es liegen inzwischen zahlreiche Belege für das Phasenmodell vor

Üblich sind:

• Fragebogen -> Ergebnis meist dimensional = z.B. mehr oder weniger Symptome
• Interview (Strukturiert klinisches Interview SKID nach DSM- IV) -> Ergebnis kategorial -> Diagnose noch erfüllt oder nicht

Oft gefordert, aber weniger üblich:

• Verhaltenstests -> Verhaltens- und Erlebensbeobachtung in konkreten Situationen
• Denken Sie sich einen Verhaltenstest zur Messung der Ausprägung einer Schlangen- und einer Sozialphobie aus. Beispiele?

• Messung nur zu Therapie-Ende (Post-Messung)
  • Beispielitems: Im Vergleich zum Zeitpunkt direkt vor der Therapie.....
    • ...bin ich mit mir zufriedener
    • ...kann ich mit den Schwierigkeiten des alltäglichen Lebens besser umgehen
    • ...fühle ich mich weniger niedergeschlagen
    • ...habe ich jetzt mehr Selbstvertrauen

• Messung nur zum Prä- und Post-Zeitpunkt einer Therapie: Veränderung = beobachteter Differenzwert
• Versuchen Sie sich ein Fragebogenitem auszudenken, welches im Rahmen einer indirekten Erfolgsmessung verwendet werden kann (bei Schulte A2: Beobachteter Differenzwert)?

Beispiel Zielerreichungsskala: GAS (Goal Attainment Scaling; Kirusek & Sherman, 1968)

• Das GAS stellt sowohl eine therapeutische Intervention als auch ein individualisiertes Evaluationsinstrument dar.
• Mit Hilfe des GAS werden Therapieziele operationalisiert, die individuell zwischen Psychotherapeuten und Patienten vereinbart werden.
• Im GAS werden auf einer Skala (hier 6-stufig) für die drei wichtigsten Problembereiche der aktuelle Zustand (Ist- Zustand), sowie der erwünschte Zielzustand (Soll-Zustand) und Zwischenziele definiert.

Vorteile der Effektstärkenberechnung

• Vergleichbarkeit der Resultate über verschiedene Messmittel/Interventionen hinweg
• Erlaubt die Einschätzung der praktischen Bedeutsamkeit einer Veränderung relativ unabhängig der Stichprobengrösse
  • Signifikante Effekte können bei einer grossen Stichprobe klein sein
  • Nicht signifikante Effekte können bei einer kleinen Stichprobe gross sein

Probleme mit Effektstärkenberechnung

• Unterschiedliche Definitionen, durch welche Varianz/Streuung dividiert werden soll (kann Grösse der Effekte stark beeinflussen; z.B. ist die Varianz zum Prä-Zeitpunkt meist geringer als zum Post-Zeitpunkt = Varianzvergrösserungsphänomen)
• Grössere Effekte bei homogenen Stichproben (weil geringere Varianz = Effektstärken können « künstlich » erhöht werden)
• Gleiche Wertung von unterschiedlich wichtigen und unterschiedlich veränderungssensitiven Messmitteln

Power und Poweranalysen

Häufige Aussage in Klinischen Studien:

• Discussion: „The present study has several limitations. First, and most importantly, the study was underpowered to detect small to medium differences between the two treatment conditions“.

Power eines statistischen Tests?

• H0: In der Wirkung der beiden Treatments besteht kein Unterschied
• H1: In der Wirkung der beiden Treatments besteht ein Unterschied
• Alpha-Fehlerrisiko: H0 zurückweisen, obwohl sie korrekt wäre
• Beta-Fehlerrisiko: H1 zurückweisen, obwohl sie korrekt wäre
• Wenn das β -Fehlerrisiko angibt, mit welcher Wahrscheinlichkeit eine richtige H1 abgelehnt wird, muss 1- β als eine hierzu komplementäre Wahrscheinlichkeit bedeuten, mit welcher Wahrscheinlichkeit eine richtige H1 angenommen wird. Diese Wahrscheinlichkeit wird Power (Teststärke) genannt.
• Power: Die Wahrscheinlichkeit, mit der ein Test in der Lage ist, eine richtige H1 auch zu entdecken.

• Wenn ein Test/eine Studie mit grosser Wahrscheinlichkeit gar nicht in der Lage ist, mögliche Unterschiede oder Zusammenhänge zu finden, macht die Studie eigentlich auch keinen Sinn!
• „The present study has several limitations. First, and most importantly, the study was underpowered to detect small to medium differences between the two treatment conditions“.
  • Wenn sowieso nicht mit großen Effekten zu rechnen ist, hat diese Studie eigentlich gar keinen Sinn gemacht. Schon vorher war klar, dass keine Unterschiede gefunden werden können.
  • Wichtig ist deshalb, sich schon während der Versuchsplanung Überlegungen zur Power machen!

• Effektstärken: Je grösser der Effekt, desto grösser die Power.
• Stichprobengrösse: Je grösser die Stichprobe, desto grösser die Power
• Alpha-Niveau: Je grösser das Alpha-Fehlerrisiko, desto grösser die Power (normalerweise wird das Alpha-Niveau auf 5% festgelegt und nicht verändert)

• Alpha (α): Der Fehler die Nullhypothese zurückzuweisen, wenn sie korrekt ist.
• Effekt: Mittelwertsunterschiede oder Zusammenhänge
• N (Stichprobengrösse): Anzahl der Erhebungseinheiten einer Studie (z.B. Personen).
• Beta (β) oder Power (1- β): Der Fehler zweiter Art (Beta-Fehler) ist der Fehler, die Nullhypothese zu akzeptieren, obwohl die Alternativhypothese richtig ist. Power: Die Wahrscheinlichkeit, mit der ein Test in der Lage ist, eine richtige H1 auch zu entdecken.
• Diese 4 Bestimmungsstücke hängen funktional miteinander zusammen.

• Allegiance = Gefolgschaft, Untertanentreue
• Ein beachtlicher Teil der Therapieoutcomevarianz wird durch die Identifikation der Forschergruppe mit dem Ansatz erklärt (= Allegiance-Effekt).
• Luborsky: Korrelation der Befunde mit Vorlieben der Forscher bis .85.
• Konsequenz: Ergebnisse aus Therapiestudien sollten von Forschergruppen repliziert werden, die nicht an der Entwicklung der zu überprüfenden Intervention beteiligt waren bzw. Vertreter aller untersuchten Ansätze sollten in der Studienleitung repräsentiert sein.

• KAUSALE Wirksamkeitsbelege nur durch experimentelle Studien möglich
• Hohe interne Validität
• Empirisch validierte Manuale können gerade für Anfänger- TherapeutInnen Vorteile bieten (klare Struktur und Regeln; bringt Sicherheit)
• Erhöhte Konkurrenzfähigkeit von Psychotherapie in politischen Diskussionen. Überlegenheit von Psychotherapie im einfachen Vergleich mit Alternativbehandlungen ist leicht zu kommunizieren
• Dank ESTs wurden Fortschritte in der psychotherapeutischen Ergebnisforschung erzielt und viele Initiativen zur Überprüfung der Wirksamkeit initiiert

• Bedingung: Hinreichend ähnliche Patienten + Vorgehen
• Patienten in Alltagspraxis oft mit komplexeren Problemen als in RCTs (z.B. hohe Komorbidität) -> schränkt die Generalisierbarkeit der Ergebnisse von RCTs ein
• Patienten oft auch mit Problemen/Zielen, die nicht in Diagnosen erfasst werden
  • Therapieziele Goal Attainment Scaling
    • Interpersonale Ziele                                   81%
    • Symptom- und Problembewältigung 77%
    • Selbstentwicklung                                     67%
    • Wohlbefinden                                            50%
  • Patienten haben oft (auch) andere Ziele als die Beseitigung der Störung
  • Ziele in nur einem Bereich kommen selten vor
  • Die Diagnose bestimmt die anderen Ziele wenig
• Unzureichende Nutzung des Outcome-Varianzanteils, der nicht von Techniken, sondern z.B. der therapeutischen Beziehung abhängt
• Wo kann man was herausholen?
• Barlow: Verbesserung der Technik
• Grawe u.a.: Einbezug weiterer, nicht-technischer Aspekte
• Anders ausgedrückt....
• Outcomevarianz wird stärker durch Variablen innerhalb eines bestimmten Therapieansatzes erklärt, als durch den spezifischen Therapieansatz
• Unmöglichkeit, den ganzen Bereich psychischer Störungen mit spezifischen Manualen abzudecken.
  • Beutler et al. (2004):
  • 145 Manuale; Behandlung für 51 der 397 diagnostischen und Problemgruppen
  • nur ca. 1/8 abgedeckt
  • kombinatorische Explosion bei Berücksichtigung von Komorbiditäten
  • Training nur in 1-2 Manualen auf dem Niveau von Studien-Therapeuten möglich
• Reine Wirksamkeitsforschung nur eingeschränkt nützlich:
  • kostet viel, verschlingt viele Forschungsgelder generiert aber z.B. kein Wissen über Wirkungsweisen bzw. Wirkfaktoren in Psychotherapien

• Argument 1: Empirically supported therapies wurden von einer kleinen, nicht repräsentiven Gruppe (Division 12; APA) definiert und sollten deshalb ignoriert werden.
  • Antwort Chambless et al: Verschiedene Gruppen kamen zu den gleichen Ergebnissen. Die Identifikation von ESTs kann reliabel erfolgen.
  • Ähnlicher Kritikpunkt an ESTs: Zu wenig Zusammenarbeit von Forschern und Klinikern/ Praktikern beim Ausarbeiten der Kriterien (in Task Forces sind v.a. Forscher vertreten)
• Argument 2: Quantitative Forschung ist nicht das angemessene Forschungsparadigma in der Psychotherapieforschung. Qualitative Forschung wäre geeigneter.
  • Antwort Chambless et al: Fundamental andere Sicht von Psychotherapieforschung, die nur von wenigen Stakeholdern vertreten wird
  • Ähnliche Kritikpunkte an ESTs (z.B. Bohart et al., 1998): Kriterien in ESTs bevorzugen kogn.-verhaltensth. Ansätze gegenüber z.B. humanistischen Ansätzen Kriterien sind für Therapien unangemessen, deren primäres Ziel nicht das Heilen von Störungen ist (sondern z.B. persönliches Wachstum)
• Argument 3: Empirically supported therapies basieren auf standardisierten Manualen: Die Standardisierung führt dazu, dass Therapeuten zu wenig flexibel sind, um sich an den individuellen Patienten anzupassen
  • Antwort 1 Chambless et al: Einerseits Hinweise, dass stärkere Adherence sich negativ auf den Therapieoutcome auswirkt (z.B. Castonguay et al., 1996) -> spricht gegen Manualisierung Andererseits fanden andere Studien, dass Adherence positiv mit Therapieoutcome assoziert ist (z.B. Frank et al., 1991) -> spricht für Manualisierung
  • Antwort 2 Chambless et al: Bisher keine Hinweise, dass individualisierte standardisierten Therapien überlegen sind

• Argument 4: Es gibt keine Unterschiede in der Wirksamkeit der anerkannten Therapieverfahren (Dodo-Verdikt), weshalb die Identifikation von ESTs unnötig ist
  • Antwort Chambless et al: Es existiert sehr wohl empirische Evidenz, dass bei bestimmten Problemen und Patientengruppen bestimmte Interventionen wirksamer sind als andere Beispiele: Exposition mit Reaktionsverhinderung bei Zwängen wirksamer als Entspannung oder Angstbewältigungstraining; kognitive Verhaltenstherapie bei generalisierter Angststörung wirksamer als nondirektive Gesprächspsychotherapie; verschiedene Beispiele bei Kindern und Jugendlichen
• Argument 5: Die EST-Bewegung sollte ignoriert werden, weil sich die Ergebnisse nicht auf die Praxis generalisieren lassen (z.B. andere Klienten und Therapeuten)
  • Antwort Chambless et al: Es existieren sehr wohl Effectiveness-Studien, die zeigen, dass ESTs auch in der Praxis wirksam sind Chambless et al. erwähnen aber auch, dass a) die Zahl der Effectiveness-Studien noch klein ist, b) Klienten in Effectiveness-Studien sich im Schnitt nicht so stark verbessern, wie Klienten in Efficacy-Studien, c) Therapeuten sich oft nicht exakt an Manuale halten können (z.B. in der Realität längere Therapien als vorgesehen; mehr nicht vorgesehene zusätzliche Interventionen z.B. Medikation)
• Argument 6: Die EST-Bewegung fokussiert zu stark auf Symptome und zu wenig auf andere Aspekte wie die Verbesserung der Lebensqualität, soziale Anpassung etc.
  • Antwort Chambless et al: Anerkennen den Punkt: Breite Outcomemessbatterie ist wichtig! Verweisen darauf, dass Aspekte wie die Lebensqualität in neueren Studien vermehrt erfasst werden Verweisen darauf, dass in ESTs, in welchen die Lebensqualität oder soziale Anpassung erfasst wurde, auch bezüglich dieser Masse gute Effekte gefunden wurden.

• Glass (1976): « Meta-analysis refers to the analysis of analyses (...) the statistical analysis of a large collection of results from individual studies for the purpose of integrating the findings »
• Drinkmann (1990): « Methode zur quantitativen Integration der Ergebnisse empirischer Primäruntersuchungen sowie zur Analyse der Variabilität dieser Ergebnisse »

• Grössere Versuchspersonenzahl
  • Signifikanz eines Ergebnisses hängt von Stichprobengrösse ab = Bei einer kleinen Stichprobe ist die Wahrscheinlichkeit einen Beta-Fehler zu machen grösser als bei einer grossen Stichprobe = Nullhypothese wird beibehalten, obwohl Alternativhypothese gilt
  • In Metaanalysen ist die Power (Teststärke) grösser: Aufgrund der grösseren Versuchspersonenzahl ist Wahrscheinlichkeit erhöht, tatsächlich vorhandene Unterschiede/Zusammenhänge auch bei relativ kleinen Effekten zu finden
  • Auch Studien mit kleinen Stichproben können integriert werden (no wasting of data)
• Überblick über Forschungsbereich
  • Publikationen von Primärstudien generieren eine unüberschaubare Menge an Einzelinformationen
  • Überblick über einen Forschungsbereich
  • In welchen wichtigen Forschungsfragen bestehen noch Lücken + Defizite in Primärstudien
  • Liefern Anregungen für neue Primärstudien
• Untersuchung von Moderatoren
  • In MA ist die Variationsbreite der verschiedenen Variablen relativ gross
  • Entsprechend können in Metaanalysen Moderatoren zur Erklärung der Varianz in den Effektstärken untersucht werden
  • Entsprechende Moderatoranalysen sind in Primärstudien oft nicht möglich (aufgrund der zu kleinen Stichprobe oder aufgrund einer eingeschränkten Variationsbreite der interessierenden Variablen)
  • ACHTUNG! Mögliche Moderatoreffekte können nicht völlig isoliert werden, da sich Untersuchungen oft in mehreren Merkmalen unterscheiden (=Störvariablen)
• Quantifizierung: Auch bei widersprüchlichen Einzelbefunden kommt man zu einem eindeutigen Gesamtergebnis; möglicherweise können Unterschiede in den Studien über Moderatorvariablen erklärt werden
• Replizierbarkeit und Objektivität: Alle Einzel- und Analyseschritte lassen sich genau nachvollziehen
• Umfangreiche Fallzahl: Metaanalysen spielen deshalb für eine Reihe von Entscheidungsträgern eine wichtige Rolle

• Bias in Sampling the Findings/ Verzerrungen in der Stichprobe
  • Aufgrund unvollständiger Recherche / Suche nach Primärstudien
  • Aufgrund des publication bias (signifikante Ergebnisse werden eher veröffentlicht als nichtsignifikante)
  • Aufgrund unvollständiger Informationen in den Primärstudien (z.B. keine Angaben zu Mittelwerten, Standardabweichungen oder Effektstärken)
  • Möglichkeiten, um z.B. einen möglichen publication bias zu identifzieren werden weiter hinten dargestellt
• Garbage in - Garbage out/ Die Integration von Studien unterschiedlicher Qualität
  • Es werden Studien vermengt, die von unterschiedlicher Qualität sind
  • Studien von minderer Qualität können ausgeschlossen werden
  • Studienqualität kann auch als Gewichtungsfaktor berücksichtigt werden
  • Die Studienqualität kann als Moderatorvariable untersucht werden (garbage in - information out -> Studienqualität kann Erklärung für Variabilität der vorgefundenen Effektstärken liefern)
• Apples and Oranges/ Das Uniformitätsproblem
  • Es werden Studien vermengt, die sich z.B. in Operationalisierungen, Eigenschaften von Versuchspersonen oder Auswertungsmethoden unterscheiden. -> In Metaanalysen werden Äpfel und Orangen vermengt und gemittelt
  • Antwort auf diesen Einwand von Smith et al. (1980): Bei Metaanalysen werden oft übergeordnete Fragestellungen untersucht: « Indeed the approach does mix apples and oranges, as one necessarily would do in studying fruits »
  • In « guten » Metaanalysen werden Unterschiede in den Primärstudien berücksichtigt und als Moderatorvariablen untersucht.
• « Nonindependent Effects »/ Die Integration abhängiger Daten
  • Die Abhängigkeit von Ergebnissen (z.B. mehrere Studien mit gleicher Stichprobe; mehrere Ergebnisse in einer Studie, die bei gleichen Probanden erhoben wurden) wird nicht berücksichtigt.
  • Verschiedene Methoden, um mit möglicher Abhängigkeit umzugehen:
  • z.B. Zusammenfassung von abhängigen Ergebnissen zu einem Wert -> nur dieser Wert fliesst in Metaanalyse ein Berücksichtigung von gleichen Forschergruppen als Moderatorvariablen

• Die Durchführung einer Metaanalyse ist vergleichbar mit anderen empirischen Untersuchungsformen. Aber: die Untersuchungsobjekte sind nicht Probanden sondern Studien
• 1. Konkretisierung des Forschungsproblems:
  • Spezifizierung des Forschungsproblems bzw. der Fragestellung (das mit Metaanalysen verbundene Forschungsinteresse ist in der Regel umfassender als in der Primärforschung; heisst: Fragestellungen werden auf relativ hohem Abstraktionsniveau formuliert).
  • Grobe Spezifizierung der zu untersuchenden Variablen und der einzuschliessenden Primärstudien
• 2. Sammlung relevanter Untersuchungen:
  • Die Suche relevanter Primärstudien = Datenerhebung in Metaanalysen
  • Recherche muss breit angelegt sein, um systematische Verzerrungen zu verhindern
  • Heute v.a. Suche nach Begriffen in elektronischen Datenbanken wie Medline (z.B. PubMed, EBSCO) oder PsycINFO
  • Anschliessend aber auch Durchsuchen der gefundenen Artikel nach relevanter Literatur (« Schneeballprinzip »), Anschreiben von ForscherInnen etc.
• 3. Codierung und Bewertung der Untersuchungen (Datenextraktion)
  • Codierung aller Informationen, die für die metaanalytischen Berechnungen notwendig sind (z.B. Stichprobengrösse, Mittelwert und Standardabweichung bei Experimental- und Kontrollgruppe) -> kann auch zum Ausschluss von Studien führen, wenn Daten fehlen
  • Codierung möglicher Moderatoren (Merkmale der Studien, Patienten etc., die für die Erklärung der Varianz der Einzelergebnisse relevant sein könnten; z.B. Qualität der Studie, Komorbidität und Schweregrad der Störung, Alter der Patienten, Therapieform, Art der Medikation)Bei « high inference »-codings (Codierungen mit Bewertungsspielraum; z.B. Studienqualität) sollte die Interraterreliabilität zwischen Ratern überprüft werden
• 4. Datenanalyse/ Integration der Einzelergebnisse:
  • Einfache Möglichkeit: « vote count » -> Auszählen und Vergleich der signifikanten und nichtsignifkanten Ergebnisse in den Primärstudien -> gilt als ungenau
  • empfohlen: 1. Berechnung von Effektstärken (ES) zunächst für jede Primärstudie, 2. Berechnung der durchschnittlichen ES über die verschiedenen Studien hinweg (meist Gewichtung der ES nach Stichprobengrösse in Primärstudie