Diagnostik

Wenn Beobachtungseinheiten, Behandlungsvariationen, experimentelle Settings und / oder Outcomevariablen mit Kausalbeziehungen interagieren

Der gefundene Effekt bei den freiwilligen Vpn ist bei den Vpn, die nicht an der Studie teilgenommen haben, nicht der gleiche (Freiwilligkeit als Faktor)

Kleinere Schulklassen funktionieren besser als große Schulklassen, aber nur, wenn Lehrer geeignet und gut ist. Wenn Lehrer schlecht, ist der gefundene Effekt (Kleinere Klassen funktionieren besser als große) nicht mehr vorhanden

Krebsforschung: Effektivität der Behandlung variiert, je nach dem, ob Outcome als Lebensqualität, generelles Überleben, etc. gemessen wird (z. B. wenn Outcome Lebensqualität ist: Schlechte Effektivität, wenn Outcome Überleben ist: gute Effektivität)

Programm für Drogensüchtige funktioniert in Dörfern, aber nicht in Städten (z. B. weil in Städten Drogen leichter verfügbar)

Gesundheitsbezogene Entscheidungen müssen durch qualitativ hochwertige Informationen gestützt sein --> evidenzbasiert!

um systematische Reviews der Effekte gesundheitsbezogener Interventionen vorzubereiten, zu verbreiten und zu aktualisieren

o   folgt klar formulierten wissenschaftlichen Methoden,

o   vermeidet Verzerrungen und Fehler in traditionellen narrativen Reviews

o   Systematisch in der Identifikation von Quellen, Studien,…

o   Explizit in der Deklarierung der Ziele, Materialien, Methoden

o   Reproduzierbar in Methoden und Folgerungen (Transparenz!)

o   sind subjektiv, qualitativ und narrativ,

o   bauen auf informellen Methoden auf

·           Formulieren der Forschungsfrage

·           Reviewplan (im Sinne eines a priori Protokolls)

·           Umfassende Suche

·           Unverzerrte Auswahl und Zusammenfassung

·           Kritische Bewertung der Daten

·           Synthese der Daten – ggf. inklusive Metaanalyse

·           Interpretation der Ergebnisse

1. Population / Patient / Problem

2. Intervention

3. Vergleich

4. Outcomes (primär, sekundär)

(5. Zeit)

1. Database Bias

2. Publikationsbias (selektive Publikation positiver / signifikanter Effekte)

3. Englischbias (nicht-englischsprachige Arbeiten werden häufig ausgeschlossen)

4. Zitationsbias (signifikante / positive Befunde werden eher / häufiger zitiert als nichtsignifikante / negative Befunde)

Beginn 70er Jahre

Untersuchungsergebnisse

sie markiert Status Quo des Wissens

hilft dabei, Zufallsbefunde nicht überzubewerten

begründet praktische Maßnahmen

begründet Entscheidungen über den Fortbestand und Förderung von Forschungsrichtungen

sie markiert Status Quo des Wissens

hilft dabei, Zufallsbefunde nicht überzubewerten

begründet praktische Maßnahmen

begründet Entscheidungen über den Fortbestand und Förderung von Forschungsrichtungen

Häufig keine Bezugnahme auf frühere Reviews

Intransparenz!

Fehlende Aussagen zu Größen der Effekte

Stichprobenfehler wird nicht berücksichtigt

...

1. Problemformulierung

2. Datensammlung

3. Datenbewertung

4. Analyse und Interpretation

5. Präsentation

machen Metaanalyse erst möglich

enkodieren die empirischen Befunde auf einer numerischen Skala

Standardisierte Mittelwertsdifferenz (d, g,...)

Odds Ratio, Relative Risks

Korrelationen

1.       Schätzung eines mittleren Effekts

2.       Signifikanztest für mittleren Effekt

3.       Bestimmung eines Konfidenzintervalls für mittleren Effekt

4.       Homogenitätstest

5.       Moderatoranalysen

·         Stichprobenfehler

·         Messfehler in der AV

·         Messfehler in der UV

·         Dichotomisierung stetiger AV

·         Dichotomisierung stetiger UV

·         Variabilitätseinschränkung in der AV

·         Variabilitätseinschränkungen in der UV

·         Abweichung von perfekter Konstruktvalidität der AV und UV

·         Berichts- oder Transkriptionsfehler

·         Varianz, die auf Drittvariablen zurückzuführen ist

·         Bestimmung der Gültigkeit an ausgelesener Stichprobe

·         Validitätskoeffizienten niedriger, als wenn komplette Populationsverteilung vorliegt

·         Umgekehrt bei irrepräsentativ breit streuenden Stichproben: Validitätskoeffizienten überschätzt (z. B. bei Extremgruppen)

·         Uniformitätsprobleme / „Äpfel und Birnen“-Argument

·         Methodische Qualität der Primärstudien / „Garbage in, Roses out“-Problem

·         Dokumentation der Primärstudien

·         Effektstärkenberechnung und –aggregation

·         Korrelative Ergebnisse der Metaanalyse

·         Post-hoc Hypothesenprüfung

·         Selektionskriterien für Auswahl der Primärstudien / „file-drawer“-Problem

Konstruktignoranz

Konstruktunterrepräsentation

Konstruktirrelevanz

Jingle fallacy

Jangle fallacy

Indikatoren sind nicht aus den intendierten Konstrukten abgeleitet, sondern Post Hoc --> erst Prüfung und erst dann entwerfen, was sie messen

Wesentliche Aspekte des Konstrukts werden nicht (adäquat) erfasst

Forschung denkt, etwas adäquat abzubilden, enthält aber erhebliche Kürzungen

--> hochgradig allg. latente Verhaltensbereitschaften (z. B. Schülerleistungen mit Noten gleichgesetzt)

Indikatoren enthalten irrelevante Varianz

Instrumente mit ähnlichen Namen messen Ähnliches

Instrumente mit unähnlichen Namen messen Unähnliches

Durch Emergentes Modell, Messung per fiat, Methodenspezifischer latenter Faktor, Genereller latenter Faktor

--> schrittweise soll durch Weiterführung der Modelle die Naivität verloren gehen, Konstruktunterrepräsentation soll planmäßig reduziert werden

einzelne kognitive Aufgaben werden mit Fähigkeit gleichgesetzt, kein Messfehler,

Emergenz = spontane Herausbildung neuer Strukturen in einem System

Interesse an True Score für Aufgabe, darum Messfehler in Rechnung stellen

primitive Messfehler!