petaaa

Der Text behandelt die Voraussetzungen, die erfüllt sein müssen, um bestimmte Signifikanztests durchzuführen. Hier sind die Hauptpunkte des Textes:

1. **Unterstellte Eigenschaften der Daten:**
   - Jeder Signifikanztest basiert auf bestimmten Annahmen über die Daten. Zum Beispiel erfordert der t-Test für unabhängige Stichproben Eigenschaften wie Unabhängigkeit der Datenpunkte, Intervallskalenniveau, Normalverteilung und Varianzhomogenität.

2. **Überprüfung der Annahmen:**
   - Es ist wichtig, zu überprüfen, ob das mit dem Signifikanztest implizit unterstellte Datenmodell tatsächlich den vorliegenden Daten entspricht. Nur unter dieser Bedingung können die Fehlerrisiken angemessen abgeschätzt werden.

3. **Probleme bei der Erfüllung der Voraussetzungen:**
   - Es können verschiedene Probleme auftreten, wie zum Beispiel:
     - Unzureichendes Skalenniveau der Variablen.
     - Einige Voraussetzungen können in der Praxis nicht überprüfbar sein, wie etwa die Annahme einer Normalverteilung in der Population oder die Additivität der Effekte.

Der Text betont die Notwendigkeit, die Annahmen und Voraussetzungen eines Signifikanztests kritisch zu prüfen, um sicherzustellen, dass die Ergebnisse valide sind. Wenn die Voraussetzungen nicht erfüllt sind, können die Ergebnisse des Tests verzerrt sein oder unzuverlässig werden. Daher ist es wichtig, Alternativmethoden in Betracht zu ziehen oder geeignete Korrekturmaßnahmen durchzuführen, wenn die Annahmen nicht erfüllt sind.

Fehlerrisiko ist abhängig davon
▪ ob Sstatistische Vorhersage H0 oder H1 entspricht
▪ welches Prüfverfahren gewählt wurde
▪ wie viele Tests gerechnet wurden

Das ist grundlgend der Normallfall welchen wir gelernt habe; Der Text behandelt die Entscheidung über die statistische Vorhersage (SV) im Kontext von Hypothesentests und den damit verbundenen Fehlerarten in der Statistik.

Hier ist eine kurze Zusammenfassung der wichtigsten Punkte:

1. **Hypothese H1 (Alternative Hypothese):**
   - Wenn die statistische Vorhersage (SV) gleich der alternativen Hypothese (H1) ist, bedeutet das, dass ein signifikantes Ergebnis zur Annahme der SV führt.
   - Beispiel: Es besteht ein Unterschied zwischen den Mittelwerten der Treatment- und Kontrollgruppe bei der Postmessung.

2. **Fehlerarten in der statistischen Entscheidung:**
   - ** (Epsilon) - Fehler 1. Art:** Die Wahrscheinlichkeit einer falschen Entscheidung für die SV (Übereifrigkeit). Das bedeutet, dass man die SV annimmt, obwohl sie in Wirklichkeit nicht zutrifft.
   - ** (Phi) - Fehler 2. Art:** Die Wahrscheinlichkeit einer falschen Entscheidung gegen die SV (Blindheit). Das bedeutet, dass man die SV ablehnt, obwohl sie in Wirklichkeit zutrifft.

3. **Prüfung der SV:**
   - Wenn H1 favorisiert wird, erfordert dies eine strenge Prüfung der SV.
   - Es wird ein kleiner -Fehler (Fehler 1. Art) bei der statistischen Prüfung angestrebt, um die Wahrscheinlichkeit einer falschen Annahme der SV zu minimieren.

Insgesamt geht es darum, wie man statistische Vorhersagen bewertet und welche Fehler dabei auftreten können, sowie die Bedeutung einer strengen Prüfung, um diese Fehler zu minimieren.

Der Text behandelt die Entscheidung über die statistische Vorhersage (SV) im Kontext der Nullhypothese (H0) und den damit verbundenen Fehlerarten in der Statistik.

Hier ist eine kurze Zusammenfassung der wichtigsten Punkte:

1. **Hypothese H0 (Nullhypothese):**
   - Wenn die statistische Vorhersage (SV) gleich der Nullhypothese (H0) ist, bedeutet das, dass ein signifikantes Ergebnis zur Ablehnung der SV führt.
   - Beispiel: SV = H0 bedeutet, dass kein Unterschied zwischen den Mittelwerten zweier Behandlungsgruppen (Kognitive Verhaltenstherapie vs. Pharmakotherapie) bei der Postmessung besteht.

2. **Fehlerarten in der statistischen Entscheidung:**
   - ** (Epsilon) - Fehler 1. Art:** Die Wahrscheinlichkeit einer falschen Entscheidung für die SV (Übereifrigkeit). Das bedeutet, dass man die SV (H0) annimmt, obwohl sie in Wirklichkeit nicht zutrifft.
   - ** (Phi) - Fehler 2. Art:** Die Wahrscheinlichkeit einer falschen Entscheidung gegen die SV (Blindheit). Das bedeutet, dass man die SV (H0) ablehnt, obwohl sie in Wirklichkeit zutrifft.

3. **Prüfung der SV:**
   - Wenn H0 favorisiert wird, erfordert dies eine strenge Prüfung der SV.
   - Es wird ein kleiner -Fehler (Fehler 2. Art) bei der statistischen Prüfung angestrebt, um die Wahrscheinlichkeit einer falschen Ablehnung der SV zu minimieren.

Insgesamt geht es darum, wie man statistische Vorhersagen bewertet und welche Fehler dabei auftreten können, sowie die Bedeutung einer strengen Prüfung, um diese Fehler zu minimieren.

Sie möchten feststellen, ob es Unterschiede in mehreren gesundheitlichen Ergebnissen (z.B. Blutdruck, Cholesterinwerte und Blutzuckerwerte) zwischen den Gruppen gibt.
Fehler 1. Art (-Fehler):** Dies ist die Wahrscheinlichkeit, die Nullhypothese (H0) fälschlicherweise abzulehnen, wenn sie in Wirklichkeit zutrifft.
-Fehler 2. Art (-Fehler):** Dies ist die Wahrscheinlichkeit, die Nullhypothese fälschlicherweise beizubehalten, wenn die alternative Hypothese (H1) in Wirklichkeit zutrifft.

Wenn Sie mehrere Signifikanztests durchführen, wird die Wahrscheinlichkeit, mindestens einen Fehler 1. Art zu begehen (also einen -Fehler), kumulativ erhöht. Dies führt zu einer komplexeren Beziehung zwischen den Fehlerwahrscheinlichkeiten ( und ) und den festgelegten Signifikanzniveaus ( und ).

#### Beispiel:
- Angenommen, Sie setzen das Signifikanzniveau () für jeden einzelnen Test auf 0,05.
- Wenn Sie drei Tests unabhängig voneinander durchführen, erhöht sich die Wahrscheinlichkeit, dass mindestens ein Test einen -Fehler aufweist.

Die Wahrscheinlichkeit, keinen Fehler 1. Art in allen drei Tests zu machen, beträgt:
\[ (1 - \alpha)^3 = (1 - 0.05)^3

Daraus ergibt sich die Wahrscheinlichkeit, mindestens einen Fehler 1. Art zu machen:
\[ 1 - 0.857 = 0.143 \]

Das bedeutet, dass die Wahrscheinlichkeit, mindestens einen -Fehler zu begehen, auf 14,3 % gestiegen ist, wenn man drei Tests durchführt, anstatt des ursprünglich festgelegten 5 %-Niveaus.

### -Fehler-Adjustierung
Um diesem Problem der kumulativen -Fehler-Wahrscheinlichkeit entgegenzuwirken, wird eine -Fehler-Adjustierung vorgenommen, wie z.B. die Bonferroni-Korrektur.

#### Bonferroni-Korrektur:
- Bei der Bonferroni-Korrektur wird das Signifikanzniveau durch die Anzahl der Tests geteilt.
- Für drei Tests: \[ \alpha_{korrigiert} = \frac{\alpha}{3} = \frac{0.05}{3} \approx 0.0167 \]

Damit wird jedes einzelne Testergebnis nur als signifikant betrachtet, wenn der p-Wert kleiner als 0.0167 ist.

### Auswirkungen auf die Teststärke
- Durch die Senkung des Signifikanzniveaus () für jeden einzelnen Test erhöht sich die Wahrscheinlichkeit, einen Fehler 2. Art (-Fehler) zu begehen, was die Teststärke (Power) verringert.
- Die Teststärke ist die Fähigkeit des Tests, eine tatsächlich bestehende Effekt zu erkennen (H1 korrekt abzulehnen).

Die Bewertung dieser Hypothese erfolgt anhand mehrerer Validitätskriterien:

1. Konstruktvalidität (Validität der Operationalisierung):

   • Diese bezieht sich darauf, wie gut die gewählten Messinstrumente oder Verfahren die theoretischen Konzepte erfassen, die sie messen sollen. Es wird bewertet, ob die Operationalisierungen (d.h. die konkreten Messmethoden) tatsächlich die zugrunde liegenden theoretischen Konstrukte angemessen repräsentieren.

2. Interne Validität:

   • Diese bezieht sich darauf, wie sicher man sein kann, dass die beobachteten Effekte tatsächlich auf die untersuchten Variablen und nicht auf andere Faktoren oder Störvariablen zurückzuführen sind. Eine hohe interne Validität bedeutet, dass die Studie gut kontrolliert ist und die Ergebnisse tatsächlich kausal interpretiert werden können.

3. Entscheidung über die Gültigkeit der statistischen Vorhersagen:

   • Hierbei geht es um die Beurteilung, ob die statistischen Ergebnisse die gestellten Hypothesen unterstützen oder widerlegen. Dies umfasst die Bewertung, ob die statistischen Tests angemessen durchgeführt und interpretiert wurden.

4. Statistische Validität:

   • Diese bezieht sich darauf, ob die statistischen Verfahren korrekt angewendet wurden und die Ergebnisse zuverlässig sind. Es wird geprüft, ob die Annahmen der statistischen Tests erfüllt sind, ob die Stichprobengröße angemessen ist und ob die Ergebnisse statistisch signifikant und praktisch bedeutsam sind.

Zusammengefasst handelt der Text davon, dass die Bewertung einer operativen Hypothese eine umfassende Prüfung der Konstruktvalidität, internen Validität, der Gültigkeit der statistischen Vorhersagen und der statistischen Validität erfordert. Diese Kriterien helfen sicherzustellen, dass die Studie sowohl methodisch solide als auch in ihren Schlussfolgerungen glaubwürdig ist.

1. Bewertung der Operationalen Hypothese

Die Bewertung der Forschungshypothese umfasst zunächst die Bewertung der operativen Hypothese, die sich auf die praktische Umsetzung und Messbarkeit der theoretischen Konzepte bezieht.

2. Bewertung aller Validitätskriterien zusammen

Die umfassende Bewertung der Forschungshypothese berücksichtigt alle wichtigen Validitätskriterien, die in mehrere Kategorien unterteilt werden können:

Statistische Validität

• Ableitungsvalidität der statistischen Vorhersage: Dies bezieht sich auf die Übertragung der relevanten Informationen und Relationen von der operativen Hypothese (OH) auf die statistische Vorhersage (SV). Es wird geprüft, ob die statistischen Vorhersagen korrekt aus der operativen Hypothese abgeleitet wurden.
• Ableitungsvalidität der Testhypothesen: Dies umfasst die Bewertung, ob die Testhypothesen korrekt aus der Forschungshypothese abgeleitet wurden.
• Angemessenheit der Testverfahren: Hierbei wird beurteilt, ob die statistischen Testverfahren angemessen sind, d.h. ob die Voraussetzungen für die Tests erfüllt sind und die Tests richtig angewendet wurden.

Interne Validität

• Dies bezieht sich auf die Sicherheit, dass die beobachteten Effekte tatsächlich auf die untersuchten Variablen zurückzuführen sind und nicht durch Störvariablen oder andere Faktoren beeinflusst wurden. Eine hohe interne Validität bedeutet, dass die Studie gut kontrolliert ist und kausale Schlüsse zulässt.

Konstruktvalidität (Validität der Operationalisierung)

• Diese bezieht sich darauf, wie gut die verwendeten Messinstrumente oder Verfahren die theoretischen Konzepte erfassen, die sie messen sollen. Es wird bewertet, ob die Operationalisierungen tatsächlich die zugrunde liegenden theoretischen Konstrukte angemessen repräsentieren.

Externe Validität

• Diese bezieht sich auf die Generalisierbarkeit der Studienergebnisse auf andere Personen, Orte und Zeiten. Es wird geprüft, ob die Ergebnisse der Studie auf andere Kontexte übertragen werden können.

Ergebnisse der Hypothesenprüfung und deren Kompatibilität

1. Kompatibilität mit der Forschungshypothese:

   • Wenn die Ergebnisse der Hypothesenprüfung mit den Vorhersagen der Forschungshypothese übereinstimmen, wird die Hypothese nicht falsifiziert. Das bedeutet, die Ergebnisse unterstützen die Hypothese, aber beweisen sie nicht definitiv.

2. Widerlegung der Forschungshypothese:

   • Wenn die Ergebnisse der Hypothesenprüfung im Widerspruch zu den Vorhersagen der Forschungshypothese stehen, spricht dies für die Falsifizierung der Hypothese. Das bedeutet, dass die Hypothese durch die Ergebnisse widerlegt wird.

Komplexität der Falsifizierung

1. Hypothesenfalsifizierung im Kontext von Hilfsannahmen und Hintergrundwissen:

   • Eine Hypothese kann nicht isoliert betrachtet und falsifiziert werden. Sie muss immer zusammen mit den Hilfsannahmen und dem Hintergrundwissen betrachtet werden, die zur Prüfung der Hypothese notwendig sind.
   • Hilfsannahmen: Dies sind zusätzliche Annahmen oder Voraussetzungen, die neben der Hauptannahme (Hypothese) gemacht werden, um die Hypothese zu testen.

2. Verantwortlichkeit der Hilfsannahmen:

   • Wenn die erwarteten Ergebnisse nicht eintreten, können die Hilfsannahmen verantwortlich gemacht werden. Das bedeutet, es kann argumentiert werden, dass die falschen oder ungenauen Hilfsannahmen und nicht die Hypothese selbst die Ursache für das Scheitern sind.

Logische Unmöglichkeit einer eindeutigen Falsifizierung

1. Logische Unmöglichkeit der eindeutigen Falsifizierung:
   • Aufgrund der Abhängigkeit von Hilfsannahmen und Hintergrundwissen ist eine eindeutige Falsifizierung einer Hypothese logisch nicht möglich. Es bleibt immer die Möglichkeit, dass eine andere Variable oder eine fehlerhafte Annahme für das Nicht-Eintreten der erwarteten Ergebnisse verantwortlich ist, und nicht die Hypothese selbst.

Gründliche Vorarbeit bei der Erstellung

1. Theoretische und empirische Fundierung:

   • Hypothesen theoretisch als auch empirisch gut untermauert sein.

2. Präzise Formulierung: einschließlich der Richtung des Effekts und einer Schätzung der Effektstärke.

3. Relevanz der zu prüfenden Hypothesen (Wett-Kriterium):

   • Nur Hypothesen, die wichtig und prüfbar sind, sollten untersucht werden. Das Wett-Kriterium betont die Auswahl relevanter und bedeutsamer Hypothesen.

4. Festlegung der Hypothesen vor der Datenerhebung:

   • Hypothesen sollten vor der Datenerhebung festgelegt und nicht im Nachhinein angepasst werden („H. in den Panzerschrank“). Dies schützt vorFehlern + selektiv. Interpret.

• Adäquate Zuordnung und Übertragung:

  • Es ist wichtig, die Relationen korrekt von der Forschungshypothese (FH) zur operativen Hypothese (OH), zur statistischen Vorhersage (SV) und schließlich zur statistischen Hypothese (SH) zu übertragen.

• Indirekte Überprüfung der Forschungshypothese:

  • Die Überprüfung einer Forschungshypothese erfolgt durch die Testung einer statistischen Vorhersage, was einen indirekten Prozess darstellt.

• Entscheidungsfindung über H0:

  • Bei der Überprüfung wird die statistische Hypothese (H0) nicht logisch falsifiziert, sondern es wird eine Entscheidung über deren Gültigkeit oder Ungültigkeit getroffen.

Kontrolle der Determinanten und Stichprobenumfang

• Simultane Kontrolle aller Determinanten:
  • Es ist wichtig, alle Faktoren, die einen Signifikanztest beeinflussen, gleichzeitig zu kontrollieren und den Stichprobenumfang entsprechend festzulegen. Eine unreflektierte Festlegung des Stichprobenumfangs kann dazu führen, dass der Fehler 2. Art (β-Fehler) unkontrolliert bleibt, was die Wahrscheinlichkeit erhöht, dass nur große Effekte signifikant werden
• Falsifizierung im Kontext von Hintergrundwissen:
  • Eine Forschungshypothese kann nicht isoliert betrachtet und falsifiziert werden. Sie muss zusammen mit dem Hintergrundwissen betrachtet werden, da dieses Wissen für die Prüfung der Hypothese notwendig ist.

Validität
▪ Güte der Schlussfolgerung
▪ Grad der Wahrheit einer Schlussfolgerung
«approximate truth of an inference»
▪ Urteil darüber, in wie weit relevante Evidenz nahelegt, dass
Schlussfolgerung wahr oder korrekt ist.
▪ Es gibt keine Methode oder kein Design, das Validität der Schlussfolgerung
garantiert
• Bei jeder Untersuchung gibt es Beeinträchtigungen der Validität

Wann wird die Bonferroni-Holm-Adjustierung eingesetzt?

Die Bonferroni-Holm-Adjustierung wird verwendet:

• Bei mehreren Hypothesentests: Wenn mehrere statistische Tests gleichzeitig durchgeführt werden, um das Risiko eines α-Fehlers zu kontrollieren.
• Zur Kontrolle des Family-Wise Error Rate (FWER): Um die Wahrscheinlichkeit zu kontrollieren, mindestens einen Fehler 1. Art in einem Set von Hypothesentests zu machen.
• In wissenschaftlichen Studien: Besonders in der medizinischen und psychologischen Forschung, wo mehrere Endpunkte oder Vergleiche untersucht werden.

  Beispiel:

• Angenommen, Sie haben fünf Tests durchgeführt und erhalten die folgenden p-Werte: \[ p_1 = 0.01, p_2 = 0.02, p_3 = 0.03, p_4 = 0.04, p_5 = 0.049 \] --> niedrigster wert bekommt den schwierigsten test

• nun wird das adjustierte alpha mittels der formel: (alpha)/(Anzahl übrig gebliebenen hypothesen)

• 0,05/5=0,005

  0,05/4=0,0125

  0,05/3=0,0167

  0,05/2=0,025

  0,05/1=0,05 --> nur die letzte hypothese mit 0,049 hält nach der adjusiterung noch stand die anderen sind nicht signi

• In diesem Beispiel würden die Nullhypothesen für die ersten vier Tests abgelehnt, aber nicht für den fünften Test. Die Bonferroni-Holm-Methode ermöglicht es, die strenge Kontrolle der Fehlerwahrscheinlichkeit aufrechtzuerhalten, während sie dennoch etwas flexibler und weniger konservativ ist als die traditionelle Bonferroni-Korrektur.

-zu geringe power--> valider schluss dass kein effekt vorhanden ist nicht möglich

-verletzung der voraussetzungen zum durchführen eines testes--> evtl. zur rettung transformierung der daten mgl.

-Fischen nach Signifikanzen bei multiplen Tests--> bonferonni zur adjustierung; oder immer konfiintervalle berichten

-Restriktionen des Ranges einer Variable--> e.g. treatments unterscheiden sich nicht genug voneinander; boden/decken effekte(redizieren jeweils die varianz da viele sehr niedrig oder sehr hoch scoren )

-Reliabilität einer Messung--> vergrößert die fehlervarianz

-Reliabilität der Umsetzung des Treatments--> r.g. unterschiedlich lange Behandlungen bei personen in der gleichen gruppe vergrößert d. Fehlervarianz

-Zufällige Faktoren des Settings--> vergrößert fehlervarianz, kontrolle auf Störfaktoren deshalb wichtig

-Zufällige Heterogenität der Vpn--> höhrere fehlervarianz; homogenisierung der vpn wichtig

-Inakkurate Effektgrösseschätzungen--> durch ausreise; deshalb müssen daten kontrolliert werden

▪ Gültigkeit, der in der vorliegenden Studie postulierten kausalen Beziehung
▪ Ist die Intervention tatsächlich die Ursache des beobachteten Effekts?
▪ Oder gibt es mögliche alternative Erklärungen für den beobachteten Effekt?

All that internal validity means is that you have evidence that what you did in
the study (i.e., the program) caused what you observed (i.e., the outcome) to
happen.
▪ It doesn't tell you whether what you did for the program was what you wanted to
do or whether what you observed was what you wanted to observe - those are
construct validity concerns.

Notwendige Bedingungen:
▪ Es besteht eine Kovariation zwischen Ursache und Wirkung:
wenn X dann Y
und
wenn nicht X dann auch nicht Y
▪ Die Ursache geht der Wirkung zeitlich voraus
▪ Es gibt keine plausiblen Alternativerklärungen

Was verursacht einen Waldbrand?
▪ Mögliche Ursachen: Zigarette, Streichholz, Lagerfeuer, Blitzschlag, Glasscherbe
▪ Nur wirksam, wenn andere Bedingungen vorliegen:
• Sauerstoff
• brennbares Material (Blätter, Halme, Äste, die trocken genug sein müssen)
▪ Mögliche Ursachen sind INUS-Bedingungen:
• INUS = Insufficient but non redundant part of an unnecessary but sufficient condition.
Nicht hinreichender aber nicht redundanter Teil einer nicht notwendigen aber hinreichenden
Bedingung
▪ Bsp. Glasscherbe -> als Ursache für Waldbrand
• Nicht hinreichender Teil = kein Feuer ohne Sonne + Sauerstoff + trockene Blätter
• Nicht redundanter Teil = Nur wenn Glasscherbe + starke Sonneneinstrahlung + trockene Blätter
+ Sauerstoff
• Nicht notwendig = weil brennende Zigarette ebenfalls Brand auslösen kann
• Hinreichende Bedingung: weil Kombination von Scherbe + starke Sonneneinstrahlung +
trockene Blätter genügt, um Waldbrand zu verursachen

--> allerdings manchmal auch tricky wie z.b. beim teufelskreis einer panickattaacke; schwierig da wirklich was kausales festzustellen

Beispiel: Autounfall

• Faktor: Glatte Straße.
• Unzureichend (Insufficient): Eine glatte Straße allein führt nicht zu einem Autounfall. Es muss auch ein Auto vorhanden sein, das auf der Straße fährt, und möglicherweise ein unaufmerksamer Fahrer.
• Nicht redundant (Non-redundant part): Die glatte Straße ist eine notwendige Komponente in der Bedingung, die den Unfall verursacht. Ohne die glatte Straße würde der Unfall nicht passieren.
• Unnötig (Unnecessary): Eine glatte Straße, ein Auto und ein unaufmerksamer Fahrer sind nicht die einzigen Bedingungen, die zu einem Unfall führen können. Auch eine defekte Bremsanlage könnte einen Unfall verursachen.
• Hinreichende Bedingung (Sufficient condition): Die Kombination von glatter Straße, Auto und unaufmerksamen Fahrer ist hinreichend, um einen Unfall zu verursachen.

Diese Beispiele verdeutlichen, wie INUS-Bedingungen in komplexen kausalen Zusammenhängen funktionieren. Solche Bedingungen sind oft in sozialen und natürlichen Phänomenen anzutreffen, wo mehrere Faktoren zusammenwirken müssen, um ein Ereignis auszulösen.

Der Text beschreibt verschiedene Faktoren, die die interne Validität in Untersuchungsdesigns mit nur einer Gruppe beeinträchtigen können. Interne Validität bezieht sich darauf, inwieweit die Ergebnisse einer Studie tatsächlich auf die untersuchte Intervention und nicht auf andere, unkontrollierte Faktoren zurückzuführen sind. Hier sind die spezifischen Beeinträchtigungen, wie sie von Cook & Campbell (1979) und Trochim (2001) identifiziert wurden:

### Beeinträchtigungen der internen Validität:

1. **Zwischenzeitliches Geschehen (History):**
   - **Beschreibung:** Unabhängig von der Intervention können spezifische Ereignisse, die während der Studienzeit eintreten, die Ergebnisse beeinflussen.
   - **Beispiele:** Zusätzliche Behandlungen oder die Einnahme von Medikamenten, die nicht Teil der untersuchten Intervention sind, könnten die Messung der Ergebnisse beeinflussen.

2. **Reifung (Maturation):**
   - **Beschreibung:** Systematische biologische oder psychologische Veränderungen, die über die Zeit hinweg auftreten und nicht durch spezifische Ereignisse verursacht werden.
   - **Beispiele:** Alterung, Ermüdung oder natürliche Erholungsprozesse (Spontanremission), die während der Studiendauer stattfinden, können die Ergebnisse beeinflussen.

3. **Mortalität (Mortality):**
   - **Beschreibung:** Die Teilnahmeabbrecher (Drop-outs) während der Untersuchung können die Ergebnisse verfälschen.
   - **Beispiele:** Wenn Teilnehmer aus der Studie aussteigen, könnte dies die Zusammensetzung der verbleibenden Gruppe und somit die Ergebnisse der Studie beeinflussen.

4. **Regression zur Mitte (Regression Artifact):**
   -
   - **Beispiele:** Wenn Teilnehmer in einer Studie aufgrund eines extrem hohen oder niedrigen Ausgangswerts ausgewählt werden, neigen ihre Werte bei nachfolgenden Messungen dazu, sich dem Durchschnitt zu nähern, unabhängig von der Intervention.

Nur bei Messwiederholungsdesigns:
▪ Testen (Testing): Reaktivität der Prämessung, Lerneffekte (z.B. wiederholte
Durchführung von Intelligenz- oder Schulleistungstests)
▪ Instrumente (Instrumentation):
• Beobachter, die Verhalten kodieren, werden nachlässiger
• Messinstrumente differenzieren unterschiedlich auf verschiedenen Niveaus (z.B.
Deckeneffekte

Statistisches Phänomen, das auftritt,
▪ zwischen zwei Variablen, die nicht perfekt korreliert sind
und
▪ Extremgruppe wird selegiert auf der Basis der Werte einer dieser Variablen
(z.B. besonders Bedürftige oder besonders Begabte)
▪ Beispiele
• Galton erforschte Erblichkeit der Körpergrösse und fand unerwartete Ergebnisse:
Grosse Väter hatten kleinere Söhne, kleine Väter hatten grössere Söhne
Erklärung:
• Extremgruppe: z.B. Grosse Väter
• Keine perfekte Korrelation zwischen Grösse der Väter und Grösse der Söhne
(Grösse hängt zu 50 % von Genen des Vaters und 50 % von Genen der Mutter ab)
-> Deshalb ist Grösse der Söhne näher am Populationsmittelwert
• Pre-Post Design
• Eine Gruppe von Patienten wird aufgrund eines niedrigen psychosozialen Funktionsniveaus für
Treatment ausgewählt
• Nach dem Treatment wird psychosoziales Funktionsniveau wieder gemessen (Prä-Post Korrelation
beträgt z.B. r = .60).
• Auch wenn es keinen Treatment Effekt gibt, wird der Mittelwert der Post Messung näher am
Populationsmittelwert sein. Wegen Regression zur Mitte Effekt.

UNIVERSITY FRIBOURG, CH| Departement für Psychologie | Lerhstuhl Klinische Psychologie und Psychotherapie |
Peter Wilhelm, Forschungsmethoden Grundlagen, FS 2024
Regression zur Mitte
Ist um so ausgeprägter:
▪ je weiter der Mittelwert der selegierten Gruppe vom Populationsmittelwert abweicht
▪ je geringer die Korrelation zwischen den Variablen ist
Regressionseffekt ist Funktion der Korrelation zwischen beiden Variablen:
▪ Prozent Regression = 100 (1 - r)
▪ r12 = 1.00 Regression zur Mitte = 0%
▪ r12 = .50 Regression zur Mitte = 50%
▪ r12 = .20 Regression zur Mitte = 80%
▪ r12 = .00 Regression zur Mitte = 100%

Um Effekt eines Treatments (einer Manipulation) bestimmen zu
können, müssten wir wissen, was passiert wäre, wenn es kein
Treatment (oder anderes Treatment) gegeben hätte:
Counterfactual condition = kontrafaktische Bedingung
• Unmöglich: Wenn wir z.B. Medikament eingenommen haben
können wir nicht wissen, was ohne Einnahme des Medikaments
passiert wäre und umgekehrt.
▪ Nur Annäherung an kontrafaktische Bedingung ist möglich:
• Unterschiedliche Personen erhalten treatment- und counterfactual
Bedingung zur gleichen Zeit (between-subject Design)
• Gleiche Personen erhalten treatment- und counterfactual
Bedingung zu unterschiedlichen Zeiten (within-subject Design)

▪ Voraussetzung:
Personen in der Treatment- u. Kontrollgruppe / -bedingung
müssen vor Treatmentbeginn in allen Variablen, die den
Treatmenteffekt beeinflussen können, gleich sein

Der Text beschreibt Methoden zur Sicherstellung der Gleichheit von Kontroll- und Treatmentbedingungen in wissenschaftlichen Studien, basierend auf den Arbeiten von Shadish, Cook und Campbell (2002). Es werden zwei Hauptmethoden erklärt:

1. **Erfassung und Berücksichtigung von Störvariablen:**
   - Alle Variablen, die den Effekt der Behandlung (Treatment) beeinflussen könnten (sogenannte Störvariablen), werden zu Beginn der Studie erfasst.
   - Diese Variablen werden bei der Gruppenzuordnung berücksichtigt, beispielsweise durch Matchen (Zuordnung ähnlicher Personen in die verschiedenen Gruppen) oder Stratifizieren (Einteilung in Schichten).
   - Voraussetzung hierfür ist, dass alle relevanten Störvariablen bekannt, präzise messbar und bei der Zuteilung berücksichtigt werden können.

2. **Randomisierung:**
   - Personen werden zufällig den verschiedenen Bedingungen (Treatment oder Kontrollgruppe) zugeteilt.
   - Jede Person hat die gleiche Wahrscheinlichkeit, in die Treatment- oder Kontrollgruppe zu kommen, was zu ähnlichen Gruppen führt.
   - Diese Methode setzt nicht voraus, dass die Störvariablen bekannt sind.

Zusammengefasst handelt es sich um Strategien, die darauf abzielen, die Vergleichbarkeit der Gruppen in einer Studie zu gewährleisten, um den Einfluss von Störvariablen zu minimieren und die Gültigkeit der Ergebnisse zu erhöhen.

 Randomisierung funktioniert theoretisch
• In konkreter Studie sind trotz randomisierter Zuteilung
zufällig ungleiche Gruppen möglich
▪ Randomisierung funktioniert um so besser, je grösser die
Samples (n > 40 per group)

1. Einfache Randomisierung:

   • Reine Zufallszuordnung (z.B. durch Zufallszahlen).
   • Diese Methode garantiert die Unvorhersehbarkeit der Zuweisung.

2. Eingeschränkte Randomisierung (Restricted Randomisation):

   • Geblockte Randomisierung:
     • Teilnehmende werden in Blöcken (z.B. 10 Personen) zugeordnet, um gleiche Anzahlen in jeder Gruppe zu garantieren.
     • Nachteil: Bei der letzten Person eines Blocks ist klar, in welcher Gruppe sie sein wird. Dies kann durch Variieren der Blockgröße gemildert werden.
   • Stratifizierte Randomisierung:
     • Zuweisung zu EG und KG erfolgt separat für Kontrollvariablen (z.B. Geschlecht, Altersgruppen).
     • Dies hält die Kontrollvariablen konstant, was bei kleinen Stichproben sinnvoll ist.
   • Minimierung:
     • Die erste Person wird zufällig zugewiesen, die nächste Person wird basierend auf Eigenschaften ausgewählt, um die Imbalance zwischen den Gruppen auszugleichen.
     • Nachteil: Balancierung nur auf bekannten Faktoren, unbekannte Faktoren bleiben unberücksichtigt.

1. **Generierung der Reihenfolge der Zuteilung in Gruppen durch etabliertes Zufallsverfahren:**
   - Ein etabliertes Zufallsverfahren wird verwendet, um eine Reihenfolge zu erstellen, nach der die Teilnehmer den verschiedenen Gruppen zugewiesen werden.
   - Beispiele für solche Verfahren sind computer-generierte Zufallszahlen oder zufällige Nummernlisten.
   - Diese Methode stellt sicher, dass die Zuteilung nicht vorhersehbar ist und nicht von subjektiven Einflüssen der Forschenden beeinflusst wird.

2. **Verschleierung der Zuteilung (Allocation Concealment):**
   - Verschleierung der Zuteilung bedeutet, dass die Personen, die die Teilnehmer in die Studie aufnehmen und zuweisen, nicht wissen, welche Gruppe als nächstes zugewiesen wird.
   - Ein gängiges Verfahren ist die Verwendung von fortlaufend nummerierten, versiegelten und undurchsichtigen Umschlägen, die die Zuweisungsentscheidung enthalten.
   - Diese Umschläge werden in einer vorher festgelegten Reihenfolge geöffnet, sodass die Zuteilung erst zum Zeitpunkt der Aufnahme des Teilnehmers bekannt wird.
   - Die Verschleierung verhindert Manipulation und Bias bei der Zuteilung.

3. **Durchführung der Zuteilung:**
   - **Aufnahme der Teilnehmer in die Studie:**
     - Teilnehmer werden in die Studie aufgenommen, nachdem sie überprüft wurden, ob sie die Ein- und Ausschlusskriterien erfüllen. Diese Kriterien stellen sicher, dass nur geeignete Personen an der Studie teilnehmen.
   - **Einholung der informierten Zustimmung:**
     - Bevor Teilnehmer eingeschrieben werden, muss ihre informierte Zustimmung eingeholt werden. Dies bedeutet, dass sie über die Studie, ihre Teilnahme, potenzielle Risiken und Vorteile informiert werden und freiwillig zustimmen.
   - **Einschreibung der Teilnehmer in die Studie:**
     - Nach Erhalt der Zustimmung werden die Teilnehmer offiziell in die Studie eingeschrieben.
   - **Zuweisung der Teilnehmer zur Gruppe auf der Basis der Zufallssequenz:**
     - Die eigentliche Zuteilung erfolgt basierend auf der zuvor generierten Zufallssequenz. Dies garantiert, dass die Verteilung auf die Gruppen zufällig und unvoreingenommen erfolgt.

Wenn die Zuteilung zu einer Gruppe nicht randomisiert erfolgt (Quasiexperiment,
Beobachtungsstudien) oder die Randomisierung fehlschlägt
▪ Selektions-Bias (selection bias): Die Gruppen (EG vs. KG) unterscheiden sich vor der
Intervention voneinander.
▪ Selektions-Bias kann mit allen Beeinträchtigungen interagieren:
▪ Zwischenzeitliches Geschehen * Selektion: Unterschiedliche Reaktion auf spezifische
Ereignisse
▪ Reifung * Selektion: Unterschiedliche Reifungsprozesse finden statt
▪ Mortalität * Selektion: (z.B. mehr Vpn der Kontrollgruppe brechen Teilnahme an
Untersuchung ab)
▪ Regression zur Mitte * Selektion: Regressionseffekt ist verschieden ausgeprägt, weil z.B. eine
Gruppe extremer ist, als die andere
▪ Zusätzlich bei Messwiederholungsdesigns:
▪ Testen * Selektion: Reaktivität und Sensibilisierung durch Prämessung wirkt sich verschieden
aus
▪ Instrumente * Selektion: Unterschiedliche Veränderungen in den Messinstrumenten (z.B.
Deckeneffekte wirken stärker in der Interventionsgruppe

Differentielle Mortalität (Drop-outs)
• Drop-outs können Selektionseffekte verursachen ->
Verbleibende Vpn unterscheiden sich dann zwischen Gruppen:
− z.B. für medikamentöse Behandlung motivierte Personen, die positive Wirkung
und wenig Nebenwirkungen spüren, verbleiben in Pharmakotherapiegruppe.
− Nur frustrationstolerante, motivierte und weniger beeinträchtigte Personen
verbleiben in Wartekontrollgruppe
• Unterschiedliche Drop-out Raten in Treatment- und Kontrollgruppe sind Hinweis
auf unterschiedliche Selektionsprozesse
-> Drop-outs unterminieren Effekt der Randomisierung
▪ Differentielles zwischenzeitliches Geschehen
• Personen der Warte-KG nehmen z.B. eher zusätzlich Medikamente oder suchen
alternative Behandlung
▪ Beeinträchtigungen durch soziale Interaktion
• wurden von Cook & Campbell (1976) noch als Bedrohungen der internen
Validität diskutiert. Von Shadish et al. (2002) werden sie als Beeinträchtigungen
der Konstruktvalidität diskutiert (vgl. Döring & Bortz, 2016)

pro interven validi:

1. Direkte Bedrohung der Ergebnissicherheit:
   • Interne Validität bezieht sich auf das Vertrauen, dass die beobachteten Effekte tatsächlich auf die Intervention zurückzuführen sind und nicht auf andere Faktoren. Soziale Interaktionen können direkte alternative Erklärungen für die beobachteten Effekte darstellen.
2. Kontrolle über experimentelle Bedingungen:
   • Wenn soziale Interaktionen die Bedingungen der Kontroll- und Treatmentgruppe verändern, könnte dies die Ergebnisse verfälschen und somit die Aussagen über den Kausaleffekt beeinträchtigen.
3. Einfacheres Konzept:
   • Es ist leichter zu verstehen und zu messen, ob externe Faktoren die direkte Ursache-Wirkungs-Beziehung in einer Studie beeinflussen

con interne validi:

1. Vernachlässigung von Konstruktvalidität:
   • Fokus auf interne Validität könnte dazu führen, dass die Bedeutung und die Messung der Konstrukte selbst weniger Beachtung finden.
2. Reduzierte Berücksichtigung des Kontextes:
   • Soziale Interaktionen sind oft kontextabhängig und können die Bedeutung der Ergebnisse in verschiedenen realen Umgebungen beeinflussen, was nicht ausreichend durch den Fokus auf interne Validität erfasst wird.

pro konstruktvalidi:

Pros:

1. Umfassendere Bewertung der Studie:
   • Konstruktvalidität umfasst, wie gut die Intervention und die gemessenen Variablen tatsächlich die theoretischen Konstrukte repräsentieren. Soziale Interaktionen können die Interpretation dieser Konstrukte beeinflussen.
2. Berücksichtigung des Kontexts:
   • Soziale Interaktionen können die Art und Weise, wie Teilnehmer die Intervention wahrnehmen und darauf reagieren, verändern, was für die Konstruktvalidität entscheidend ist.
3. Relevanz für die praktische Anwendung:
   • Indem soziale Interaktionen in die Konstruktvalidität einbezogen werden, wird die Übertragbarkeit der Studienergebnisse auf reale Situationen und verschiedene Kontexte besser erfasst.

con konstruktvalidi:

1. Komplexere Bewertung:
   • Die Beurteilung der Konstruktvalidität ist oft schwieriger und komplexer als die der internen Validität, da sie mehr theoretische und methodologische Überlegungen erfordert.
2. Mögliche Vernachlässigung direkter kausaler Beziehungen:
   • Wenn der Fokus zu stark auf die Konstruktvalidität gelegt wird, könnte die Sicherheit über die direkten kausalen Effekte der Intervention untergraben werden.

Der Text beschreibt das Regression Discontinuity Design (RD-Design), ein quasi-experimentelles Design, das ursprünglich von Cook & Campbell (1979) und später von Trochim (2001) diskutiert wurde. Dieses Design wird verwendet, um den Effekt eines Treatments zu untersuchen, indem die Zuweisung zu Treatment- oder Kontrollgruppe anhand eines Schwellenwerts (Cutoff-Scores) auf einer Prätestvariablen erfolgt.

### Hauptpunkte des RD-Designs:

1. **Zuordnung zum Treatment:**
   - Die Zuweisung zum Treatment basiert auf einem festgelegten Schwellenwert in einer Prätestvariablen.
   - Beispiel: Soziales Kompetenztraining wird nur denjenigen Patientinnen und Patienten angeboten, deren soziales Funktionsniveau unter 50 % liegt.

2. **Grundannahme des RD-Designs:**
   - Ohne einen Programmeffekt sollte die Beziehung zwischen den Prä- und Post-Test-Werten in beiden Gruppen (über und unter dem Cutoff) gleich sein.
   - Eine Diskontinuität (Sprung) in der Regressionsgeraden am Cutoff-Punkt zeigt den Effekt des Programms und ist nicht zufällig durch andere Faktoren bedingt.
   - Es wird angenommen, dass die Beziehung zwischen Prä- und Post-Test korrekt modelliert werden kann.

3. **Interne Validität (IV):**
   - Wenn die Beziehung zwischen Prä- und Posttest angemessen modelliert werden kann, ist die interne Validität des RD-Designs ähnlich hoch wie bei einem randomisierten Experiment.
   - Alternativhypothesen können plausibel ausgeschlossen werden, was die Stärke des Designs unterstreicht.

4. **Vorteile:**
   - Ethisch besser vertretbar: Da die Zuweisung auf einem objektiven Schwellenwert basiert, können ethische Bedenken, die bei zufälliger Zuweisung auftreten könnten, reduziert werden.

5. **Nachteile:**
   - Höherer Bedarf an Teilnehmern: Um die gleiche statistische Power wie bei einem randomisierten Experiment zu erzielen, werden etwa 2,75 Mal mehr Teilnehmer benötigt.

. Der Hauptnachteil ist der höhere Bedarf an Teilnehmern, um eine vergleichbare statistische Power wie in randomisierten Experimenten zu erreichen.

▪ Wenn alle Beeinträchtigungen plausibel ausgeschlossen werden können, ist
ein zuverlässiger Schluss auf die Kausalität der Beziehungen zwischen
Variablen möglich.
▪ Können nicht alle Beeinträchtigungen ausgeschlossen werden, dann liegt
ambivalente Situation vor.
▪ Für eine Kausalbeziehung zwischen den Variablen spricht:
• Wenn spezifische Alternativerklärungen unwahrscheinlich oder unplausibel sind
• Wenn es vergleichbare Ergebnisse in anderen Untersuchungen gibt (Replikation)
▪ Bewertung von Alternativerklärungen als plausibel bzw. unplausibel kann
diskutiert werden.
• Bewertung als unplausibel sollte Zweifel reduzieren, aber nicht vollständig
eliminieren
• Forscher muss jede potentielle Beeinträchtigung explizit benennen
und dann belegen, dass sie in der vorliegenden Untersuchung keine Rolle spielt
• Schlussfolgerungen, die auf Quasiexperimenten oder Beobachtungsstudien
beruhen, sind i.d.R. weniger sicher als solche aus randomisierten, kontrollierten
Experimenten

”Estimating the internal validity of a relationship is a
deductive process
in which the investigator has to systematically think
through
how each of the internal validity threats may have
influenced the data.
Then, the investigator has to examine the data to test
which relevant threats can be ruled out.
In all of this process, the researcher has to be his or
her own best critic, trenchantly examining all of the
threats he or she can imagine

Ist die Generalisierung von der konkreten Operationalisierung zu den
theoretischen Konstrukten angemessen?
• Für die (Outcome)Messung, das Treatment, die untersuchte Population, das
Setting, die Zeit
▪ Konstruktvalidität ist damit auch ein Aspekt der externen Validität

Truth in labeling“
• Induziert Trierer Stresstest tatsächlich Stress?
• Ist Konzentration des Speichelkortisols Indikator für physiologische Stressreaktivität?
• Können Personen mit hohen Scores in Empahtiefragebogen (z.B. Perspective Taking im
Interpersonal Reactivity Index) die Gefühle anderer Personen richtig einschätzen?

Konvergente Validität

Konvergente Validität bezieht sich darauf, wie gut ein Maß mit anderen Maßen desselben Konstrukts übereinstimmt. Sie wird dadurch bestimmt, dass verschiedene Methoden oder Instrumente, die das gleiche Konstrukt messen sollen, miteinander verglichen werden. Wenn diese Messungen hoch korrelieren, weist dies auf eine hohe konvergente Validität hin.

Beispiel:

• Wenn ein neuer Fragebogen zur Messung von Angstzuständen entwickelt wird, sollte er stark mit anderen etablierten Angstfragebögen korrelieren.
• Ein Intelligenztest sollte ähnlich zu anderen Intelligenztests korrelieren, wenn sie dasselbe Konstrukt messen.

Diskriminante Validität

Diskriminante Validität (auch divergente Validität genannt) bezieht sich darauf, wie gut ein Maß sich von anderen Maßen unterscheidet, die theoretisch nicht mit dem zu messenden Konstrukt in Verbindung stehen sollten. Ein Maß hat eine hohe diskriminante Validität, wenn es niedrige Korrelationen mit Maßen anderer Konstrukte zeigt.

Beispiel:

• Ein Fragebogen zur Messung von Angst sollte nicht stark mit einem Fragebogen zur Messung von Depression korrelieren, da Angst und Depression theoretisch unterschiedliche Konstrukte sind.
• Ein Maß für Selbstwertgefühl sollte nicht stark mit einem Maß für mathematische Fähigkeiten korrelieren.

Bedeutung und Anwendung

Die Überprüfung der konvergenten und diskriminanten Validität ist entscheidend für die Feststellung, ob ein Messinstrument tatsächlich das misst, was es zu messen vorgibt, und nicht etwas anderes.

• Konvergente Validität zeigt, dass das Instrument erfolgreich das Zielkonstrukt erfasst.
• Diskriminante Validität zeigt, dass das Instrument spezifisch für das Zielkonstrukt ist und nicht von anderen, nicht verwandten Konstrukten beeinflusst wird.

Methoden zur Überprüfung

Eine gängige Methode zur Überprüfung dieser Formen der Validität ist die Multitrait-Multimethod-Matrix (MTMM), bei der mehrere Traits (Eigenschaften) und mehrere Methoden gleichzeitig getestet werden, um die Korrelationen zwischen verschiedenen Traits und Methoden zu analysieren.

Multitrait-Multimethod-Matrix (MTMM):

• Konvergente Validität wird durch hohe Korrelationen zwischen verschiedenen Methoden, die dasselbe Konstrukt messen, gezeigt.
• Diskriminante Validität wird durch niedrige Korrelationen zwischen Methoden, die unterschiedliche Konstrukte messen, gezeigt.

Zusammenfassung

• Konvergente Validität: Starke Korrelationen mit anderen Maßen desselben Konstrukts.
• Diskriminante Validität: Schwache Korrelationen mit Maßen anderer, theoretisch unterschiedlicher Konstrukte.