ergänzende Fragen Evi

systematische K.: systematisch wird ein potentiell moderierender Einfluss untersucht...z.B. Geschlecht des Therapeuten...im Nachhinein (2 Gruppen: Gruppe 1: männl. Therapeut, Gruppe 2: Therapeutin) wird geschaut, ob der Moderator tatsächlich einen Einfluss hat

unsystematische K.: Studie wird in unterschiedlichen Settings durchgeführt (Städte, Trainer, Schulen usw. werden variiert) --> wenn die Wirksamkeit über verschiedene Kontexte hinweg gleich bleibt, dann ist das ein Beleg für die externe/ökologische Validität der Maßnahme.

Enscheidet man sich für ein Programm B und nicht für ein Programm A, so verzichtet man auf die Vorteile von A und nimmt die Nachteile von B in Kauf. Solche Einbußen werden als Opportunitätskosten bezeichnet.

rationales Vorgehen bei der vergleichenden Nutzenbestimmung, Abfolge von 10 Schritten (S. 133)

1. Perspektive des Individuums, das von der Maßnahme betroffen ist
2. Perspektive des Geldgebers/Sponsors
3. Perspektive der sozialen Gemeinschaft

Nutzen einer Maßnahme geteilt durch die Kosten, je höher er über 1 liegt, desto höher ist der Nutzen der Maßnahme

Ist ein Vergleichsmaß und vergleichbar mit dem ROI (return on investment) aus der BWL

Nettonutzen (NN = N - K) geteilt durch ihren Nutzen

(N-K)/N

auch ein Effizienzmaß, mit dem man unterschiedliche Programme mit unterschiedlichen Kosten-Nutzen-Bedingungen miteinander vergleichen kann

ist ein normierte Maß mit Werten zwischen Null und Eins, Bringt ein Programm genauso viel wie es kostet, dann ist die PR = 0

Hierbei werden zwar die Kosten einer maßnahme quantifiziert, nicht aber ihre Wirkung (Effektivität) bzw. ihr Nutzen. Vielmehr wird die Wirkung in eine sinnvolle Einheit transferiert und die Kosten pro Einheit berechnet.

Kosten pro Einhheit können sein:

• Kosten pro erfolgreich behandelter Person (Wirksamkeitskritierium der Maßnahme sollte dichotomes Kriterium sein)
• Kosten pro Veränderungseinheit (Wirksamkeitskriterium der Maßnahme sollte eine metrische Einheit sein (z.B. Anzahl der Zigaretten pro Tag)) --> eine geheilte Person wäre keine Veränderungseinheit

beschreibt den Fall, dass der Nutzen einer maßnahme exakt identisch mit den Kosten ist, es ist der Puznkt, an dem der Nettonutzen gleich Null ist (oberhalt der Schwelle macht man also gewinne, darunter Verluste)

Effektivitätsanalyse: fragt nach der Wirksamkeit einer Maßnahme

Effizienzanalyse: Stellt die Frage nach dem Nutzen und der Kosten-Nutzen-Bilanz in den Vordergrund

--> um der Entscheidung für eine Maßnahme eine rationale Basis zu verleihen

--> man kann mit einer Effizienzanalyse im Nachhinein beurteilen, ob sich die Einführung einer Maßnahme wirklich gelohnt hat (a posteriori Effizienzanalyse)

--> Kosten, Wirkungen und Werte einer Maßnahme werden quantifiziert und auf einer gemeinsamen Einheit (z.B. Geld) abgetragen

• Nettonutzen (Nutzen minus Kosten)
• Nutzenquotient (Nutzen durch Kosten)
• Profitrate (Nettonutzen (=Nutzen - Kosten) durch Nutzen)

• Kosten pro erfolgreich behandelter Person
  • Kosten por Veränderungseinheit

die prospektive Evaluation ist umfassender und besteht nicht nur in einer Prognose

die prospektive E. umfasst auch die Analyse von Kontextbedingungen, damit die Maßnahme auch tatsächlich eine Chance hat, so wirksam wie möglich zu sein, sie ermittelt vorhersehbare Fehler, fragt, ob überhaupt Eval.bedarf besteht, wie eine Intervention beschaffen sein sollte, ob die Rahmenbedingungen für eine Wirksame Anwendung gegeben sind

Idealnorm: Die Gewaltbelastung (GW) an Schule X liegt oberhalt eines vorab definierten maximalen Wertes (--> Norm)

Realnorm: Die GW an Schule X liegt signifikant über dem Bundesdurchschnitt.

soziale Norm: Die GW an Schule X ist höher als an Schule Y

temporale Norm: die GW an Schule X ist im vergangenen Jahr signifikant angestiegen

universelle Ansätze (wenden sich an die gesamte Population)

indizierte Ansätze (Personen, die ein bestimmtes Problemverhalten bereits ausgebildet haben, z.B. HIV-Positive)

selektive Ansätze (richtet sich an Personen, die zu einer Risikopopulation gehören (bei HIV-Inzidinz: homosexuelle Männer zw. 18 und 29) --> richten sich an Personen, bei denen es wahrscheinlich ist, dass sie ein bestimmtes Verhalten irgendwann mal ausbilden

legen fest, worin sich jede Personen der Zielgruppe von jenen unterscheiden, die nicht zur Zielgruppe gehören

Overinclusion: die Interventionsstichprobe umfasst peoplez ohne wirklichen Bedarf (zu viele falsch positive)

Underinclusion: zu enge Kriterien führen dazu, dass viele peoplez nicht zur  Interventionsstichprobe gezählt werden, obwohl sie evt. doch Bedarf hätten

Ausmaß, in dem richtige Positive und richtige Negative korrekt differenziert werden

AQ = 100 x (Anzahl richtig Postitiver/Anzahl aller Betroffenen) - (Anzahl falsch Positiver/Anzahl aller Teilnehmer)

Richtig!

Anders gesagt: Bei primärpräventiven Maßnahmen ist die Ausschöfpungsquote nicht optimal; es besteht potenziell das Problem einer Overinclusion.

Arbeitsschritthierarchien

Bedingungshierarchien (notwendige/hinreichende)

Konkretheitshierarchien

1. Aktiviäten, die im Zusammenhang mit der Feststellung des Interventionsbedarfs stehen

2. Bewertung der Konzeption der geplanten Maßnahme

verfolgt das Ziel,die Programmdurchführung zu optimieren (=formen) und die Programmkonzeption zu verbessern (s.Kap.1). Sie setzt in der Phase der Planung und Vorbereitung eines Programms an und richtet sich an die jenigen Personen, die mit der Programmkonzeption und-durchführung befasst sind, z.B.Autoren,Trainer,Therapeuten,Supervisoren.

verfolgt das Ziel, die Wirksamkeit eines Porgramms zu beurteilen, ohne es optimieren zu wollen (meist quantitative Datenarten werden erhoben)

bei der formativen Eval. will die Programmdurchführung/-konzeption verbessern (meist qualitative Datenarten werden erhoben)

1. formative Evaluation als Probedurchlauf
2. formative Evaluation als Prozess- oder Zwischenevaluation
3. Implementationskontrolle (zur Prüfung der Ausführungsintegrität (= Treatment Fidelity) einer Intervention, d.h. Prüfung, ob die Maßnahme auch 1:1 umgesetzt wurde

Falsch, Programm-Monitoring ist mit der formativen Evaluation zwar verwandt, aber nicht identisch

Es legt nahe, in welchen Bereichen mit einer Wirkung zu rechnen sein dürfte

Innerhalb eines Phänomenbereichs müssen dann Wirksamkeitskonstrukte definiert werden, falls diese Konstrukte latent (d.h. nicht direkt beobachtbar) sind (z.B. kompetentes Sozialverhalten) müssen dann in empirisch beobachtbare Größen überführt/operationalisiert werden

a) strenge K.: Ab wird nur von der UV als einzige Einflussgröße beeinflusst, setzt voraus, dass es keine Störvariablen gibt

b) starke K.: Beeinflussung der AV durch Störvariblen ist an zwei Voraussetzungen geknüpft:

1. Störvariablen dürfen nicht mit der UV korreliert sein (wie es im Beispiel alte/neue Psychotherapiemethode zur Minderung der depressiven Verstimmtheit (neue Therapie im Sommer, alte wird über die Wintermonate an einer anderen Patientengruppe durchgeführt) der Fall ist (Buch S. 170/171)
2. Störvariablen dürfen nicht mit der UV interagieren (für Beispiel s.Bild)

die starke Kausalitätsbedingung ist immer noch sehr streng, da sie impliziert, dass sich eine Maßnahme unter allen denkbaren Bedingungen gleich auswirken muss, differenzielle Effekte (z.B. Therapie wirkt bei Frauen besser als bei Männern) sind nicht zulässig

c) schwache K.: alle  Störvariablen, die eine gleich- oder gegensinnige Konfundierung zur Folge haben können, müssen sich gleichmäßig auf die Stufen der UV verteilen --> Dadurch wird die Fehlervarianz je Stufe erhöht, der Effekt wird aber nicht verzerrt 

--> Nehmen wir das Therapiebeispiel:Wenn sich in der Gruppe»neueTherapie«nurPersonenmitgeringemLeidens- druck und entsprechend niedrigen Werten auf der AV »Depressive Verstimmung« und in der Gruppe»alteTherapie«nur Personen mit hohem Leidensdruck und entsprechend hohenWerten auf der AV fänden, so wäre die Störvariable »Leidensdruck« systematischer Natur, es läge eine gleichsinnige Konfundierung mit der Therapieform vor und das Ergebnis wäre eine artifizielle BestätigungderHypothese,dassdieneueTherapiebesserwirkealsdiealte.WennsichPersonen mit unterschiedlichen Ausprägungen auf der Störvariablen »Leidensdruck« jedoch gleichmäßig auf beide Therapiebedingungen verteilen, ist der Leidensdruck mit der Therapiebedingung unkorreliert und kann nicht als Erklärung für einen Unterschied der beiden Therapieformen herhalten
--------------------
Mario Gollwitzer, Reinhold S. Jäger, Evaluation kompakt (2014), Beltz Verlagsgruppe, 69 469 Weinheim, ISBN: 9783621281751
--------------------
https://content-select.com/goto/9783621281751/174

gleichsinnig: Einfluss einer Störvariablen fphrt zu hypothesenkonformen Ergebnissen --> Hypothese wird artifiziell bestätigt (Bsp.: neue Therapieform gegen Depression wird in den Sommermonaten durchgeführt und führt zu dem Ergebnis, dass

gegensinnig

Zuweisung zu einer (z.B. Therapie-) Bedingung erfolgt nicht per Zufall, sondern auf der Basis einer Kontrollvariablen. Meist handelt es sich um Re-Testwerte. Auf der Kontrollvariablen wird ein Cut-off definiert. Aller Personen oberhalb kommen zu der einen, die Personen unterhalb des Cut-offs zu der anderen Bedingung. Ist die eine Therapie effektiver als die andere, dann sieht man am Cut-off einen Sprung in der Regressionsfunktion (= Diskontinutiät).

Cut-off-Wert kann mit der Behandlungsbedürftigkeit erklärt werden, deshalb ist ein RD-Desgin ethisch weniger bedenktlich

Unter Umständen besteht auch die Gefahr, dass eine Gruppe von der Maßnahme, die für die andere Gruppe gedacht ist, profitiert. Wenn in Klasse 7b ein Anti-Aggressions-Training durchgeführtwirdundKlasse7aals»Kontrollgruppe«dienensoll,mussverhindertwerden, dass die Schüler in Klasse 7a von dem Training in ihrer Parallelklasse erfahren, sich die Materialien besorgen, von einer ahnungslosen Lehrerin »parallel« trainiert werden o.Ä. SolchePassiv-TeilnahmenwerdenalsSpillover-Effektebezeichnet
--------------------
Mario Gollwitzer, Reinhold S. Jäger, Evaluation kompakt (2014), Beltz Verlagsgruppe, 69 469 Weinheim, ISBN: 9783621281751
--------------------
https://content-select.com/goto/9783621281751/177

dient der Kontrolle personengebundender Störvariablen und erhöht damit die interne Validität

Def.: Ausbalancierungbedeutet,dieVerteilungvonAusprägungeneinerStörvariableninallenStufen der UV gleich zu halten. Im Falle der Störvariablen Geschlecht wäre dafür zu sorgen, dass das Verhältnis von Männern zu Frauen in allen experimentellen Bedingungen (z.B. zwei Therapie- formen) gleich ist.

Die AusbalancierungvonStörvariablenführtdazu,dassderEinflussderStörvariableninallen StufenderUVgleichgroßist.DieStörvariable ist damit auch keine plausible Alternativerklärung mehr für das Zustandekommen eines Effekts
--------------------
Mario Gollwitzer, Reinhold S. Jäger, Evaluation kompakt (2014), Beltz Verlagsgruppe, 69 469 Weinheim, ISBN: 9783621281751
--------------------
https://content-select.com/goto/9783621281751/179

Interindividuelle Unterschiede,die es schon vor dem Training gab,stellen also eine Störvariable für die Post-Test- werte dar. Wenn man hingegen von den gleichen Schülern sowohl Pre- als auch Post-Testwerte erfasst (»echte« Messwiederholung oder Õ intraindividuelles Design; s. Abschn. 4.1), kann man intraindividuelleDifferenzenbilden
--------------------

Mit Hilfe einer intraindividuellen Veränderungsmessung wird die Störvariable »stabile Aggressivität« konstant gehalten. Voraus- setzungist,dasssichdieMesseigenschaftendesMerkmalsnichtändernunddieDifferenzreliabel gemessenwerdenkann.
--------------------
Mario Gollwitzer, Reinhold S. Jäger, Evaluation kompakt (2014), Beltz Verlagsgruppe, 69 469 Weinheim, ISBN: 9783621281751
--------------------
https://content-select.com/goto/9783621281751/180

Eine Form der näherungsweisen Parallelisierung ist das Caliper Matching

(deutsch:Zirkel-Parallelisierung).DabeiwirdumeinenbestimmtenZielwertherumeinIntervall

definiert,innerhalbdessenMatching-Wertealshinreichendähnlichakzeptiertwerden.Beispielsweise könnte man im Körperwaagen-Beispiel (Körperwaage mit unendlich vielen Nachkommastellen) für jeden Gewichtswert in Gruppe A Matching- Partner aus einer Gruppe B suchen, die in einem Intervall zwischen ±0,05 Gramm um den Zielwertherumliegen
--------------------
Mario Gollwitzer, Reinhold S. Jäger, Evaluation kompakt (2014), Beltz Verlagsgruppe, 69 469 Weinheim, ISBN: 9783621281751
--------------------
https://content-select.com/goto/9783621281751/182

Ein Propensity Score

ist die vorhergesagte bedingte Wahrscheinlichkeit, mit der eine Person einer bestimmten

Gruppe angehört,gegeben ihre Werte auf einer oder mehreren(gemessenen)Störvariablen.

Man kann den Propensity Score einer Person nun im Nachhinein berechnen; dies geschieht mit HilfeeinermultiplenlogistischenRegressionsanalyse.

Hierbeiwird derEinflussmehrererPrädiktorvariablenaufeinekategorialeabhängigeVariableuntersucht.Die kategorialeabhängigeVariableistinunseremFalldieTherapiegruppe,dereinePersonzugewiesen wird; die Prädiktorvariablen sind die verschiedenen (kategorialen oder kontinuierlichen) Stör- variablen
--------------------
Mario Gollwitzer, Reinhold S. Jäger, Evaluation kompakt (2014), Beltz Verlagsgruppe, 69 469 Weinheim, ISBN: 9783621281751
--------------------
https://content-select.com/goto/9783621281751/182

ein 2x2 Versuchsplan mit den Dimensionen Messzeitpunkt (Pre-Test vs. Post-Test) und Bedingung (Interventions- vs. Kontrollgruppe)

wenn die Bedingungszuweisung nicht von weiteren Konfundierungen begleitet ist, hat das Split-Plot-Design eine relativ hohe interne Validität

neben der Bedingungszuweisung (Interventions- vs. Kontrollgruppe) wird in diesem Plan zusätzlich variiert, ob überhaupt ein Pre-Test stattfindet oder nicht, da auch ein Pre-Test (t1) einenen systematischen Einfluss auf die Messung zum Zeitpunkt t2 haben kann (Erinnerungseffekt z.B.)

Im Solomon-4-Gruppen-Plan ist die AV der Post-Test

hat eine hohe interne und externe Validität, ist aber auch aufwändiger zu realisieren und die Eval.stichprobe muss ausreichend groß sein