Lernkartei 1 (Seite 1 von 1)

Karten	23
Sprache	Deutsch
Kategorie	Psychologie
Stufe	Universität
Erstellt / Aktualisiert	01.09.2016 / 04.08.2019
Weblink	https://card2brain.ch/box/mm11
Einbinden	<iframe src="https://card2brain.ch/box/mm11/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>

In Ihrer Charakterisierung von Entwicklungsaufgaben der Evaluationsforschung unterscheiden Guba& Lincoln verschiedene Ansätze "Generationen". Welche Aussagen treffen auf die 4. Generation zu? Messen, Beschreiben, beurteilen, Reagieren

Evaluierende moderieren und vermitteln zwischen den Stakeholdern

Konstruktivistische Überlegungen haben einen Einfluss auf Evaluationsansätze genommen

Nach einem Aushandlungsprozess entscheiden am Ende die Evaluierenden, wie die Ergebnisse interpretiert werden sollten.

Im Vordergrund steht die qualitative Erfassung von Daten und Fakten, um Vergleiche zu ermöglichen

Stakeholdern werden in die Evaluation eingebunden, unter anderem in Interpretation von empirisch erhobenen Daten.

Als Mitarbeiter eines unabhängigen Evaluationsinstituts bekommen Sie den Auftrag, ein Training zur Gewaltprävention zu evaluieren. Die Trägerorganisation erteilt ihnen folgende Auskunft: “Das Training läuft seit einem Jahr und findet nächste Woche das letzte Mal statt.” Dem Auftraggeber muss noch einen Bericht vorgelegt werden, was das Training gebracht hat. Welche Aussagen treffen zu?

Es handelt sich hier um eine summative Evaluation

"Effekt des Trainings" können als Evaluationsgegenstand bezeichnet werden

Es handelt sich hier um eine externe Evaluation

Der vorrangige Evaluationszweck nach Stockmann lautet "Entwicklung".

Ein Evaluationskriterium wird in diesem Zusammenhang der Grad an Kundenzufriedenheit mit der Trägerorganisation des Trainings sein.

Sie möchten eine Programmevaluation durchführen und entscheiden sich für das Vorgehen einer Theorie basierten Evaluation. Welche Aussagen treffen zu?

Sie leben einen besonderen Fokus auf die Beteiligten Akteure weil diese konstituierend für Theorie basierte Evaluation ist.

Sie formulieren eine plausible Theorie des zu evaluierenden Programms

Theorien des Lernens sind für diese Art von Evaluation konstitutiv.

Planung, Design, Durchführung, der Evaluation sollte in der Programmtheorie leitend sein.

Sie interessieren sich unter anderem für nicht intendierte Effekte sowie deren Zusammenhang zur Programmtheorie.

Evaluationsmodell Kirkpatrick

4 Evaluationsebenen: Reaktion, Lernerfolg, Verhalten und Endergebnis

. Reaktion= Endergebnis einer Maßnahme oder deren wahrgenommenen Nutzen

wenn auf den ersten beiden Ebenen pos.¬ kann daraus geschlossen werden, dass sich das Verhalten auch außerhalb der Trainingssituation verändert

pos. Reaktionen wirken sich förderlich auf erfolgreiche Implementierung aus

Lernerfolg = Einstellungsänderung, sowie Wissens¬ und Kompetenzzuwachs als Folge der Maßnahme

Evaluationen:

externe Evaluationen dienen vorrangig externen Verwertung von Untersuchungsergebnissen

B )von internen Evaluationen erhofft man sich höhere Sachkenntnis u. geringeren Aufwand

C ) Summative Evaluation ¬ werden in Entstehungsphase Programms eigesetzt

Informative Evaluationen ¬ in das laufende Programm integrieren

Selbstevaluation eigene Wahrnehmung

Wirkungsorientierte Evaluation

nicht-intendierte Effekte ausblenden

xxx Wirkung identifizieren

nicht-intendierte Effekte laufen dem Programm nicht zuwider

Wirkung = output des Programms

Erfasste Wirkung wird Zielen gegenübergestellt

Was sind wesentliche Elemente, die nach Silvestrini (2007) zu Beginn eines Planungsprozesses zwischen Evaluierenden und Auftrag Gebenden geklärt werden?

Festlegung von Bewertungskriterien

Modifikation der zu evaluierenden Maßnahme

Identifizierung der Stakeholder

Definition von Aufgaben und Zielen

Entscheidungen über die die weitere Vorgehensweise in der Evaluation

Was stimmt zur Explikation?

Alle explizierten Programmziele sollten identisch mit den Zielen der Evaluation sein

Programmziele sind oft unklar formuliert und damit kaum messbar

Durch Explikation der Programmziele können implizite Ziele aufgedeckt und in der Evaluation berücksichtigt werden.

Programmziele können partizipativ erarbeitet werden oder beispielsweise Konzeptionen entnommen sein.

Auftraggebern ist die Trennung von Programmzielen und empirisch erfassbaren Indikatoren häufig nicht geläufig.

Welche Fragen können Sie stellen, um festzustellen, ob das Evaluationsdesign wirklich partizipativ war?

Wer hatte die Kontrolle bei der Evaluation

Wer hat die Evaluation veranlasst

Welche Stakeholder wurden für die Partizipation ausgewählt?

Wurden die Stakeholder nur konsultiert, oder waren sie richtig in die Evaluation eingebunden?

Wer ist für die Umsetzung der Ergebnisse verantwortlich?

Was sind die Nachteile von schriftlichen Fragebogenverfahren?

Sie sind leicht verfälschbar

Voraussetzung ist, dass die Personen die Fragen verstehen

Sie sind zeit- und Kostenaufwendig

Sie sind schwer auszuwerten.

Die Person muss über eine valide subjektive Repräsentation des erfragten Gegenstandes verfügen

Hier war angegeben, dass das Bildungsniveau kontinuierlich(!) erfasst wird

Ausbalancierung

Parallelisierung

Auspartialisierung

Konfundierung

Elimination

Dissemination

Das„executive summary“ sollte so geschrieben sein, dass sie einen „full report“ ersetzen kann

Ein „full report“ erhält mehr Details als „executive summary“

Untersuchungsprozedere findet man nicht im „full report“

Es besteht die Gefahr, dass man aus dem „executive summary“ zitiert, ohne den „full report“ zu lesen.

Es erreicht einen breiteren Kreis als der „full report“

Welche Aussagen in Bezug auf das Design einer Evaluationsstudie sind richtig?

Ist eine randomisierte Zuweisung von Versuchspersonen zu unterschiedlichen Untersuchungsbedingungen nicht möglich, sollte ein Solomon-Viergruppenplan eingesetzt werden.

Kann der Effekt einer unabhängigen Variablen (UV) auf eine abhängige Variable (AV) kausal interpretiert werden, so hat das Untersuchungsdesign eine hohe interne Validität.

Quasi-experimentelle Designs werden im Rahmen von Evaluationen häufig eingesetzt, da die Anforderungen eines echten Experiments im Feld selten realisierbar sind

Die Berücksichtigung mehrerer, unterschiedlicher Vergleichsgruppen in quasi-experimentelle Designs reduziert die Wahrscheinlichkeit von Alternativerklärungen für einen Effekt

Selbstselektion der Untersuchungsteilnehmenden gefährdet die interne Validität einer Evaluationsstudie.

Aussagen zu qualitativen Methode Health/MediCal for Children

Qualitative Methoden haben sich als praktikabel und ertragreich herausgestellt. (Kontrovers)

Hierdurch konnten kontextspezifische Inhalte gefunden werden

Wirkungen als Folge des Programms konnten identifiziert werden.

Durch den Einsatz qualitativer Methoden konnte nur eine geringere Anzahl an Personen erreicht werden.

Verzerrungen entstanden, da Befragte die Glaubwürdigkeit der Befragung bezweifelten

Was ist in Bezug auf Evaluation und Datenschutz korrekt?

A) Man sollte den Auftraggeber informieren, dass Daten entstehen können, die den Ruf der Organisation gefährden können.

B) Daten, die Rückschlüsse auf Personen zulassen, sind nicht ohne Genehmigung der entsprechenden Person zu veröffentlichen.

C) Personen, die in die Datenerhebung involviert sind, sollten über die Verwendung der Daten informiert werden.

D) Evaluationsberichte sollten so gestaltet sein, dass die auftraggebende Organisation nicht eindeutig erkennbar ist.

E) Der Umgang mit personenbezogenen Daten in Evaluationen unterliegt dem Bundesdatenschutzgesetz (BDSG).

Voraussetzungen parametrischer Tests

gleichverteilte Versuchspersonen

Normalverteilung

ordinalskaliert

Unabhängigkeit der Messwerte

Varianzhomogenität

Im Rahmen einer Evaluation werden häufig schriftliche Vereinbarungen geschlossen. Was trifft zu?

Besonders bei externen Evaluationen ist eine schriftliche Vereinbarung empfehlenswert

Der Vertrag sollte alle Schritte einer Evaluation detailliert ausführen. Evaluierende haben dann keinen Entscheidungsspielraum mehr.

Durch schriftliche Vereinbarungen kann Missverständnissen vorgebeugt werden

Personen, die im Vertrag erwähnt werden, aber keine Vertragspartner sind, sollten vor Abschluss einer schriftlichen Vereinbarung informiert werden.

Schriftliche Vereinbarungen sollten beinhalten, in welchen Schritten die Handlungsempfehlungen nach der Evaluation in der Organisation umgesetzt werden.

Eine Evaluation untersucht, wie die Teilnahme an einem interkulturellen Training tatsächliches Verhalten in interkulturellen Situationen beeinflussen kann. Als Indikator für die interkulturelle Kompetenz erfassen sie das Verhalten in standardisierten interkulturellen Situationen....Trainingsgruppe n=8, Wartekontrollgruppe n=8. Daten sind ordinalskaliert. Welche Verfahren sind geeignet?

Einfaktorielle Varianzanalyse

U-Test von Mann-Whitney

Kendals Rangplatz

Wilcoxon

T-Test

Evaluationsstudie (ewig langer Text), 3 Messzeitpunkte, Auswertung mit Friedman-Test. Was trifft zu?

Der signifikante Omnibustest weist darauf hin, dass mindestens 2 Messzeitpunkte sich signifikant unterscheiden

Der signifikante Omnibustest weist darauf hin, dass alle 3 Messzeitpunkte sich signifikant unterscheiden

Friedman Teststatistik ist chi²-verteilt

Es lässt sich die Effektstärke Pearsons r berechnen

Post-hoc Vergleiche sind notwendig, um festzustellen wie sich die Messzeitpunkte unterscheiden

Welche Aussagen sind im Hinblick auf die qualitative Inhaltsanalyse richtig

Es wird ein Kategoriensystem auf Grundlage bisheriger Forschungsliteratur erstellt und auf das Rohmaterial angewandt. Diese Vorgehensweise nennt man induktive Kategorienbildung.

Explikation ist eine Technik bei der qualitativen Inhaltsanalyse. Dabei werden einzelne Bestandteile hervorgehoben und gesondert beschrieben.

Die Herkunft des zu analysierenden Materials (Autor etc.) ist nicht von Bedeutung.

Die Software MaxQDA dient zur Strukturierung, Ordnung und Archivierung von inhaltsanalytischen Arbeitsschritten

Qualitative Inhaltsanalyse schließt den Einbezug von quantitativen Operationen aus.

Frage zur Involviertheit

a) Eine Involvierung von Stakeholdern ist förderlich für die Akzeptanz und Umsetzung von Evaluationsergebnisse.

b) Forschungsergebnisse zeigen, dass eine hohe Involviertheit dazu führt, dass Menschen sich mit den inhaltlichen Argumenten einer Botschaft stärker auseinandersetzen

c) Forschungsergebnisse zeigen, dass eine hohe Involviertheit dazu führt, dass Menschen sich mit den peripheren Merkmalen einer Botschaft stärker auseinandersetzen

d) Eine hohe Involviertheit ist förderlich für die Veränderung von Einstellungen und Verhaltensweisen.

e) Stakeholder sollten erst involviert werden, wenn das Evaluationsdesign bereits feststeht

An einer Schule wird durch eine Schulsozialarbeiterin ein soziales Kompetenztraining durchgeführt. Es nehmen Schülerinnen und Schüler der Jahrgangsstufen 5 und 8 an dem Training teil. Die Schulsozialarbeiterin evaluiert die Wirksamkeit des Trainings und erhebt zu vier Messzeitpunkten Daten (t1:vor dem Training, t2: 4 Wochen nach Beginn des Trainings, t3: 8 Wochen nach Beginn des Trainings, t4: nach Abschluss des Trainings). Welche Aussagen treffen zu?

Wenn sich die Wirksamkeit des Trainings für die Schülerinnen und Schüler der Jahrgangsstufen 5 und 8 unterscheidet spricht man von einer Moderation.

Wenn sich die Wirksamkeit des Trainings für die Schülerinnen und Schüler derJahrgangsstufen 5 und 8 unterscheidet spricht man von einer Mediation.

Differenzielle Analysen für Untergruppen sollten möglichst vermieden werden, da die Ergebnisse dann nicht mehr eindeutig interpretierbar sind.

Durch das Design kann erfasst werden, ob sich das Training in den beiden Subgruppen Jahrgangsstufe 5 und 8 möglicherweise zu unterschiedlichen Zeitpunkte auswirkt

Die Ergebnisse in den beiden Jahrgangsstufen sollten mit einer Kontrollgruppe verglichen werden, um Veränderungen auf den Einfluss des Trainings zurückzuführen zu können.

Im Rahmen einer Evaluation werden häufig schriftliche Vereinbarungen geschlossen. Was trifft zu?

Besonders bei externen Evaluationen ist eine schriftliche Vereinbarung empfehlenswert

Der Vertrag sollte alle Schritte einer Evaluation detailliert ausführen. Evaluierende haben dann keinen Entscheidungsspielraum mehr.

Durch schriftliche Vereinbarungen kann Missverständnissen vorgebeugt werden

Personen, die im Vertrag erwähnt werden, aber keine Vertragspartner sind, sollten vor Abschluss einer schriftlichen Vereinbarung informiert werden.

Schriftliche Vereinbarungen sollten beinhalten, in welchen Schritten die Handlungsempfehlungen nach der Evaluation in der Organisation umgesetzt werden.

1

Lernkarteien erstellen oder kopieren

Lernkarteien erstellen oder kopieren

Melde dich an, um alle Karten zu sehen.

SWITCHaai

Office 365

Edulog

Apple ID

Google