card2brain.ch

professionell durchgeführte Evaluationen zeichnen sich aus

bezogen auf einen klar definierten Gegenstand

Durchführung durch besonders befähigte Personen

Bewertung anhand präzise festgelegter und offengelegter Kriterien

für Informationsgenerierung objektivierende empirische Datenerhebungsmethoden

für Informationsbewertung systematisch vergleichende Verfahren

Für die Nützlichkeit der Evaluation ist folgende Dualität zentrale Voraussetzung

Wissenschaft und Praxis

Wissenschaftler und Praktiker

Durchführung und Feedback

Bewertungs- und Verwertungsorientierung

Politik und Wirtschaft

Welche der genannten Fragmente gehören zur Definition von Hellstern und Wollmann (1984)?
Programme sind

komplexe Handlungsmuster

die auf die Erreichung bestimmter Ziele gerichtet sind

die auf politischen, wirtschaftlichen oder wissenschaftlichen Vorgaben beruhen

die auf bestimmten, den Zielen angemessenen Handlungsstrategien beruhen

für deren Abwicklung finanzielle, personelle und sonstige Ressourcen eingeplant werden müssen

Was ist richtig im Zusammenhang mit dem Lebensverlauf von Programmen?

Die drei Hauptphasen des Lebensverlaufs eines Programms sind die Planungsphase, die Implementationsphase und die Förderphase.

Zur Planungsphase gehört die Konzeptentwicklung

Zur Implementationsphase gehört die Programmprüfung.

Zur Implementationsphase gehört das Förderende

Zur Förderphase gehört das Förderende

Was ist richtig im Zusammenhang mit Evaluationen?

Eine preformative Evaluation schätzt negative Effekte und Nachhaltigkeitschancen ab.

formative Evaluationen können ex-ante und on-going erfolgen.

Eine Input-Evaluation erfolgt in der Implementationsphase

Evaluationen in der Implementationsphase ermöglichen frühzeitige Korrekturen am Programmdesign.

Die Analyseperspektive ex-ante hat u. a. ein Erkenntnisinteresse an der „science for action“ und ex-post u. a. an „science for knowledge“.

Welchen Nutzen haben Evaluationen?

Überprüfung der Voraussetzungen und Beobachtung der Ablaufprozesse

Überprüfung der Zielerreichung

Erfassung der Gesamtbilanz der Wirkungen einschließlich nicht indentierter Effekte

Prüfung, ob überhaupt relevante Entwicklungs- und Innovationsleistungen erbracht werden

Lösung des Kausalitätsproblems

Was ist richtig im Zusammenhang mit den Zielen der Evaluation?

Erkenntnisse müssen im Einklang stehen mit Bewertungen der durchführenden Stellen oder der Zielgruppen

mit jeder Evaluation ist direkt oder indirekt Kontrolle verbunden

Entwicklung ist sowohl aus Erkenntnis als auch aus Kontrolle möglich

Legitimation dient u. a. der Selektion zwischen Programmen

Evaluationen werden oft als dekorative Seite für die moderne Politik genutzt

Welche evaluationstheoretischen Ansätze werden genannt?

(Post-) Positivistischer Ansatz

transformativer / emanzipativer Ansatz

interpretativer / konstruktivistischer Ansatz

partizipativer Ansatz

Empowerment-Ansatz

Welche Aussagen zu evaluationstheoretischen Ansätzen sind richtig?

In den Anfangsjahren wird durch Campbell (1969) der externen Validität größte Bedeutung beigemessen.

Später sollen Evaluatoren eher Moderatoren sein.

Die Handlungsforschung nennt als Gütekriterien Kommunikation, Intervention, Transparenz und Relevanz.

Im konstruktivistischen Paradigma wird berücksichtigt, dass die verschiedenen Beteiligten unterschiedliche Sichtweisen auf die Welt haben.

Das emanzipative Paradigma geht von einem Gleichgewicht der Interessen aus.

Fitzpatrick, Sanders und Worthen klassifizieren Evaluationen an ihrer praktischen Ausrichtung. Welche Ansätze nennen sie?

zielorientierte Ansätze

managementorientierte Ansätze

konsumentenorientierte Ansätze

expertiseorientierte Ansätze

partizipative Ansätze

Welche Aussagen zu Evaluationsansätzen sind richtig?

Das Programm „Kids sind fit“ führt eine zusätzliche Sportstunde ein, um verbesserte Sportleistungen zu erzielen und Übergewicht zu bekämpfen. Am Schuljahresende werden das Gewicht und die Sportnote der Kinder mit den Angaben einer Kontrollgruppe vergliche

Eine neue Produktlinie zur Herstellung von biologisch abbaubaren Plastiktüten wird etabliert. Die Evaluatoren messen regelmäßig Daten zum Werkstoffverbrauch, zu Produktionsmengen, zu Ausschuss und zum Verkauf. Die Evaluation ist verbraucherorientiert.

Klasse Klassen“ ist ein Anti-Gewalt-Trainingsprogramm für 8.-10. Klassen. Regelmäßig besprechen Professoren der FernUniversität Hagen Fragen der Einführung und Durchführung sowie der erreichten Ergebnisse mit Lehrern und ausgewählten Schülern. Die Evaluat

„Sauber bleiben“ ist ein regionales Programm, das drogensüchtige Jugendliche unterstützen soll. Die Evaluation wird z. Zt. unter Beteiligung von Sozialarbeitern, Kiezmanagern, Jugendlichen und Polizisten vorbereitet. Die Evaluation ist partizipativ.

„Flottes Fließband“ untersucht die Prozesse bei der Montage von Spielzeugautos. Eine Ingenieurin, eine Arbeiterin und ein Kollege aus der Logistik stehen den Forschern eines externen Institutes zur Verfügung, um aufkommende Fragen zu beantworten. Die Eval

Welche Stärken werden für die einzelnen Ansätze genannt?

zielorientiert: leicht legitimierbar

managementorientiert: löst als Nebeneffekt organisatorische Selbstreflexion aus

verbraucherorientiert: fördert Qualitätsbewusstsein von Verbrauchern

expertenorientiert: schnell, einfach, kostengünstig

partizipativ: Kapazitätsbildung bei Programmteilnehmern

Welche Schwächen werden für die einzelnen Ansätze genannt?

zielorientiert: stark an quantitativen Indikatoren orientiert

managementorientiert: Gefahr der Vereinnahmung des Evaluators durch den Auftraggeber

verbraucherorientiert: sehr zeit- und kostenintensiv

expertenorientiert: Fixierung auf Ziele; Gefahr, nicht intendierte Effekte zu vernachlässigen

partizipativ: Verallgemeinerbarkeit von Befunden wegen Einzelfallorientierung stark eingeschränkt

Der CEval-Evaluationsansatz

ist wirkungsorientiert

ist praxisbasiert

ist multifunktionell einsetzbar

verbindet das Lebensverlaufsmodell mit organisationstheoretischen sowie innovations- / diffusionstheoretischen Überlegungen

hat eine adressatenverengte Sichtweise

Der im Rahmen des CEval-Evaluationsansatzes entwickelte Leitfaden enthält welche der folgenden Hauptgruppen?

Programm und Umwelt

Programmverlauf

interne Wirkungsfelder

externe Wirkungsfelder

Diffusion

Welche Aussagen zur Evaluation von Nachhaltigkeit sind richtig?

Nachhaltigkeit kann auf der Makroebene und auf der Programmebene evaluiert werden.

Die Dimensionen der Nachhaltigkeit auf Makroebene werden als Effizienz, gesellschaftspolitische Relevanz und Umweltverträglichkeit operationalisiert.

Zwei der vier Dimensionen der Evaluation auf der Programmebene sind Projekt- / Programmorientierung sowie Innovationsorientierung.

Zwei der vier Dimensionen der Evaluation auf der Programmebene sind Output- / Leistungsorientierung und Systemorientierung.

Nachhaltigkeit ist dann gegeben, wenn die neuen organisatorischen Strukturen und Verhaltensänderungen am Förderende noch andauern.

Welche Vor- und Nachteile existieren zu internen Evaluationen

rasch, geringer Aufwand

hohe Sachkompetenz

fehlende Unabhängigkeit und Distanz

Abwehrreaktionen

geringe Methodenkompetenz

Welche Vor- und Nachteile existieren zu externen Evaluationen

große Methodenkompetenz

hohe Sachkenntnis

Umsetzungsprobleme

große Glaubwürdigkeit

Unterstützung von Reformkräften

Welche Aussagen zur Durchführung von Evaluationen sind richtig?

Interne und externe Evaluationen werden oft kombiniert

Evaluationen von Entwicklungszielen werden meist extern durchgeführt

Nachhaltigkeitsevaluationen werden meist intern durchgeführt.

Erkenntnis- und kontrollorientierte Evaluationen werden sowohl intern als auch extern durchgeführt.

Monitoring kann als besondere Form der externen Evaluation angesehen werden

Welche Aussagen zum Monitoring sind richtig?

Mögliche Ebenen des Monitoring sind z. B. Politikfelder, Projekte oder einzelne Interventionsmaßnahmen.

Monitoring nimmt eher Routinefragen wahr.

Monitoring umfasst immer auch eine Ursachen- und Folgenanalyse

Monitoring ist weitgehend deskriptiv.

Beim Monitoring sollen kontinuierliche Zeitreihen kausale Zusammenhänge erkennen lassen.

Welche Elemente gehören zur vollständigen Zielformulierung

Zielsubjekt

Zielinhalt

Zielwert

Ortsbezug

Zeitbezug

Was ist in Bezug auf wirkungsorientierte Evaluation korrekt?

Alternative zur Evaluation schwammiger Ziele

Unter Wirkungen werden die Outputs der Programme bzw. Projekte verstanden

Wirkungen haben drei Dimensionen: Struktur – Prozess – Ergebnis, geplant – ungeplant, positiv – negativ

Wirkungen können intern oder extern sein

Wirkungen können intendiert oder nicht-intendiert sein

Welche Leitstandards nennt die BeGEval?

Nützlichkeitsstandards

Wirtschaftlichkeitsstandards

Durchführbarkeitsstandards

Fairnessstandards

Genauigkeitsstandards

Welche Aussagen zu den Voraussetzungen von Evaluationen sind richtig?

Stockmann unterscheidet die Phasen Planung – Durchführung – Verwertung.

Beywl nennt die Hauptphase Gegenstandsbestimmung – Durchführung – Ergebnisverwertung

Evaluationen können z. B. über Ausschreibungen oder direkte Vergabe initiiert werden

Ausschreibungen können frei gestaltet werden.

Nach Merchel können im Bereich sozialer Dienstleistungen auch organisationsinterne oder organisationsexterne Anlässe zu einer Evaluation führen

Ziele sollen SMART formuliert sein, also

S = strukturiert

M = messbar

A = angepasst

R = realistisch

T = terminiert

Welche Aussagen zu den Zielen und Zwecken einer Evaluation sind richtig?

Ziele und Zwecke einer Evaluation sind identisch mit den Programmzielen.

Programmziele sollen messbar gemacht werden.

Es müssen untersuchungsleitende Fragestellungen formuliert werden.

Evaluationsfragestellungen drücken den Evaluationsgegenstand sowie Ziel und Zweck einer Evaluation aus.

Es ist schwierig, Fragestellungen sinnvoll einzugrenzen

In Bezug auf die evaluierenden Personen werden vielfältige Anforderungen gestellt.

Evaluierende benötigen vor allem fachliche Kompetenzen.

Anforderungen an Evaluierende konkurrieren oft.

Bortz und Döring nennen z. B. diplomatischen Umgang und wissenschaftlich korrekten Umgang mit Forschungsarbeit

Wottawa und Thierau nennen als persönliche Voraussetzungen u. a. gute Methodenkenntnisse, fachliche Expertise im jeweiligen Evaluationsfeld und Führungsfähigkeit.

Rollenanforderungen können in den einzelnen Phasen der Evaluation wechseln

Welche Aussagen treffen auf den Einsatz von Stakeholdern zu?

Cousins und Whitmore nennen drei unabhängige Dimensionen mit je zwei Extrempunkten zum Einsatz von Stakeholdern: Kontrolle, Auswahl, Ausmaß der Partizipation.

Die Beteiligung von Stakeholdern erhöht in der Regel die Akzeptanz der Evaluation, aber selten den Nutzen.

Stakeholder essen gern Steaks und sind deshalb für die Evaluation veganer oder vegetarischer Programme nicht geeignet.

Die Art der Einbindung kann eher politisch oder eher praktisch sein.

Methoden der Partizipation sind z. B. Workshops, Open Space oder Nutzerbeiräte.

Bewertungskriterien sind zentrale Beurteilungsinstanzen einer Evaluation. Welche Aussagen sind richtig?

Gollwitzer und Jäger nennen als Gütekriterien für Evaluationen Anlehnung an die Inhalte der Maßnahme, Neutralität der Intervention, angemessene Schwierigkeit und optimale Änderungssensitivität.

Die Indikatoren können auch Schwellenwerte erhalten.

Beywl und Schepp-Winter führen Erfolgsspannen ein mit einem Minimal- und einem Optimal-Erfolgspunkt. Erfolgsspannen sind immer quantitativ.

Die Herleitung von Erfolgsspannen kann aus der Sicht von Auftraggebenden, Betroffenen oder Durchführenden erfolgen.

Bewertungskriterien bedürfen der unbedingten und konsensualen Klärung

Welche Fragen sind nach Silvestrini hinsichtlich der Evaluationskonzeption zu klären?

Welche Bewertungskriterien?

Ziel der Evaluation?

Aufgaben der Evaluation?

Wer sind die Adressaten und Stakeholder?

Wer führt die Evaluation mit welchem Design und welchen Methoden durch?

Was muss bei einer Ausschreibung beachtet werden?

Eine Ausschreibung ist immer öffentlich

Öffentliche Auftraggeber müssen sich bei Ausschreibungen bis zu einer Summe von 200.000 € an die Verdingungsordnung für Leistungen (VOL) halten. Über diese Summe hinaus ist europäisches Recht zu beachten.

Größere Ausschreibungen können auch zwei- oder dreistufig sein. Eine dreistufige Ausschreibung hat die Abfolge: 1. Stufe = Interessebekundung, 2. Stufe = Präsentation, 3. Stufe = Inception Report = umfassende und detailreiche Darstellung

Die Termes of Reference (ToR) beschreiben u. a. Erwartungen des Auftraggebers.

Auch interne Evaluationen müssen ausgeschrieben werden.

Ein Angebot enthält in der Regel die folgenden Ausführungen:

Einleitung

Evaluationskonzeption u. a. mit Bewertungskriterien, Aufgaben und Zielen.

Methoden und Instrumente

Zeit- und Kostenplan

Stakeholder werden im Angebot noch nicht genannt

Nach Silvestrini enthält der Kostenplan folgende hauptsächliche Kategorien:

Personalkosten

laufende Kosten

Reisekosten

Diffusionskosten

Overhead

Der Abstimmungsprozess zwischen AG und AN wird oft durch einen Kick-Off-Workshop eingeleitet. Welche der folgenden Aufgaben nennt Silvestrini für den Kick-Off-Workshop?

Abstimmung der Verantwortlichkeiten

ggf. Präzisierung der ToR

Erläuterung von Methodologie und Design

Festlegung über geeignete Protokollierung

Vereinbarung über Rollen

Welche der folgenden organisatorischen Aspekte müssen nach Silvestrini noch berücksichtigt werden?

Vertraulichkeit und Anonymität der Daten

Umgang mit erwarteten Ergebnissen

Umgang mit unerwarteten Ergebnissen

Stellenwert der abgeleiteten Empfehlungen

Gestaltung des Reportings

Welche der folgenden Prüfsteine methodologischer Integrität werden durch Hatry und Newcomer genannt?

Glaubhaftigkeit

Fairness

externe und interne Validität sowie Konstruktvalidität

Reliabilität

Validität des statistischen Schlusses

Welche Arten von Stichproben können zum Einsatz kommen?

Zufallsauswahlen

systematische Stichproben

willkürliche Stichproben

Interventionsstichproben

Evaluationsstichproben

Was sind übliche Untersuchungsinstrumente für Evaluationen?

Tests / Fragebögen

Beobachtungen

Interviewtechniken

non-reaktive Verfahren

konviviale Erhebungsinstrumente

Was für Vorteile nennen Gollwitzer und Jäger für die Verwendung unterschiedlicher Datenquellen?

Einzelne Datenquellen haben nur beschränkte Informationen

Mit mehreren Datenquellen können die Interessen unterschiedlicher Stakeholder besser abgedeckt werden.

Die Akzeptanz der Evaluationsdurchführung wird erhöht

Die Akzeptanz des Evaluationsergebnisses wird erhöht

Die Ausmittelung unsystematischer Messfehler führt zu einer höheren Reliabilität.

Welche Aussagen von Gollwitzer und Jäger zu Untersuchungsmethoden sind korrekt?

Modalitäten sind Zusammenfassungen von Verhaltensindikatoren psychologischer Konstrukte zu theoretisch und phänomenologisch sinnvollen Kategorien.

Im Zusammenhang mit Angst benennen die Autoren emotionale, kognitive, physiologische und verhaltensbezogene Modalitäten

Eingesetzt werden können sowohl quantitative als auch qualitative Methoden. Eine Mischung ist nicht sinnvoll.

Der Rosenthal-Effekt wird durch den Testleiter ausgelöst, indem er z. B. subtile Signale wie Kopfnicken oder Bekräftigung aussendet.

Der Aufforderungscharakter einer Testsituation führt dazu, dass die Vp sich bemüht, die Antworten so zu geben, dass der Test zu dem vermeintlich erwarteten Ergebnis führt.

MM1 Fernuni Hagen

Cartes-fiches

MM1 Fernuni Hagen

Create or copy sets of flashcards

Cartes-fiches

Veuillez vous connecter

Google

Apple ID

Microsoft

Switch edu-ID

Edulog

Google

Apple ID

Microsoft

Switch edu-ID

Edulog