Gütekriterien


Fichier Détails

Cartes-fiches 32
Langue Deutsch
Catégorie Psychologie
Niveau École primaire
Crée / Actualisé 23.11.2011 / 02.09.2015
Lien de web
https://card2brain.ch/box/eignungsdiagnostik_vl_2
Intégrer
<iframe src="https://card2brain.ch/box/eignungsdiagnostik_vl_2/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>

Das Kriterium

- Definition: Ein Kriterium ist ein beobachtbares Merkmal, das in einer Wahlsituation relevant für die Entscheidung ist. Kriterien sind unvollkommene Annäherungen an ein Leistungskonstrukt.

- Kriteriumsrelevanz: Ausmass, in dem das Kriterium Aspekte des Leistungskonstruktes erfasst.

- Kriteriumsdefizienz: Teil der tatsächlichen Leistung, der vom Kriterium nicht erfasst wird

- Kriteriumskontamination: Teil des Kriteriums, der etwas anderes als das angestrebte Konstrukt erfasst

-

Gütekriterien in der DIagnostik

- Hauptgütekriterien: Objektivität, Reliabilität (Zuverlässigkeit), Validität (Gültigkeit)

- Nebengütekriterien: Effizienz und wirtschaftlicher Nutzen, Soziale Akzeptanz

--> Wenn diese Gütekriterien mangelhaft sind, dann kommt es zu Messfehler. Das Ziel ist daher, die Messfehler so gering wie möglich zu halten!

Objektivität

Durchführungsobjektivität

Auswertung der Untersuchung - Auswertungsobjektivität

Interpretation der Ergebnisse - Interpretationsobjektivität

Massnahmen zur Förderung der Objektivität - Durchführung

- Störungseinflüsse eliminieren

- Konstanthaltung der Durchführungsbedingungen

- Vereinbarung von "Spielregeln"

- EInsatz von Interviewleitfäden

- Schulung des Personals

Massnahmen zur Förderung der Objektivität - Interpretation der Ergebnisse

- Festlegung eines eindeutigen und verbindlichen Anforderungsprofils

- Festlegung einfacher und verbindlicher Entscheidungsregeln

- Einsatz eines zweiten Diagnostikers

Massnahmen zur Förderung der Objektivität - Auswertung der Untersuchung

- Festlegung eindeutiger und verbindlciher Bewertungskriterien

- Festlegung möglichst einfacher Kriterien

- EInübung der Auswertung vor dem ersten Einsatz

- Einsatz eines zweiten Diagnostikers

Reliabilität - Wie zuverlässig ist diese Methode?

- Messen die einzelnen Items das Gleiche (interne Konsistenz/Cronbach Alpha und Split-Half-Reliabilität?

- Kommt man bei einer Wdh. der messung zum selben Ergebnis (Retest)?

- Die Reliabilität beschreibt man als Koeffizienten auf einer Skala von 0-1

Massnahmen zur Förderung der Reliabilität

- Nur Tests/Fragebögen einsetzen, deren Zuverlässigkeit berechnet wurden

- Zur Messung eines Merkmals immer mehrere Fragen/Aufgaben heranziehen

- Fragen/Aufgaben so formulieren, dass Messfehler von vornherein unwahrscheinlich sind

- Objektivität der Messung gewährleisten

Validität

- Wird das gemessen, was gemessen werden soll (Gültigkeit)?

--Formen: 1. Augenscheinvalidität, 2. Inhaltsvalidität, 3. Konstruktvalidität, 4. Prognosevalidität

Augenscheinvalidität

Inwieweit kann das Messinstrument per Augenschein das Merkmal messen?

Inhaltsvalidität

Inwieweit sind die Items mit dem Merkmal identisch?

Konstruktvalidität

Inwieweit kann das Messinstrument das Merkmal messen?

Prognosevalidität

Inwieweit kann das Messinstrument das Merkmal über die Zeit hinweg vorhersagen?

Massnahmen zur Förderung der Validität

- Nur Tests/Fragebögen einsetzen, deren Validität untersucht wurden

- Nur Tests/Fragebögen einsetzen, deren Validität in einem relevanten Berufsfeld untersucht wurde

- Fragen/Aufgaben so formulieren, dass sie eine hohe inhaltliche Übereinstimmung mit den beruflichen Aufgaben aufweisen

- Es werden mehrere Verfahren miteinander kombiniert.

- Die Objektivität muss gegeben sein

- Die Reliabilität muss gegeben sein

Inkrementelle Validität

Kann ein zusätzliches Messinstrument einen zusätzlichen und eigenständigen Anteil an der Vorhersage leisten?

Prognostische Validität in Bezug auf den Berufserfolg - Ziel

Ergebnisse müssen Berufserfolg (oder anderes klares Kriterium) vorhersagen können

Prognostische Validität in Bezug auf den Berufserfolg - Standards

- Prognosegüte (prognostische Validität) muss geprüft werden

- Mehrwert zu anderen Verfahren muss gegeben sein

- Prognosegüte muss regelmässig nachgewiesen werden

Prognostische Validität in Bezug auf den Berufserfolg - Gründe

- Verfahrenseinsatz muss gerechtfertigt werden (kein Selbstzweck)

- Verfahrenskombinationen können Vorhersagegüte erhöhen (inkrementelle Validität)

Prognostische Validität in Bezug auf den Berufserfolg - Umsetzung

- Nutzensprüfung vor Verfahrenseinsatz (z.B. Voruntersuchung mit aktuellen Mitarbeitern)

- Begleitende Validierung der Verfahren über die Zeit (z.B. statistische Absicherung oder inhaltliche Reflexion)

Die Normierung

- Hilfe für die Interpretation individueller Messergebnisse: Vergleich verschiedener Messergebnisse um zu bestimmen ob ein Ergebnis durchschnittlich/gut/schlecht ist

- Keine Voraussetzung für eine qualitativ hochwertige Diagnostik, stellt aber den diagnostischen Befund eines Individuums in einen bestimmten Bezugsrahmen

Die Normierung - Standards

- Die Normierungsstichprobe ist möglichst spezifisch auf die diagnostische Fragestellung abgestimmt

- Ggf. werden unternehmensspezifische Normen entwickelt

- Die Normen sind nicht älter wie 8 Jahre

- Die Messung ist soweit wie möglich objektiv, reliabel und valide

Die Normierung - Standardverteilung

- Nahezu alle gebrächlichen Normen nehmen auf die Standardnormalverteilung Bezug

- Aber: mit einer veränderten Normierungsstichprobe verändert sich der gesamte Bezugsrahmen und damit auch das normierte Messergebnis

Nebengütekriterium - Nutzen

Zeitliche, personelle und finazielle Aspekte beziehen sich auf das Verhältnis zwischen Kosten (Enwtciklung, Durchführung) und dem Nutzen (Validität) für die Diagnostik. EIn Verfahren kann einen hohen Nutzen haben - auch ohne effizient zu sein.

Nebengütekriterium - Soziale Akzeptanz

Wie wird das Verfahren aus SIcht der Probanden bewertet?

- Information

- Partizipation und Kontrolle

- Transparenz

- Urteilskommunikation und Feedback

Soziale Akzeptanz - Ziel

Gewährleistung eines sozial akzeptablen Auswahlverfahrens

Soziale Akzeptanz - Standards

- Ethisch vertretbare Verfahren und Inhalte

- Aufklärung der Bewerber über Ziele und Zweck der Verfahren

Soziale Akzeptanz - Gründe

- Vermeidung negativer Einstellungen zum Unternehmen

- Höhere Akzeptanz bei abgelehnten BewerberInnen

- Bewerbermeinung beeinflusst (Personal-)Marketing

Soziale Akzeptanz - Umsetzung

- Selbstkritisches Hinterfragen (Kann ich selbst eine ENtscheidung auf BAsis des Tests nachvollziehen und akzeptieren?)

- Einbezug von Vorgesetzten und Mitarbeitenden

Standards der Methodenauswahl

- Die Methodenauswahl sollte primär von diagnostischer Notwendigkeit abhängen und nicht von zeitlichen, personellen oder finaziellen Rahmenbedingungen der Organisation

- Wenn bestimmte Befunde besonders abgesichert werden müssen, sollen mehrere Messinstrumente eingesetzt werden

- Es werden mehrere unterschiedliche Methoden kombiniert