Forschungsmethoden VL 03

• Reliabilität
• Validität
• Objektivität

(Grundlagenforschung, Angewandte Forschung)

• Experiment
• Befragung

“Reliabilität bezeichnet die Zuverlässigkeit und die Beständigkeit einer Untersuchung. Reliabel ist ein Instrument dann, wenn es bei gleich bleibenden Verhalten gleiche oder ähnlich Ergebnisse liefert.”

Die Validität beurteilt eine quantitative Untersuchung danach, ob sie auch gemessen hat, was sie messen wollte

Ein Test oder Fragebogen ist objektiv, wenn verschiedene Testanwender bei denselben Personen zu den gleichen Resultaten gelangen, d.h., ein objektiver Test ist vom konkreten Testanwender unabhängig.

• Test-Retest-Reliabilität
• Paralleltestreliabilität
• Testhalbierungsreliabilität
• Interne Konsistenz

Es werden zwei parallele Versionen eines Tests entwickelt. Die Probanden bearbeiten beide Versionen kurz hintereinander. Je ähnlicher die Ergebnisse sind, umso höher die Reliabilität (Korrelation oder Kovarianz).

Die Konsistenzanalyse betrachtet jede Testaufgabe als «halbierten» Test. Die Konsistenz des Verfahrens wird mittels einer Formel unter Einbeziehung des Trennschärfekoeffizienten und des Schwierigkeitsgrades berechnet…. Aus der Konsistenzanalyse resultiert der Konsistenzkoeffizient

Unter Trennschärfe einer Aufgabe versteht man den Grad, in dem die Lösung dieses Items mit dem Gesamtwert aus den Lösungen aller Aufgaben des Tests korreliert. Man prüft so, ob das Item zu den andern «passt»

Test und Retest an der selben Stichprobe. Der Grad der Übereinstimmung, d. h. die höhe des Zusammenhangs zwischen den beiden Testergebnissen ergibt das Mass für die Reliabilität (Korrelation). Wenn die Erinnerung eine Rolle spielen kann beim Retest, darf dieses Verfahren nicht angewendet werden oder aber es muss ein grosser zeitlicher Abstand bestehen zwischen Test und Retest.

Der Test wird an einer einzigen Stichprobe durchgeführt. “Anschliessend werden pro Proband zwei Testwerte berechnet, die jeweils auf der Hälfte aller Items beruhen, wobei diese Testhalbierung vom Auswerter unterschiedlich realisiert werden kann (Zufallsauswahl aus allen Testitems, erste und letzte Testhälfte, Items mit gerader und ungerader Nummer etc.)

Die Trennschärfe bzw. der Trennschärfekoeffizient gibt an, wie gut ein einzelnes Item das Gesamtergebnis eines Tests repräsentiert.

Die Trennschärfe wird für jedes Item eines Tests berechnet und ist definiert als die Korrelation der Beantwortung dieses Items mit dem Gesamttestwert.

Die Itemschwierigkeit wird durch einen Index gekennzeichnet, der dem Anteil derjenigen Personen entspricht, die das Item richtig lösen oder bejahen… Schwierige Items werden nur von wenigen Probanden bejaht bzw. richtig gelöst. Bei leichten Items kommt dagegen fast jeder zum richtigen Ergebnis.

Durch die Itemanalyse wird beurteilt, ob eine einzelne Testaufgabe (Item) überhaupt für den geplanten Test geeignet ist

Sog. Inhaltsvalidität wird angenommen, wenn die einzelnen Testaufgaben nach Ansicht von Experten eine gute Stichprobe aller möglichen Aufgaben bilden.

Ein Rechentest für das 3. Schuljahr ist valide, wenn die Aufgaben den Unterrichtsstoff gut repräsentieren.

• Durchführungsobjektivität
• Auswertungsobjektivität
• Interpretationsobjektivität

Verschiedene Auswerter müssen zu genau demselben Ergebnis kommen. Hierfür braucht es standardisierte Antwortvorgaben und genaue Auswertungsvorschriften

• Inhaltsvalidität
• Kriteriumsvalidität
• Konstruktvalidität

Kriteriumsvalidität liegt vor, wenn das Ergebnis eines Tests zur Messung eines latenten Merkmals bzw. Konstrukts (z. B. Berufseignung) mit Messungen eines korrespondierenden manifesten Merkmals bzw. Kriteriums übereinstimmt (z. B. beruflicher Erfolg).

Die Kriteriumsvalidität ist definiert als Korrelation zwischen den Testwerten und den Kriteriumswerten einer Stichprobe

Testergebnis muss unabhängig vom Versuchsleiter: dies wird erreicht durch die Standardisierung von Instruktionen und Beantwortung von Fragen, welche der Proband stellt.

Vorgabe von Normwerten (für Alter, Geschlecht, Bildung, etc.) für die Interpretation: vergleicht man das Testergebnis mit diesen Normwerten, stellt man fest, ob die Versuchsperson z. B. einen Wert hat, der ihrem Alter entspricht, tiefer oder höher ist.