Vorlesung Methoden 11 - WiSe

- Gütekriterien des Experiments

• Interne bzw. CP-Validität (SV-Kontrolle?)
• Externe Validität (Generalisierbarkeit bzgl. Probanden/Situationen?)
• Konstruktvalidität (bzgl. UV/AV?)
• Statistische Validität (Angemessenheit der eingesetzten statistischen Prozeduren zum Schluss auf die Sachhypothese?)

 
- Diskussion möglicher Ursachen erwartungskonträrer Ergebnisse

- Verbesserungsvorschläge für die Zukunft

- neue interessante Fragestellungen?

Wozu? 

- Modelle helfen, komplexe Daten und Zusammenhänge verstehbar zu machen

Welche Arten kann man unterscheiden? 

- Mathematisch/Komputational

- Metaphorisch/Konzeptionell

- Modell, das empirische Vorhersagen erlaubt (empirisch falsifizierbar) vs. Modell, das Vokabular zum Reden über einen Gegenstandsbereich zur Verfügung stellt (analytisch)

- Box/Arrow

- Neuronale Netze

- sie versuchen es zumindest 

- auch abhängig davon, ob man überhaupt eine vom Individuum unabhängige Realität annimmt 

- Annäherung an die Realität

• Standardisierung (z.B. APA-Regeln, siehe z.B. http://www.uwsp.edu/psych/apa4b.htm)
• Reproduzierbarkeit möglichst perfekt gewährleisten
• Transparenz (bzgl. aller Entscheidungen & Argumente)
• Einfachheit, Eindeutigkeit & Verständlichkeit

- Titel/Autoren/Schlüsselwörter/Zusammenfassung (Abstract) 

- Einleitung & theoretischer Hintergrund 

- Methode (Probanden, Apparatur & Materialien, Durchführung, Versuchsplan) 

- Ergebnisse 

- Diskussion 

- Literaturverzeichnis (References)

1. Manuskript erstellen (APA-style) 

2. Journal wählen 

3. Editor (meist ehrenamtlich arbeitender Wissenschaftler) bei Journal überfliegt Paper: Prinzipiell geeignet?
 
4. Editor wählt Experten als Gutachter (typ. 2-3 ehrenamtliche Reviewer):  Peer-review-Prozess (peer review als Qualitätskriterium)
 
5. Editor wägt aufgrund Reviews ab, ob Ablehnung (oft ca. 80% der Fälle!) oder Überarbeitungsmöglichkeit („revise & resubmit“)
 
6. Autoren überarbeiten und gehen „point-by-point“ auf alle Review-Anmerkungen ein, revidiertes Manuskript inkl. „point-by-point responses“ geht wieder an Gutachter
 
7. Prozessschritt 6 wiederholt sich bis endgültige Ablehnung/Acceptance  (typisch: 3 Runden)
 
8. Paper ist erst „in press“ (nach Korrekturlesen), dann publiziert (mit Jahreszahl, VolumeNummer und Seitenzahlen)
 
9. Paper wird hoffentlich von Kollegen rezipiert (= zitiert, die meisten Papers allerdings nicht…); Maß: Zitationshäufigkeit (vgl. Google Scholar, Harzing‘s Publish or Perish, Thomson Reuters Journal Citation Reports etc.) --> number of citations als Qualitätskriterium für Papers/Autoren (allerdings gibt es vielfältige Validitätslimits!)

• Wie oft ein Paper in dem Journal im Schnitt pro (Referenz-)Jahr zitiert wird (Modalwert typischerweise = 0!) relevante Spanne für Papers: 2 oder 5 Jahre vor Referenzjahr Beispiel „experimentelle Grundlagenpsychologie“: 
• IF zwischen 1-2 gilt manchmal als „Mittelklasse“, über 2 „Spitzenklasse“, über 4 „Top Journal“ (aber: z.T. ganz andere Referenzwerte für angewandte Psychologie, Neuropsychologie etc.!)
• IF nicht nur von Qualität abhängig, sondern auch von Journaltyp (z.B. Journals, die zu einem Thema Übersichtsarbeiten (Reviews zum Forschungsstand) publizieren, werden typischerweise häufiger zitiert (--> hoher IF))

- Editor wählt Experten als Gutachter (typ. 2-3 ehrenamtliche Reviewer) für eingereichte Paper

Impact factor

- man muss frustrationstolerant sein (rejection rates hoch…) 

- keine allgemein verbindlichen Review-Standards (den Launen der Gutachter ausgeliefert…) 

- z.T. schwer, seine Meinung gegen Reviewer zu vertreten (Abhängigkeitsverhältnis) 

- allgemeiner Publikationsdruck erhöht Gefahr wissenschaftlichen Fehlverhaltens („… if you can show that this particular difference is significant, your paper will sure be accepted in Science (which will substantially increase the likelihood of getting a permanent, well-paid position)“) 

- Zitations-/Publikationskartelle 

- Piecemeal publications (zur Erhöhung der persönlichen Paperanzahl) 

- Journals verdienen sehr viel Geld (durch überteuerte Abos) für geringe Leistung (Wissenschaftler als deren „unbezahlte Angestellte“) 

- daher starke „open access“-Bewegung (Problem: setzt sich kaum durch, jedes Paper in solchen Journals kostet den Autor X000 EUR) 

- predatory journals  

- Falschenhals bei Professuren und Dauerstellen 

- WissZeitVG (12-Jahres-Regel)

- "Publish or perish"-Problem

1. Publikationen nach Zitationshäufigkeit sortieren

2. Von oben runterzählen, bis zu der (xten) Publikation, die mindestens x-mal zitiert wurde (z.B. h = 9: „Neun Publikationen wurden jeweils mindestens neun mal zitiert“
 

• Soll nicht nur Menge messen, sondern auch impact
• hat wiederum eigene Probleme…
• Z.B. Einfluss von Zitierkartellen
• Selbstzitationen (bei konsequenter Selbstzitierung sollte h der Hälfte der publizierten Papers entsprechen) „sleeping beauties“ nicht berücksichtigt
• abhängig von Breite des persönlichen Forschungsfeldes

- DFG (=Deutsche Forschungsgemeinschaft)

- Exzellenzinitiative

- EU-Mittel

- BMBF (=Bundesministerium für Bildung und Forschung)

- Der Matthäus-Effekt ist eine These der Soziologie über Erfolge. Wo dieser Effekt auftritt, entstehen aktuelle Erfolge mehr durch frühere Erfolge, und weniger durch gegenwärtige Leistungen. Ein Grund liegt in den stärkeren Aufmerksamkeiten, die Erfolge erzeugen.

- Gegenmittel: dezidierte Förderung des wissenschaftlichen Nachwuchses

Probleme

- undurchschaubare Versuchssituation 

- Täuschung 

- Manipulation von Eigenschaften des Probanden 

- Vertraulichkeits-/Datenschutzverletzungen 

- Schädigung (z.B. Selbstwertgefühl durch schwierige Aufgaben)
 
--> weitere Probleme im Rahmen der Anwendung von gewonnenem Wissen (Beispiel Atombombe, Intelligenzforschung &

Eugenik, Erforschung der Wirkung von Extremschall, ökologische Validität von Grundlagenforschung)

Lösungen: 

- Relevanz der Untersuchung sollte sichergestellt sein 

- Änderung der Untersuchung (soweit möglich) 

- Information über mögliche negative Konsequenzen 

- prinzipiell freiwillige Teilnahme (ggf. Abbruch der Untersuchung zulassen) 

- nachträgliche Aufklärung über Ziele des Experiments 

- Aufhebung negativer Aspekte durch positive (Belohnung)  
 
--> generell gilt: Kosten-Nutzen-Abwägung

- neuronale Korrelate moralischen Urteilens (Zu beobachten ist eine rasante Zunahme der Forschung mit z.T. noch inkonsistenten Ergebnissen, vermutlich aufgrund der Abstraktheit des Konzeptes „Moral“)

- Neurodoping bzw. cognitive enhancement (Verwenden von Mitteln zur Leistungssteigerung bei Gesunden: gut oder böse? alles erlauben? Kaffee = Doping? Wo ist die Grenze? 

- IAT (implicit association test) 

- „The bell curve“ (Herrnstein & Murray, vgl. Maltby & Day, 2011, S. 633ff)  (s. auch Thema Galton & Eugenik) 

- Forschung zur „Climate change“-Kommunikation 

- Implanting false memories (E. Loftus, vgl.: http://www.psychonomic.org/special-workshops-detail?cid=fb016a48-e3a64e48-b927-fac8e68e6fc2 (ab 17:30 min.) 

- Psychologie & CIA torture techniques („gelernte Hilflosigkeit“) 

- Gender issues in science (and psychology): http://edge.org/events/thescience-of-gender-and-sciencepinker-vs-spelkea-debate (s.o.)

- Wissenschaft allgemein: Unter den Absolventen eines Studiums ist noch gut die Hälfte weiblich. Ihr Anteil unter den Doktoranden beträgt 40 Prozent. Dann kommt der große Knick. Unter den Habilitanden sind Frauen nur noch zu einem guten Fünftel vertreten. Unter den Professoren ist ihr Anteil noch einmal etwas geringer. Mehr als 60 Prozent der Professorinnen haben keine Kinder. Unter den Männern sind es nur rund 35 Prozent

- Psychologie: Frauenanteil bei den abgeschlossenen Diplomprüfungen im Fach Psychologie in Deutschland bei 75%, bei den Promotionen bei 53% (Zahlen für 2002), bei den Habilitationen bei durchschnittlich 25%

- Diederik Stapel = Wissenschaftsbetrüger aus den Niederlanden

- US Parapsychologe Daryl Bem 

--> Konsequenzen?!

- Unsaubere/interessensgeleitete Forschung (vgl. www.testingtreatments.org) 

- Daten-Karriere-Korrelation (gute Daten = gute Papers = gute Karriere) 

- spezifische Publikationsprobleme: „Nachtesten“, Theoretisches „Reframing“,   Publication bias, File drawer-Probleme  - Daryl Bem, Diederik Stapel & Co: Konsequenzen? 

- Problemfeld Wissenschaftssprache (Scheinwissenschaftlichkeit bzw. Sprache als Herrschaftssicherungsinstrument, vgl. Foucault?)

- kleine Studien 

- größere Anzahl und weniger Vorauswahl der getesteten Beziehungen 

- größere Flexibilität in Designs, Definitionen, Ergebnissen, Analysen 

- größeres finanzielles Interessse

- wenn mehr Teams an selbem forschen 

--> Bedingungen dafür, dass Ergebnisse falsch sind

- Funktionalismus/Evolution 

- vom Verhalten zur Aufgabe (Task)

- Das ganze Hirn verstehen (aktuell größtes EU-Forschungsprojekt)

- „From brains to genes“

- Von der Perzeption zur Handlung (Wozu ist Wahrnehmung/Handlung gut? vgl. „Oma am Fenster“ vs. „Spieler vor Tor“): Verwischen von Disziplingrenzen (Erleben/Verhalten, Input/Output) 

- Modularität des Geistes (Fodor, Neuropsychologie) vs. Interaktion & Vernetzung (crosstalk)?

- Mensch vs. Affe (Verhalten/Gene/Gehirn-Ähnlichkeit: Anthropologie vs. Tomasello)?

- Verhaltensbasierte Persönlichkeitspsychologie (z.B. Furr, 2009)

- Gedächtnisgrenzen/Bewusstsein/Aufmerksamkeit (Zshg. working memory & Bewusstsein & Intelligenz: Bezüge zwischen elementaren Konstrukten)

- Zeitbasierte Prozesse (Decay, Interferenz, Gedächtnisgüte, temporal pattern coding)

- Repräsentationsproblematik (Alternativen zur Representational Theory of Mind)