Allgemeines
Lehrende:r
Dr. Dirk Scheele
Veranstaltung
„Fake studies“ and predatory journals: Reproduktion und Replikation in den Lebenswissenschaften
Modul
Lognitudinales Forschungscurriculum med 160
Studiengang
Medizin
Fakultät
Fakultät VI – Medizin und Gesundheitswissenschaften
Institut
Universitätsklinik für Psychiatrie und Psychotherapie
Turnus
Wöchentlich
Anzahl Studierende
Bis 30
KP des Moduls
1 (2 SWS Seminar und 2 SWS Vorlesung)
Prüfungsform
Wissenschaftliches Poster
Kategorien
Forschendes Lernen
Gesundheitswissenschaften, Medizin und Psychologie
Online-Meetings
Seminar
Stud.IP
Die Wissenschaft hat gegenwärtig ein Problem. Zahlreiche Studien lassen sich in Nachfolgeuntersuchungen nicht bestätigen. Dieses Seminar soll interessierten Studierenden dabei helfen problematische Praktiken in der Wissenschaft zu erkennen und zu vermeiden.
Ohne Replizierbarkeit kein Erkenntnisgewinn
In den letzten Jahren wurde deutlich, dass eine erschreckend hohe Anzahl an experimentellen Studien trotz Peer-Review-Verfahren nicht oder nur partiell replizierbar ist. Diese sogenannte Replikationskrise betrifft alle empirischen Wissenschaften, zeigt sich aktuell aber besonders deutlich in der psychologischen und medizinischen Forschung. Eine Antwort auf diese Probleme besteht darin, Hypothesen und geplante Analysen zu präregistrieren, Open Science Prinzipien in der Forschung zu verankern und gezielt Replikationsstudien zu fördern.
Um die Herausforderungen und notwendigen Arbeitsschritte bei einer Replikation zu veranschaulichen, sollen die Studierenden die Befunde einer Verhaltensstudie mit bereitgestellten Daten und Materialien zunächst reproduzieren und dann in einer eigenen Erhebung eine Replikationsstudie durchgeführen. Als Simulation des idealen Forschungsprozesses ist das Seminar transgenerational angelegt und die Studierenden sollen im Verlauf ihres Studiums Rückmeldung dazu bekommen, in welchem Ausmaß nachfolgende „Generationen“ von Studierenden die Befunde replizieren konnten.
Lernziele und Umsetzung
Die übergeordneten Ziele für das Seminar bestehen darin die Studierenden für die Probleme der Replikationskrise zu sensibilisieren, eine auf Transparenz ausgerichtete Forschungskultur zu festigen sowie praktische Maßnahmen zur Erleichterung von Replikationsstudien zu üben. Die Studierenden sollen am Ende des Seminars:
- die Arbeitsschritte bei einer empirischen Studie beschreiben,
- eigenständig Literatur recherchieren und den Evidenzgrad beurteilen,
- die Gütekriterien psychometrischer Fragebögen beschreiben,
- eine Online-Fragebogen-Studie durchführen und korrelative Zusammenhänge inferenzstatistisch auswerten,
- eine Präregistrierung durchführen und OpenScience-Prinzipien beschreiben,
- ein wissenschaftliches Poster erstellen können.
Da die Studierenden im ersten Jahr des longitudinalen Forschungscurriculums noch keine Vorerfahrungen mit wissenschaftlichem Arbeiten haben, wird in der ersten Veranstaltung der Publikationsprozess mit Peer-Review-Verfahren beschrieben und anhand aktueller Beispiele von zurückgezogenen Studien zum Thema Corona-Behandlung das Problem falscher Anreize in der Forschung veranschaulicht. In den weiteren Veranstaltungen werden Methoden der Literaturreche erläutert, Indikatoren für „predatory journals“ beschrieben und psychometrische Testgütekriterien vorgestellt. Nach kurzen theoretischen Inputs folgen aktive Segmente, in denen die Studierenden beispielweise auf der Website von predatory journals nach Hinweisen für unseriöse Publikationspraktiken suchen. An einem zur Verfügung gestellten Beispieldatensatz werden deskriptiv- und inferenzstatistische Analysen mit der Software SPSS vorgeführt. Das synchrone Online-Format und die von der Universität für alle Studierende zur Verfügung gestellte Software-Lizenz ermöglichten es, dass die Studierenden mit anderen Variablen die Analysen selber durchführen können. Studierende mit abweichenden Ergebnissen können ihren Bildschirm teilen und die Analyseschritte können gemeinsam im Plenum rekonstruiert und ggf. korrigiert werden. Basierend auf diesen Ergebnissen werden Hypothesen für eine Replikationsstudie aufgestellt, mit dem Programm gPower eine Poweranalyse durchgeführt und die geplante Analyse präregistriert. Vor der Durchführung der Analyse wird von allen Studierenden eine Prognose zur Replizierbarkeit spezifischer Befunde abgegeben und so gewonnenen Vorhersagen werden später mit den tatsächlichen Replikationen kontrastiert. Die Ergebnisse der Replikationsstudie werden in Kleingruppen grafisch aufbereitet und in einem Poster mit denen der Originalstudie verglichen.
Forschendes Lernen in der Praxis
Durch die Lehrforschungsprojektförderung von forschen@studium war es möglich, eine studentische Hilfskraft zu finanzieren, die gemeinsam mit dem Dozenten einen Ethikantrag für eine psychophysiologische Verhaltensstudie gestellt hat. Als eine in der Corona-Pandemie hoch aktuelle Forschungsfrage wird in dieser Studie der Zusammenhang zwischen Alexithymie („Gefühlsblindheit“), subjektiver sozialer Isolation und psychischen Stress mit Fragebögen untersucht. Ferner wird durch eine psychophysiologische Aufgabe erforscht, ob diese Zusammenhänge durch Interozeption, d.h. die Wahrnehmung körpereigener Signale, vermittelt werden. Da für die Verhaltensstudie eine Genehmigung der Ethikkommission vorliegt, können die Daten zukünftig für eine Publikation verwendet werden, in welcher der Replikationserfolg über verschiedene Semester hinweg beschrieben werden kann. In Zukunft ist die Forschungsfrage leicht skalierbar, da eine Replikation in Stichproben mit psychiatrischen Patient*innen untersucht werden kann.
Bisherige Erfahrungen
Da die Studierenden wegen der Corona-Hygienemaßnahmen keine Labortestungen vornehmen konnten, wurden im Rahmen des Seminars alle Konstrukte mit Online-Fragebögen gemessen. Der enge Zusammenhang zwischen Alexithymie und psychischem Stress konnte sowohl in der Originalstudie als auch der Replikation nachgewiesen werden. Es zeigte sich jedoch, dass komplexere Mediationsmodelle sowie Moderationseffekte mit dem Faktor Gender stärker von der jeweiligen Stichprobe abhängig waren und nur partiell repliziert werden konnten.
Für die Analysen wurden die Studierenden in Kleingruppen in Breakoutrooms eingeteilt und jede Kleingruppe hat eigenständig eine Hypothese bearbeitet. Die Studierenden konnten so alle Forschungsphasen einer empirischen Studie kennenlernen und erproben. Die ersten Entwürfe für Abbildungen für das Poster wurden von den Kleingruppen im Plenum präsentiert und nach Feedback durch die Kommiliton*innen und den Dozenten revidiert. Das finale Poster wurde in der letzten Veranstaltung auf dem Online-Symposium des longitudinalen Forschungscurriculums den Kommilion*innen des Semesters vorgestellt. Um die Erfahrungen und Befunde der Replikation der nächsten „Generation“ von Studierenden (im nächsten Sommersemester) zurückzumelden, sollen die Studierenden des diesjährigen Seminars im nächsten Sommersemester zum Symposium eingeladen werden.
Um die Replikationsstudien über verschiedene Semester hinweg vergleichbar zu halten, ist es erforderlich die primäre Forschungsfrage konstant zu halten. Durch die in einer Online-Erhebung leicht zu integrierenden Ergänzungsfragen kann von den Studierenden jedoch in jedem Semester ein eigener Schwerpunkt gesetzt werden.
Nutzung digitaler Medien
Im Rahmen des Seminars werden verschiedene digitale Medien und Software-Programme genutzt:
- StudIP
- BigBlueButton
- SoSci Survey
- Open Science Foundation
- Excel
- SPSS
- gPower