gms | German Medical Science

GMS Medizin — Bibliothek — Information.

Arbeitsgemeinschaft für Medizinisches Bibliothekswesen (AGMB)

ISSN 1865-066X

Analyse zurückgezogener Publikationen in der bibliografischen Datenbank Web of Science von 2004 bis 2014

Analysis of retracted publications in the bibliographic database Web of Science between 2004 and 2014

Fachbeitrag Plagiate und Plagiatsvermeidung

Search Medline for

  • corresponding author Helmut Dollfuß - Universitätsbibliothek der Medizinischen Universität Wien, Österreich

GMS Med Bibl Inf 2015;15(1-2):Doc09

doi: 10.3205/mbi000336, urn:nbn:de:0183-mbi0003368

Published: August 12, 2015

© 2015 Dollfuß.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

In der vorliegenden Arbeit wurden im Zeitraum 2004 bis 2014 zurückgezogene Publikationen, die in der bibliografischen Datenbank Web of Science (WoS) erfasst sind, analysiert. Nur Daten aus dem Science Citation Index (SCI) fanden Berücksichtigung, da die Anzahl der betroffenen Artikel im Social Sciences Citation Index (SSCI) und im Arts&Humanities Citation Index (A&HCI) sehr niedrig ist. Die aufgefundenen 2.590 Einträge aus den SCI wurden mit dem Analysemodul der Datenbank WoS nach dem Publikationsjahr, Fachbereich, Journal und Land aufgeschlüsselt. Weiters wurde untersucht, wie viele Jahre durchschnittlich vergehen zwischen Veröffentlichung und Zurücknahme eines Papers und wie häufig ältere Artikel davon betroffen sind. Der Trend zur Steigerung bei Rücknahmen von Veröffentlichungen war im Untersuchungszeitraum deutlich zu erkennen und betrifft seit etwa 2009 auch zunehmend ältere Literatur.

Schlüsselwörter: Rücknahme von Forschungsliteratur, Web of Science, wissenschaftliches Fehlverhalten, wissenschaftliches Publikationswesen

Abstract

This paper analyses literature indexed in the Web of Science (WoS) and retracted between 2004 and 2014. Number of retractions was low for Social Sciences Citation Index (SSCI) and Arts&Humanities Citation Index (A&HCI) so only data from the Science Citation Index (SCI) were considered for further investigations. A total of 2,590 retractions were found in the SCI. The WoS’ in-built analyse tool was used to sort these records by year, research field, journal title and country. Furthermore the mean time between publication date and retraction was calculated. The results show a distinct increase of retractions over the years with a growing proportion of older publications since 2009.

Keywords: retraction of papers, Web of Science, scientific misconduct, academic publishing


Einleitung

Plagiatsfälle bei Dissertationen prominenter Politikerinnen und Politiker sorgten in den letzten Jahren für medienwirksame Schlagzeilen und führten zur Zurücknahme einiger akademischer Titel. Weniger bekannt sind die ähnlich gelagerten Fälle aus der Welt der Wissenschaft, die neben den persönlichen Konsequenzen auch die allseits unangenehme Zurücknahme von bereits publizierten Forschungsartikeln nach sich zieht [1]. Aber nicht nur wissenschaftliches Fehlverhalten begründet diese Korrekturen. Zahlenmäßig deutlich stärker fallen die Zurücknahmen auf Grund experimenteller und unbeabsichtigter Fehler aus [2]. Waren diese Berichtigungen im Printzeitalter eher eine Seltenheit, so scheint es in der Zeit der Online-Veröffentlichung einen Wandel in der wissenschaftlichen Publikationskultur zu geben. Führende Fachjournale berichten laufend über sogenannte „Retractions“ durch Fälschungen und Fehler, und Institutionen, wie zum Beispiel „Retraction Watch“ [1], sorgen für Aufmerksamkeit und öffentlichen Druck. Diese Entwicklung muss sich auch in den bibliografischen Datenbanken spiegeln, in denen ja Forschungsliteratur erfasst und indexiert wird. Im Web of Science (WoS) hat man dazu einen eigenen Dokumententyp namens „Correction“ festgelegt. Das sind Meldungen über die Rücknahme einer Veröffentlichung, ergänzt mit dem Hinweis auf den originalen Artikel in Form einer Quellenangabe. Das WoS beinhaltet mehrere bibliografische Datenbanken. Für die folgenden Untersuchungen wurden anfänglich der SCI, der SSCI und der A&HCI nach „Corrections“ durchsucht. Die weitere Analyse beschränkte sich dann aber auf die Ergebnisse aus dem SCI für die Jahre 2004 bis 2014. Die Trefferliste soll nach dem Jahr der Zurücknahme, nach Fachgebiet, Journal und Land aufgeteilt werden. Weiters soll die Zeit zwischen Publikationsdatum und Zurücknahme errechnet und analysiert werden.


Datenerhebung und Datenanalyse

Die Daten für den vorliegenden Artikel stammen aus der Literaturdatenbank „Web of Science“ (WoS), aus dem SCI der Jahre 2004 bis 2014. Es wurde auch der SSCI und der A&HCI abgefragt, aber aufgrund der sehr geringen Treffermengen wurde die weitere Analyse auf den SCI beschränkt. Die Suche nach Literaturhinweisen auf zurückgezogene Artikel erfolgte mit der Phrasensuche „retraction of vol“ im Titelfeld. Mit dieser Standardwortfolge, inklusive Band-, Seiten und Jahresangabe, werden im WoS Literatureinträge gekennzeichnet, die einen bereits veröffentlichten Artikel zurückziehen. Darüber hinaus wurde der Dokumententyp auf „Correction“ eingeschränkt, um Artikel auszuschließen, die zufälliger Weise diese Wortfolge im Titel enthalten, aber keine Zurücknahme eines Beitrages sind. Mit dieser Suchstrategie enthielt die Treffermenge dann nur noch die veröffentlichten Zurücknahmen von Artikeln, nicht aber die ursprünglichen, zurückgezogenen Beiträge. Da für frühere Jahre nur eine wenig relevante Treffermenge erhoben werden konnte, wurde die Suche auf die Jahre 2004 bis 2014 beschränkt.

Die so erzielte Treffermenge wurde zum Teil direkt im WoS, mit der Funktion „Analyze Results“ ausgewertet. Es wurden damit die jeweiligen „Top10“ der Kategorien Journale, Länder, und Forschungsgebiete ermittelt. Die gesamte Treffermenge wurde für weitere Analysen aus WoS in Excel exportiert. Aus dem oben erwähnten Standardzusatz im Titelfeld, konnte das Publikationsjahr des zurückgezogenen Artikels extrahiert werden, womit sich die Zeitdifferenz zwischen der Publikation und der Zurücknahme in Jahren errechnen ließ. Diese Datensätze wurden mit der freien Statistik-Software GNU-PSPP (Version 0.8.4) analysiert und auf Normalverteilung untersucht. Weiters wurde die in Excel importierte Treffermenge nach Jahren aufgeteilt, um Veränderungen im Laufe der Zeit ersichtlich zu machen.

Methodenkritik: Leider sind nicht alle Literaturhinweise, die sich auf zurückgezogene Artikel beziehen, im WoS zuverlässig und korrekt mit der Standardwortfolge „retraction of vol“ im Titel und mit „Correction“ als Dokumententyp markiert. Bei erweiterten Recherchen fanden sich auch einige Einträge mit ähnlicher, oder auch mit falscher Schreibweise, die damit aus der Treffermenge fielen und nicht für die weitere Analyse verwendet wurden. Auch in der verwendeten Treffermenge gab es noch einige, offensichtlich fehlerbehaftete Einträge, die aber durch genaues Nach-Recherchieren korrigiert werden konnten.


Ergebnisse

Die Ergebnisse der getrennten Abfrage der drei Indizes der Literaturdatenbank WoS mit der beschriebenen Suchstrategie sind in Tabelle 1 [Tab. 1] dargestellt. Auffällig ist die relativ geringe Anzahl an zurückgezogenen Artikeln in Zeitschriften, die im A&HCI und SSCI indexiert sind, im Vergleich mit dem Abfrageergebnis aus dem SCI. Die weitere Analyse berücksichtigt daher nur noch Daten aus dem SCI.

Mit der im WoS eingebauten Funktion „Analyse Results“ wurde die Treffermenge aus dem SCI in mehrere Richtungen hin aufgeschlüsselt. Tabelle 2 [Tab. 2] zeigt die Anzahl der zurückgezogenen Artikel (Records) über die Jahre des Untersuchungszeitraumes und die jeweils 10 meistgenannten der Kategorien Fachgebiet, Zeitschriften und Länder.

Das Suchergebnis aus dem SCI wurde von WoS in MS-Excel importiert und so aufbereitet, dass sich die Jahre zwischen Veröffentlichung und Zurücknahme des Artikels errechnen ließen. Die so gewonnenen Datensätze wurden mit der freien Statistik-Software GNU-PSPP (Version 0.8.4) analysiert und das Ergebnis wieder zurück in Excel importiert. Tabelle 3 [Tab. 3] zeigt die Anzahl der Fälle zurückgezogener Artikel, aufgeteilt nach der Anzahl von Jahren zwischen Publikation und Zurücknahme, sowie den kumulierten Prozentanteil an der Gesamttreffermenge von 2.590 Records aus dem SCI.

Die grafische Umsetzung der Tabelle 3 [Tab. 3] sieht man in der Abbildung 1 [Abb. 1]. Die Grafik zeigt einen starken Anstieg der zurückgezogenen Artikel bis zum 1. Jahr und danach eine rasche Abnahme mit einem flachen Auslauf nach etwa 2 Jahrzehnten. Die Kurve folgt nicht einer Normalverteilung sondern zeigt eine linkssteile Verteilung, das Maximum ist also stark nach links verschoben. Entsprechend verläuft auch die Kurve für den kumulierten Prozentanteil anfangs steil und dann nur mehr flach und wenig ansteigend.

Um Veränderungen über den Untersuchungszeitraum 2004 bis 2014 sehen zu können, wurde die Zeitdauer zwischen der Publikation und der Rücknahme der Artikel in die einzelnen Jahre der Zurücknahme aufgeteilt. Da diese Zeitdifferenz keiner Normalverteilung folgt (Abbildung 1 [Abb. 1]), wurden für die Analyse nur der Median ermittelt, sowie die minimale und maximale Zeitdauer in ganzen Jahren. Tabelle 4 [Tab. 4] zeigt die Daten im Überblick für die einzelnen Jahre, in denen die betroffenen Artikel zurückgenommen wurden, und die Werte für den gesamten Untersuchungszeitraum. Der Median der Zeitdifferenz zwischen Veröffentlichung und Zurücknahme steigt über die Jahre leicht an, sowie die Anzahl von Publikationen, die erst nach 10 oder mehr Jahren zurückgenommen wurden. Der Artikel mit der größten Zeitdifferenz von 35 Jahren wurde 2009 zurückgezogen und stammt aus dem Jahre 1974.


Diskussion

Die Mengen der zurückgezogenen Artikel (Tabelle 1 [Tab. 1]) in Zeitschriften, die im SSCI (194 Records) und A&HCI (11 Records) indexiert sind, sind relativ gering bis verschwindend gering, im Vergleich mit der gefundenen Anzahl zurückgenommener Artikel im SCI (2590 Records). Letzterer enthält für den Untersuchungszeitraum aber auch eine sehr viel größere Zahl an Artikeln insgesamt. Berücksichtigt man das unterschiedliche Publikationsvolumen, so verringert sich dadurch der scheinbar so große Abstand zwischen SSCI (0,00807% Retractions) und SCI (0,01603% Retractions) auf nur noch rund die Hälfte. Weit abgeschlagen in diesem Feld aber immer noch der A&HCI, in absoluten Zahlen und Prozenten. Aufgrund der geringen Treffermengen an zurückgezogenen Artikeln in A&HCI und SSCI wurde für die weitere statistische Auswertung nur das Ergebnis aus des Abfrage des SCI herangezogen.

Die wohl auffälligste Steigerung für den Untersuchungszeitraum 2004 bis 2014 im SCI betrifft die Zahl der zurückgezogenen Artikel (Tabelle 2 [Tab. 2] und Tabelle 4 [Tab. 4]). Von anfänglich 52 Treffern stetig bergauf bis 2010, und mit einigem auf und ab zu den 316 Treffern aus 2014. Das deckt sich sehr gut mit Untersuchungsergebnissen von Wager&Williams ([2], Fig. 1) für Medline für die Jahre 1988 bis 2008, Lu et al. ([3], Fig. 1c) für das WoS für die Jahre 2000 bis 2011 und Fang et al. ([4], Fig. 1A) für PubMed bis Mai 2012. Alle Publikationen weisen auf einen markanten Anstieg dieser sogenannten „Retractions“ hin, speziell seit dem Beginn des neuen Jahrtausends. Unbeabsichtigte Fehler und vorsätzliche Täuschung sind aber keine Erfindungen des 21. Jahrhunderts in der Wissenschaft. Vielmehr weist diese vermehrte Zurücknahme von Artikeln auf einen neuen Trend hin, der sich bei Autoren und Editoren langsam durchsetzt. Das könnte ein Zug zu verstärkter Ehrlichkeit sein, wie eine positive Stimme vermerkte [5]. Oder ist es doch ein Spiegel des zunehmenden Zeit-, Geld- und Leistungsdrucks in den Wissenschaften, besonders in der biomedizinischen Grundlagenforschung, wie die Aufschlüsselung nach Fachgebieten in Tabelle 2 [Tab. 2] zeigt? Biochemie & Molekularbiologie, Zellbiologie und Onkologie führen das Feld der zurückgenommen Artikeln an. Dazu passt die Beobachtung, dass Journale mit sehr hohem Impact ebenfalls in den vordersten Reihen (Tabelle 2 [Tab. 2] und [4]) bei den Retractions zu finden sind. Wager&Williams [2] machen für 28% der zurückgezogenen Artikel wissenschaftliches Fehlverhalten verantwortlich und für 40% unbeabsichtigte Fehler. Die Zurücknahme geht zu 21% von Editoren aus und zu 63% von den Autoren. Demnach sind es in erster Linie die Autoren, die zumeist wegen nachträglich aufgedeckter, unbeabsichtigter Fehler ihre Publikationen zurückziehen. „De-Publishing“, „Correction“ und „Re-Publication“ sind dazu passende Schlagworte aus der ebenfalls stark anwachsenden Forschungsliteratur, die sich diesem überaus komplexen Thema der Retractions widmet. Der mehrfach belegte Trend in der Zunahme von Retractions deckt sich aber auch sehr gut mit der Entwicklung im Publikationsmarkt des Bereiches Science-Medicine-Technology (STM). An der medizinischen Bibliothek des Autors gab es seit Beginn der 2000er Jahre einen unumkehrbaren Schwenk zum E-Journal, der dann 2012 zum Ende der gedruckten Zeitschriftenabonnements führte. Die Verlage entwickelten in diesem Zeitraum immer ausgefeiltere und schnellere EDV-Werkzeuge für das Einreichen, Begutachten, Veröffentlichen und Archivieren der eingeschickten Artikel. Früher war es aufwändig bis unmöglich einmal gedruckte und über die ganze Welt verteilte Fachbeiträge zurückzuziehen. Kaum jemand nahm Notiz von einem kleinen gedruckten Hinweis auf eine Korrektur, der noch dazu Jahre später in der Printzeitschrift als lose Beilage erschien. Jetzt ist es relativ einfach, elektronisch publizierte Papers mit dem Stempel „Retraction“ zu vermerken, da diese ja zentral auf dem Verlagsserver verbleiben und der Verlag somit mehr Kontrolle ausüben kann. Überdies nehmen wichtige bibliografische Datenbanken diese Information rasch auf und verlinken den zurückgezogenen markierten Artikel mit dem Korrekturhinweis des Verlages. Der Trend zu mehr Ehrlichkeit [5] wird durch diesen technologischen Fortschritt sicherlich unterstützt, wenn nicht gar erst ermöglicht. Sind Forschungsdaten, Tabellen, Grafiken und das Paper online einsehbar, so ist es für Fachkollegen um ein Vielfaches leichter geworden, nach der Publikation zu überprüfen, ob eine Arbeit wissenschaftliches Fehlverhalten oder Irrtümer enthält, die dem Peer-Review entgangen sind. Um diesen wichtigen Bereich der Artikelbegutachtung vor der Veröffentlichung zu stärken, entwickeln Verlage nun weitere EDV-Unterstützung und prüfen eingereichte Arbeiten bereits im Vorfeld auf Plagiarismus und Hoaxes. Springer stellte erst kürzlich eine erfolgreich eingesetzte Software namens SciDetect vor [6], die automatisch erkennen soll, ob das eingereichte Paper „aus der Feder“ von SCIgen stammt, einem Programm, das unsinnigen, aber wissenschaftlich klingenden Wortsalat erzeugt.

Der Trend zu mehr Ehrlichkeit, unterstützt durch technologische Lösungen, mag auch eine Veränderung erklären, die in Tabelle 4 [Tab. 4] zu sehen ist. Die Zeitdifferenz zwischen Publikation und Zurücknahme der Artikel (RY-PY) liegt für den gesamten Untersuchungszeitraum gerechnet bei 2 Jahren (Medianwert), zeigt aber eine Erhöhung von ein auf zwei Jahren, wenn man die einzelnen Jahrgänge getrennt berechnet. Die Zunahme dieses Wertes findet man auch bei Fang et al. ([4], Fig. 4A). Dies könnte bedeuten, dass es jetzt länger dauert als früher, bis fehlerhafte oder gefälschte Artikel entdeckt werden. Das ist aber auf Grund der oben genannten, technologischen Entwicklung gerade nicht der Fall. Vielmehr zeigt Tabelle 4 [Tab. 4] als Erklärung eine deutliche Zunahme der Anzahl von Retractions von älteren Artikeln, die bereits seit zehn oder mehr Jahren veröffentlicht sind (RY-PY≥10 Jahre). Durch Retrodigitalisierung gelangt nun anscheinend auch weiter zurückliegende Forschungsliteratur leichter auf den Prüfstand. Andererseits mussten in letzter Zeit einige Forscher gestehen, schon seit Jahren Forschungsdaten frisiert zu haben, nachdem der Druck durch die mediale Anprangerung zu stark wurde [1], sodass auch deren frühere Publikationen oft obsolet wurden. Der Besen für den wissenschaftlichen Kehraus gewinnt also an zeitlicher Breite. Ein Artikel [7] sticht hier besonders heraus, da er erst nach sage und schreibe 35 Jahren zurückgezogen wurde, obwohl man schon früher wusste, dass es sich dabei um einen Hoax handelt [8].


Fazit

Die Anzahl der zurückgezogenen Artikel steigt im Bereich der Naturwissenschaften an und betrifft auch zunehmend ältere Veröffentlichungen. Dieser Trend wurde durch den Schwenk zum E-Journal und die technologischen Weiterentwicklungen im Publikationsbereich STM ermöglicht, bzw. wird dieser durch die mediale Anprangerung von wissenschaftlichem Fehlverhalten auch noch verstärkt.


Anmerkung

Interessenkonflikte

Der Autor erklärt, dass er keine Interessenkonflikte in Zusammenhang mit diesem Artikel hat.


Literatur

1.
Retraction Watch [Internet]. The Retraction Watch Leaderboard [cited 2015 Jul 15]. Available from: http://retractionwatch.com/the-retraction-watch-leaderboard External link
2.
Wager E, Williams P. Why and how do journals retract articles? An analysis of Medline retractions 1988-2008. J Med Ethics. 2011;37:567-70. DOI: 10.1136/jme.2010.040964 External link
3.
Lu SF, Jin GZ, Uzzi B, Jones B. The Retraction Penalty: Evidence from the Web of Science. Scientific Reports. 2013; 3:3146. DOI: 10.1038/srep03146 External link
4.
Fang FC, Steen RG, Casadevalld A. Misconduct accounts for the majority of retracted scientific publications. PNAS. 2012;109(42):17028-33. DOI: 10.1073/pnas.1212247109 External link
5.
Fanelli D. Rise in retractions is a signal of integrity. Nature. 2014;509(7498):33 DOI:10.1038/509033a External link
6.
Bohannon J. Hoax-detecting software spots fake papers. Science. 2015;348(6230):18-9. DOI: 10.1126/science.348.6230.18 External link
7.
Murphy JM. Letter: Cello-Scrotum. Br Med J. 1974;2(5914):335. DOI: 10.1136/bmj.2.5914.335-a External link
8.
Wyner LM. Cello scrotum, 1974-2009: history of a medical hoax. Med Probl Perform Art. 2010;25(3):130-2.