Wissenschaft messen

Es gibt viele Gelegenheiten, bei denen die Qualität von Wissenschaft und auch von Wissenschaftler*innen gemessen werden soll. Das die Arbeit derjenigen, die einen Nobel-Preis bekommen haben, herausragend ist, steht außer Frage, aber wie kann die Qualität aller anderen Wissenschaftler*innen gemessen werden? Die Fördergeber haben nur begrenzte Mittel und möchten gerne sicherstellen, dass diese Mittel möglichst optimal verwendet werden, also nur die besten Wissenschaftler*innen Fördergelder erhalten. Ebenso möchten Universitäten und Forschungseinrichtungen nur die besten Wissenschaftler*innen als Mitarbeiter einstellen. Welche Methoden stehen ihnen zur Verfügung, um die Bewerber auf Fördergelder und Stellen zu bewerten?

Seit vielen Jahren spielt der Impact Factor (IF) eine prominente Rolle bei der Bewertung wissenschaftlicher Leistung. Der IF gibt an, wie oft die in einem Jahr in einer Zeitschrift erschienen Artikel durchschnittlich zitiert wurden. Dabei werden nicht alle Artikel berücksichtigt, sondern nur die, die als „zitierbar“ charakterisiert werden. Welche genau das sind, wird zwischen dem Verlag und dem Hersteller des IF ausgehandelt. Dies macht den IF intransparent. Der IF macht eine Aussage über die Zeitschrift in einem bestimmten Zeitraum, nicht aber über die Artikel in dieser Zeitschrift oder gar über ihre Autor*innen. Dennoch ist es in einigen Fachbereichen üblich die Qualität eines Wissenschaftlers anhand der Artikel, die er in Zeitschriften mit hohem IF publiziert hat zu messen.

Seit einigen Jahren spielt zunehmend der h-Index zur Bewertung von Wissenschaftler*innen eine Rolle. Der h-Index berechnet sich aus der Anzahl der Publikationen x, die mindestens x-Mal zitiert wurden. Hat eine Person z.B. 30 Publikationen von denen 7 mindestens 7-mal zitiert wurden, so liegt der h-Index bei 7. Damit wird stärker auf den tatsächlichen Output des Forschers eingegangen und Unterschiede im Forschungsalter können besser ausgeglichen werden. Allerdings eignet sich der h-Index nicht zum Vergleich von Forschern aus unterschiedlichen Fachdisziplinen, da die Publikationskultur sich stark unterscheidet und sich dies auf den h-Index auswirkt. Problematisch ist auch, dass der h-Index keinen Unterschied zwischen den unterschiedlichen Autoren bei Artikeln mit Mehrautorschaft macht. Häufig kommt dort dem erst- und dem letztgenannten Autor eine besondere Bedeutung zu.

Die Zitationen in wissenschaftlichen Zeitschriften sind allerdings häufig nicht die komplette Auswirkung, die ein Artikel auf die Gesellschaft hat. Daher wurden die Altmetriken entwickelt, die auch verschiedene andere Messdaten heranziehen, z.B. Erwähnungen in Blogs, bei Facebook oder Twitter oder bei Wikipedia, aber auch Downloadzahlen und Nachweise in Literaturverwaltungsprogrammen wie z.B. Mendeley.

Die Wichtigkeit, die diesen Metriken beigemessen wird, sorgt auf der anderen Seite für unethisches Verhalten auf der Seite der Publizierenden, um ihren eigenen Wert möglichst hoch zu setzen. Dies fängt bereits bei der Autorenschaft an. So gibt es „Ghost Authors“, die zwar an der Ausarbeitung des Textes mitgeholfen haben, ihre Mitarbeit aber verschleiern wollen (z.B. wegen Lobbyarbeit). Die „Gastautoren“ haben tatsächlich nichts zur aktuellen Arbeit beigetragen, ihr Name auf der Autorenliste ist eher eine Ehrenbezeugung oder dient dazu die Anzahl der Publikationen des Institutsleiters hochzusetzen. Durch Manipulation der Autorenreihenfolge kann es darüber hinaus dazu kommen, dass nicht derjenige der hauptsächlich für die Publikation verantwortlich ist, als Erstautor genannt wird.

Auch bei der Anzahl der Zitate gibt es einige Tricks. Da Selbstzitate relativ leicht erkannt werden können, ist eine beliebte Methode das Zitationskartell, bei der eine Gruppe von Wissenschaflter*innen sich darauf verständigt sich gegenseitig zu zitieren.

Bei der DFG sind diese Problematiken mittlerweile erkannt worden. Dort dürfen pro antragstellender Person maximal zehn Publikationen genannt werden. Dies verhindert auch die Salamitaktik, bei der Forschungsergebnisse in der kleinstmöglich publizierbaren Einheit veröffentlicht werden. Außerdem ermöglicht es den Gutachtern diese Artikel qualitativ zu beurteilen und nicht auf der Basis rein quantitativer Metriken ein Urteil zu fällen.

Um im Wissenschaftsbereich voranzukommen empfiehlt es sich ein Auge auf die verschiedenen Metriken zu haben. Die eigene wissenschaftliche Arbeit gut darzustellen und sichtbar zu machen hilft, sich Fördergeldgebern und Arbeitgebern zu empfehlen.

Nicht sinnvoll ist es, das System zu „gamen“ und seine Metriken künstlich zu verbessern. Zum einen kann einem dies später als unethische Verhalten negativ ausgelegt werden, zum anderen kann es sein, dass sich die Bewertung der Metriken in den nächsten Jahrzehnten ändert und dann diese gekünstelten Werte zum eigenen Nachteil sind. 

Sinnvoller ist es sich eine ORCID zuzulegen, damit die eigenen Publikationen auch sicher der eigenen Person zugeordnet werden können. Damit passieren weniger Fehler bei der Erstellung der Metriken und man hat mehr Kontrolle welche Publikationen dem eigenen Wissenschaftsprofil zugeordnet werden. Auch die Publikation in Open Access Zeitschriften kann helfen, da diese häufiger zitiert werden, als Publikationen in Closed-Access Zeitschriften, allerdings ist der IF bei Closed Access Zeitschriften oft höher als bei OA-Zeitschriften. Daneben sollten auch die sozialen Medien nicht vergessen werden. Zum Erfolg in der Wissenschaft gehört eben nicht nur die Fähigkeit gute wissenschaftliche Ergebnisse zu produzieren, man muss diese auch darstellen können. Das wird sich auch mit anderen Metriken nicht ändern.

Wissenschaft messen - Impact-Factor, h-Index und Altmetriken von Silke Frank ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz.