Zur Diskussion um Metriken und Evaluierungsverfahren

Mögliche Kontexte, in denen Evaluierungsverfahren in der Romanistik eine Rolle spielen, sind z.B.

• Bewertung von Publikationen im Kontext der Literaturrecherche
• Auswahl geeigneter Publikationsorgane für die eigene Publikation oder als Empfehlung für den wissenschaftlichen Nachwuchs (auch mit Blick auf die Kar­riereplanung)
• Dokumentation der Eignung von Publikationsorganen im Kontext von Förder­anträgen
• Dokumentation individueller Forschungsleistungen im Kontext von Förderanträgen
• Bewertung individueller Forschungsleistungen bei Einstellungsverfahren.

Allgemeine Hinweise für Studierende

Für Studierende und Nachwuchswissenschaftler:innen enthält das FID-Tutorial zur Literaturrecherche relativ neutrale Informationen zu Publikationsmöglichkeiten und zur Einschätzung von Publikationsorganen hinsichtlich grundlegender wissenschaftlicher Standards, etwa in den Rubriken zur kritischen Evaluierung von recherchierten Publikationen und Webseiten sowie zur Publikation eigener Ar­beiten.

Kriterien zur Beurteilung von Publikationsorganen

Zu den generellen Beurteilungskriterien für Publikationsorgane (Verlage, Zeitschriften, Open Access-Plattformen) zählen:

• Wissenschaftliche Qua­lität
• Sichtbarkeit
• (internationale) Reichweite
• Renommee.

Angebote zur Berurteilung von Publikationsorganen

Es gibt eine Reihe von Instrumenten, die dazu dienen (sollen), Publikationsorgane hinsichtlich einzelner oder mehrerer der genannten Kriterien zu beurteilen. Sie divergieren stark in Anspruch und Charakter, zumal sie sich zum einen auf verschiedene Aspekte beziehen und zum anderen unterschiedliche Verfahren verwenden, um die Erfüllung der jeweiligen Kriterien zu belegen oder zu messen. Im Ergebnis werden dabei diverse Listen generiert, die bis zu einem gewissen Grade Orientierung bieten können:

• einfache Positivlisten für alle Publikationsorgane, die bestimmte Standards erfüllen,
• klassifizierende Listen, in denen Publikationsorgane nach bestimmten Kriterien in verschiedene Kategorien eingeordnet werden, oder
• gerankte Listen, die, basierend auf Punktwerten für bestimmte Kriterien, eine Rangfolge darstellen.

Mit Blick auf Repositorien zur Online-Veröffentlichung wären hier z.B. die Liste der Deutschen Initiative für Netzwerkinformation (DINI), die eine Filterung nach auf Qualitätsstandards geprüfte Plattformen mit DINI-Zertifikat erlaubt, oder der vom FID für das Projekt „open-access.network“ erstellte Überblick über disziplinäre (romanistische) Repositorien zu nennen.

Auf Verlage bezogen, existieren Ranking-Listen v.a. im Bereich des Buchhandels, die allerdings weniger die wissenschaftliche Qualität erfassen als vielmehr Größe und Umsatzzahlen.

Mit Blick auf die Evaluation von Zeitschriften geben einzelne Fachdatenbanken dar­über Auskunft, ob eine Zeitschrift Qualitätssicherung in Form von Peer-Review be­treibt (z.B. MLA Directory of Periodicals) oder von welchen Bibliographien sie ausgewertet wird (z.B. Ulrichs Periodicals Directory). Darüber hinaus lassen sich in einigen romanischen Ländern Beispiele für Zeitschriften-Listen finden, die von nationalen Institutionen gepflegt werden, um bestimmte Mindeststandards der For­schung einzufordern (z.B. ANVUR).

Zur Einschätzung der Reichweite einer Zeitschrift kann ihre Auswertung in einschlägigen Fachbibliographien und Datenbanken oder ihre Verbreitung in deutschen Bibliothe­ken laut Zeitschriftendatenbank (ZDB) geprüft werden. In den Naturwissenschaften wird auch häufig der sogenannte Impact Factor herangezogen, um Auskunft über die Bedeutung einer Zeitschrift geben. Er basiert in der Regel auf einer quantitativen Auswertung von Zitier­häufigkeiten, die über Zitationsdatenbanken wie Web of Science oder Sco­pus möglich ist. Da in diesen Datenbanken allerdings nur ein kleiner Teil der für die Philologien relevanten Zeitschriften ausgewertet wird, sind darüber gerade für die Romanistik kaum aussagekräftige Ergebnisse zu erzielen. Generell eignet sich dieses Verfahren nicht für die Geisteswis­senschaften, auch wenn es hier mittlerweile in Teilbereichen zur Anwendung kommt.

Weitere Links

• Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR)
  Italienische Positivlisten von Zeitschriften, die auf der Basis von transparenten Qualitätskriterien (wie regelmäßige Erscheinungsweise, Peer Review Verfahren, anerkannte Herausgeber und Autoren, Verfügbarkeit der Inhalte, Wissenschaftlichkeit der Inhalte, Internationale Öffnung) v.a. für Habilitationsprozesse erstellt wurden.
• Clasificación Integrada de Revistas Científicas (CIRC)
  Klassifizierende Liste wissenschaftlicher Zeit­schriften, teilweise basierend auf in den Naturwissen­schaften etablierten quantitativen Methoden.
• Google Scholar
  Bietet, basierend auf Zitierhäufigkeiten in Google Scholar, gerankte Listen von TOP-Zeitschriften zu einzelnen Fachgebieten (s.a. Google Scholar Metrics):
  • Language and Linguistics
  • Literature and Writing
  • French Studies
  • Latin American Studies
  • Film
  • Humanities, Literature and Arts (general).
• Revistas Españolas de Ciencias Sociales y Humanidades (RESH)
  Klassifizierende Liste spanischer wissenschaftlicher Zeit­schriften, teilweise basierend auf in den Naturwissen­schaften etablierten quantitativen Methoden.
• Fundación Española para la Ciencia y la Tecnología (FECYT)
  Gerankte Listen für spanische Zeitschriften zu einzelnen Fachgebieten, basierend auf in den Naturwissen­schaften etablierten quantitativen Methoden.
• Dialnet
  Bietet gerankte Listen für in Dialnet ausgewertete Zeitschriften, basierend auf Zitierhäufigkeiten, z.B. für folgende Fachgebiete:
  • Linguistik
  • Filología Hispánica
  • Filología Moderna
    (Erläuterung der Dialnet-Metriken)

Bei Verfahren für die Bewertung individueller Forschung geht es auf der einen Seite um sogenannte „Produkti­vitätsindikatoren“, welche sich auf die Publikationen und forschungsrelevanten Aktivitäten einer Person beziehen, und andererseits um sogenannte „Resonanzindikatoren“, welche die jeweilige Rezeption in den Blick nehmen, etwa über die Erfassung von Auszeichnungen, Re­zensionen, Präsenz in Fachbibliographien und nicht zuletzt der Zitierhäufigkeit.

Quantifiziert wird die Zitierhäufigkeit i.d.R. nach einem in den Naturwissenschaften verbreiteten Verfahren mit dem sogenannten Hirsch-Index bzw. h-Index. Laut Wikipedia hat ein Wissenschaftler einen Hirsch-Index oder h-index „h“, wenn h von seinen insgesamt N Publikationen mindestens h-mal zitiert wurden. Beispiel: Bei 10 publizierten Arbeiten mit Zitathäufigkeiten von 10, 9, 8, 7, 6, 5, 4, 3, 2, 1 ist der h-index 5, weil fünf Veröffentlichungen mindestens fünf Mal zitiert wurden. In den Geisteswissenschaften lässt sich dieses Verfahren aus den bereits genannten Gründen kaum anwenden.

Der Einsatz quantitativer Verfahren zur Qualitätsbeurteilung wird mit Blick auf die Romanistik und die Philologien generell als problematisch angesehen, da sie nicht auf die Besonderheiten dieser Disziplinen ausgerichtet sind. Dazu zählen die Bedeutung von Buchpublikationen, die in den Geisteswissenschaften generell gegenüber Zeitschriftenpublikationen einen größeren Stellenwert haben als in den Naturwissenschaften, sowie die rudimentäre, unausgewogene Datenbasis, auf die zurückgegriffen werden kann. Hinzu kommen teils intransparente Algorithmen so­wie eine grundsätzliche Manipulierbarkeit der Ergebnisse, wodurch eine Objektivität suggeriert wird, die de facto nicht gegeben ist. Die Skepsis gegenüber diesen Methoden der Qualitätsmessung ist daher nicht nur in den Geisteswissenschaften verbreitet, sondern schlägt sich in einer breiten Diskussion über die Fächergrenzen hinweg nieder.

Links zur Diskussion

• Declaration on Rese­arch Assessment (DORA)
• DFG-Kodex – Leitlinien zur Sicherung guter wissenschaftlicher Praxis, Leitlinie 15 Publikationsorgan.

• Eva Maria Remberger: „Publikationsstrategien in der Romanistik“, in: Mitteilungsheft des Deutschen Romanistenverbands, Herbst 2021, S. 23–26.