Der FWF hat höchste Evaluierungs- und Entscheidungsstandards entwickelt und überprüft diese regelmäßig. In Zusammenarbeit mit Ministerien, Förderinstitutionen und als Mitglied der Österreichischen Plattform für Forschungs- und Technologiepolitikevaluierung (fteval) trägt der FWF dazu bei, die Verankerung dieser Standards in der österreichischen Forschungsförderkultur voranzubringen. Eine detaillierte Darstellung der zugrunde liegenden Prinzipien ist online zu finden. Der FWF ist sowohl Anwender, Auftraggeber als auch Gegenstand von Evaluierungen.
Evaluierungen und Qualitätssicherung
Peer-Review von Forschungsvorhaben
Die maßgeschneiderte Begutachtung von Projekten ist das Rückgrat der Arbeit des FWF. Sie bildet die Basis der Qualitätssicherung in allen seinen Förderprogrammen. Dafür wird internationales Peer-Review als Instrument genutzt. Bei diesem Verfahren verfassen einschlägig ausgewiesene Expert:innen (fachlich den jeweiligen Anträgen bzw. Antragstellenden nahestehende Wissenschaftler:innen oder „Peers“) Gutachten, die für die Entscheidungsfindung die Grundlage bilden (nähere Informationen zum Entscheidungsverfahren). Der FWF verfügt über keinen festen Pool an Gutachter:innen. Sie werden für jeden Projektantrag fachspezifisch ausgewählt. Internationalität ist der Kernpunkt des Peer-Review-Verfahrens des FWF: Gutachter:innen kommen ausschließlich aus dem Ausland, ein Drittel davon aus dem nicht deutschsprachigen Ausland und ein weiteres Drittel aus Übersee; zudem bemüht sich der FWF, mehr als 30 Prozent der Gutachten von Wissenschaftlerinnen einzuholen. Die überwiegende Zahl der Gutachten wird auf schriftlichem Wege eingeholt, bei komplexen kooperativen Programmen, Preisen oder im Rahmen der Exzellenzinitiative excellent=austria kommen ebenso Reviews-Panels oder Jurys zum Einsatz, wo Expert:innen mit den Antragsteller:innen im Rahmen von Hearings interagieren und/oder die Gutachten als Entscheidungsgrundlage hinzuziehen.
Bei allen Verfahrensschritten hat der FWF umfassende Maßnahmen zur Vermeidung von Befangenheiten und zur wechselseitigen Kontrolle („Mehraugenprinzip“) implementiert. Dieses gilt für alle Beteiligten: Gutachter:innen, Jurymitglieder, Referent:innen des FWF und Mitarbeiter:innen des FWF.
Begutachtung von durchgeführten Projekten
Die Begutachtung von durchgeführten Projekten durch Peer-Review wurde von 2003 bis 2023 durchgeführt und wird mit dem Jahr 2024 auf ein Monitoring-System umgestellt, das für interne und externe Evaluierungen herangezogen wird und der Öffentlichkeit einen unkomplizierten Einblick in die Projektergebnisse ermöglicht.
Dieses Ex-post-Monitoring liefert Informationen zu Projektverlauf und -erfolg sowie für die weiterführende Wissenschaftskommunikation. Eckdaten der Projektergebnisse werden im FWF-Forschungsradar veröffentlicht. Erfasst werden wissenschaftliche Veröffentlichungen und Beiträge bei Fachtagungen, Karriereverläufe von Projektbeteiligten (insbesondere des wissenschaftlichen Nachwuchses), besondere Auszeichnungen und Preise im Zusammenhang mit dem Projekt sowie anwendungsorientierte Resultate wie Patentanmeldungen und Lizenzen, sowie Maßnahmen zur Wissenschaftskommunikation. Steigenden Wert legt der FWF hier auf die Nutzung von Open Access zur Veröffentlichung wissenschaftlicher Ergebnisse.
Alle diese Daten sind eine essenzielle Grundlage für interne und externe Evaluierungen und die Darstellung des Impacts der FWF-Fördertätigkeit, sowohl national als auch international.
Programmevaluierungen – der FWF als Auftraggeber
Die Förderprogramme des FWF werden regelmäßig im Hinblick auf Design, Ablauf und Wirkung untersucht. So wird eine solide Basis geschaffen, um die Fördertätigkeit hinsichtlich Effizienz und Impact zu überprüfen und im nationalen und internationalen Vergleich zu analysieren. Dabei finden die Standards der Österreichischen Plattform für Forschungs- und Technologiepolitikevaluierung Anwendung.
Evaluierungen werden grundsätzlich an unabhängige, professionelle, einschlägig ausgewiesene Evaluator:innen (bzw. entsprechende Institutionen) vergeben.
Je nach Größe und Dauer des Programms können in der Regel vier Evaluierungstypen zur Anwendung kommen:
- Programmevaluierung: Evaluierung eines einzelnen Programms nach einer gewissen Laufzeit (durch externe Expert:innen)
- Portfolioevaluierung: Evaluierung ähnlicher Programme oder des gesamten Programmportfolios (durch externe Expert:innen)
- Begleitende Evaluierung: Evaluierungen der Antrags- und Entscheidungsverfahren bei neuen Programmen (durch externe Expert:innen)
- Kennzahlenmonitoring: Erhebung und Analyse von Input- und Output-Kennzahlen bei kleineren FWF-Programmen (i. d. R. durch den FWF)
Alle Evaluierungen und die zugrunde liegenden Materialien/Daten werden (i. d. R. zusammen mit einer Stellungnahme des FWF) frei zugänglich über das Repositorium Zenodo, das Repositorium der fteval und die FWF-Website unter einer CC BY-Lizenz veröffentlicht.
Evaluierung des FWF – der FWF als Gegenstand von Evaluierungen
Für die Forschungspolitik muss auch eine Förderinstitution wie der FWF selbst Gegenstand von Evaluierungen sein, wobei seine Arbeitsweise, sein Leistungsportfolio und seine Positionierung im nationalen und internationalen Innovationssystem durchleuchtet werden. Projektmonitoring und Programmevaluierungen sind für solche Evaluierungen und Analysen unerlässliche Grundlagen.
Weiters hat der FWF eine Reihe von Studien zur (Selbst-)Evaluierung initiiert, die in regelmäßigen Abständen die Entscheidungsverfahren, Projektergebnisse und andere Themenfelder analysieren. Die Ergebnisse finden Sie hier online: Zenodo
Schließlich stellen gemäß Forschungs- und Technologieförderungsgesetz (FTFG) das Mehrjahresprogramm und die Finanzierungsvereinbarung mit dem zuständigen Ministerium zentrale Säulen der Leistungsevaluierung des FWF gegenüber der Öffentlichkeit dar.