Zodpovědné hodnocení výzkumu: Co to je a o co mu skutečně jde

Hodnocení výzkumu je zakotveno v nejširším kontextu akademické kultury s přímým i nepřímým dopadem na její kvalitu. Rovněž má svá kulturní, politická a legislativní východiska. Gunnar Sivertsen, norský specialista na hodnocení výzkumu a výzkumnou politiku, publikoval v roce 2017 reflexi britského hodnocení vědy Research Excellence Framework (REF), „Unique, but still best practice“. Připojil i úvahu, proč není možné systém hodnocení, vnímaný jako inspirace a dobrá praxe, jednoduše zkopírovat do jiného geografického kontextu. Přesto však obecné principy této dobré praxe platí mezinárodně.

Dopady hodnocení na motivace, strategie, kariéry, duševní zdraví jednotlivců, ale i celý výzkumný systém jsou předmětem dlouhodobého studia. Silnou tradici takového meta-výzkumu má Velká Británie, od vydání díla The Metric Tide, přes vznik mezinárodního sdružení expertů Research on Research Institute (RoRI) v roce 2019, a završenou vytvořením vládní Metascience Unit v listopadu 2023. Výzkum dopadů vedl k formulaci konceptu zodpovědného hodnocení výzkumu (Responsible Research Assessment – RRA), jenž je dnes zakotven již v mnoha různých iniciativách a dokumentech v různé míře podrobnosti a zaměření. Podle jedné z definic je zodpovědné hodnocení přístup, který motivuje, odráží a odměňuje různé znaky vysoce kvalitního výzkumu a podporuje tak rozmanitost a inkluzivitu výzkumné kultury. V roce 2022 vznikl s podporou Evropské komise dokument The Agreement on Reforming Research Assessment (ARRA), jenž shrnuje nejdůležitější závazky vůči zodpovědným praktikám v hodnocení. ARRA a související koalice jeho signatářů – CoARA – je nejnovější a asi i nejvlivnější iniciativou.

Od DORA ke CoARA a dál

První globální výzva k revizi takového přístupu k hodnocení výzkumu a jednotlivců, která je jednostranně zaměřená na nevhodné metriky, je však již bezmála 12 let stará. V prosinci 2012 vznikla San Francisco Declaration on Research Assessment (DORA), která nabádá vědce, vydavatele a instituce nevyužívat impakt faktor pro hodnocení kvality vědeckých článků a vědců, a naproti tomu brát v úvahu obsah samotných článků, význam výzkumu a zahrnout do hodnocení všechny typy výstupů. DORA je stále velmi aktuální a je nejdůležitějším stavebním kamenem všech navazujících iniciativ. Na portálu VědaVýzkum.cz jsme o ní psali v roce 2020, nedávno její znění rozebíral Daniel Münich. Deklaraci DORA je však nutno vnímat jako ideovou výzvu, k jejímuž naplnění si instituce hledají vlastní cesty. O nich je možné si přečíst ve stále se rozšiřujících případových studiích implementací.

Další z iniciativ, Leidenský manifest (Leiden Manifesto for Research Metrics, 2015), který napsali většinově autoři z Centre for Science and Technology Studies (CWTS) v nizozemském Leidenu, asi nejdůležitější evropské instituci pro scientometrický výzkum, kodifikuje dobrou praxi ve scientometrii. Jeho deset zásad se v něčem překrývá s DORA, například v centrální roli kvalitativního expertního hodnocení, jehož má být scientometrie podporou. Až na úroveň hodnocení jednotlivců pak cílí Hongkongské principy (Hong Kong Principles), které vyzývají k zahrnutí výzkumné integrity a otevřené vědy mezi kritéria hodnocení a k oceňování všech akademických aktivit, mimo vlastního výzkumu třeba také mentorství a recenzní činnosti.

Triáda zmíněných iniciativ je klíčová v genezi globálního hnutí Coalition on Advancing Research Assessment (CoARA). Koalice sdružuje instituce, které slíbily naplnit 10 závazků ARRA, zejména čtyři nejdůležitější:

1. Rozeznávat diverzitu v kariérách, praxi a aktivitách ve výzkumu v různých oborech.
2. Založit hodnocení výzkumu především na kvalitativním hodnocení s ústřední rolí peer review, podpořeného zodpovědným používáním kvantitativních ukazatelů.
3. Upustit od nevhodného používání metrik na úrovni publikací i časopisů, zejména impakt faktoru, AIS a h-indexu.
4. Vyhnout se používání institucionálních žebříčků v hodnocení výzkumu.

O dokumentu ARRA jsme již na portále VědaVýzkum.cz (1, 2) psali. Závazky deklarace staví na již existujících principech, ale vychází z teze, že systémy hodnocení se více než dekádu po DORA stále opírají o nevhodné ukazatele a metodologie, a kladou přílišný důraz na zjednodušující metriky, jako jsou počet publikací v časopisech s vysokým impaktem a počet citací. ARRA podepsalo k 4. říjnu 2024 bezmála 800 institucí. Koalice podporuje realizaci obecně formulovaných závazků, pořádá pravidelná setkávání, nabízí platformu pro komunikaci a v omezené míře také finance prostřednictvím projektu podpořeného v programu Horizont Evropa, z něhož dále kaskádovitě rozděluje granty.

Instituce se svým podpisem zavazuje reformu implementovat. Jakkoli nelze reformu právně vymáhat, symbolický efekt podpisu je silný. Systém veřejně publikovaných akčních plánů tuto motivaci ještě posiluje. Pod CoaRA aktuálně funguje 16 národních organizací, zaměřených na podporu implementace v dané zemi, a 13 pracovních skupin. Prostřednictvím nich se na obecně formulované závazky napojují dílčí témata, například hodnocení kariér nebo téma zodpovědných metrik. V České republice je v říjnu 2024 zatím 14 signatářů včetně Úřadu vlády a MŠMT. Místopředseda RVVI a koordinátor národního hodnocení Tomáš Polívka si myslí, že Metodika 2017+ závazky CoARA splňuje: „I když některé teze jsou jen problematicky aplikovatelné zejména z kapacitních důvodů (např. téměř absolutní závislost hodnocení na peer-review), hlavní zásady ARRA jsou v souladu s tím, kam by se národní hodnocení VaVaI v ČR mělo ubírat. Část hodnocení využívá bibliometrické parametry, tyto jsou ale vždy interpretovány a komentovány členy odborných panelů, což lze dle mého názoru považovat za zodpovědné používání bibliometrických dat. Všechny moduly hodnocení tedy využívají peer-review.“

V Maďarsku a Rakousku je stejné množství signatářů jako v ČR, v Německu 40, v Polsku však již 60. Velká Británie jich má 26 a Norsko 24. Všechny zmíněné země kromě Rakouska mají v rámci CoARA aktivní národní organizaci pro podporu reformy. Nelze tedy říct, že by tyto poměry byly vyvážené, ostatně různorodé mohou být i možnosti institucí v národně specifických kontextech. Tato iniciativa má však obecně značnou popularitu a ohlas a účast v ní se na evropské scéně stala až dobrým mravem. Přesto zaznívá i kritika.

Znamená zodpovědné hodnocení opuštění metrik?

Přes snahu o precizní komunikaci chybí dokumentu ARRA větší podrobnost a snad i modernost, vzhledem k rozsahu témat, jež se dnes v kontextu zodpovědného hodnocení řeší, a ke stavu poznání. Giovanni Abramo, ředitel International Society for Scientometrics and Informetrics (ISSI) kritizuje CoARA za nevyváženost. Podle něj vede k démonizaci scientometrie a opomíjí seriózní výzkum v oblasti scientometrie – přínosy odborně vyššího kvantitativního přístupu, který je oborově normalizován a ve vhodných situacích kontextualizován. Tato kritika však spíše ukazuje na často tradovanou zkratku v interpretaci závazku ARRA k vyloučení „nevhodného užívání metrik“. Nevhodně zvolená kvantitativní kritéria podle řady studií skutečně vedou k pokřivení vědeckých motivací. Ale koncept zodpovědného hodnocení v širším smyslu, do nějž CoARA patří, v principu nemá být kampaní za úplné odstranění metrik, jakkoli i k tomuto kroku některé akademické instituce přistoupily. Podobně použití metrik může pro někoho znamenat pouze impakt faktor, ale pro jiné vícerozměrný set oborově normalizovaných ukazatelů. Odborná komunita v oblasti vědní politiky, hodnocení vědy a scientometrie dlouhodobě studuje kvantitativní přístupy, propaguje zodpovědnost a nutnost odpovídající expertízy. Ostatně koncept zodpovědných metrik obsahuje i Leidenský manifest a aktualizovaná meta-evaluace britského REF, dokument Harnessing the Metric Tide.

V chápání závazků CoARA panuje mezi členy kvůli rozdílnému politickému a kulturnímu prostředí značná diverzita. Práce expertních skupin v rámci CoARA tedy povede mimo jiné k upřesnění některých pojmů a interpretace závazků. V případě vypořádání se s rolí metrik v hodnocení půjde o definici zodpovědnosti, o nutnost znát účel a kontext a o požadavek pracovat s dostatečným rozsahem využívaných metrik (vícerozměrnost).    

Odborná scientometrie umí pracovat s indikátory, které mohou reprezentovat koncept kvality. To znamená, že diskusi nelze zjednodušovat na binární postoje typu metriky vs. peer review nebo dobrá vs. špatná metrika. Abramo ve zmíněném článku kritizuje absenci dialogu se scientometrickou komunitou ve fázi přípravy dokumentu ARRA a konfrontuje pojetí peer review jako hlavní metody hodnocení z pohledu efektivity pro daný účel. Podle Abrama, ale třeba i Ludo Waltmana, kmenového výzkumníka leidenského centra CWTS, může pokročilý indikátor i s rizikem menší citlivosti reprezentovat kvalitu pro rozhodování na úrovni oborů nebo národních systémů. Pravdou je, že ARRA přesněji nedefinuje úrovně hodnocení, a tak se do jejích závazků snaží napasovat jak národní systémy, tak i hodnocení jednotlivců, jež zasluhují být hodnoceni na základě většího spektra kritérií. Příkladem slouží Utrecht University, která, podobně jako univerzita v Ghentu, již před několika lety zrušila metriky v kariérních evaluacích a zavedla narativní formu. Tento nizozemský přístup vysvětluje kampaň Room for Everyone’s Talent.

Úplné upuštění od metrik však vyvolalo ambivalentní reakci části akademické komunity obávající se relativizace významu publikačního kanálu a ztráty objektivního měřítka, pevné půdy pod nohama. Oborové, ale i politické a kulturní postoje k vhodnosti různých metod hodnocení tedy oscilují od naprostého odmítnutí metrik, až k jejich bezvýhradné preferenci. Ekonom Daniel Münich k tomu doplňuje: „Scientometrické indikátory jsou důležitou součástí kvalitních podkladů hodnocení vědy, hlavně pro pracoviště a obory. Bez kvalitních podkladů totiž nemůže být ani kvalitní hodnocení. Indikátory jsou dobrý sluha, ale mohou se stát i špatným pánem, když se používají nevhodně. Ti, kdo šmahem odmítají indikátory, mají často idealistické představy o alternativních formách hodnocení, o jejich spolehlivosti, nákladové přiměřenosti a časové dosažitelnosti. Oba extrémy, hodnocení zcela bez indikátorů, nebo čistě indikátorové hodnocení, jsou mnohem horší než vhodná kombinace obou. Mimochodem, mnozí vědci odmítají používání indikátorů i ze strachu, že by indikátory nasvítily jejich podprůměrnost.“

Kam dál v zodpovědném hodnocení?

Cílem různých iniciativ je mimo jiné vnést do kultury hodnocení více expertízy, která zajistí využití vhodné metody pro daný účel a neponechá pojetí kvality na indikátorech laicky a arbitrárně zvolené k jejímu měření. V případě metrik expertní přístup zajistí, že jejich využití bude respektovat oborové publikační vzorce, indikátory nebudou redukovat okruh sledovaných problémů a zjednodušující indikátory nebudou přímo ovlivňovat kariéry. Například hodnocení jednotlivců v Norsku využívá NOR-CAM, strukturovanou matici různých aspektů vědecké kariéry, ukazatelů a kritérií pro jejich hodnocení na narativním principu.

Zodpovědné hodnocení dále vyžaduje transparentní, pluralistické a demokratické nástroje s otevřenými metadaty (např. databáze Dimensions, Initiative for Open Citations), národní publikační databáze, schopné kompenzovat mezery v pokrytí mezinárodními databázemi Web of Science a Scopus, nebo například metriky nové generace pro další funkce vědeckého časopisu. Zodpovědné hodnocení je otázka celkové kultivace. K ní přispívají další témata, která mají své dílčí cíle a komunity: pracovní skupina CoARA k multijazykovosti vytvořená na bázi Helsinki Initative on Multilingualism, nebo pracovní skupina k hodnocení ve společenských a humanitních vědách organizována aliancí EASSH (European Alliance for Social Sciences and Humanities).

Na příkladu Velké Británie lze ukázat, že k problematice hodnocení, výzkumného prostředí a kultury přispívají a jsou respektovány komunity manažerů a administrátorů ve výzkumu: protokol SCOPE, vyvinutý expertní skupinou asociace INORMS, je v mnoha ohledech praktičtější než samotná CoARA. Ještě lépe – jejich propojením vzniká pro reformu smysluplné kombo. SCOPE představuje vzorové schéma pro organizaci hodnocení za dodržení hlavních zásad: evaluovat jen, když je to nutné, věnovat hodnocení výzkumu stejnou expertizu jako samotnému výzkumu a do plánování zapojit i ty, jež budou evaluováni.

Písmena zkratky SCOPE pak odkazují na kroky, jež nelze v procesu hodnocení vynechat: od nastavení cílů až k evaluaci evaluace. Stanovení vlastních hodnot a oborových očekávání, vůči kterým se hodnocení provádí, je podle autorů SCOPE nakonec to nejdůležitější. Metriky, peer review nebo jejich kombinace pak mohou být legitimní metodou.

 

Autor: Michal Petr