V dalším díle série o Metodice 2025+ se zaměřuji na Modul 3, který posuzuje společenskou relevanci fakult. V jednom z předchozích dílů jsem u lékařských fakult ukázal, že hodnocení v Modulu 1 nekoreluje s Modulem 3. Ani známky Modulu 1 dle „společenské relevance” nekorelují s modulem hodnotícím společenskou relevanci. Nemohlo ale jít jen o malý vzorek? Stejné srovnání si tentokrát vyzkoušíme na ekonomických fakultách. Rovněž se podíváme na další vzorek fakult s malým počtem, u kterých lze podrobně porovnat práci jednotlivých panelů – právnické fakulty.
Ekonomické fakulty
V tabulce jsou zařazeny fakulty či pracoviště, které jsou svým charakterem s ekonomickými fakultami srovnatelné – takto jsem identifikoval 33 jednotek (některé s určitými vysvětlujícími poznámkami).
Vítězem by podle známek v M3 měla být Ekonomická fakulta Technické univerzity v Liberci (EF TUL): ve všech parametrech obdržela plný počet bodů. Jenomže v protokolu z tripartity se u TUL dočteme, že „MŠMT dochází k závěru, že pozorované trendy systematického nadhodnocení snižují reliabilitu hodnocení MEP” (Mezinárodními evaluačními panely, pozn. redakce). Podobná námitka se v různých formách objevuje i u dalších šampionů: Univerzity Tomáše Bati ve Zlíně (UTB), Panevropské univerzity (PEUNI), Mendelovy univerzity v Brně (MENDELU) i Vysokého učení technického v Brně (VUT).
Nejlépe hodnocenými fakultami bez zpochybňující poznámky ze strany Ministerstva školství, mládeže a tělovýchovy (MŠMT) tak jsou Fakulta ekonomická Západočeské univerzity (FEK ZČU) a Provozně ekonomická fakulta České zemědělské univerzity (PEF ČZU). Obě mají čtyři čtyřky a dvě pětky, obě pětky ve stejných ukazatelích: v „uznání výzkumnou komunitou” a v „implementaci doporučení” z předchozího hodnocení. Na posledním místě skončila Anglo-americká vysoká škola (AAVŠ) se svou „School of Business”. MŠMT u této školy píše, že „AAVŠ vykazuje podle všech analýz provedených poskytovatelem (...) výkon hluboko pod očekávání i ve srovnání s dalšími VŠ hodnocenými stupněm D” a na jeho návrh byla z hodnocení vyřazena.
Ani na takto velkém vzorku se neobjevuje žádná významnější korelace mezi úspěšností v Modulech 1 a 3, a to ani pokud bereme v potaz pouze výsledky hodnocené kritériem „společenská relevance” (viz grafy). Průměrná známka všech výsledků těchto fakult v M1 je 3,11, těch v kritériu „společenská relevance” pak 3,60. Průměrná známka uvedených fakult v M3 je 3,72. Řada „podprůměrných” v M3 vykazuje nadprůměrně kvalitní výsledky a naopak.
Nejvíce do očí razící je případ CERGE, které má za vybrané výsledky téměř samé jedničky (nejlepší známka v M1), ale v M3 skončilo těsně poblíž průměru. Naopak z hlediska MEPů excelentní fakulty jako třeba Fakulta podnikatelská VUT nebo obě fakulty PEUNI skončily se svými vybranými výsledky v hlubokém podprůměru. Dá se z toho usuzovat, že společenská relevance pracoviště jako celku a společenská relevance výsledků tímto pracovištěm vytvářených jsou dvě zcela odlišné věci? Nebo spíše to, že se nedaří kalibrovat MEPy a je důvodné pochybovat o vypovídací hodnotě jejich zpráv?
Právnické fakulty
Oproti ekonomickým fakultám je fakult právnických malý počet – pouze čtyři. Z tohoto důvodu je ale lze z pohledu Modulu 3 srovnat velmi podrobně. Vítězem na body se stala Právnická fakulta Univerzity Palackého v Olomouci (dále PF UPOL, i když oficiální zkratka je PF UP), která dostala nejvyšší známku (5) v pěti ze šesti indikátorů. To je mimořádné skóre – další udělená pětka už byla jen jedna, dostala ji Právnická fakulta Masarykovy univerzity (dále PF MUNI, i když oficiální zkratka je PF MU) v indikátoru 3.3 „Výzkumné projekty”. Na druhém místě je Fakulta právnická Západočeské univerzity v Plzni (FPR ZČU), třetí místo obsadila Právnická fakulta MUNI. Na poslední příčce skončila Právnická fakulta Univerzity Karlovy (PF UK), která měla dvě dvojky coby „podprůměrné”.
Vzhledem k tomu, že ani u jedné ze čtyř škol s právnickými fakultami nevzneslo ministerstvo výhradu k nekonzistentnosti panelu, mohl by nezaujatý čtenář hodnoticích zpráv dojít k závěru, že je tu jasno: společensky nejrelevantnější právnický výzkum se dělá na UPOL a ten nejméně společensky relevantní na UK. Právníci z MUNI a ZČU jsou v této disciplíně někde uprostřed, přičemž na ZČU trochu lépe než na MUNI. Zda tento názor sdílí i naše právnická komunita, nechám otevřené: protože pocházím z jedné z těchto univerzit, určitě nemohu být považován za nestranného komentátora. A také protože právo není můj obor, nebudu se tu pokoušet svým kolegům mluvit do řemesla. Zkusím tu jen zmínit některé aspekty, které mne v hodnoticích zprávách zaujaly i jako bývalého člena MEPu. Podívejme se na jednotlivé indikátory.
Indikátor 3.2 Uznání výzkumnou komunitou
PF UK, PF MUNI a FPR ZČU dostaly 4, PF UPOL 5. Olomouc dostala pochvalu za vedení odborných organizací a sítí, dva fakultní časopisy indexované ve Scopusu, členství ve významných poradních orgánech, mezinárodní doktorské programy, zahraniční konference, hosty a několik významných ocenění. Samotný panel ale zároveň přiznává omezené zapojení do hodnocení zahraničních projektů, převahu středoevropských vazeb a nedostatečné zastoupení v západoevropských sítích. Pokud hodnocení 5 znamená, že lépe to ani nejde, nejsem si jistý, zda by k tomuto verdiktu dospěly i ostatní MEPy.
Indikátor 3.3 Výzkumné projekty
Nejlépe tu dopadla PF MUNI, která získala dva po sobě jdoucí ERC granty. To je mezi právnickými fakultami výjimečný výsledek a myslím, že nejlepší známka tu je udělena po zásluze.
PF UPOL s druhým nejlepším hodnocením uvádí kvalitní portfolio Grantové agentury ČR (GA ČR), Jean Monnet, EHP/Norsko a MSCA4Ukraine projektů a v osmi z deseti případů působila jako příjemce. Chybí však grant kalibru ERC a vedoucí role ve skutečně velkých evropských konsorciích. Laickým okem bych řekl, že známka 4 je přiměřená.
U FPR ZČU panel rozlišil užitečnost projektů od jejich vědecké náročnosti: většina byla domácí, menší či střední a fakulta v rozsáhlejších projektech obvykle nebyla koordinátorem. Trojka mi tu dává smysl.
PF UK má rozsáhlou projektovou aktivitu, ale převážně domácí financování, omezenější počet výrazných mezinárodních projektů a nerovnoměrné pokrytí oborů. Zda trojka plyne spíš z přísnějšího panelu nebo je přiměřená, si netroufám soudit.
Indikátor 3.4 Výsledky s dopadem na společnost
Právnická fakulta UPOL dostala 5, na MUNI a ZČU 4 a na UK pouze 3. Pětka pro PF UPOL je zdůvodněna tím, že fakulta vykázala mj. komentáře citované soudy, vliv na reformu mediace, výsledky týkající se předsudečného násilí, práce pro Radu Evropy, Evropský parlament, OECD či UNESCO, nebo aktivity její právní kliniky a bezplatné právní pomoci. Řada podobných typů dopadu je ale doložena také u UK a MUNI, které zůstaly o stupeň pozadu: odborné komentáře, legislativní vliv, soudní praxe, poradní činnost a vystupování ve veřejném prostoru. Panel UK pak značnou část odůvodnění své trojky věnoval domácím publikačním kanálům a nedostatku mezinárodních či teoretických publikací. Podle mne je to ale pláč na špatném hrobě: indikátor výsledků s dopadem na společnost má hodnotit něco jiného než teoretické publikace, které mají svůj revír v Modulech 1 a 2.
Indikátor 3.5 Přenos výsledků do praxe
Tady je to nejkrkolomnější. UPOL 5, UK a ZČU 4, ale MUNI v dalekém závěsu s podprůměrnou 2.
Panel UPOL akceptoval právně specifický transfer prostřednictvím komentářů, školení, expertních zpráv a profesního vzdělávání. Vyzdvihl téměř osminásobný růst příjmů ze školení (růst z 4,5 na 34,8 tisíce eur ročně).
Panel ZČU výslovně uznal, že prodej licencí a běžná komercializace (tedy to, o čem se píše v Metodice 25+ pro VŠ) jsou u právnické fakulty do značné míry irelevantní. Jako transfer přijal panel odborné posudky, legislativní činnost, komentáře, spolupráci s veřejnou správou a převádění poznatků do výuky.
Panel MUNI naopak požadoval audit soukromých vedlejších aktivit zaměstnanců (doslova „the faculty should conduct an audit of its members’ ancillary activities and to what extent these benefited from their employment at the faculty”) a zvažoval, zda by fakulta nemohla finančně těžit z jejich právní praxe. Do jaké míry je to ale možné? Předpokládám, že výkon soudce, advokáta či jiné regulované profese není automaticky transferem fakultního výzkumu. Na to, že podle sebeevaluační zprávy něco takového „samozřejmě” nejde, panel odpověděl, že tu může jít o nedostatek představivosti („we wonder whether the “obviousness” does not block imagination in this respect”). Pokud se tedy budou chtít v Brně do příštího hodnocení v této disciplíně zlepšit, budou nejspíš muset zapnout fantazii na plné obrátky.
Přečtěte si také
Letos se uzavřelo další pětileté kolo hodnocení výzkumu na vysokých školách. Nyní nastává čas na jeho reflexi na základě porovnání zpráv Mezinárodních evaluačních panelů. Myslím, že takové porovnání může posloužit školám při přípravě na příští hodnocení.
Indikátor 3.6 Popularizace a komunikace
Také zde je výrazná odlišnost: PF UPOL dostala 5, právnické fakulty na MUNI a ZČU 4 a na UK pouze 2.
PF UPOL doložila široký záběr: soutěž Democraticon zasahující téměř čtvrtinu českých středních škol, Street Law, právní kliniky, podcast, Noc práva, Noc vědců a aktivity pro seniory i zranitelné skupiny.
PF MUNI doložila rovněž velmi rozsáhlé aktivity s tisíci účastníků, přibližně stovkou mediálních výstupů, podcasty, otevřeným publikováním, dětskou univerzitou a Nocí práva. Čím přesně by se dal zdůvodnit rozdíl mezi 4 a 5 u těchto dvou škol si netroufám soudit.
PF UK v SER uvádí mimo jiné Noc vědců, pravidelné mediální komentáře, popularizační články, veřejné debaty, podcasty, Fakultní noc, Juridicum a další vzdělávání veřejnosti. Panel sám připouští „relatively wide range of activities“, ale uděluje 2 kvůli chybějící jednotné strategii a nedostatečné reflexi. Kritérium však hodnotí, jak je jednotka v popularizaci aktivní, nikoli primárně existenci strategického dokumentu. Opět je to pláč na špatném hrobě – strategie má být předmětem hodnocení v Modulech 4 a 5.
Kritérium 3.7 Realizace předchozích doporučení
Výsledky: UPOL 5, ZČU 4, MUNI 3, UK 2.
PF UPOL předložila detailní vazbu mezi sedmi minulými doporučeními a provedenými opatřeními. Je zajímavé, že panel hodnotí téměř výhradně její vlastní interpretaci a ne vždy dokládá měřitelný účinek.
Z evaluační zprávy plyne, že PF MUNI dostala 3 mimo jiné proto, že nový panel nesouhlasil s interpretací aplikovaného právního výzkumu použitou panelem z roku 2020. To, že se pohled předchozího nového panelu liší, lze číst i z vět „Therefore, while the 2020 Report stated that “The Faculty does exceptionally well in these regards and it the only recommendation we can make is to encourage the Faculty in developing ways of tracing and assessing these forms of impact”, we believe that the faculty should do more...”. Asi by mi ale nepřišlo fér být v kritériu „jak jste se popasovali s minulým doporučením” peskován za to, že nový panel čte ta doporučení jinak.
PF UK sice nepřevzala minulá doporučení v přesné tabulkové vazbě, ale popsala řadu opatření: rozvoj infrastruktury, projektové podpory, doktorandů, mezinárodních týmů, 4EU+, Horizontu Evropa a mezifakultní spolupráce. Panelu se ale nelíbilo, že to nebylo přesně bod po bodu: „The faculty has chosen not to reiterate recommendations from the last visit and explicitly reflect upon them.” Dostat za to podprůměrnou dvojku tu může být asi dost přísné – fakulta tu ztrácí poměrně hodně bodů za formální výkaznictví spíše než za reálný obsah.
Srovnání s Modulem 2
Žebříčkovat fakulty můžeme ale i podle známek v Modulu 1 zaměřeném na vybrané nejkvalitnější výsledky. Výsledky jsou (spolu s výsledky v M3) ve výše uvedené tabulce a grafech, jedná se o průměrná hodnocení v šestiletém období H20–H25. Pořadí fakult se nám tu poněkud přehází: nejlépe si tu vede MUNI (průměr 2,53) a nejhůře ZČU (3,38). Pozorovatelná korelace tu není žádná. Dokonce ani pokud množinu vybraných výsledků zúžíme na ty, které byly hodnoceny v kritériu „společenská relevance”, nenajdeme korelaci s úspěšností s Modulem 3. Pořadí se ale zase zamíchá: zvítězí UK (průměr 3,14) a na konci se ocitne MUNI (průměr 3,44). V tomto případě svou roli tu může hrát i malý vzorek: za celé šestileté období si tři z těchto fakult podle kritéria „společenská relevance” nechaly hodnotit jen jednociferný počet výsledků.
Co z toho plyne?
Především by si měli tvůrci Metodiky ujasnit, co přesně znamená „společenská relevance” výzkumu obecně a v právních či ekonomických vědách konkrétně. Pokud se v této kategorii hodnotí „přenos výsledků do praxe”, co se přesně počítá a hodnotí u právníků? Když je tam kolonka pro „komercionalizaci”, počítají se tam i tržby za poskytnutá školení? Do jaké míry se pak má posuzovat, zda šlo o rutinní školení nebo o předávání tvůrčích výsledků bádání dotyčného školitele?
Ministerstvo by si určitě mělo dát víc práce s kalibrací svých MEPů. Nejspíš by mohlo začít tak, že uvede vzorové případy, jaké parametry má pracoviště, které dostalo po zásluze 5, 4, 3 nebo 2 body. Tam, kde dojde k závěru, že v posledním hodnocení panel přestřelil nebo byl naopak nepřiměřeně přísný, mělo by na to upozornit. K ruce má svůj Odborný poradní orgán, který v tom může komunikovat s komunitou právníků, ekonomů či dalších oborových expertů a podobné otázky vyjasnit. V této věci může poté proškolovat své metodiky, kteří členy MEPu při jednáních doprovázejí. Až pak budou panelisté licitovat nad hodnocením jednotlivých pracovišť a nebudou si vědět rady, metodik je nasměruje k dokumentu, který podobnou otázku řeší. Případně je včas upozorní, že v daném kritériu je jejich výtka pláčem na špatném hrobě a ukáží jim cestu k tomu správnému. Než se začne chystat další kolo celostátního hodnocení (a uteče to jak voda), bude užitečné mít v tom jasno co nejdřív.
Autor: Tomáš Opatrný
Jedná se o úpravu textů, které autor publikoval na platformě DŽurnál
Příspěvky z rubriky Názory nijak nevyjadřují názory a postoje redakce.
