Publikace jsou v případě akademických a vědeckých pracovníků výchozím bodem celého hodnocení. Publikační hodnocení tedy poskytne základ pro celkové hodnocení, přičemž ostatní činnosti jej budou pouze modifikovat (viz sekce Celkový výsledek hodnocení).
Na národní či univerzitní úrovni jsou naše publikace hodnoceny již řadu let, často ale ne příliš uspokojivým způsobem. Nechvalně známý „kafemlejnek“ počítal především kvantitu publikací (čím více, tím lépe), což často vedlo k velké produkci nepříliš kvalitních textů. Dnešní způsoby hodnocení již umí lépe akcentovat i kvalitu. Ta je posuzována buď na základě bibliometrie, nebo posouzením obsahu jinými akademiky (peer-review). Ani jeden z těchto způsobů však není zcela uspokojivý. Bibliometrie je rychlá a snadná, ale funguje poměrně dobře jen na některých oborech (na naší fakultě zejména na oborech sociálněvědních, popřípadě v některých proudech lingvistiky), zatímco na jiných mohou být její výsledky zkreslující. Peer-review oproti tomu sice vychází vstříc oborovým specifikům, je ale pracné, nákladné a jeho výsledky mohou být subjektivně zkresleny.
Náš model hodnocení proto čerpá z obou těchto přístupů, přičemž jsme si vědomi i jejich stinných stránek a aktivně hledáme cesty, jak je minimalizovat. Našim východiskem je respekt k rozmanitosti našich oborů a jejich specifikům. Kvalitu publikací sice posuzujeme na všech oborech podle shodných principů, ale počítáme s jejich odlišnými projevy. Z bibliometrie proto čerpáme jen u těch oborů, u nichž přináší reprezentativní výsledky. Kde její výsledky tak spolehlivé nejsou, saháme k jiným formálním kritériím (prestiž nakladatele, publikace či autorů zbylých kapitol kolektivní monografie atp.) nebo ke kritériím obsahovým.
Ve shodě s národním i univerzitním hodnocením nás každopádně kvalita zajímá více než kvantita. Každý pracovník proto do hodnocení nabízí pouze pět svých nejlepších publikací za posledních pět let, přičemž obstát může i s menším počtem (za předpokladu, že bude počet vyvážen kvalitou). Hodnocení v žádném případě nemá vytvářet tlak na co největší výkon. Má pomáhat rozvíjet co nejvyšší kvalitu našich publikací a kultivovat rozumné publikační strategie, které nám umožní dobrých výsledků dosahovat i bez rezignace na osobní či rodinný život.
Hdnocení je postaveno na kombinaci kritérií formálních a obsahových. Formální kritéria jsou výhodná v tom, že se s nimi snáz pracuje a mohou být srovnatelně aplikována na různé publikace (takže např. různé články v témže časopise získají totéž hodnocení). Proto by měla být východiskem všude tam, kde budou použitelná. V řadě případů ale postačovat nebudou a bude nutné je doplnit i posouzením obsahu. Podrobný popis všech kritérií naleznete v Manuálu pro hodnocení publikací.
U časopisů lze jejich prestiž často stanovit bibliometricky (pro naše obory bývá nejpoužitejnější scopusová metodika SRJ). U řady oborů je ale nutné bibliometrické údaje ručně korigovat (např. u časopisů mezioborových nebo neanglosaských, které pro určité typy článků mohou být vhodnější).
V řadě případů je ovšem bibliometrie použitelná jen málo, nebo dokonce vůbec. Ve Scopusu mohou třeba chybět klíčové oborové časopisy (např. v literatuře), případně v něm vůbec nefiguruje ani obor jako takový (např. asijská studia). Obecně je bibliometrie málo použitelná u monografií. V těchto všech případech je třeba prestiž publikace stanovit jiným způsobem – např. na základě významnosti autorů zbylých kapitol v dané kolektivní monografii/sborníku/časopise. Větší prestiž má zároveň publikace, v níž se sejdou autoři z různých zemí a pracovišť.
Obsahové hodnocení nespočívá v tak podrobném peer-review, jaké na základě důkladného čtení provádějí specialisté v rámci úzkého oboru. To by při tak velkém množství publikací ani nebylo realistické. Hodnotí se proto pouze ty stránky, které dokáží posoudit i zkušení akademici s lehce odlišnou odborností (např. lingvista zaměřený na jinou jazykovou oblast). Nejde tedy o zevrubnou analýzu, na jakou jsme zvyklí z recenzních posudků v časopisech. Jde spíše o pročtení textu s cílem zmapovat, jak autor postupuje, o jaké prameny se opírá, jakou práci s nimi provádí a na základě jaké metodologie, k jakým závěrům dospívá.
Pracovník může v rámci sebehodnocení uvést cokoli, co usnadní zhodnocení kvality dané publikace a umožní identifikovat její odborný přínos. Pro hodnotitele je taková charakteristika cenným zdrojem informací, byť ji zároveň sám kriticky posuzuje a na základě zbylých hodnoticích kritérií vyhodnocuje její realističnost.
Ke správnému zhodnocení mohou napomoci i ohlasy dané publikace (nejen citace, ale i recenze, reakce, ocenění apod.). Citace bývají v řadě oborů součástí formálních kritérií (jsou měřitelné dle rozličných metodik), v našich oborech ale citační rychlost nebývá taková, aby její měření dávalo v horizontu několika málo let smysl. Více pozornosti je proto věnováno obsahu jednotlivých ohlasů. Vítány jsou zejména přímé citace z těchto ohlasů. Díky tomu lze lépe rozpoznat, jak se k publikaci staví odborná komunita.
Každá publikace je individuálně ohodnocena a zařazena do jedné z následujících kategorií:
Toto hodnocení vychází z Metodiky 17+ RVVI, nicméně se od ní liší jasnějším rozlišením publikací ve světových a národních jazycích. Díky tomu se sníží riziko horšího hodnocení českých publikací relativně vůči těm anglickým.
“Světovost” je vždy závislá na oborovém kontextu. Světová publikace oslovuje mezinárodní odborné publikum. Tomu odpovídá jednak jazyk publikace, ale i vydavatel a další autoři publikující v daném čísle časopisu, sborníku či monografii. Proto ani u anglicky psaných publikací není světovost samozřejmostí (např. anglické články v českých časopisech s převážně českými autory jsou brány jako národní). Zahraniční publikace psané v méně rozšířených jazycích (dánština, polština, tibetština apod.) jsou primárně brány jako světové, neboť pro mnohé „semiperiferní“ země bývá důležité udržování přímých komunikačních kanálů namísto zprostředkovaného publikování přes anglosaské centrum. Podmínkou však je, že se v dané publikaci opravdu potkávají autoři z různých zemí (viz podrobněji Manuál pro hodnocení publikací, kap. 5).
Kromě hodnocení jednotlivých publikací získá pracovník i celkové publikační hodnocení A–E. To odpovídá „světové” škále A1–D1, „národní” škála A2–D2 je oproti ní ale posunuta o stupeň níž. Jinými slovy, převaha excelentních národních publikací povede k hodnocení B, převaha podprůměrných národních publikací k E. Tímto způsobem chceme stimulovat mezinárodní publikování, v němž zatím naše fakulta ve srovnání s jinými evropskými zeměmi zaostává. Přesná pravidla pro stanovování celkového publikačního hodnocení naleznete v Manuálu pro hodnocení publikací, kap. 14.
A1 – Světová excelentní | |
B1 – Světová významná | A2 – Národní excelentní |
C1 – Světová průměrná | B2 – Národní významná |
D1 – Světová podprůměrná | C2 – Národní průměrná |
D2 – Národní podprůměrná |