Javna agencija za znanstvenoraziskovalno in inovacijsko dejavnost Republike Slovenije

Odziv ARRS – Delo, Neznosna težavnost ocenjevanja, komentar Andreje Gomboc z Univerze v Novi Gorici (8. 11. 2018)

Navedbe v prispevku prof. dr. Andreje Gomboc z Univerze v Novi Gorici zahtevajo nekaj pojasnil, ki se v večini nanašajo na ažuriranje njenih navedb. Evalvacijski postopek nenehno nadgrajujemo v smeri krepitve njegove kakovosti. Obsežne spremembe smo začeli leta 2014 in se bistveno odmaknili od uporabe kvantitativnih kriterijev oziroma jih popolnoma izločili pri izbiri raziskovalnih projektov in programov.

Skladno s tem je navedba: »Numerologija […] v nekaterih razpisih ARRS neposredno vpliva na izbiro odobrenih projektov« v kontekstu izbora raziskovalnih projektov netočna in neažurna. Podatki v nacionalnem informacijskem sistemu Sicris (ali točke, kot največkrat uporabljen izraz) že zelo dolgo ne odločajo o tem, ali bo prijavitelj izbran na javnem razpisu na raziskovalne projekte ali ne. Protislovnost navedb, ki sledijo v prispevku avtorice in se nanašajo na t.i. peer-review potrjuje, da točke pri izboru ne igrajo nobene vloge.

V evalvacijskem procesu in v sistemu financiranja znanstvenoraziskovalne dejavnosti preko ARRS ni prostora za naključnost. Skladno s tem je izjemno zaskrbljujoča navedba o »naključnosti procesa izbora raziskovalnih projektov«. Sistem je natančno predpisan, izvedbo pa nadzorujejo opazovalci – neodvisne raziskovalke in raziskovalci, ki bdijo nad korektnostjo izvedb in o tem podajo tudi poročilo agenciji in Znanstvenemu svetu agencije, kot najvišjemu strokovnemu organu.

Recenzenti niso naključno izbrani. Seznam za posamezno področje predlaga pristojni član ali članica Znanstvenoraziskovalnega sveta. Skupni seznam, ki nastane na ta način, potrdi Znanstveni svet agencije. Nadzor nad korektnostjo izbora recenzentov ima Občasno strokovno telo. Poleg tega imajo tudi recenzenti ali recenzentke – kot je to običajno – možnost sporočiti, da posamezne vloge ne sprejmejo v evalvacijo, in agencija s sodelovanjem strokovnega telesa v tem primeru s potrjenega seznama kontaktira novega recenzenta ali recenzentko. Torej tudi v tem pogledu prostora za naključnost ni.

Usklajena poročila recenzentov so ena izmed sprememb, ki smo jih uspešno uvedli že z razpisom za raziskovalne projekte v letu 2017; aktualni razpis za raziskovalne projekte, kjer je avtorica spremembo opazila, je torej že drugi, ki teče z usklajenimi poročili. V primeru usklajene ocene individualne ocene recenzentov niso predmet razprave na panelu.

Z avtorico se lahko strinjamo z naslovom prispevka glede težavnosti ocenjevanja, s katero se soočajo vse agencije v Evropi in po svetu, pa tudi znanstvene revije. Prav tako se strinjamo glede stopnje uspešnosti, ki jo odrejajo prenizka sredstva. Kot ilustracijo navajamo, da so na zadnjem zaključenem razpisu za raziskovalne projekte dodatna sredstva v višini treh milijonov evrov dvignila stopnjo uspešnosti iz 18 % na 22 % (končna vrednost razpisa je bila 15 milijonov evrov).

Če bi uspeli sredstva za razpis za raziskovalne projekte vrniti na raven iz leta 2010 (razpis za leto 2011), ko je bilo razpisanih 22,3 milijona evrov, bi bila (ocenjujemo glede na podatke o številu prijav in višini zaprošenih sredstev zadnjega zaključenega razpisa) uspešna vsaka tretja prijava, kar bi pomenilo, da bi bile izbrane praktično vse visoko ocenjene projektne prijave.