Raziskovalni projekti |
Normativni akti |
|
|
Metodologija ocenjevanja prijav na Javni razpis za (so)financiranje tematsko usmerjenih in splošnih temeljnih in aplikativnih raziskovalnih projektov, aplikativnih in podoktorskih (temeljnih in aplikativnih) raziskovalnih projektov v letu 2006
A. SPLOŠNO
Metodologija ocenjevanja prijav na
Javni razpis za (so)financiranje tematsko usmerjenih temeljnih in
aplikativnih raziskovalnih projektov, aplikativnih in podoktorskih (temeljnih in
aplikativnih) raziskovalnih projektov v letu 2006 (v nadaljevanju: javni razpis)
je pripravljena v skladu z določili
Pravilnika o (so)financiranju temeljnih, aplikativnih in podoktorskih
raziskovalnih projektov (Uradni list RS, št. 73/06 – v nadaljnjem besedilu:
pravilnik), in sicer 23. – 31. člena (evalvacijski pogoji, kriteriji, kazalci in
merila za ocenjevanje raziskovalnih projektov) ter 33. - 36. člena pravilnika (evalvacijski
postopek).
Metodologija ocenjevanja prijav določa potek ocenjevalnega postopka, elemente
ocenjevanja in druga določila, ki jih mora Znanstveni svet agencije s svojimi
strokovnimi telesi upoštevati pri pripravi predloga finančno ovrednotenega
sklepa o izboru prijav za (so)financiranje raziskovalnih projektov.
B. STROKOVNA TELESA IN RECENZENTI
Za izvedbo ocenjevalnega postopka na javni razpis imenuje
Znanstveni svet agencije občasno
Strokovno telo za ocenjevanje raziskovalnih projektov, skladno z
določilom 7. člena Pravilnika o
delovanju stalnih in občasnih strokovnih teles za področje raziskovalne
dejavnosti.
Naloge občasnega strokovnega telesa so opredeljene v 8. členu pravilnika.
Občasno strokovno telo za ocenjevanje raziskovalnih projektov med drugim izvaja
evalvacijski postopek v okviru razpisa in ocenjuje predloge vlog, prispelih na
razpis. Rezultat dela strokovnega telesa je predlog prednostne liste, vključno s
predlogom višine finančnih sredstev, ki ga posreduje Znanstvenemu svetu agencije
v obravnavo in sprejetje.
Pri izvajanju ocenjevalnega postopka občasno strokovno telo upošteva kazalce
in merila znanstvene in strokovne uspešnosti ter družbene relevance, kot so
določeni v Pravilniku o
kazalcih in merilih znanstvene in strokovne uspešnosti (Uradni list RS
39/06).
Na osnovi predloga ZSA, občasno Strokovno telo za ocenjevanje raziskovalnih
projektov imenuje recenzente in pri sestavi upošteva metodologijo
ocenjevalnega postopka.
Naloga recenzentov je izdelava ocene predlogov projektov prispelih na javni
razpis, skladno z metodologijo ocenjevanja. Recenzenti lahko svoje ocene
uskladijo na ocenjevalnih panelih.
C. ELEMENTI OCENJEVANJA – SKUPNA OCENA
Skupna ocena (ocena C) posamezne prijave – predloga projekta je
sestavljena iz dveh ocen, iz kvantitativne ocene (ocena A) in
ocene recenzentov (ocena B):
C = A + B.
C.1 Kvantitativna ocena – ocena A
Kvantitativno oceno sestavljajo tri ocene, od katerih sta dve za
znanstveno/strokovno uspešnost vodje projekta (oceni
A1
in A2)
in ena za relevantnost (ocena
A3).
Kvantitativne ocene se določijo na podlagi treh meril, in sicer:
- Bibliografski kazalci ter merila znanstvene in strokovne uspešnosti
skladno z določili 5. – 7. člena
Pravilniku o kazalcih
in merilih znanstvene in strokovne uspešnosti (Uradni list RS 39/06):
COBISS točke za objavljena znanstvena in strokovna dela za 5 letno obdobje
(2001- vključno 2006),
- Število citatov v obdobju zadnjih 10 let (1996 - vključno 2006) za vsa
objavljena dela iz baze
Web of Science,
- Sredstva drugih uporabnikov za 5 letno obdobje (2001 – vključno 2005).
Pri določanju kvantitativnih ocen za določeno znanstveno vedo se upoštevajo
različna merila, glede na specifike posamezne znanstvene vede, tako da je utež
posamezne ocene za določen element ocenjevanja in za vsako vedo različna. Ocena
A se dobi s seštevkom posameznih kvantitativnih ocen: A =
A1
+ A2
+ A3.
Kvantitativne ocene za posamezni element ocenjevanja in za posamezne znanstvene
vede so podane v Tabeli 1.
Mejno število točk za znanstvene objave (COBISS točke), citate in sredstva
drugih uporabnikov (FTE) je določeno na podlagi analize podatkov za posamezne
znanstvene vede. Mejno število točk za posamezno znanstveno vedo je tisto
število, nad katerim se uvrsti največ 10% raziskovalcev. Tako npr. 640 COBISS
točk v naravoslovju pomeni oceno A1 = 5, 160 COBISS točk pa oceno A1 = 1,25.
Raziskovalci, ki sodijo v kategorijo zgornjih 10% lahko dosežejo oceno, ki je
enkrat večja od ocene za mejno število točk.
Tabela 1: Kvantitativne ocene (ocena A) in ocene recenzentov (ocena B): ocene
za posamezne elemente ocenjevana in znanstvene vede oz. za interdisciplinarne
raziskave
Element ocenjevanja |
Znanstvena veda |
Naravosl. |
Tehnika |
Medicina |
Bioteh. |
Družb. |
Human. |
Interdis.
razisk. |
Kvantitativne ocene - ocena A |
Znanstvena/raziskovalna uspešnost
COBISS točke |
ocena
A1 |
5 (=640) |
3 (=630) |
7 (=400) |
5 (=370) |
5
(=540) |
12
(=900) |
5 (=600) |
Znanstvena/raziskovalna uspešnost
Citati |
ocena
A2 |
5 (=720) |
3 (=260) |
7 (=300) |
5 (=190) |
5 (=60) |
0 (=20) |
5 (=300) |
Relevantnost
Sredstva drugih uporabnikov (FTE) |
ocena
A3 |
5
(=3,40) |
4
(=5,60) |
0 (0,50) |
5
(=4,00) |
5
(=2,40) |
0
(=0,40) |
5
(=3,40) |
Ocene recenzentov - ocena B |
Kakovost
vsebine predloga
Tuji recenzent |
ocena
B1 |
5 |
6 |
3 |
5 |
5 |
3 |
5 |
Znanstvena/raziskoval. uspešnost
Tuji recenzent |
ocena
B2 |
5 |
6 |
3 |
5 |
5 |
3 |
5 |
Relevantnost
Domači recenzent |
ocena
B3 |
5 |
8 |
10 |
5 |
5 |
12 |
5 |
C.2 Ocene recenzentov – ocena B
Ocene recenzentov za posamezno znanstveno vedo in za določen element
ocenjevanja so različne, glede na specifike posamezne znanstvene vede, tako da
je utež posamezne ocene v skupni oceni recenzentov za vsako vedo različna. Ocena
B je sestavljena iz treh ocen, in sicer iz ocene
B1
za kakovost vsebine predloga
projekta, iz ocene
B2 za
znanstveno oz. raziskovalno uspešnost vodje projekta in
članov raziskovalne skupine (najpomembnejši znanstveni/raziskovalni dosežki) in
iz ocene
B3 za
relevantnost predloga projekta, ki med drugim vključuje tudi
možno sofinanciranje projekta, skladnost vsebine predloga projekta z razpisanimi
temami in vključenost oz. povezave s potekajočim(i) evropskim(i) projektom(i).
Skupna ocena se dobi s seštevkom ocen posameznih recenzentov:
B =
B1
+
B2
+ B3.
Ocene recenzentov za posamezni element ocenjevanja in za posamezne znanstvene
vede so podane v Tabeli 1.
Če je ocenjevanje znotraj vede razdeljeno na več skupin, potem se ocene teh
skupin normalizirajo glede na enako srednjo vrednost.
D. OCENJEVALNI POSTOPEK
Za posamezno znanstveno vedo oziroma za projekte na področju
interdisciplinarnih raziskav ter za vsakega od obeh tipov projektov glede na
velikost in za podoktorske projekte, se določi po en recenzent za vsako od treh
ocen oziroma za vsak element ocenjevanja posebej (kakovost vsebine predloga
projekta, znanstvena oz. raziskovalna uspešnost in relevantnost predloga
projekta). Tako bo za vsako znanstveno vedo in za projekte na področju
interdisciplinarnih raziskav določenih po 9 recenzentov, od tega 6 tujih in 3
domači. V kolikor bo na kateri od znanstvenih ved nesorazmerno veliko prijav
(predlogov projektov), bodo tam določeni še dodatni recenzenti, tako da bo
obremenitev posameznih recenzentov približno enaka in primerljiva.
Vsako prijavo – predlog projekta ocenijo trije recenzenti ločeno, in sicer
dva tuja recenzenta in en domač recenzent. En tuj recenzent ocenjuje kakovost
vsebine predloga projekta (ocena
B1), drugi pa znanstveno oz. raziskovalno
uspešnost vodje projekta in članov raziskovalne skupine (najpomembnejše
znanstvene/raziskovalne dosežke) (ocena
B2). Domači recenzent ocenjuje
relevantnost predloga projekta, ki med drugim vključuje tudi možno
sofinanciranje projekta, skladnost vsebine predloga projekta z razpisanimi
temami in vključenost oz. povezave s potekajočim(i) evropskim(i) projektom(i)
(ocena
B3).
Recenzenti ocenjujejo predloge projektov na podlagi pisnih navodil agencije.
Za posamezni element ocenjevanja recenzenti ocenijo prijavo na ta način, da
izpolnijo ocenjevalni obrazec, ki vsebuje številčno(e) oceno(e) po posameznih
elementih (kazalcih) in kratko opisno oceno oziroma komentar. Ocenjevanje bo
potekalo bodisi v prostorih, ki jih bo zagotovila agencija, bodisi po
elektronski pošti, ali kombinirano.
D.1 Kakovost vsebine predloga projekta – ocena
B1
Recenzenti ocenjujejo kakovost vsebine predloga projekta na podlagi obrazca
PRIJAVA PREDLOGA PROJEKTA, III DEL: VSEBINA PREDLOGA RAZISKOVALNEGA PROJEKTA
(obrazec: ARRS-ZV-JR-PROJ-2006-III) in pri tem nimajo vpogleda v II DEL prijavnega
obrazca (obrazec: ARRS-ZV-JR-PROJ-2006-II), kjer so navedeni podatki o vodji
projekta in projektni skupini. Ocenjuje se predvsem točka 2. PREDLOG
RAZISKOVALNEGA PROJEKTA. Recenzenti izpolnijo ocenjevalni list B, in sicer prvi
del, kjer je ocena
B1
za kakovost vsebine predloga projekta.
Recenzenti ocenjujejo naslednje kazalce:
- Znanstvena kakovost (1 – X)
- znanstvena pomembnost teme
- aktualnost
izhodiščne hipoteze in metodološka primernost
- Izvedljivost vsebine projekta
glede na: (1 – X)
- predlagano trajanje projekta
- obseg projekta
- razpoložljivost raziskovalne opreme
- Skladnost vsebine projekta z razpisano
temo (DA ali NE) (za tematske projekte)
kjer je X ocena za kakovost vsebine predloga v Tabeli 1 za posamezno
znanstveno vedo.
Ocena B1 se določi kot povprečje obeh delnih ocen, zaokroženo na eno
decimalko.
Potem, ko je bila določena ocena za kakovost vsebine predloga projekta, se
projekti razvrstijo po velikosti glede na oceno
B1in se iz nadaljnjega postopka
ocenjevanja izloči 20 % projektov, ki so bili ocenjeni najniže. Teh 20 %
vključuje tudi tematske projekte, ki so bili izločeni zato, ker je recenzent
ocenil, da vsebina tematskega projekta ni skladna z razpisano temo. Zato je
lahko izločenih tudi več kot 20 % projektov. V primeru, ko ima več projektov
enako število doseženih točk, se izloči tisto število projektov, ki je najbližje
20 %, kar lahko pomeni nekaj več ali nekaj manj kot 20%.
D.2 Znanstvena oz. raziskovalna uspešnost projektne skupine – ocena
B2
Recenzenti ocenjujejo znanstveno oz. raziskovalno uspešnost vodje projekta in
članov raziskovalne skupine na podlagi obrazca PRIJAVA PREDLOGA PROJEKTA, II DEL:
VODJA RAZISKOVALNEGA PROJEKTA IN PROJEKTNA SKUPINA (obrazec: ARRS-ZV-JR-PROJ-2006-II). Recenzenti izpolnijo ocenjevalni list B, in sicer drugi del,
kjer je ocena
B2
za znanstveno oziroma raziskovalno uspešnost.
Za ocenjevanje znanstvene in raziskovalne uspešnost bo agencija pripravila
tudi podatke o uvrstitvi znanstvene produkcije raziskovalcev znotraj
raziskovalnih področij.
Ocenjujejo se naslednji kazalci:
- Reference vodje raziskovalnega projekta (1 – Y)
- usposobljenost vodje
projekta
- odmevnost znanstvenih del vodje
- Reference ostalih članov projektne
skupine (1 – Y)
- usposobljenost ostalih članov projektne skupine
- odmevnost
znanstvenih del ostalih članov projektne skupine
- Mednarodna vpetost skupine
(1 – Y)
- sodelovanje v mednarodnih projektih
- druge oblike mednarodnega
sodelovanja
- Relevantnost projektne skupine za gospodarski/družbeni razvoj (1
– Y)
- patenti
- sodelovanje z uporabniki
kjer je Y ocena za kakovost vsebine predloga v Tabeli 1 za posamezno
znanstveno vedo.
Ocena B2 se določi kot povprečje delnih ocen, zaokroženo na eno decimalko.
D.3 Relevantnost predloga projekta - ocena
B3
Recenzenti ocenjujejo relevantnost predloga projekta na podlagi obrazca
PRIJAVA PREDLOGA PROJEKTA, III DEL: VSEBINA PREDLOGA RAZISKOVALNEGA PROJEKTA
(obrazec: ARRS-ZV-JR-PROJ-2006-III). Ocenjuje se predvsem točka 3. POMEN
PRIČAKOVANIH REZULTATOV RAZISKOVALNEGA PROJEKTA ter točka 2. PREDLOG
RAZISKOVALNEGA PROJEKTA. Recenzenti izpolnijo ocenjevalni list B in sicer tretji
del, kjer je ocena
B3 za relevantnost predloga projekta.
Recenzenti ocenjujejo naslednje kazalce:
- Potencialni družbeno-ekonomski učinki (točka 3)
(1 – Z)
- pomen za razvoj znanosti
- možnosti za uporabo raziskovalnih
rezultatov
- pomen za sofinancerje/uporabnike
- pomen za družbeno-ekonomski
razvoj in/ali za ohranjanje naravne in kulturne dediščine
- Možno sofinanciranje projekta (točka 3.3) (1 – Z)
- Skladnost vsebine predloga projekta z razpisanimi temami (točka 2) (1 – Z)
- Vključenost oziroma povezave s potekajočim(i) evropskim(i)
projektom(i) (točki 2.8 in 2.9) (1 – Z)
kjer je Z ocena za relevantnost predloga projekta v Tabeli 1 za posamezno
znanstveno vedo.
Ocena
B3 se določi kot povprečje delnih ocen, zaokroženo na eno decimalko. Če
je ocena B3/1 enaka 1 se projekt avtomatično izloči.
D.4 Skupna ocena, razvrstitev predlogov projektov ter predlog sklepa o izboru
prijav za (so)financiranje raziskovalnih projektov
Skupna ocena predloga projekta C je seštevek kvantitativne ocene A in ocene
recenzentov B. Ne glede na znanstveno vedo, kjer so uteži za posamezne ocene
oziroma za določen element ocenjevanja različne, je lahko skupna ocena C
predloga projekta največ 30, če so število točk za znanstvene objave (COBISS
točke), za citate in za sredstva drugih uporabnikov (FTE) manjši od mejnih
vrednosti podanih v Tabeli 1. Mejno število točk je tisto število, nad katerim
se uvrsti največ 10% raziskovalcev. Za tiste raziskovalce, ki presegajo v Tabeli
1 določeno mejno števila točk, je skupna ocena lahko tudi večja od 30, vendar ne
več, kot za še eno vrednost ocene tistega elementa ocenjevanja, kjer število
točk presega mejno vrednost.
Predlogi projektov se za posamezne znanstvene vede in za interdisciplinarne
projekte razvrstijo glede na doseženo skupno oceno C po posameznih kategorijah,
in sicer: veliki projekti (tip A), mali projekti (tip B), postdoktorski projekti
(temeljni), postdoktorski projekti (aplikativni) in postdoktorski projekti za
gospodarstvo.
Znanstveni svet agencije s svojimi strokovnimi telesi pripravi predlog
finančno ovrednotenega sklepa o izboru prijav za (so)financiranje raziskovalnih
projektov na podlagi razvrstitve prijav glede na doseženo skupno oceno predlogov
projektov in glede na razpisano število projektov po posameznih kategorijah.
Predlog sklepa o izboru prijav za (so)financiranje malih raziskovalnih projektov
(tip B) se bo določil, tako da se na listo uvrstijo najprej po en najbolje
ocenjeni projekt na vsakem od področij znotraj znanstvene vede, nato pa se
uvrstijo še preostali predlogi glede na doseženo skupno oceno in razpisano
število projektov v tej kategoriji. Predlog sklepa o izboru prijav za
(so)financiranje raziskovalnih projektov se pripravi za vsako znanstveno vedo in
za projekte na področju interdisciplinarnih raziskav posebej, in sicer ločeno za
velike in za male projekte ter za podoktorske projekte.
Ljubljana, dne 11. 7. 2006
Dr. Franci Demšar
Direktor
Dr. Jure Zupan
Minister
|