Strojno učenje, ak. god. 2010/11.

SU2010: Upute za recenzente

Upute za recenzente
za konferenciju SU2010

1. Opće napomene
Radovi za konferenciju SU2010 ocjenjuju se po načelima recenzije znanstvenog rada (engl. peer
review). Općenito, svrha takve recenzije je dvojaka: (1) ocijeniti kvalitetu rada, kako bi se odlučilo
je li rad uopće dovoljno dobar i dovoljno značajan za objavljivanje te (2) dati povratne informacije
autorima kako mogu poboljšati rad. Dodatno, na SU2010, svrha recenzije je ocijeniti rad kako bi se
temeljem toga moglo formirati bodove za nastavnu aktivnost projekt.
Recenzija prije svega treba biti objektivna. Ukoliko mislite da iz bilo kojeg razloga ne možete
napraviti objektivnu recenziju rada koji Vam je povjeren, dužni ste o tome obavijestiti organizatore.
Od Vas kao recenzenta očekuje se da povjereni zadatak obavite maksimalno odgovorno i
pedantno. Ako je potrebno, rad pročitajte više puta te konzultirajte sve dodatne raspoložive izvore.
Recenzija je dvostruko anonimna (engl. double blind): autori ne znaju tko recenzira njihov rad, a
recenzenti ne znaju čiji rad recenziraju. Anonimnost ima osigurati maksimalnu objektivnost
recenzije. Kao recenzent dužni ste čuvati svoju anonimnost, a rad koji vam je povjeren na recenziju
zadržati za sebe. Po završetku postupka recenzije, Vaša će anonimna recenzija biti dostupna samo
autorima recenziranog rada te organizatorima konferencije.
Želite li znati više o detaljima recenzentskog postupka, preporučam pročitati:
• pages.cs.wisc.edu/~markhill/the_task_of_the_referee.pdf
• http://www.cl.cam.ac.uk/teaching/1011/C00/L­reading­2/how_to_review.pdf

2. Kriteriji
Znanstveni radovi tipično se ocjenjuju prema šest osnovnih kriterija:
(1) Značajnost: Koliki je utjecaj rada na temu kojom se rad bavi? Jesu li dobiveni rezultati
važni za problem kojim se rad bavi?
(2) Originalnost: Je li ono čime se rad bavi tema koja je nova ili rijetko obrađivana?
(3) Relevantnost: Je li rad po svojoj temi relevantan za konferenciju (podudara li se tema rada s
temom konferencije)?
(4) Tehnička ispravnost: Je li problem rješavan ispravnim metodama? Jesu li metode ispravno
primijenjene i ispravno opisane? Jesu li iznesene tvrdnje točne?
(5) Referenciranje: Jesu li referencirani svi relevantni izvori? Jesu li izvori koji su
referencirani relevantni?
(6) Prezentacija: Je li rad pisan razumljivo? Jesu li ideje objašnjene jasno, precizno i potpuno?
Je li rad logično organiziran? Jesu li gramatika i stil besprijekorni?
Na konferenciji SU2010 naglasak nije na originalnosti (tema ne mora biti nova) niti na relevantnosti
(podrazumijeva se da će svi radovi biti relevantni za konferenciju). Veći naglasak stavit će se na
posljednja tri kriterija. Unatoč tome, očekuje se da rad objektivno ocijenite po svim kriterijima.

© 2010 Jan Šnajder 1

Strojno učenje, ak. god. 2010/11. SU2010: Upute za recenzente

3. Recenzentski obrazac
Recenzentski obrazac organiziran je u tri dijela: (A) ocjene, (B) komentari i (C) komentari za
organizatore. Recenzentski obrazac popunjavate on-line, u sustavu za upravljanje konferencijom.
Napomena: Ocjene i komentare pripremite unaprijed te ih zatim upišite u odgovarajuća polja u
recenzentskom obrascu.

(A) Ocjene
Kriterij Pitanja Ocjena

• Koliki je doprinos rada temi kojom se bavi? 5 - izvrsna

4 – dobra
1. • Jesu li dobiveni važni rezultati?
3 – osrednja
Značajnost • Je li problem uspješno riješen? 2 – loša
• Potiče li rad diskusiju i daljnju razradu problema? 1 – vrlo loša

• Je li problem kojim se rad bavi nov? 5 - izvrsna

4 – dobra
2. • Je li pristup koji je korišten u radu posve nov?
3 – osrednja
Originalnost • Koriste li se metode na inovativan način? 2 – loša
• Jesu li dobiveni rezultati novi? 1 – vrlo loša
5 - izvrsna
4 – dobra
3. • Bavi li se rad problemom koji spada u područje strojnog
3 – osrednja
Relevantnost učenja?
2 – loša
1 – vrlo loša
• Je li pristup rješavanju problema ispravan?
• Je li se vodilo računa o prenaučenosti i podnaučenosti?
• Je li vrednovanje provedeno ispravno? 5 - izvrsna
4. • Ako postoji element subjektivnosti, je li on uzet u obzir? 4 – dobra
Tehnička • Je li podatkovni uzorak reprezentativan? 3 – osrednja
ispravnost • Je li provedena analiza i interpretacija rezultata? 2 – loša
• Jesu li rezultati uspoređeni u odnosu na odabranu referentnu 1 – vrlo loša
metodu i na srodne radove?
• Jesu li doneseni zaključci ispravni?
5 - izvrsno
• Je li dan pregled srodnih radova i jesu li u njemu referencirani
4 – dobro
5. izvori?
3 – osrednje
Referenciranje • Jesu li izvori koji su referencirani relevantni?
2 – loše
• Jesu li referencirani svi relevantni izvori? 1 – vrlo loše
• Ima li rad logičnu strukturu? 5 - izvrsna
• Je li tekst pisan razumljivo? 4 – dobra
6.
• Je li tekst pisan ispravno (gramatički i pravopisno)? 3 – osrednja
Prezentacija
• Jesu li adekvatno objašnjeni tehnički pojmovi? 2 – loša
• Jesu li ilustracije i tablice dobro oblikovane? 1 – vrlo loša
5 - izvrstan
7. 4 – dobar
Ukupna ocjena 3 – osrednji
rada 2 – loš
1 – vrlo loš

© 2010 Jan Šnajder 2

Strojno učenje, ak. god. 2010/11. SU2010: Upute za recenzente

□ prihvatiti kako jest

□ prihvatiti uz manje izmjene
Preporuka
□ tražiti izmjene
□ odbiti
Ocijenite koliko se vi, kao recenzent, osjećate kompetentnim za temu kojom se rad bavi:
5 – vrlo kompetentan
Kompetentnost 4 – suvereno vladam temom
rezenzenta 3 – upoznat s temom
2 – donekle upoznat s temom
1 – nekompetentan

Napomena: Temeljem ovih ocjena (izuzev posljednje) formirat će se bodovi za aktivnost projekt iz
predmeta SU. Ocjena iz originalnosti uzeti će se u obzir samo ako je iznadprosječna.

(B) Komentari
Općeniti komentari i primjedbe na rad. Sveukupno se očekuje barem 150 riječi. Komentare
strukturirajte u tri dijela: osvrt, glavni komentari i manji komentari. Ne morate ih tako nasloviti;
dovoljno je da ta tri dijela imate razdvojena (npr. u tri odlomka).
Napomena: komentari trebaju biti konstruktivni, s ciljem da autorima pomognu poboljšati rad. Svi
komentari trebaju biti usmjereni na ono što je učinjeno u radu, a nipošto ne na autore rada.
Osvrt
Sažmite u dvije-tri rečenice o čemu govori rad (ne prepisujte postojeći sažetak, nego opišite svojim
riječima kako ste vi shvatili rad, kao da ga nekome trebate ukratko prepričati). Svrha toga je da
dokažete da ste razumijeli o čemu se radi. Zatim istaknite (opet u dvije-tri rečenice) ono što
smatrate da su prednosti i/ili nedostatci rada.
Glavni komentari
Napišite svoje glavne komentare na rad. Svrha komentara je višestruka: elaboracija vaših ocjena i
vašeg osvrta te povratna informacija autorima kako da poboljšaju svoj rad poboljšanja. Komentari
se mogu odnositi na bilo koji kriterij.
Komentare nabrojite po točkama (numerirajte svaki komentar kako bi se autor kasnije na njih
mogao referencirati). Očekuju se barem tri suvisla komentara.
Manji komentari
Navedite (u natuknicama) kratke komentare koje se tiču nejasnoći u tekstu, pravopisa i gramatike,
sitnijih pogrešaka (npr. loše oblikovana tablica ili neoznačena os grafa) i sl. Pritom se pozivajte na
konkretne dijelove rada (broj odjeljka, broj odlomka, broj slike i sl). Ako nemate komentara ove
vrste (što bi bilo neobično, no moguće je), onda ovaj dio preskočite.

(C) Komentari za organizatore

Ovdje možete dati dodatne komentare na rad ili na svoju recenziju. Komentari će biti vidljivi samo
organizatorima konferencije, a ne i autorima rada.

© 2010 Jan Šnajder 3