Beoordelingscriteria

Voorstellen krijgen een score op drie criteria. EXCELLENTIE gaat over de vraag of het concept deugdelijk en ambitieus is en verder gaat dan de stand van de techniek, en of de methodologie dat daadwerkelijk kan realiseren. IMPACT gaat over wie erop vooruitgaat, in welke mate en langs welke route. UITVOERING gaat over de vraag of dit consortium, met dit werkplan en dit budget, dit kan uitvoeren.

Elk criterium krijgt een score van 0 tot 5 met één decimaal, dus 3.5 en 4.0 zijn wezenlijk verschillende scores. Een halve punt verschil over drie criteria beslist in een topic met veel indieningen over de toekenning.

Op impact verliezen de meeste voorstellen. Onderzoekers presenteren impact als een beschrijving van wat zij zullen publiceren en wie daar mogelijk belangstelling voor heeft, terwijl het criterium vraagt om een causale keten: dit resultaat bereikt deze gebruikers via deze route en leidt tot deze meetbare verandering, met deze belemmeringen en deze manieren om die te overwinnen. Een geloofwaardige bescheiden impact scoort hoger dan een ongeloofwaardige transformatieve impact.

Bij uitvoering laten de meeste voorstellen gemakkelijk en onnodig punten liggen. Werkpakketten waarvan onduidelijk is wie ervoor verantwoordelijk is, een Gantt-chart die afhankelijkheden negeert, een risicotabel met alleen risico's die niet zullen optreden, een partner met 4 persoonsmaanden en geen zichtbare rol, elk daarvan is een makkelijk te verantwoorden puntenaftrek voor een beoordelaar die een score moet onderbouwen.

In een RIA of IA wegen de criteria even zwaar, maar bij gelijke scores geeft een ander criterium de doorslag: bij een RIA is dat Excellentie en bij een IA Impact. Andere instrumenten wegen ze anders, en de ERC laat twee van de drie vallen, de beoordeling gaat alleen over excellentie.