Critères d'évaluation

Les propositions sont notées sur trois critères. L'EXCELLENCE demande si le concept est solide, ambitieux et au-delà de l'état de l'art, et si la méthodologie le produira réellement. L'IMPACT demande qui s'en trouvera mieux, de combien, et par quelle voie. LA MISE EN ŒUVRE demande si ce consortium, avec ce plan de travail et ce budget, peut le faire.

Chacun est noté de 0 à 5 avec une décimale : 3.5 et 4.0 sont donc des notes réellement différentes. Un demi-point réparti sur trois critères décide du financement dans un topic disputé.

C'est sur l'impact que la plupart des propositions perdent. Les chercheurs l'écrivent comme la description de ce qu'ils publieront et de qui pourrait s'y intéresser, quand le critère demande une chaîne causale : ce résultat-ci, atteignant ces utilisateurs-là, par cette voie, produisant ce changement mesurable, avec ces obstacles et ces moyens de les franchir. Un impact modeste et crédible est mieux noté qu'un impact transformateur et invraisemblable.

C'est sur la mise en œuvre que la plupart des propositions perdent des points à bon compte et sans nécessité. Des lots de travaux sans responsable clair, un diagramme de Gantt qui ignore les dépendances, un tableau de risques ne listant que ceux qui n'arriveront pas, un partenaire à 4 hommes-mois sans rôle visible, chacun est un retrait facile pour un évaluateur qui doit justifier sa note.

Les critères ont un poids égal dans une action de recherche ou d'innovation, mais les ex æquo se départagent autrement : l'excellence tranche pour une RIA, l'impact tranche pour une IA. D'autres instruments les repondèrent, et l'ERC en écarte deux sur trois, son évaluation, c'est l'excellence et rien d'autre.