Lorsque j’ai débuté dans mon métier, je concevais mes enseignements en définissant d’abord un plan de cours, puis en développant les contenus de chaque partie et chapitre, conformément au plan. Ensuite, je concevais les exercices de TP (travaux pratiques) et TD (travaux dirigés) basés sur les contenus du cours.

Les sujets de contrôle continu et d’examen étaient basés sur des exercices de réflexion faisant appel aux notions abordées en cours mais dont la résolution exigeait une capacité à inventer, à concevoir une solution à un problème qui n’a pas été abordé au cours des séances d’enseignements. Chaque exercice était conçu comme un petit challenge intellectuel.

Mais ça c’était avant :-). Des discussions avec certains collègues et une réflexion personnelle m’ont conduit à changer complètement mes pratiques pédagogiques. Lorsque je conçois un enseignement, je commence par réaliser une grille qui énumère et décrit chacune des compétences que devront acquérir les étudiants. Je conçois ensuite des exercices de TP et TD dédiés à chacune des compétences de la grille, de manière à bien caractériser ce qu’un étudiant doit savoir faire au regard des compétences concernées. Je définis ensuite les contenus et les supports des cours en m’appuyant sur les exercices dédiés aux différentes compétences, en gardant à l’esprit que le but des cours est de donner aux étudiants toutes les clés permettant de valider les compétences en traitant les exercices. Je vais maintenant développer le sujet de ce billet, à savoir les modalités d’évaluation.

Évaluation formative

Idéalement, c’est à dire lorsque les conditions et le volume d’enseignement le permettent, j’organise des contrôles continus de manière régulière, toutes les deux à trois séances de cours magistral. Chaque contrôle continu couvre certaines des compétences de l’unité d’enseignement concernée. Autant que possible, chaque compétence est abordée dans au moins deux contrôles, de manière à permettre aux étudiants d’évaluer leur progression. Les contrôles continus ne donnent pas lieu à des notes chiffrées, ni même à une évaluation globale. Au contraire, chaque compétence abordée fait l’objet d’une évaluation sous la forme d’une lettre, avec la sémantique suivante :

• D signifie « Défaillant » et indique que l’étudiant n’a pas traité les exercices relatifs à la compétence concernée ou les a traité en donnant des réponses qui ne permettent pas de déceler la moindre acquisition.
• R signifie « Rudiments » et indique que l’étudiant n’a pas acquis la compétence concernée, mais peut faire face à quelques situations particulièrement simples.
• P signifie « Partiellement acquis » et indique que l’étudiant est capable de faire face à certaines situations courantes relevant de la compétence concernée, mais qu’il n’est pas autonome et a besoin d’aide pour faire face à certaines autres situations courantes dans le domaine d’application de cette compétence au niveau correspondant à l’objectif de l’enseignement.
• A signifie « Acquis » et indique que l’étudiant est autonome dans le sens ou il est capable de faire face à la plupart des situations qui sont couramment rencontrées dans la mise en pratique de la compétence concernée dans un contexte correspondant aux objectifs de l’enseignement.
• C signifie « Consolidé » et indique que l’étudiant est non seulement parfaitement autonome dans les situations courantes, mais est aussi capable de faire face à des situations complexes, difficiles, exigeant un niveau et/ou une expérience allant au delà de l’objectif de l’enseignement.

Je présente ces niveaux de compétence aux étudiant en prenant pour exemple la cas d’une formation (hypothétique) au pilotage d’un avion. Un élève sachant ouvrir le cockpit, mettre sa ceinture de sécurité, mais pas démarrer l’appareil obtiendra le niveau R. Un élève capable de décoller et de voler de manière autonome mais incapable d’atterrir sans l’aide d’un instructeur assis à ses coté obtiendra le niveau P. Un élève capable de piloter l’avion de manière autonome, sans instructeur à ses cotés, mais ayant besoin de conseils dans des situations un peu délicates obtiendra le niveau A. Le niveau C est réservé à un pilote expérimenté capable de faire face par exemple à une situation météo difficile ou capable atterrir sur dans aéroport où il y a beaucoup de trafic.

Chaque étudiant peut accéder à ses résultats sous la forme d’une grille de compétences qui est actualisée après chaque contrôle continu. Cela lui permet d’identifier les compétences qu’il n’a pas acquises et d’orienter en conséquence, avec les conseils de ses enseignants, son travail personnel. A la fin du semestre, je dois fournir une note chiffrée de contrôle continu. Je la calcule en attribuant un certain nombre de points à chaque compétence et un pourcentage de ces points à chaque lettre : 20% pour R, 40% pour P, 80% pour A et 100% pour C. Donc un étudiant qui aurait le niveau P pour toutes les compétences au programme obtiendrait la note de 8/20. Cette note est volontairement inférieure à 10 puisqu’au regard de la signification de la lettre P, cet étudiant n’est autonome dans aucune des compétences évaluées. Un étudiant qui aurait le niveau A partout obtiendrait la note de 16/20, qui atteste qu’il a atteint les objectifs de l’unité d’enseignement suivie. Le fait d’additionner les points obtenus pour des compétences différentes n’a pas vraiment de sens et je préfèrerais fournir le détail des niveaux de compétences de mes étudiants, mais le système éducatif français oblige à fournir des évaluations chiffrées et globales dont la sémantique est, par essence, d’autant moins précise que les notes sont proches de 10/20. Je reviendrai sur ce problème dans un autre billet. Avec mon système de notation, un étudiant peut avoir 10/20 en maitrisant bien la moitié des compétences et très peu toutes les autres, ou bien en maitrisant partiellement les deux tiers des compétences et complètement les autres. La note chiffrée masque les points forts et les lacunes des étudiants. Pour respecter l’esprit d’une évaluation formative et permettre aux étudiants d’apprendre en faisant des erreurs et de ne pas être pénalisés par une compétence qui n’est pas encore acquise au moment de sa première évaluation, lorsqu’une compétence est évaluée plusieurs fois je ne prends en compte que la meilleure évaluation pour cette compétence.

Cette approche d’évaluation basée sur les compétences pose le problème de la conception des tests de contrôle continu. Comment concevoir des exercices dédiés à l’évaluation d’une compétence particulière ? Comment gérer le fait que certains exercices font appel à plusieurs compétences ? Comment déterminer, sur la base des solutions données aux exercices par un étudiant, la lettre attribuée à cet étudiant pour les compétences concernées ? Chaque exercice et chaque compétences doivent faire l’objet d’une réflexion approfondie. Je reviendrai dans un futur billet sur les solutions que j’ai expérimentées, mais je dois préciser que la conception des sujets et la corrections des épreuves prennent un temps considérable.

Évaluation sommative

Un sujet d’examen doit respecter plusieurs critères :

1. il doit couvrir toutes les compétences au programme;
2. chaque compétence doit être évaluée par un ou plusieurs exercices dosés de telle manière qu’un étudiant maitrisant la compétence concernée au niveau défini sur la grille de compétence doit pouvoir trouver la solution sans grande difficulté, alors qu’un étudiant ne maîtrisant pas cette compétence ne doit pas pouvoir fournir une solution correcte;
3. l’examen ne doit pas être une épreuve de rapidité; un étudiant maitrisant toutes les compétences doit avoir largement le temps de terminer tous les exercices proposés;
4. les énoncés des exercices doivent être exprimés autant que possible de manière claire, sans ambiguïté, et les exercices doivent être différents de ceux donnés lors des contrôles continus et des examens des années précédentes.

De manière à obtenir directement une note chiffrée, un nombre de points est attribué à chaque exercice du sujet d’examen. Ce barème est donné aux étudiants. J’estime que si le sujet d’examen est bien conçu, un étudiant qui maîtrise touts les compétences au niveau A (tel que définit plus haut) doit obtenir une note au moins égale à 16/20. En pratique, j’observe une forte corrélation entre les notes d’examen et les notes de contrôle continu, ce qui signifie que les résultats des contrôles continus donnent aux étudiants un bonne idée de la note qu’ils peuvent espérer obtenir à l’examen s’ils ne montent pas en compétences entre temps.