Evaluation

Le 6 février 2009, par Jeff,

Il paraît que ces jours-ci, mes collègues Français sont en révolution parce qu’on prétendrait évaluer leur travail [1].

Pour ma part, j’ai l’impression que dans le sytème Français je passe (passais) ma vie à être évalué, et à l’être de façon plutôt innefficace, pas transparente et lourde, et à peu près n’importe quoi me semble mieux. Par exemple ce que je vis en ce moment à Stellenbosch, et dont je suis plutôt satisfait.

On peut identifier au moins trois étapes d’évaluation formelle. Il y a celle que les étudiants font sur nos cours, qui est transmise à l’interessé et au "Head of Department". Il y a celle qui est faite, au niveau national, par la NRF (National Research Foundation). Il y a enfin celle qui est faite au sein de l’université et qui, en principe, conditionne des choses comme notre évolution de carrière (y compris salariale). Je dis en principe parce que c’est temps-ci l’université ne l’utilise guère de cette façon...

L’évaluation des enseignements

A la fin d’un module, chaque enseignant diffuse aurpès des étudiants un questionnaire fourni par l’administration ad-hoc de la fac. Ce questionnaire est rempli de façon anonyme (et ceyt anonymat est pris très au sérieux par tout le monde !), puis il est retranscrit par le service approprié, qui envoie la transcription à l’enseignant. Les étudiants notent plusieurs critères de 0 à 5, concernant soit le module, soit l’enseignan. Les critères sont [2] :

The module :

- I achieved the learning outcomes (what I need to know and what I must be able to do) for the module.

- The prescribed study material (textbooks, printed and electronic resources etc.) met the aims of the module.

- The assignments were significant (relative to the specified learning outcomes).

- Attending tutorials, group activities, practicals and/or clinical work was helpful.

- Assessment (e.g. tests, reports, coursework, practical work) tested insight and did not require a mere repetition of memorised content.

- Assessment (e.g. tests, reports, coursework, practical work) was fair.

- Achieving the outcomes of the module was an academic challenge.

- The credits for the module were in proportion to the total time I devoted to it.

- The module is relevant to the program.

- Self-study was essential for success in the module (i.e. not all sections of the module were covered in contact sessions).

- Self-assessment mechanisms enabled me to gauge my progress

The lecturer :

- is enthusiastic about the study material that is offered in this module.

- is well prepared for contact sessions (e.g. lectures, tutorials, group activities, practicals and/or clinical work).

- appears to have a good general expertise in the subject.

- organises the learning environment (practicals, study material, electronic resources) effectively in order to support my learning.

- guides me to understand difficult concepts.

- uses a variety of educational methods effectively (e.g. self-study, group work).

- uses relevant examples and applications from the real working environment.

- uses educational technologies (e.g. overhead projector, the computer, the web) effectively.

- communicates clearly (orally, through writing and electronically).

- encourages learners to participate during learning opportunities, e.g. tutorials, lectures.

- is accessible to learners.

- is punctual regarding appointments, lectures, tutorials etc.

- provides feedback on tasks, reports, tests etc. within reasonable time.

L’évaluation est remplie avant l’exam ; et les étudiants sont invités à indiquer quelle note ils pensent y obtenir (ce qui permet de relativiser un peu des commentaires trop critiques, par exemple !). Pour avoir déjà eu 3 évaluations de mon cours, je peux vous assurer que les étudiants voient juste, et que quand je sens que "quelque chose ne marchait pas" ça apparaît très clairement dans les évaluations. Et les étudiants sont très capables (en moyenne boen sûr, il y a toujours des abrutis) de faire la différence entre "un prof exigeant" et "un mauvais prof" : mon cours a beau avoir la réputation d’être difficile et de demander du travail, je n’en ai pas moins des évaluations très positives chaque année.

L’évaluation nationale des chercheurs

Tout chercheur peut demander à être évalué par la NRF. Ce n’est pas une obligation ; mais c’est regardé comme un point positif dans une carrière et surtout, c’est la condition à peu près incontournable pour obtenir des financements de projets de recherche par la NRF (qui est notre source principale de budget !). Autrement dit, si on veut faire de la recherche de façon sérieuse, obtenir un "rating" de la NRF est presque indispensable.

Le processus est relativement lourd [3], mais finalement plutôt moins pire qu’un dossier de qualif ou de promotion CNU. Comme d’habitude, on fait un CV, une liste de publi, éventuellement quelques paragraphes pour préciser ce qu’on estime être les points saillants de son travail de recherche, ou pour expliciter des "anomalies".

Ensuite, le tout est envoyé à 6 reviewers nationaux ou internationaux, qui écrivent un rapport d’une page à peu près, en commentant sur les deux aspects suivants (je cite, sur le site de la NRF) :

- The quality of the research-based outputs of the last seven years as well as the impact of the applicant’s work in his/her field and how it has impacted on adjacent fields.

- An estimation of the applicant’s standing as a researcher in terms of both a South African and international perspective.

Les rapports des reviewers reviennent à un comité de spécialistes (3 - 6 personnes, sollicitées par la NRF après consultation large, et nommées pour 3 ans). Il y a une vingtaine de comités, avec des attributions comme "education", "engineering" ou "Earth sciences". Ces comités se chargent [4] d’attribuer un "rating" (ou de le refuser, le cas échant !), qui peut être :

- A : Researchers who are unequivocally recognised by their peers as leading international scholars in their field for the high quality and impact of their recent research outputs.

- B : Researchers who enjoy considerable international recognition by their peers for the high quality an impact of their recent research outputs.

- C : Established researchers with a sustained recent record of productivity in the field who are recognised by their peers as having :

  • produced a body of quality work, the core of which has coherence and attests to ongoing engagement with the field
  • demonstrated the ability to conceptualise problems and apply research methods to investigating them.

- P : Young researchers (normally younger than 35 years of age), who have held the doctorate or equivalent qualification for less than five years at the time of application and who, on the basis of exceptional potential demonstrated in their published doctoral work and/or their research outputs in their early post-doctoral careers are considered likely to become future leaders in their field.

- Y : Young researchers (normally younger than 35 years of age), who have held the doctorate or equivalent qualification for less than five years at the time of application, and who are recognised as having the potential to establish themselves as researchers within a five-year period after evaluation, based on their performance and productivity as researchers during their doctoral studies and/or early post-doctoral careers.

- L : Persons (normally younger than 55 years) who were previously established as researchers or who previously demonstrated potential through their own research products, and who are considered capable of fully establishing or re-establishing themselves as researchers within a five-year period after evaluation. Candidates should be South African citizens or foreign nationals who have been resident in South Africa for five years during which time they have been unable for practical reasons to realise their potential as researchers.

La plupart des catégories sont subdivisées en 1, 2 et 3 [5] (voir la version détaillée dans le doc. joint, repris sur le site de la NRF). Un rating est valable 4 ans ; dans une évolution standard de carrière, on commence Y, puis C, puis ... ça dépend, certains restent C toute leur vie, d’autre passent B voire A.

Nous sommes à peu près 1700 chercheurs avec un rating, ce qui doit faire entre le tiers et la moité des universitaires. Les autres soit n’ont jamais demandé d’évaluation, soit ont échoué (plus rare). Ils se répartissent en

A 60
B 400
C 1000
P 16
Y 200
L 70

(en chiffres ronds).

L’évaluation interne de l’université

Chaque université enfin peut, ou non, conduire une évaluation de ses memebres. A Stellenbosch, la fac de Sciences a décidé depuis quelques années (après d’assez longues discussions) de mettre en place un sytème basé presque uniquement sur des critères objectifs et mesurables, ce qui donne le tableau excel joint [6].

Chacun définit d’abord (sur un cycle pluri-annuel) la part de son activité qui sera consacrée à la recherche, l’enseignement et l’administration. Les valeurs par défaut (lignes 18-36) varient selon le grade, de 55/37/8 pour un lecturer à 40/30/30 pour un Head of Department, avec des déviations possibles (par exemple un lecturer peut choisir d’aller jusqu’à 22/70/8). Ensuite, chacune des trois composante reçoit une note :

- La note "recherche" est basée sur le nombre et le "impact factor" des publications [7], et sur le nombre d’étudiants (post-grad) supervisés. Dans tout les cas la note est basée sur une norme qui varie selon la discipline et le rang, par exemple en géologie la norme est de 1 article par an (moyenne sur 3 ans) pour un lecturer, mais de 2.5 pour un prof ; de 0 étudiants pour un lecturer mais de 1 pour les autres.

- La note "enseignement" est basée sur le volume de cours assuré (avec une pondération pour le nombre d’étudiants dans le cours), avec une norme de 100 heures par an [8]. ; et sur la note des étudiants (moyenne des critères "lecturer" dans la liste plus haut, norme à 2.8 / 5).

- La note "service" est basée sur le nombre de responsabilités internes et externes, avec une norme qui est de 0/0 pour les lecturers et de 1/1 pour les profs. C’est la partie la plus subjective du formulaire, ou l’individu concerné et son HoD remplisent ensemble les cases et décident de ce qui peut décemment compter pour une responsabilité, ou non.

Les trois composantes sont ensuite pondérées en fonction du poids qu’on leur a attribué, pour obtenir une évaluation finale : quelqu’un qui est pile-(poil sur les normes partout obtient une évaluation "S" ("complies with the required standards") ; il existe sinon des "N" ("does not comply ...") et des "M" ("more than complies..."), avec des sous-cas S-, S, S+.

Dans l’ensemble le système est très (trop ?) robuste. Pour une personne donnée, il est extrêmement difficile de changer énormément le résultat, même en essayant de compter la moindre demie-heure de cours ou la moindre réunion. Il est aussi assez généreux ; quelqu’un qui fait normalement son boulot (en publiant de temps en temps et en assurant ses cours) s’en sort facilement avec un M-. Essayez de jouer avec la feuille jointe et vous verrez !

Le vrai "problème" de cette évaluation est l’usage qu’en fait l’université. Conceptuellement, ça devrait affecter les augmentations de salaire : inflation + un poil pour les S, juste l’inflation pour les N, inflation + quelques % pour les M. Le problème est que depuis quelques années on a une grosse inflation (8-10%) ; que l’université essaye d’augmenter les salaires "en masse" pour rester compétitive comme employeur ; et que l’université esaye de réduire les différences entre "staff members" [9]. Tout ça fait qu’il n’y a pas tellement de marge de maneuvre, et que cette année tout le monde a reçun une augmentation basée sur l’inflation + un peu de rattrapage "global" (au total, 12 % quand même !), et que il est dit que "seul les 20% meilleurs staffs recevront un bonus, pour cette année uniquement".

Le principal reproche est donc que ce système, plutôt objectif et efficace, ne sert en fait pas à grand chose et que c’est bien la peine de se démener pour obtenir une évaluation très positive si ça ne se traduit par rien d’autre qu’une poignée de main et une tape sur l’épaule...

Notes :

[1] Je sais, on va me répondre que non non pas du tout, c’est pas ça le problème, le problème c’est quon veut nous évaluer ... euh, autrement. Pas bien. Enfin, d’abord c’est Sarkozy alors c’est mal

[2] en anglais dans le texte, c’est ça ou l’Afrikaans, de quoi vous vous plaignez ?

[3] il est critiqué pour ça, ainsi que pour sa déconnection des attributions de crédits — il faut refaire des projets derrière — et parce qu’il est très adapté aux sciences naturelles ou expérimentales, mais moins au reste, lettres en particulier

[4] Je passe sur les processus d’homogénéisation nationale, d’appel, etc., mais ils existent tous. Aller lire le site de la NRF pour les détails.

[5] Ainsi, votre serviteur est classé "Y1"

[6] C’est la version "Géologie", il y a des versions un peu différentes pour les autres départements, avec en particulier un calibrage différent de la productivité en termes d’articles

[7] Avec des calibrages différents selon les disciplines. J’ai perdu les tableaux détaillés, mais par exemple pour les impact factors la "norme" est un peu en dessous de 1 pour la géologie, elle est à 2 pour la biochimie, ce qui est la médiane des IF des journaux de la discipline dans chaque cas

[8] Un module de 15 semaines, 3h de cours et 3h de TP, compte donc 6x15 = 90 h. En termes Français (ETD), ce serait 3x1.5x15 = 67.5 pour les cours et 30-45 h pour les TP/TD, donc 110-130 heures ETD. Nos 100 heures de norme doivent donc correspondre à, selon les cas, 130 à 150 heures ETD françaises

[9] En fait essaye de passer d’un système où les salaires sont pûrement ou essentiellement le produit d’une négociation de gré à gré, à un système avec une grille de référence assez stricte

Téléchargez cet article au format pdf : Enregistrer au format PDF
 

Documents joints à l'article

Rating categories
Word | 131 ko | document publié le 6 février 2009
Définitions officielles de la NRF
Performance evaluation form
Excel | 183.5 ko | document publié le 6 février 2009
Utilisé par la fac de Sciences de Stellenbosch
 

Commentaires de l'article

 
Romain
Le 11 février 2009
Article très intéressant ! Cela permet de voir un peu comment cela se passe ailleurs.
 
Jeff
Le 12 février 2009
Tiens, te voilà toi ? Tu te fais rare ces temps-ci, ça faisait longtemps... :-) C’est le match de Samedi que vous n’arrivez pas à cuver ?
 
Romain
Le 12 février 2009
Non non, je me remets à peine de R2M ;)
 
Guillaume
Le 13 février 2009

Bonjour, j’ai trouvé votre article très interessant. Cependant j’ai un peu du mal à comprendre le systéme de notation par les étudiants que vous décrivez, vous dites :

"L’évaluation est remplie avant l’exam ; et les étudiants sont invités à indiquer quelle note ils pensent y obtenir"

L’évaluation des étudiants est-elle donc prise en compte en fonction de la note à l’examen ou seulement selon la note que l’étudiant se "donne" ?

Effectivement si l’évaluation est "pondéré" par les résultats de l’élève cela permet d’éviter certaines dérives. Mais dans le cas contraire je suis en L2 et je pense qu’une bonne partie des étudiants y trouveraient plutôt un moyen de se défouler.

 
Anonyme
Le 16 février 2009

Il n’y a rien d’aussi mécanique. Sur le même papier que celui où les étudiants notent leur enseignant, ils indiquent aussi la note qu’ils pensent obtenir à l’examen : l’ensemble a lieu quelques semaines avant l’exam. Ensuite tout ça part à l’administration, qui ne connaît rien de plus. Les questionnaires sont anonymes et l’administration en question n’a pas accès aux notes, bref il n’y aura jamais de recoupement.

La moyenne est calculée sur tout les questionnaires, indépendament de l’estimation des étudiants sur leur note d’exam. Je n’ai pas vu d’exemples où cette info a servi ; je pense qu’elle doit être là pour que, dans des cas pathologiques (genre, 25 opinions très positives et une lamentable...) on puisse vérifier ce point.

Ca sert peut être aussi en comparant les moyennes de classe "vraies" et "estimées" : ça permet de voir si les étudiants sont capables de s’auto-évaluer, ce qui en un sens renseigne sur la capacité du prof à être clair sur ses objectifs et ses exigences...

Quant à l’aspect "défoulement"... Eh bien, je dirais que si on prend les gens pour des adultes, ils se comportent comme tels. Si on explique aux étudiants qu’on leur demande leur avis, qu’il sera pris en compte et qu’il servira ensuite pour améliorer les choses, les étudiants ont tendance à jouer le jeu. Oh, je ne dis pas qu’il n’y a pas quelques casse-pieds... Comme partout. Mais en moyenne, ils sont très raisonnables. Il faut dire ausi que les questions sont conçues de façon à "pousser" à des réponses objectives. C’est pas du "il est bon, ce prof ?" ; c’est des questions sur des aspects bien précis, ce qui incite à se poser des questions et à prendre le temps d’y réfléchir. Donc non, les étudiants ne se défoulent pas sur ce truc, ils le font très sérieusement — parce qu’ils savent que c’est sérieux et qu’on ne se moque pas d’eux.

 
Jeff
Le 16 février 2009
Zut, j’ai pas signé ma réponse précédente... (Jeff)
 
Guillaume
Le 16 février 2009
Merci pour votre réponse, c’est beaucoup plus clair comme cela :). Effectivement si cela marche chez vous sans problème il n’y a pas de raison que cela ne marche pas ailleurs.
 
mouton
Le 16 février 2009

Tres interessant ton article.

Sinon suis tres content d’avoir de tes nouvelles via la blogosphere.

 

Attention !

Suite à un bug que je n’arrive pas à résoudre, vous êtes peut-être arrivés sur cette page, ou d’ailleurs sur n’importe quelle page du site, avec une adresse (url) incorrecte. Si c’est le cas, il y a des choses qui marcheront mal (documents liés, commentaires...).

Les adresses correctes sont de la forme

http://jfmoyen.free.fr/spip.php ?articleXXX

Toute autre version (avec des choses en plus entre le "... free.fr/" et le "spip.php") n’est pas bonne.

Si vous n’arrivez pas à écrire un commentaire ou voir une photo, vérifiez que vous pointez bien sur la bonne adresse ; si vous faites un lien vers ce site, merci d’utiliser la version correcte de l’URL.


Fatal error: Cannot redeclare boucle_traductionhtml_8577f9e6e58b382df53aae02e8a21c02() (previously declared in /mnt/133/sdb/8/7/jfmoyen/ecrire/public/composer.php(48) : eval()'d code:11) in /mnt/133/sdb/8/7/jfmoyen/ecrire/public/composer.php(48) : eval()'d code on line 187