La tentation du trieur

La tentation du trieur
4.3 (86.09%) 23 votes


Les gens de ma vie semblent tous être entourés d’évaluations en ce moment. Ils sont chargés d’évaluer les autres et d’être évalués au travail. Ils siègent à des comités de sélection pour les demandes de bourse ou étudient leurs propres demandes rejetées. Ils postulent à l'université ou participent à des panels sur la meilleure façon de remodeler le processus d'admission à l'université. Ensuite, ils observent ces évaluations s’habituer à l’avenir d’une personne, soit à leurs propres étudiants, soit aux étudiants et aux professionnels mystérieux qui se trouvent à l’autre bout. Ils semblent tous nager dans des outils et des nombres aussi vastes qu’ils sont abstraits. Et nous nous disons tous que, aussi abstrait que puisse paraître le processus, il est préférable à aucun processus. C’est une tentative d’être juste. C’est tellement tentant de penser que c’est juste.

Et les outils qui nous sont fournis sont tellement personnalisés, tellement spécifiques qu’ils ont l’impression qu’ils doivent faire quelque chose pour comprendre la métrique nuancée que nous essayons si fort de mesurer. La sélection parmi des contraintes et des catégories censées bloquer toutes les possibilités de biais parasites; ces outils ont un travail à faire, ils doivent donc le faire, non? Nous espérons que les outils d'évaluation de la performance auxquels nous soumettons nos collègues agissent pour, vous le savez, évaluer la performance. Nous espérons que les examens de classement des collèges qui classent les personnes en prêts prêts et pas-prêts-prêts-et-bénéfices-d'une-aide devraient en fin de compte aider les personnes des deux catégories à atteindre leur plein potentiel. Et Sorting Hat de Harry Potter devrait doter la classe entrante de suffisamment de semences de doute chez les adolescentes et d'une dynamique de groupe / groupe externe pour préparer le terrain en vue d'une année scolaire suffisamment excitante. Même si ce dernier était sarcastique, il est peut-être le seul outil d’évaluation de la liste à faire le travail décrit.

Une de mes collègues co-organise une conférence et une de ses tâches consiste notamment à sélectionner des conférenciers à partir du pool de résumés soumis. Ils ont créé un système de notation et affecté plusieurs experts compétents à l'évaluation, en veillant à ce que chaque résumé soit placé devant plusieurs groupes d'yeux. Tout semblait très utile et juste. Les scores sont ensuite entrés. Avec un système de notation sur 100, de nombreux résumés ont présenté une variation de plus de 40 à 50 points entre les relecteurs. Une fois qu'ils ont creusé dans les données, ils ont constaté que les relecteurs entraient dans deux catégories principales. Il y avait les examinateurs qui ont commencé avec des scores de 100 et ont seulement pris des points pour des problèmes / préoccupations à mesure qu'ils se présentaient. Ils avaient tendance à avoir des scores principalement dans les années 80 et plus. Ensuite, il y a eu les critiques qui ont commencé avec une ardoise vierge et ont permis aux candidats de gagner chaque point depuis le bas, aboutissant à des lots de partitions dans les années 60. L'outil a été appliqué de manière assez uniforme dans tous les relecteurs. Mais combiner les scores entre les critiques, et les totaux sont rapidement devenus inutiles. La dernière fois que j'ai vérifié, ils travaillaient sur des moyens de redimensionner les scores en fonction du score moyen de chaque relecteur.

Ce n'est pas unique. L'un des auteurs du Journal of Applied Psychology a constaté que jusqu'à 62% de la variance dans les évaluations du rendement au travail avait trait aux idiosyncrasies de l'examinateur plutôt qu'à la performance examinée. L'effet examinateur était plus fort que tous les autres facteurs combinés. Dans leur livre «Nine Lies About Work», les auteurs Marcus Buckingham et Ashley Goodall comparent le processus à celui de juges évaluant la performance d'un patineur artistique. Même dans cette tâche, en fonction de facteurs apparemment objectifs comme le nombre de rotations et le côté de la pale au décollage et à l'atterrissage, la variation peut être énorme entre les juges. Et contrairement aux attributs relativement concrets des techniques de patinage artistique, les auteurs déplorent que les mesures de la performance au travail nous demandent de nous évaluer mutuellement sur des concepts nébuleux tels que «leadership» et «politique avisée». Il semble soudainement trouver un système de mise à l'échelle mathématique pour ces résumés de conférence. comme un problème facile.

Et il est évident que ce tri est important. Il peut décider qui reçoit une augmentation de salaire, qui obtient une promotion et qui doit suivre des cours de rattrapage avant de commencer ses études. Et les étiquettes qui s'appliquent collent souvent. Un de mes amis travaille dans une entreprise qui utilise un système de notation qui donne aux employés des scores annuels compris entre 1 et 5 dans plusieurs catégories. Pour ces employés, les promotions et les augmentations dépendent du nombre de quatre et de cinq qu'ils accumulent. Mais, parce que la société veut limiter les augmentations et les promotions, elle a plafonné ces cotes. Chaque département ne dispose que de quatre ou cinq personnes. Donner une personne à cinq signifie qu’il ne peut pas aller à quelqu'un d’autre. Et les gestionnaires du même département finissent par se débattre, essayant d'éviter que trop de notes élevées soient attribuées à une seule unité. Ceci, bien sûr, a plus à voir avec un sentiment d’équité perçu que tout avec le rendement réel. Buckingham et Goodall citent des systèmes similaires dans leur livre, soulignant que les outils n’ont plus rien à voir avec l’évaluation des performances et fonctionnent plutôt comme un moyen de contrôler la distribution des ressources.

Mais pour les employés, ces notations et labels font désormais partie de leurs disques en tant que supposées mesures de leurs performances. Mon ami déplore les heures consacrées par ses collègues à fournir la preuve de leur propre travail dans des catégories extrêmement abstraites, passant les déjeuners à théoriser sur ce que leur responsable "recherche réellement". Le responsable, quant à lui, réfléchit à la distribution d'un ensemble arbitraire et prédéfini de nombres d'une unité à l'autre – ces rapports détaillés sur les performances sont probablement oubliés depuis longtemps.

Du côté de l'enseignement supérieur, les examens d'entrée et les évaluations sont soumis à une surveillance similaire. Les outils destinés à identifier les étudiants qui pourraient bénéficier d’un travail de rattrapage devraient montrer que les étudiants qui ont suivi ce cours ont finalement eu plus de succès que des étudiants similaires qui n’en avaient pas. Mais comme les employés qui n’entendent pas dire que «ce n’était tout simplement pas une année sur quatre», mais plutôt «il vous manque de potentiel», ces étudiants semblent entendre également quelque chose d’autre. Une étude a révélé que le tiers des étudiants à qui on avait dit qu'ils avaient besoin d'un cours de rattrapage ne s'étaient jamais inscrits à aucun cours du programme. Seulement 60% d’entre eux se sont même inscrits au cours qui leur avait été recommandé. Quelle sorte d’efficacité pouvez-vous même obtenir si les étudiants à qui on a dit qu’ils avaient besoin d’un travail de rattrapage ne réussissaient pas à terminer leurs programmes à cause des cours ou du désistement – mais parce qu’ils avaient quitté le système sans même s’inscrire? Et un autre a constaté que GPA était un meilleur prédicteur de la performance du programme que les examens conçus pour évaluer exactement cette performance (SAT, ACT, ACCUPLACER). Comment savoir si un outil de placement est efficace si les résultats empêchent les étudiants d’essayer? Que faites-vous avec Sorting Hats qui dit une chose aux étudiants et aux employés, mais transmet finalement le message: "Peut-être devriez-vous simplement rentrer chez vous."

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *