Le Dr Dominique Depagne qui gère le site médical Atoute.org qu’il a créé en 2000 et qui a collaboré à de nombreuses publications médicales, membre de la Fédération des médecins de France et du Syndicat de la médecine générale. nous offre une réflexion intéressante sur l’évaluation/rémunération des services hospitaliers et la non pertinence qui consiste à la baser sur la prise en compte d’indicateurs.
Recensant un certain nombre de penseurs qui se sont attaqués au sujet, il cite d’abord Robert Lucas, qui, au début des années 70 déclarait « qu’il faut éviter de se baser naïvement sur des statistiques passées pour prédire le comportement futur des agents économiques« . Ce qui signifie qu’une corrélation établie pour un moment donné a toute chance de s’avérer fausse dans l’avenir car les agents ont toute possibilité de changer leurs comportements de manière imprévisible face à un nouvel indicateur. Il nous donne l’exemple amusant d’un médecin dont la qualité des soins serait corrélée à la consommation d’antiseptique pour le lavage des mains…et qui viderait des flacons dans son lavabo pour améliorer ses performances en matière d’hygiène à partir de du moment où la consommation deviendrait un indicateur qualitatif. Résultat : statistique et corrélation fausse…et coûts augmentés !
Et d’évoquer alors la Loi de Murphy fusionnée avec les observations de Lucas par Charles Goodhart de la manière suivante: « Lorsqu’un indicateur est choisi pour guider une politique économique, il perd du même coup la valeur informative qui l’avait qualifié pour jouer ce rôle. »
Ce qui, en définitive, est assez simple à comprendre.
Ce même Charles Goodhart poursuivant sa réflexion en faisant observer que « ‘ s’il existe au moins deux façons de faire quelque chose et qu’au moins l’une de ces façons peut entraîner une catastrophe, cette dernière a une probabilité de réalisation plus importante ! » car, pour lui, si les agents peuvent modifier leur comportement à leur avantage plutôt que pour le bien public, ils le feront, même si le résultat global est un désastre.
Et Michel Hannoun, très pince-sans-rire de compléter son analyse qui déborde le strict domaine statistique pour aborder à une véritable étude de mœurs, en citant Donald Campbell, sociologue américain, qui enfonce le clou de la manière suivante : « Plus un indicateur quantitatif est utilisé pour prendre des décisions, plus il va être manipulé et plus son usage va aboutir à corrompre le processus qu’il était censé améliorer. »
Certes l’humour anglo-saxon est sans doute à invoquer, mais peut-être pas tant que ça …
Car ces observations quelque peu pessimistes, se vérifient tous les jours sur le terrain et les indicateurs sauvent leur mauvaise réputation que sous deux conditions assez rarement réunies:
– quand ils offrent un vision globale de la qualité du travail (et non une fraction de celui-ci)
– quand ils sont peu manipulables par l’agent évalué. Ex : le chiffre d’affaire d’un agent commercial.
A ce stade Michel Hannoun se pose deux questions :
– Est-il indispensable d’évaluer ?
– Est-on obligé d’évaluer par indicateurs ?
Ceux qui répondent « oui » à ces deux questions appliquent une Loi Shadok :
Ce qui pourrait se traduire par « Évaluons, même si notre méthode est idiote et ne donne aucun résultat tangible, plutôt que de ne pas évaluer et risquer de démontrer que nous ne servons à rien »
Car, l’expérience montre que ces méthodes d’évaluation ou de rémunération incitatives ne donnent aucun résultat et ont été abandonnées tant par les Anglais que par les Américains dans leurs organismes les plus efficaces. Pire, « à l’hôpital, les coûts ont augmenté avec la mise en place de ces outils de gestion, sans impact positif décelable sur la qualité des soins« .
Pour l’auteur de l’article nous avons affaire à « une stratégie de domination [qui permet] à des gestionnaires frais émoulus d’une école d’administration [de] contrôler des agents de terrain pourtant hautement qualifiés. Au lieu d’être au service de la production, ce qui est sa fonction première, l’administration du travail cherche à tout prix à mettre la production à son service. »
Quitte à réfuter leurs principes d’évaluation quand ils eux mêmes y sont soumis et à les oublier totalement lorsqu’ils doivent choisir un praticien de confiance.
Nous passons sur l’analyse que Michel Hannoun nous offre des méthodes d’évaluation utiles et efficaces en milieu universitaire pour en arriver à sa conclusion :
Il pose donc qu’ en pratique, « une évaluation du soin sur objectifs sanitaires suppose au minimum :
Une large palette d’indicateurs couvrant la totalité de l’exercice.
Le secret autour des indicateurs qui seront finalement choisis pour l’évaluation annuelle.
Si ces deux conditions, validées par des décennies d’évaluation des études universitaires, ne sont par remplies, l’évaluation de la performance à partir d’objectifs chiffrés est une mascarade. Elle abouti, comme l’énonce Campbell, à corrompre la qualité des soins. »
Et de préconiser en terminant et pour pallier les déficiences des critères censément « objectifs » le recours à des » réseaux d’avis subjectifs ». Et il cite le cas de Google dans le cadre de l’évaluation de la pertinence de l’information.
Olivier TOMA – PRIMUM-NON-NOCERE
Voir les commentaires