Observation selon laquelle, lorsqu’une mesure quantitative devient un objectif d’optimisation, les agents ou le système s’adaptent de manière à détériorer la capacité de la mesure à renseigner sur l’objectif sous‑jacent ; la mesure perd donc de sa valeur comme indicateur du rendement réel.

Principe

L’optimisation au regard d’un proxy tend à générer un écart entre le proxy et l’objectif réel via comportements stratégiques, artefacts d’optimisation ou dynamiques systémiques ; il faut donc des mesures multiples et résistantes, des révisions périodiques et une attention portée aux incitations.

Démonstration

Scénario illustratif — Situation : un système scolaire fixe les scores aux tests standardisés comme principal objectif de responsabilité. Reconnaissance : enseignants et administrateurs réagissent à cet objectif. Action : ressources réaffectées vers la préparation aux tests et réduction du contenu évalué. Conséquence : les scores montent tandis que d’autres résultats éducatifs (pensée critique, sujets non évalués) n’améliorent pas nécessairement, réduisant la validité du test comme indicateur de qualité éducative globale.

Mauvaise application

Interpréter la Loi de Goodhart comme une condamnation catégorique des mesures ou des objectifs occulte les conditions où les mesures restent informatives (par ex. faible manipulabilité, forte alignement, audits). L’erreur sémantique consiste à confondre le risque de dégradation avec l’invalidité universelle des cibles.

Conséquence

La prise en compte des dynamiques de Goodhart conduit à employer métriques diversifiées, concevoir les incitations avec soin, mettre en place audits et garde‑fous et surveiller les scorings frauduleux. L’ignorer risque une amélioration ponctuelle des métriques au prix de l’objectif réel.

Inversion

Quand une mesure est étroitement liée à des résultats que les agents ne peuvent pas facilement manipuler (propriétés physiques immuables) ou lorsque le système manque d’agents stratégiques, transformer une mesure en objectif ne dégrade pas nécessairement sa valeur informative ; dans ces cas, la surveillance et le ciblage peuvent être efficaces.

Limite

Clairement dedans : contextes sociaux, organisationnels ou économiques où les acteurs peuvent répondre stratégiquement aux objectifs. Cas limite : systèmes algorithmiques qui optimisent des proxies internes avec faible observabilité externe — l’effet dépend de la contrôlabilité du proxy. Clair hors : mesures physiques immuables (par ex. la masse) où la manipulation du métrique est impossible.

Tension sémantique

Responsabilité (nécessité d’objectifs mesurables) ↔ Résistance au détournement (besoin de métriques difficiles à manipuler) : une forte responsabilisation augmente souvent l’incitation au détournement, imposant des compromis de conception.

Synthèse

La Loi de Goodhart reconduit la conception des métriques à un exercice stratégique : choisir des mesures informatives, difficiles à manipuler, complémentaires et soumises à surveillance et révision plutôt que de faire confiance à un proxy unique comme vérité immuable.