L’IA , une technologie sociale au service de qui ?

Dans un long article (L’IA en tant que technnologie sociale) Henry Farrell et Cosma Rohilla Shalizi développent la comparaison entre l’IA et la bureaucratie. Cette dernière ayant été développée pour gérer de grands ensemble et appliquer des procédures et lois de manière uniforme et impersonnelle. Mais les défauts de la bureaucratie (la bureaucratisation) quand elle est mal comprise ou interprétée risquent d’être accentués par une utilisation de l’IA réduisant les différences autour de moyennes imposées pour réduire les coûts. « Les fonctionnaires de niveau inférieur peuvent comprendre des circonstances locales ou particulières que le sommet de la hiérarchie ne saisit pas. Donner à ces fonctionnaires une marge de manœuvre pour adapter les politiques à de telles circonstances peut comporter un risque de défaillance de la coordination ou de malversation, mais peut aussi permettre d’obtenir de meilleurs résultats globaux qu’une combinaison d’abstractions à usage général et de microgestion centralisée. » « tous ces modèles statistiques sont optimisés pour offrir une performance moyenne satisfaisante plutôt que pour gérer des événements rares qui semblent anormaux. (…) les LLM, comme d’autres formes de traitement du langage naturel, sont performants pour identifier et regrouper des modèles généraux, mais faibles pour détecter des informations rares, inattendues et, pour cette raison même, précieuses. » Un sentiment de déjà vu Des programmes (ou des politiques) qui généralisent et imposent des normes établies à partir de moyenne… on a vu ça bien avant l’IA. Et des fonctionnaires qui sont d’autant plus affirmatifs et sûrs d’eux qu’ils ont une compétence limitée… on a aussi vu ça avant les agents IA… En fait, dans le domaine de la santé que je connais mieux, les vagues successives de centralisation et de bureaucratisation ont conduit à une déresponsabilisation des entités locales et à une « optimisation » des mesures et procédés qui tendait à normaliser, rendre comparable et comptabilisable les services, besoins et programmes au détriment de la marge de manœuvre et de l’expérimentation sur le terrain. Mais il ne faudrait pas pour autant idéaliser le « local » : beaucoup d’acteurs du terrain sont confortable dans un rôle d’applicateur d’une normes plutôt que d’évaluateurs de besoins différenciés. Les dits acteurs n’ont peut-être pas la formation ou les compétences pour faire de telles évaluations. Les administrateurs préférant parfois embaucher des techniciens plus dociles et respectueux des consignes que des professionnels plus aptes à tenir compte des situations diverses mais qui peuvent être plus critiques, moins malléables et… coûtent plus cher ! Au début des CLSC, dans la phase d’expérimentation qui allait définir les services que cette nouvelle institution allait offrir, les fonctionnaires à Québec avaient déjà beaucoup de mal à « mettre dans de petites cases comparables » toutes ces initiatives différentes… qui prenaient « à bras le corps » des problématiques complexes (vieillissement, délinquance, pauvreté) et trouvaient des solutions adaptées aux ressources (communautaires, familiales, régionales) locales mais difficilement réplicables ou même évaluables à court terme (ou à peu de frais). La centralisation implicite dans l’utilisation des grands modèles linguistiques actuels (LLM) n’est pas la seule forme possible. Comme le souligne Farrell, on peut imaginer « un avenir proche dans lequel de petits modèles linguistiques peu coûteux pourraient accomplir une grande partie du travail des grands modèles favoris[ant] une économie politique moins centralisée que si les grands modèles conservaient un avantage décisif. « [L]’optimisation ne fournit tout simplement aucun moyen objectif de peser les types de choix entre des éléments non commensurables qui sont essentiels au processus bureaucratique. » Les bureaucraties ont toujours eu de la difficulté à faire appliquer fidèlement les plans venus d’en haut… « les responsables du Parti qui dirigent la République populaire de Chine sont régulièrement frustrés par leur incapacité à savoir ce qui se passe à leurs échelons inférieurs. Les responsables de niveau inférieur déforment régulièrement les politiques à leur avantage personnel et ont également coupé les flux d’information alternatifs vers le sommet » « Il ne s’agit pas seulement que les acteurs non étatiques puissent eux-mêmes utiliser la technologie pour brouiller les données, mais que celles-ci ne soient peut-être pas si utiles que ça au départ. Des données systématiquement incomplètes risquent d’aggraver les angles morts bureaucratiques plutôt que de les compenser. »