« Atténuer le risque d’extinction dû à l’IA devrait être une priorité mondiale, aux côtés d’autres risques à l’échelle sociétale, tels que les pandémies et la guerre nucléaire », selon une déclaration signée par plus de 350 dirigeants commerciaux et techniques, y compris les développeurs de l’IA la plus importante d’aujourd’hui. plates-formes.
Parmi les risques possibles conduisant à ce résultat figure ce que l’on appelle «le problème d’alignement.» Une future IA super intelligente partagera-t-elle les valeurs humaines, ou pourrait-elle nous considérer comme un obstacle à la réalisation de ses propres objectifs ? Et même si l’IA est toujours soumise à nos souhaits, ses créateurs – ou ses utilisateurs – pourraient-ils formuler un vœu inconsidéré dont les conséquences s’avéreraient catastrophiques, comme le souhait du légendaire roi Midas que tout ce qu’il touche se transforme en or ? Le philosophe d’Oxford Nick Bostrom, auteur du livre Superintelligence, autrefois présenté comme une expérience de pensée, une usine gérée par l’IA ayant reçu le commandement d’optimiser la production de trombones. Le « maximiseur de trombones » en vient à monopoliser les ressources mondiales et décide finalement que les humains font obstacle à son objectif principal.
Apprenez plus vite. Creusez plus profondément. Voir plus loin.
Aussi farfelu que cela puisse paraître, le problème de l’alignement n’est pas seulement une considération d’un avenir lointain. Nous avons déjà créé une course de maximiseurs de trombones. L’écrivain de science-fiction Charlie Stross a noté que les entreprises d’aujourd’hui peuvent être considérées comme «IA lentes.» Et contrairement à ce que Bostrom craignait, nous leur avons donné un commandement primordial : augmenter les bénéfices des entreprises et la valeur actionnariale. Les conséquences, comme celles du contact de Midas, ne sont pas jolies. Les humains sont considérés comme un coût à éliminer. L’efficacité, et non l’épanouissement humain, est maximisée.
Dans la poursuite de cet objectif primordial, nos sociétés de combustibles fossiles continuent de nier le changement climatique et d’entraver les tentatives de transition vers des sources d’énergie alternatives, les sociétés pharmaceutiques colportent des opioïdes et les sociétés alimentaires encouragent l’obésité. Même les sociétés Internet autrefois idéalistes n’ont pas pu résister à cet objectif principal et, en poursuivant cet objectif, elles ont créé leurs propres produits addictifs, semé la désinformation et la division et ont résisté aux tentatives de restreindre leur comportement.
Même si cette analogie vous semble tirée par les cheveux, elle devrait vous faire réfléchir lorsque vous réfléchissez aux problèmes de gouvernance de l’IA.
Les entreprises sont théoriquement sous contrôle humain, avec des dirigeants et des conseils d’administration humains responsables de l’orientation stratégique et de la prise de décision. Les humains sont « dans le coup » et, de manière générale, ils font des efforts pour maîtriser la machine, mais comme le montrent les exemples ci-dessus, ils échouent souvent, avec des résultats désastreux. Les efforts de contrôle humain sont entravés parce que nous avons donné aux humains la même fonction de récompense que la machine qu’ils sont censés gouverner : nous rémunérons les dirigeants, les membres du conseil d’administration et d’autres employés clés avec des options leur permettant de profiter abondamment des actions dont la valeur de l’entreprise est élevée. chargé de maximiser. Les tentatives visant à ajouter des contraintes environnementales, sociales et de gouvernance (ESG) n’ont eu qu’un impact limité. Tant que l’objectif principal reste en place, l’ESG reste trop souvent une réflexion secondaire.
Même si nous craignons qu’une IA superintelligente puisse le faire, nos entreprises résistent à la surveillance et à la réglementation. Purdue Pharma a réussi à faire pression sur les régulateurs pour qu’ils limitent les avertissements de risque prévus pour les médecins prescrivant de l’Oxycontin et a commercialisé ce médicament dangereux comme ne créant pas de dépendance. Même si Purdue a finalement payé le prix de ses méfaits, le mal a été largement fait et l’épidémie d’opioïdes fait rage sans relâche.
Que pouvons-nous apprendre des échecs de la gouvernance d’entreprise sur la réglementation de l’IA ?
- Les IA sont créées, détenues et gérées par des entreprises et hériteront de leurs objectifs. À moins de modifier les objectifs des entreprises pour favoriser l’épanouissement humain, nous avons peu d’espoir de construire une IA capable d’y parvenir.
- Nous avons besoin de recherches sur la meilleure façon de former les modèles d’IA pour satisfaire des objectifs multiples, parfois contradictoires, plutôt que de les optimiser pour un seul objectif. Les préoccupations de type ESG ne peuvent pas être un ajout, mais doivent être intrinsèques à ce que les développeurs d’IA appellent la fonction de récompense. En tant que PDG de Microsoft, Satya Nadella m’a dit une fois« Nous [humans] n’optimisez pas. Nous sommes satisfaits. » (Cette idée remonte au livre d’Herbert Simon de 1956 Comportement administratif.) Dans un cadre satisfaisant, un objectif primordial peut être traité comme une contrainte, mais plusieurs objectifs sont toujours en jeu. Comme J’ai déjà décrit cette théorie des contraintes, « L’argent dans une entreprise, c’est comme l’essence dans votre voiture. Il faut faire attention pour ne pas se retrouver sur le bord de la route. Mais votre voyage n’est pas une visite des stations-service. Le profit doit être un objectif instrumental et non un objectif en soi. Et quant à nos objectifs réels, Satya l’a bien exprimé dans notre conversation : « la philosophie morale qui nous guide est tout ».
- La gouvernance n’est pas un exercice « ponctuel ». Cela nécessite une vigilance constante et une adaptation aux nouvelles circonstances à la vitesse à laquelle ces circonstances changent. Il suffit de regarder la lenteur avec laquelle les régulateurs bancaires ont réagi à la montée des CDO et autres dérivés adossés à des créances hypothécaires à l’approche de la crise financière de 2009 pour comprendre que le temps presse.
Le PDG d’OpenAI, Sam Altman, a demandé une réglementation gouvernementale, mais, de manière révélatrice, a suggéré qu’une telle réglementation ne s’applique qu’aux futures versions plus puissantes de l’IA. C’est une erreur. Il y a beaucoup à faire dès maintenant.
Nous devrions exiger l’enregistrement de tous les modèles d’IA au-dessus d’un certain niveau de puissance, tout comme nous exigeons l’enregistrement des entreprises. Et nous devrions définir les meilleures pratiques actuelles en matière de gestion des systèmes d’IA et les rendre obligatoiressous réserve de divulgations et d’audits réguliers et cohérents, tout comme nous exigeons que les sociétés ouvertes divulguent régulièrement leurs états financiers.
Le travail réalisé par Timnit Gebru, Margaret Mitchell et leurs coauteurs sur la divulgation des données de formation («Fiches techniques pour les ensembles de données« ) et les caractéristiques de performance et les risques des modèles d’IA entraînés (« Cartes modèles pour les rapports modèles« ) sont une bonne première ébauche de quelque chose qui ressemble beaucoup aux principes comptables généralement reconnus (et leur équivalent dans d’autres pays) qui guident l’information financière aux États-Unis. Pouvons-nous les appeler « Principes de gestion de l’IA généralement acceptés » ?
Il est essentiel que ces principes soient créés en étroite coopération avec les créateurs de systèmes d’IA, afin qu’ils reflètent les meilleures pratiques réelles plutôt qu’un ensemble de règles imposées de l’extérieur par les régulateurs et les défenseurs. Mais ils ne peuvent pas être développés uniquement par les entreprises technologiques elles-mêmes. Dans son livre Des voix dans le code, James G. Robinson (maintenant directeur des politiques d’OpenAI) souligne que chaque algorithme fait des choix moraux et explique pourquoi ces choix doivent être élaborés dans le cadre d’un processus participatif et responsable. Il n’existe pas d’algorithme parfaitement efficace qui fasse tout correctement. Écouter la voix des personnes concernées peut changer radicalement notre compréhension des résultats que nous recherchons.
Mais il y a aussi un autre facteur. OpenAI a déclaré : « Notre recherche sur l’alignement vise à aligner l’intelligence artificielle générale (AGI) sur les valeurs humaines et à suivre l’intention humaine. » Pourtant, bon nombre des maux du monde sont le résultat de la différence entre les valeurs humaines déclarées et l’intention exprimée par les choix et les actions humains réels. La justice, l’équité, le respect de la vérité et la réflexion à long terme font tous défaut. Un modèle d’IA tel que GPT4 a été formé sur un vaste corpus de parole humaine, un enregistrement des pensées et des sentiments de l’humanité. C’est un miroir. Les préjugés que nous y constatons sont les nôtres. Nous devons regarder profondément dans ce miroir, et si nous n’aimons pas ce que nous voyons, nous devons nous changer nous-mêmes, pas seulement ajuster le miroir pour qu’il nous montre une image plus agréable !
Bien sûr, nous ne voulons pas que les modèles d’IA répandent de la haine et de la désinformation, mais il ne suffit pas de simplement corriger les résultats. Nous devons reconsidérer les entrées, à la fois dans les données de formation et dans les invites. La quête d’une gouvernance efficace de l’IA est l’occasion de remettre en question nos valeurs et de refaire notre société conformément aux valeurs que nous choisissons. La conception d’une IA qui ne nous détruira pas pourrait bien être ce qui nous sauverait en fin de compte.
