La recherche AI ​​Economist de Salesforce souhaite explorer l’équilibre entre égalité et productivité

2016 a été une année charnière pour Salesforce. C’est à ce moment-là que la société a acquis MetaMind, « une plate-forme d’IA d’entreprise qui fonctionnait dans les domaines de l’imagerie médicale, des images de commerce électronique, de la PNL et bien d’autres choses, une plate-forme horizontale jouant le rôle d’outil d’apprentissage automatique pour les développeurs », comme le fondateur Richard Socher l’a décrit.

Si cela semble intéressant aujourd’hui, c’était probablement en avance sur son temps à l’époque. Cette acquisition a propulsé Socher au poste de Chief Data Scientist chez Salesforce, dirigeant plus de 100 chercheurs et plusieurs centaines d’ingénieurs travaillant sur des applications déployées à l’échelle et à l’impact de Salesforce. L’IA est devenue partie intégrante des efforts de Salesforce, principalement via SalesforceEinsteinune initiative de grande envergure visant à injecter des capacités d’IA dans la plateforme Salesforce.

Outre les efforts axés sur le marché, Salesforce parraine également des initiatives « AI for good ». Cela inclut ce que Salesforce se présente comme un moonshot: construire un planificateur social IA qui apprend les politiques économiques optimales pour le monde réel. Le projet baptisé « AI Economist » a a récemment publié de nouveaux résultats. Stephan Zheng, chercheur scientifique principal de Salesforce et directeur principal de l’équipe d’économistes en IA, a partagé davantage sur le contexte, les résultats et la feuille de route du projet.

L’apprentissage par renforcement comme outil de politique économique

Zheng préparait son doctorat en physique au moment où l’apprentissage profond a explosé, en 2013. La motivation qu’il a citée pour son travail chez Salesforce est double : « repousser les limites de l’apprentissage automatique pour découvrir les principes de l’intelligence générale, mais aussi pour faire du bien à la société ».

Zheng estime que les questions socio-économiques comptent parmi les plus critiques de notre époque. Ce qui l’a attiré vers cette ligne de recherche particulière est le fait que les inégalités économiques s’est accéléré au cours des dernières décennies, ce qui a eu un impact négatif sur les opportunités économiques, la santé et le bien-être social.

Les impôts sont un outil gouvernemental important pour améliorer l’égalité, note Zheng. Cependant, il estime qu’il est difficile pour les gouvernements de concevoir des structures fiscales qui contribuent à créer l’égalité tout en stimulant la productivité économique. Une partie du problème, ajoute-t-il, tient à la modélisation économique elle-même.

« En économie traditionnelle, si les gens veulent optimiser leur politique, ils doivent faire de nombreuses hypothèses. Par exemple, ils pourraient dire que le monde est plus ou moins le même chaque année. Rien ne change vraiment.

C’est vraiment contraignant. Cela signifie que beaucoup de ces méthodes ne trouvent pas vraiment la meilleure politique si vous considérez le monde dans toute sa richesse et si vous regardez toutes les manières dont le monde peut changer autour de vous », a déclaré Zheng.

L’équipe Salesforce AI Economist tente de résoudre ce problème en appliquant un type particulier d’apprentissage automatique appelé apprentissage par renforcement (RL). RL a été utilisé pour construire des systèmes tels que AlphaGo et est différente de l’approche d’apprentissage supervisé qui prévaut dans l’apprentissage automatique.

« Dans l’apprentissage supervisé, quelqu’un vous donne un ensemble de données statiques, puis vous essayez d’apprendre des modèles dans les données. Dans l’apprentissage par renforcement, à la place, vous avez cette simulation, cet environnement interactif, et l’algorithme apprend à regarder le monde et à interagir. avec la simulation. Et puis à partir de là, il peut réellement jouer avec l’environnement, il peut changer la façon dont l’environnement fonctionne », a expliqué Zheng.

Cette flexibilité est la principale raison pour laquelle RL a été choisi pour AI Economist. Comme Zheng l’a expliqué, cette approche comporte trois parties. Il y a la simulation elle-même, l’optimisation de la politique, et puis il y a aussi les données, car les données peuvent être utilisées pour éclairer le fonctionnement de la simulation. The AI ​​Economist s’est concentré sur la modélisation et la simulation d’un sous-ensemble simplifié de l’économie : l’impôt sur le revenu.

Un monde bidimensionnel a été créé, modélisant les relations spatiales et temporelles. Dans ce monde, les agents peuvent travailler, exploiter des ressources, construire des maisons et gagner de l’argent de cette façon. Les revenus que les agents gagnent en construisant des maisons sont ensuite imposés par le gouvernement. La tâche de l’économiste IA est de concevoir un système fiscal capable d’optimiser l’égalité (à quel point les revenus des personnes sont similaires) et la productivité (la somme de tous les revenus).

Modélisation de l’IA par rapport au monde réel

Les recherches de Salesforce montrent que l’IA peut améliorer le compromis entre l’égalité des revenus et la productivité par rapport à trois scénarios alternatifs : une formule fiscale importante développée par Emmanuel Saez, des impôts progressifs ressemblant à la formule fiscale américaine et le marché libre (pas d’impôts). Comme Zheng l’a expliqué, ces 3 alternatives ont été codées dans le système et leurs résultats ont été mesurés par rapport à ceux dérivés de l’IA via la simulation RL.

Bien que cela semble prometteur, il convient également de noter les limites de cette recherche. Tout d’abord, la recherche ne porte que sur l’impôt sur le revenu dans une économie extrêmement simplifiée : il n’existe pas d’actifs, de commerce international, etc., et il n’existe qu’un seul type d’activité. De plus, le nombre total d’agents dans le système est actuellement de 10 au maximum.

Zheng a noté que la recherche a pris en compte de nombreuses configurations spatiales et répartitions différentes des ressources, ainsi que des agents possédant différents ensembles de compétences ou niveaux de compétence. Il a également mentionné que les travaux en cours constituent une preuve de concept, se concentrant sur la partie IA du problème.

« Le problème conceptuel clé que nous abordons est que le gouvernement essaie d’optimiser cette politique, mais nous pouvons également utiliser l’IA pour modéliser la façon dont l’économie va réagir à son tour. C’est ce que nous appelons un problème RL à deux niveaux.

De ce point de vue, avoir dix agents dans l’économie et le gouvernement est déjà un véritable défi à résoudre. Nous devons vraiment faire beaucoup de travail pour trouver l’algorithme, pour trouver la bonne combinaison de stratégies d’apprentissage pour que le système puisse réellement trouver ces très bonnes solutions de politique fiscale », a déclaré Zheng.

En regardant comment les gens utilisent RL pour entraîner les systèmes à jouer à certains types de jeux vidéo ou d’échecs, ce sont déjà des problèmes de recherche et d’optimisation très difficiles, même s’ils n’utilisent que deux ou dix agents, a ajouté Zheng. Il a affirmé que l’IA Economist est plus efficace que ces systèmes.

L’équipe d’AI Economist est convaincue que maintenant qu’elle maîtrise bien la partie apprentissage, elle est dans une excellente position pour penser à l’avenir et étendre ce travail également à d’autres dimensions, selon Zheng.

Dans un version antérieure de AI Economist, l’équipe a également expérimenté la participation de joueurs humains à la simulation. Cela a entraîné davantage de bruit, car les gens se comportaient de manière incohérente ; selon Zheng, cependant, l’IA Economist a quand même atteint des niveaux de qualité et de productivité plus élevés.

Économie et économistes

Certaines questions évidentes concernant cette recherche sont de savoir ce qu’en pensent les économistes et si leurs idées ont également été modélisées dans le système. Aucun membre de l’équipe AI Economist n’est réellement économiste. Cependant, certains économistes ont été consultés, selon Zheng.

« Lorsque nous avons débuté, nous n’avions pas d’économiste parmi nous, nous nous sommes donc associés à David Parkes, qui travaille à la fois en informatique et en économie. Au cours de notre travail, nous avons parlé à des économistes et recueilli leurs opinions. Nous avons également eu un échange avec [economist and best-selling author] Thomas Piketty. C’est un homme très occupé, donc je pense qu’il a trouvé son travail intéressant.

Il a également soulevé des questions sur, dans une certaine mesure, la manière dont les politiques pourraient être mises en œuvre. Et on peut y penser sous plusieurs angles, mais dans l’ensemble, il était intéressé par ce travail. Je pense que cela reflète la réponse plus large de la communauté économique. Il y a à la fois de l’intérêt et des questions quant à savoir si cela est réalisable. De quoi avons-nous besoin pour faire cela ? C’est une matière à réflexion pour la communauté économique », a déclaré Zheng.

Quant à la voie à suivre, Zheng estime qu’il s’agit de « rendre cela largement utile et d’avoir un impact social positif ». Zheng a ajouté que l’une des directions vers lesquelles l’équipe se dirige est de savoir comment se rapprocher du monde réel.

D’une part, cela signifie créer des simulations plus grandes et de meilleure qualité, afin qu’elles soient plus précises et plus réalistes. Zheng pense que cela constituera un élément clé des cadres de modélisation économique et de conception politique. Une grande partie de cela, pour les chercheurs en IA, est de prouver que vous pouvez faire confiance à ces méthodes.

« Vous voulez montrer des choses comme la robustesse et l’explicabilité. Nous voulons dire à tout le monde voici les raisons pour lesquelles l’IA a recommandé telle ou telle politique. De plus, je crois fermement qu’il s’agit d’un problème interdisciplinaire. Je pense que l’opportunité ici est vraiment pour l’IA. « Il faut que les chercheurs travaillent avec des économistes, avec des experts politiques pour comprendre non seulement les dimensions techniques de leur problème, mais aussi pour comprendre comment cette technologie peut être utile à la société », a déclaré Zheng.

Zheng a souligné deux aspects de cette recherche : l’établissement d’objectifs et la transparence. La définition des objectifs, c’est-à-dire les résultats à optimiser, se fait en externe. Cela signifie que la question de savoir si le système doit être optimisé pour une égalité maximale, une productivité maximale, leur équilibre ou potentiellement, à l’avenir, intégrer d’autres paramètres tels que la durabilité est également un choix de conception qui appartient à l’utilisateur.

Zheng a décrit la « transparence totale » comme la pierre angulaire du projet. Si, à l’avenir, ces types de systèmes doivent être utilisés pour le bien social, alors chacun devrait pouvoir les inspecter, les remettre en question et les critiquer, selon Zheng. Pour atteindre cet objectif, l’équipe AI Economist a open-source tout le code et les données expérimentales basé sur la recherche.

Une autre partie de la voie à suivre pour l’équipe d’AI Economist consiste à sensibiliser davantage la communauté des économistes. « Je pense qu’il y a pas mal d’éducation ici, où aujourd’hui les économistes ne sont pas formés comme informaticiens. On ne leur enseigne généralement pas la programmation en Python, par exemple. Et des choses comme RL pourraient également ne pas faire partie de leur programme standard ou leur façon de penser. Je pense qu’il y a ici une très grande opportunité pour la recherche interdisciplinaire », a déclaré Zheng.

L’équipe d’AI Economist échange constamment avec des économistes et présente ces travaux à la communauté scientifique. Zheng a déclaré que l’équipe travaillait sur un certain nombre de projets, sur lesquels ils pourraient en parler davantage dans un avenir proche. Il a conclu qu’un peu d’éducation pour familiariser les gens avec cette approche et une UI/UX plus conviviale pourraient être très utiles.