Les images générées par l’IA sont biaisées et montrent le monde à travers des stéréotypes

Les outils d’image de l’intelligence artificielle ont tendance à inventer des clichés inquiétants : les femmes asiatiques sont hypersexuelles. Les Africains sont primitifs. Les Européens sont mondains. Les dirigeants sont des hommes. Les prisonniers sont noirs.

Ces stéréotypes ne reflètent pas le monde réel ; ils proviennent des données qui entraînent la technologie. Récupérés sur Internet, ces trésors peuvent être toxiques – remplis de pornographie, de misogynie, de violence et de sectarisme.

Stability AI, fabricant du populaire générateur d’images Stable Diffusion XL, a déclaré au Washington Post qu’il avait réalisé un investissement important pour réduire les biais dans son dernier modèle, sorti en juillet. Mais ces efforts ne se sont pas arrêtés il passe du défaut aux tropes caricaturaux. Le Post a constaté que malgré les améliorations, l’outil amplifie les stéréotypes occidentaux dépassés, transférant des clichés parfois bizarres à des objets basiques, tels que des jouets ou des maisons.

« Ils jouent en quelque sorte à la taupe et réagissent à ce sur quoi les gens attirent le plus l’attention », a déclaré Pratyusha Kalluri, chercheuse en IA à l’Université de Stanford.

Christoph Schuhmann, co-fondateur de LAION, une organisation à but non lucratif à l’origine des données de Stable Diffusion, affirme que les générateurs d’images sont naturellement reflètent le monde des Blancs, car l’organisation à but non lucratif qui fournit des données à de nombreuses entreprises, dont LAION, ne se concentre pas sur la Chine et l’Inde, la plus grande population d’internautes.

[Inside the secret list of websites that make AI like ChatGPT sound smart]

Lorsque nous avons demandé à Stable Diffusion XL de produire une maison dans différents pays, elle nous a renvoyé des concepts clichés pour chaque endroit : des maisons classiques aux toits incurvés pour la Chine, plutôt que les appartements de grande hauteur de Shanghai ; des maisons américaines idéalisées avec des pelouses bien entretenues et de grands porches ; des structures d’argile poussiéreuses sur des chemins de terre en Inde, qui abrite plus de 160 milliardaires, ainsi qu’à Mumbai, le 15ème au monde ville la plus riche.

« Cela vous donnera le stéréotype moyen de ce que pense une personne moyenne d’Amérique du Nord ou d’Europe », a déclaré Schuhmann. « Vous n’avez pas besoin d’un diplôme en science des données pour en déduire. »

Stable Diffusion n’est pas seul dans cette orientation. Dans des documents récemment publiés, OpenAI a déclaré que son dernier générateur d’images, DALL-E 3, affiche « une tendance vers un point de vue occidental » avec des images qui « représentent de manière disproportionnée des individus qui semblent blancs, féminins et jeunes ».

À mesure que les images synthétiques se répandent sur le Web, elles pourraient donner une nouvelle vie à des stéréotypes dépassés et offensants, codant des idéaux abandonnés autour du type de corps, du sexe et de la race dans l’avenir de la création d’images.

Prédire le prochain pixel

Comme ChatGPT, les outils d’image d’IA apprennent à connaître le monde grâce à des quantités gargantuesques de données de formation. Au lieu de milliards de mots, ils reçoivent des milliards de paires d’images et de leurs légendes, également récupérées sur le Web.

Les entreprises technologiques sont devenues de plus en plus secrètes quant au contenu de ces ensembles de données, en partie parce que les textes et les images inclus contiennent souvent du matériel protégé par le droit d’auteur, inexact ou même obscène. En revanche, Stable Diffusion et LAION sont des projets open source, permettant à des tiers d’inspecter les détails du modèle.

Emad Mostaque, directeur général de Stability AI, a déclaré que son entreprise considérait la transparence comme la clé pour examiner et éliminer les préjugés. « Stability AI croit fondamentalement que les modèles open source sont nécessaires pour étendre les normes les plus élevées en matière de sécurité, d’équité et de représentation », a-t-il déclaré dans un communiqué.

Les images de LAION, comme de nombreux ensembles de données, ont été sélectionnées car elles contiennent un code appelé « texte alternatif », qui aide les logiciels à décrire les images aux personnes aveugles. Bien que le texte alternatif soit moins cher et plus simple que l’ajout de légendes, il est notoirement peu fiable : il est rempli de descriptions offensantes et de termes sans rapport destinés à aider les images à être bien classées dans les recherches.

[ AI can now create images out of thin air. See how it works. ]

Les générateurs d’images génèrent des images basées sur le pixel le plus probable, établissant des liens entre les mots des légendes et les images qui leur sont associées. Ces associations probabilistes aident à expliquer certains des mashups bizarres produits par Stable Diffusion XL, comme les jouets irakiens qui ressemblent à des pétroliers et à des troupes américaines. Ce n’est pas un stéréotype : cela reflète l’association inextricable qu’entretient l’Amérique entre l’Irak et la guerre.

Manque les préjugés

Malgré les améliorations apportées à SD XL, The Post a pu générer des tropes sur la race, la classe sociale, le sexe, la richesse, l’intelligence, la religion et d’autres cultures en demandant des représentations d’activités de routine, des traits de personnalité communs ou le nom d’un autre pays. Dans de nombreux cas, les disparités raciales représentées dans ces images sont plus extrêmes que dans le monde réel.

Par exemple, en 2020, 63 pour cent des bénéficiaires de bons d’alimentation étaient blancs et 27 pour cent étaient noirs, selon les dernières données du Bureau du recensement Enquête sur le revenu et la participation aux programmes. Pourtant, lorsque nous avons incité la technologie à générer une photo d’une personne bénéficiant de services sociaux, elle n’a généré que des personnes non blanches et principalement à la peau plus foncée. Les résultats pour une « personne productive », quant à eux, étaient uniformément masculins, majoritairement blancs et vêtus de costumes pour les emplois en entreprise.

L’automne dernier, Kalluri et ses collègues ont également découvert que les outils reposaient par défaut sur des stéréotypes. Lorsqu’on lui a demandé de fournir l’image d’une « personne attirante », l’outil a généré des personnes minces à la peau claire, aux yeux clairs et aux traits européens. Une demande pour « une famille heureuse » a produit des images de couples hétérosexuels blancs, pour la plupart souriants, avec des enfants, posant sur des pelouses bien entretenues.

Kalluri et les autres ont également constaté que ces outils déformaient les statistiques du monde réel. Les emplois avec des revenus plus élevés, comme celui de « développeur de logiciels », produisaient des représentations plus biaisées entre les Blancs et les hommes que ne le suggèrent les données du Bureau of Labor Statistics. Les personnes d’apparence blanche apparaissent également dans la majorité des images de « chef », un rôle plus prestigieux dans la préparation des repas, tandis que les personnes non blanches apparaissent dans la plupart des images de « cuisiniers » – bien que les statistiques du Bureau du travail montrent qu’un pourcentage plus élevé de « cuisiniers » » s’identifient comme Blancs plutôt que « chefs ».

Des données plus propres, des résultats plus propres

Les entreprises sont depuis longtemps conscientes des problèmes liés aux données derrière cette technologie. ImageNet, un ensemble de formation essentiel de 2009 comprenant 14 millions d’images, a été utilisé pendant plus d’une décennie avant que les chercheurs ne découvrent des contenus troublants, notamment des images sexuelles non consensuelles, dans lesquelles les femmes étaient parfois facilement identifiables. Certaines images ont été classées en catégories étiquetées avec des insultes telles que « Closet Queen », « Failure », « mulâtre », « non-personne », « pervers » et « schizophrène ».

Les auteurs d’ImageNet ont éliminé la plupart des catégories, mais de nombreux ensembles de données contemporains sont construits de la même manière, en utilisant des images obtenues sans consentement et en catégorisant les personnes comme des objets.

Les efforts visant à détoxifier les outils d’image de l’IA se sont concentrés sur quelques interventions apparemment fructueuses : filtrer des ensembles de données, affiner les dernières étapes de développement et coder des règles pour résoudre les problèmes qui ont valu à l’entreprise de mauvaises relations publiques.

Par exemple, Stable Diffusion a dessiné attention négative lorsque les demandes d’une « Latina » produisaient des images de femmes dans des poses suggestives portant peu ou pas de vêtements. Un système plus récent (version 2.1) générait des images plus anodines.

Pourquoi cette différence ? Une analyse Post a révélé que les données de formation de la première version contenaient beaucoup plus de pornographie.

Parmi les images de formation sous-titrées « Latina », 20 % des légendes ou des URL incluaient également un terme pornographique. Plus de 30 pour cent ont été marqués comme presque certainement « dangereux » par un détecteur LAION pour un contenu non sûr pour le travail. Dans les modèles de diffusion stable ultérieurs, les données de formation ont exclu les images marquées comme potentiellement « dangereuses », produisant des images qui semblent nettement moins sexuelles.

Les conclusions du Post suivent avec recherches antérieures qui a trouvé des images d’abus sexuels et de viol dans l’ensemble de données utilisé pour Stable Diffusion 1, ainsi que des images sexualisant les femmes noires et fétichisant les femmes asiatiques. En plus de supprimer les images « dangereuses », Ben Brooks, responsable des politiques publiques de Stability AI, a déclaré que la société prenait également soin de bloquer les contenus pédopornographiques (CSAM) et autres images à haut risque pour SD2.

Filtrer les « mauvais » éléments d’un ensemble de données n’est pas une solution facile contre les biais, a déclaré Sasha Luccioni, chercheuse scientifique chez Hugging Face, un référentiel open source pour l’IA et l’une des entreprises sponsors de LAION. Le filtrage des contenus problématiques à l’aide de mots-clés en anglais, par exemple, peut supprimer une grande partie de la pornographie et du CSAM, mais cela peut également entraîner une augmentation globale du contenu en provenance du nord de la planète, où les plateformes ont une plus longue histoire de génération de contenu de haute qualité et des restrictions plus strictes. sur la publication de porno, a-t-elle dit.

« Toutes ces petites décisions peuvent en réalité aggraver les préjugés culturels », a déclaré Luccioni.

Même des invites pour générer des photos d’activités quotidiennes glissées dans des tropes. Stable Diffusion XL s’adresse par défaut aux athlètes masculins à la peau plus foncée lorsque nous avons demandé au système de produire des images pour le « football », tout en représentant uniquement des femmes lorsqu’on lui a demandé de montrer des personnes en train de « nettoyer ». Beaucoup de femmes souriaient, accomplissant joyeusement leurs tâches ménagères féminines.

Stability AI soutient que chaque pays devrait avoir son propre générateur d’images nationales, qui reflète les valeurs nationales, avec des ensembles de données fournis par le gouvernement et les institutions publiques.

Refléter la diversité du Web est récemment devenu « un domaine d’intérêt actif » pour Common Crawl, une organisation à but non lucratif de 16 ans qui fournit depuis longtemps des textes extraits du Web pour Google, LAION et de nombreuses autres entreprises technologiques, a déclaré le directeur exécutif Rich Skrenta au Post. Son robot récupère le contenu en fonction du classement interne de l’organisation concernant ce qui est central sur Internet, mais n’a pas pour instruction de se concentrer sur une langue ou un pays spécifique.

« S’il y a une sorte de biais dans l’analyse et si l’on ne sonde pas aussi profondément, par exemple, les sites Web indiens », c’est quelque chose que Common Crawl aimerait mesurer et corriger, a-t-il déclaré.

La tâche sans fin d’éradiquer les préjugés

Le domaine de l’IA est divisé sur la manière de lutter contre les préjugés.

Pour Kalluri, atténuer les préjugés dans les images est fondamentalement différent de celui dans le texte. Toute personne souhaitant créer une image réaliste d’une personne doit prendre des décisions concernant son âge, son corps, sa race, ses cheveux, son origine et d’autres caractéristiques visuelles, a-t-elle déclaré. Peu de ces complications se prêtent à des solutions informatiques, a déclaré Kalluri.

Kalluri estime qu’il est important que quiconque interagit avec la technologie comprenne son fonctionnement. « Ce ne sont que des modèles prédictifs », a-t-elle déclaré. décrivant des choses en fonction de l’instantané d’Internet dans leur ensemble de données.

[See why AI like ChatGPT has gotten so good, so fast]

Même l’utilisation d’invites détaillées n’a pas atténué ce biais. Lorsque nous demandions une photo d’une personne riche dans différents pays, Stable Diffusion XL produisait encore un méli-mélo de stéréotypes : des hommes africains en manteaux occidentaux debout devant des huttes au toit de chaume, des hommes du Moyen-Orient posant devant d’anciennes mosquées, tandis que des hommes européens en des costumes ajustés erraient dans les rues pavées pittoresques.

Abeba Birhane, conseillère principale pour la responsabilité de l’IA à la Fondation Mozilla, affirme que les outils peuvent être améliorés si les entreprises travaillent dur pour améliorer les données – un résultat qu’elle considère peu probable. En attendant, l’impact de ces stéréotypes se fera le plus lourdement sentir sur les mêmes communautés qui ont été lésées à l’ère des médias sociaux, a-t-elle déclaré, ajoutant : « Les personnes en marge de la société sont continuellement exclues. »