Accueil Robotique Comme les humains, cette IA révolutionnaire crée des concepts à partir des mots qu’elle apprend

Comme les humains, cette IA révolutionnaire crée des concepts à partir des mots qu’elle apprend

0
Comme les humains, cette IA révolutionnaire crée des concepts à partir des mots qu’elle apprend


Les chiens de prairie sont tout sauf des chiens. Avec un corps ressemblant à un Hershey’s Kiss et un design très sophistiqué gazouiller pour les communications, ils sont plus des hamsters que des golden retrievers.

Les humains comprennent immédiatement que les chiens de prairie ne sont pas des chiens au sens habituel du terme. L’IA est en difficulté.

Même en tant que tout-petits, nous avons une étrange capacité à transformer en concepts ce que nous apprenons sur le monde. Avec seulement quelques exemples, nous nous faisons une idée de ce qui fait un « chien » ou de ce que signifie « sauter » ou « sauter ». Ces concepts sont facilement mélangés et assortis dans nos têtes, ce qui fait qu’un tout-petit pointe un chien de prairie et crie : « Mais ce n’est pas un chien !

La semaine dernière, une équipe de l’Université de New York créé un modèle d’IA qui imite la capacité d’un tout-petit à généraliser l’apprentissage d’une langue. En un mot, la généralisation est une sorte de pensée flexible qui nous permet d’utiliser des mots nouvellement appris dans de nouveaux contextes, comme un millénaire plus âgé qui lutte pour rattraper son retard dans le jargon de la génération Z.

Lorsqu’il a été opposé à des humains adultes dans une tâche linguistique de généralisation, le modèle a égalé leurs performances. Il a également battu GPT-4, l’algorithme d’IA derrière ChatGPT.

La sauce secrète était étonnamment humaine. Le nouveau réseau neuronal a été formé pour reproduire les erreurs des résultats de tests humains et en tirer des leçons.

« Depuis 35 ans, les chercheurs en sciences cognitives, en intelligence artificielle, en linguistique et en philosophie se demandent si les réseaux de neurones peuvent parvenir à une généralisation systématique à la manière des humains. » dit auteur de l’étude, le Dr Brenden Lake. « Nous avons montré, pour la première fois, qu’un réseau neuronal générique peut imiter ou dépasser la généralisation systématique humaine dans une comparaison directe. »

Une querelle intelligente

La plupart des modèles d’IA s’appuient sur l’apprentissage profond, une méthode vaguement basée sur le cerveau.

L’idée est simple. Les neurones artificiels s’interconnectent pour former des réseaux de neurones. En modifiant la force des connexions entre les neurones artificiels, les réseaux de neurones peuvent apprendre de nombreuses tâches, telles que conduire des taxis autonomes ou tester des produits chimiques pour la découverte de médicaments.

Cependant, les réseaux neuronaux sont encore plus puissants dans le cerveau. Les connexions s’adaptent rapidement à des environnements en constante évolution et rassemblent des concepts issus d’expériences et de souvenirs individuels. A titre d’exemple, on peut facilement identifier un âne sauvage qui traverse la route et savoir quand freiner. Une voiture robot peut échouer sans une formation spécifique à l’âne sauvage.

Le problème est la généralisation. Par exemple : Qu’est-ce qu’une route ? S’agit-il d’une autoroute pavée, d’un chemin de terre accidenté ou d’un sentier de randonnée entouré d’arbustes ?

Dans les années 1980, les scientifiques cognitifs Jerry Fodor et Zenon Pylyshyn ont proposé que les réseaux de neurones artificiels ne soient pas capables de comprendre des concepts, tels qu’une « route », et encore moins de les utiliser de manière flexible pour naviguer dans de nouveaux scénarios.

Les scientifiques à l’origine de la nouvelle étude ont relevé le défi de front. Leur solution ? Un réseau neuronal artificiel adapté aux réactions humaines.

Homme avec machine

Comme base, l’équipe a d’abord demandé à 25 personnes d’apprendre une nouvelle langue inventée. Par rapport à l’utilisation d’un langage existant, un langage fantastique évite les biais lors du test des participants humains.

La recherche est allée « au-delà des travaux classiques qui reposaient principalement sur des expériences de pensée » pour exploiter les capacités linguistiques humaines, expliquent les auteurs dans leur étude. Le test différait des configurations précédentes qui se concentraient principalement sur la grammaire. Au lieu de cela, le but était que les participants comprennent et généralisent dans le langage inventé à partir des seuls mots.

Comme s’ils enseignaient une nouvelle langue, l’équipe a commencé avec un tas de mots simples et absurdes : « dax », « lug », « wif » ou « zup ». Celles-ci se traduisent par des actions de base telles que sauter ou sauter.

L’équipe a ensuite introduit des mots plus complexes, « blicket » ou « kiki », qui peuvent être utilisés pour enchaîner les mots précédents en phrases et, par conséquent, en concepts et notions. Ces mots abstraits, lorsqu’ils sont utilisés avec des mots simples, peuvent signifier « sauter en arrière » ou « sauter trois fois ».

Les volontaires ont été formés pour associer chaque mot à une couleur. Par exemple, « dax » était rouge, « lug » était bleu. Les couleurs ont aidé les volontaires à apprendre les règles de la nouvelle langue. Une combinaison de mots a donné lieu à trois cercles rouges, une autre a clignoté en bleu. Mais surtout, certains mots, tels que « fep », s’éclairaient indépendamment des autres mots associés, suggérant une base grammaticale dans le langage fantastique.

Après 14 cycles d’apprentissage, les volontaires ont été mis au défi de répondre à 10 questions sur la signification des mots inventés et invités à généraliser à des questions plus complexes. Pour chaque tâche, les participants devaient sélectionner les cercles de couleurs correspondants et les placer dans l’ordre approprié pour former une phrase.

Ils ont excellé. Les humains ont choisi les bonnes couleurs environ 80 % du temps. La plupart des erreurs étaient des problèmes de traduction « one-to-one », qui traduisaient un mot dans son sens fondamental sans tenir compte du contexte plus large.

Une deuxième équipe de 29 personnes supplémentaires a également rapidement appris le langage fantastique, traduisant sans problème des combinaisons telles que « fep fep ».

Langue apprise

Pour construire le modèle d’IA, l’équipe s’est concentrée sur plusieurs critères.

Premièrement, il fallait généraliser à partir de quelques cas d’apprentissage seulement. Deuxièmement, il devait réagir comme les humains aux erreurs lorsqu’il était confronté à des tâches similaires. Enfin, le modèle devait apprendre et intégrer facilement des mots à son vocabulaire, formant une sorte de « concept » pour chaque mot.

Pour ce faire, l’équipe a utilisé le méta-apprentissage pour la compositionnalité. Oui, cela ressemble à un super pouvoir de méchant. Mais ce qu’il fait est relativement simple.

L’équipe a confié à un réseau neuronal artificiel des tâches similaires à celles confiées aux volontaires humains. Le réseau est optimisé à mesure que les « surtensions » dynamiques modifient sa fonction globale, lui permettant de mieux apprendre à la volée par rapport aux approches d’IA standard, qui s’appuient sur des ensembles de données statiques. Habituellement, ces machines traitent un problème à l’aide d’un ensemble d’exemples d’étude. Pensez-y comme au déchiffrement du code Morse. Ils reçoivent un message (points et tirets) et traduisent la séquence en anglais normal.

Mais que se passe-t-il si la langue n’est pas l’anglais et qu’elle a ses propres concepts et règles ? Un ensemble de formation statique échouerait au créateur de mots de l’IA.

Ici, l’équipe a guidé l’IA à travers un « flux dynamique » de tâches qui obligeaient la machine à mélanger et assortir les concepts. Dans un exemple, il a été demandé de sauter deux fois. Le modèle d’IA a appris indépendamment la notion de « sauter » – par opposition à « sauter » – et cela deux fois signifie « deux fois ». Ces apprentissages ont ensuite été alimentés via le réseau neuronal et le comportement résultant a été comparé à l’instruction. Si, par exemple, le modèle d’IA sautait trois fois, les résultats fournissaient un retour d’information pour aider à orienter le modèle d’IA vers la réponse correcte. Grâce à la répétition, il a finalement appris à associer différents concepts.

Puis vint la deuxième étape. L’équipe a ajouté un nouveau mot, par exemple « pointe des pieds », dans un contexte que le modèle d’IA avait déjà appris, comme le mouvement, puis lui a demandé de « reculer sur la pointe des pieds ». Le modèle devait maintenant apprendre à combiner « la pointe des pieds » dans son vocabulaire et ses concepts de mouvement existants.

Pour entraîner davantage l’IA, l’équipe lui a fourni les données des participants humains afin qu’elle puisse apprendre des erreurs humaines. Lorsqu’elle a été confrontée à de nouvelles énigmes, l’IA a imité les réponses humaines dans 65 % des essais, surpassant les modèles d’IA similaires et, dans certains cas, battant les participants humains.

Le modèle soulève des questions naturelles pour l’avenir de l’IA linguistique, a écrit l’équipe. Plutôt que d’enseigner la grammaire aux modèles d’IA avec des exemples, leur donner une portée plus large pourrait les aider à imiter la capacité des enfants à comprendre les langues en combinant différentes composantes linguistiques.

L’utilisation de l’IA peut nous aider à comprendre comment les humains ont appris à combiner des mots en phrases, en poésie et en essais. Les systèmes pourraient également donner un aperçu de la manière dont les enfants construisent leur vocabulaire et, par conséquent, acquérir une compréhension instinctive des concepts et des connaissances sur le monde. Outre le langage, le nouveau modèle d’IA pourrait également aider les machines à analyser d’autres domaines, tels que les mathématiques, la logique et même, pour boucler la boucle, la programmation informatique.

« Ce n’est pas de la magie, c’est de la pratique. Tout comme un enfant s’entraîne également lorsqu’il apprend sa langue maternelle, les modèles améliorent leurs compétences en composition grâce à une série de tâches d’apprentissage de la composition », Lake dit Nature.

Crédit d’image : Andreas Fickl / Unsplash

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici