Accueil Intelligence artificielle Une formation efficace à l’intelligence artificielle

Une formation efficace à l’intelligence artificielle

0
Une formation efficace à l’intelligence artificielle
Une formation efficace à l’intelligence artificielle


L’intelligence artificielle offre non seulement des performances impressionnantes, mais crée également une demande importante en énergie. Plus les tâches pour lesquelles il est formé sont exigeantes, plus il consomme d’énergie. Víctor López-Pastor et Florian Marquardt, deux scientifiques de l’Institut Max Planck pour la science de la lumière à Erlangen, en Allemagne, présentent une méthode permettant de former l’intelligence artificielle de manière beaucoup plus efficace. Leur approche repose sur des processus physiques plutôt que sur les réseaux de neurones artificiels numériques actuellement utilisés.

La quantité d’énergie nécessaire pour entraîner GPT-3, qui fait de ChatGPT un Chatbot éloquent et apparemment bien informé, n’a pas été révélée par Open AI, la société à l’origine de cette intelligence artificielle (IA). Selon l’agence de statistiques allemande Statista, cela nécessiterait 1 000 mégawattheures, soit environ l’équivalent de la consommation annuelle de 200 foyers allemands de trois personnes ou plus. Bien que cette dépense énergétique ait permis à GPT-3 de savoir si le mot « profond » est plus susceptible d’être suivi du mot « mer » ou « apprentissage » dans ses ensembles de données, de toute évidence, il n’a pas compris la signification sous-jacente d’un tel mot. phrases.

Réseaux de neurones sur ordinateurs neuromorphiques

Afin de réduire la consommation d’énergie des ordinateurs, et en particulier des applications d’IA, plusieurs instituts de recherche ont étudié ces dernières années un tout nouveau concept sur la manière dont les ordinateurs pourraient traiter les données à l’avenir. Le concept est connu sous le nom d’informatique neuromorphique. Bien que cela ressemble aux réseaux de neurones artificiels, cela n’a en réalité que peu à voir avec eux puisque les réseaux de neurones artificiels fonctionnent sur des ordinateurs numériques conventionnels. Cela signifie que le logiciel, ou plus précisément l’algorithme, est calqué sur le fonctionnement du cerveau, mais que les ordinateurs numériques servent de matériel. Ils effectuent les étapes de calcul du réseau neuronal en séquence, les unes après les autres, en différenciant processeur et mémoire.

« Le transfert de données entre ces deux composants consomme à lui seul de grandes quantités d’énergie lorsqu’un réseau neuronal entraîne des centaines de milliards de paramètres, c’est-à-dire des synapses, avec jusqu’à un téraoctet de données », explique Florian Marquardt, directeur de l’Institut Max Planck pour la science de la Light et professeur à l’Université d’Erlangen. Le cerveau humain est complètement différent et n’aurait probablement jamais été compétitif sur le plan de l’évolution s’il avait fonctionné avec une efficacité énergétique similaire à celle des ordinateurs équipés de transistors en silicium. Il serait très probablement tombé en panne à cause d’une surchauffe.

Le cerveau se caractérise par le fait qu’il entreprend les nombreuses étapes d’un processus de pensée en parallèle et non séquentiellement. Les cellules nerveuses, ou plus précisément les synapses, sont à la fois un processeur et une mémoire. Divers systèmes à travers le monde sont considérés comme des candidats possibles pour les homologues neuromorphiques de nos cellules nerveuses, notamment des circuits photoniques utilisant la lumière au lieu d’électrons pour effectuer des calculs. Leurs composants servent à la fois de commutateurs et de cellules mémoire.

Une machine physique auto-apprenante optimise ses synapses de manière indépendante

En collaboration avec Víctor López-Pastor, doctorant à l’Institut Max Planck pour la science de la lumière, Florian Marquardt a mis au point une méthode de formation efficace pour les ordinateurs neuromorphiques. « Nous avons développé le concept d’une machine physique auto-apprenante », explique Florian Marquardt. « L’idée centrale est de réaliser la formation sous la forme d’un processus physique, dans lequel les paramètres de la machine sont optimisés par le processus lui-même. »

Lors de la formation de réseaux neuronaux artificiels conventionnels, une rétroaction externe est nécessaire pour ajuster la force des milliards de connexions synaptiques. « Ne pas exiger ce feedback rend la formation beaucoup plus efficace », explique Florian Marquardt. Implémenter et entraîner une intelligence artificielle sur une machine physique auto-apprenante permettrait non seulement d’économiser de l’énergie, mais aussi du temps de calcul. « Notre méthode fonctionne quel que soit le processus physique qui se déroule dans la machine d’auto-apprentissage, et nous n’avons même pas besoin de connaître le processus exact », explique Florian Marquardt. « Cependant, le processus doit remplir quelques conditions. » Il doit surtout être réversible, c’est-à-dire qu’il doit pouvoir avancer ou reculer avec un minimum de perte d’énergie.  » « De plus, le processus physique doit être non linéaire, c’est-à-dire suffisamment complexe », explique Florian Marquardt. Uniquement non linéaire Les processus peuvent accomplir des transformations complexes entre les données d’entrée et les résultats. Un flipper roulant sur une plaque sans entrer en collision avec une autre est une action linéaire. Cependant, s’il est perturbé par un autre, la situation devient non linéaire.

Test pratique dans un ordinateur neuromorphique optique

Des exemples de processus réversibles et non linéaires peuvent être trouvés en optique. En effet, Víctor López-Pastor et Florian Marquardt collaborent déjà avec une équipe expérimentale développant un ordinateur optique neuromorphique. Cette machine traite les informations sous forme d’ondes lumineuses superposées, les composants appropriés régulant le type et la force de l’interaction. L’objectif des chercheurs est de mettre en pratique le concept de machine physique auto-apprenante. « Nous espérons pouvoir présenter la première machine physique auto-apprenante d’ici trois ans », déclare Florian Marquardt. D’ici là, il devrait y avoir des réseaux neuronaux qui pensent avec beaucoup plus de synapses et sont entraînés avec des quantités de données bien plus importantes qu’aujourd’hui.

En conséquence, il y aura probablement un désir encore plus grand de mettre en œuvre des réseaux neuronaux en dehors des ordinateurs numériques conventionnels et de les remplacer par des ordinateurs neuromorphiques efficacement entraînés. « Nous sommes donc convaincus que les machines physiques auto-apprenantes ont de fortes chances d’être utilisées dans le développement futur de l’intelligence artificielle », déclare le physicien.

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici