Accueil Technologie Elon Musk dévoile le premier LLM de xAI, Grok

Elon Musk dévoile le premier LLM de xAI, Grok

0
Elon Musk dévoile le premier LLM de xAI, Grok
Elon Musk dévoile le premier LLM de xAI, Grok


VentureBeat présente : AI Unleashed – Un événement exécutif exclusif pour les leaders des données d’entreprise. Réseautez et apprenez avec vos pairs du secteur. Apprendre encore plus


Suivi de sa proclamation la semaine dernière que xAI commencerait à permettre à des utilisateurs sélectionnés d’accéder à son premier produit d’IA, le fondateur Elon Musk dimanche matin l’a révélé au mondeet cela correspond tout à fait à sa sensibilité et souvent irrévérencieux et immature sens de l’humour, tout en bénéficiant d’un accès à l’information en temps réel et d’une grande efficacité.

Le produit est un Large Language Model (LLM) appelé « Grok », du nom du terme d’argot cela signifie « compréhension » et est conçu pour rivaliser avec d’autres leaders du domaine tels que GPT d’OpenAI et Claude 2 d’Anthropique.

« Je viens de libérer Grok », Musk posté sur son réseau social X vers 1 heure du matin, heure de l’Est, le dimanche 5 novembre 2023.

Le message de Musk contenait un lien vers le site Web xAI indiquant que Grok est actuellement disponible pour « un nombre limité d’utilisateurs aux États-Unis » et que les utilisateurs potentiels peuvent rejoindre son site Web. liste d’attente pour obtenir un accès anticipé, mais cela nécessite un compte sur le réseau social X (anciennement Twitter). Aucun coût n’était indiqué pour utiliser Grok.

Événement

L’IA libérée

Une soirée exclusive d’informations et de réseautage sur invitation uniquement, conçue pour les cadres supérieurs d’entreprise supervisant les piles de données et les stratégies.

Apprendre encore plus

Le site Web xAI continue en fournissant beaucoup plus de détails sur la façon dont Grok a été construit et formé, y compris le fait qu’il a commencé avec un prototype de modèle « Grok-0 » formé sur 33 milliards de paramètres de données, par rapport à 70 milliards pour le nouveau Meta LLama 2 Et un 20 milliards apparents pour l’ancien GPT-3.5 d’OpenAI des modèles.

De manière impressionnante, xAI affirme sur son site que Grok-0 « se rapproche des capacités de LLaMA 2 (70B) sur les benchmarks LM standard mais n’utilise que la moitié de ses ressources de formation ».

L’équipe xAI aurait « apporté des améliorations significatives aux capacités de raisonnement et de codage », suffisamment pour créer un nouveau modèle, Grok-1, qui est le « LLM frontière » qui alimente le client chatbot Grok, de la même manière que le modèle GPT d’OpenAI alimente son Expérience ChatGPT destinée au consommateur.

xAI a également publié un graphique montrant les performances de Grok dans quatre catégories de tests et de tâches d’apprentissage automatique (ML), notamment les mathématiques au collège (GSM8k), les questions à choix multiples (MMLU), la complétion de code Python (HumanEval) et les problèmes mathématiques écrits en LATEX ( MATHÉMATIQUES).

Grok « surpasse[es] tous les autres modèles de sa classe de calcul, y compris ChatGPT-3.5 et Inflection-1 », indique le site Web de xAI à propos des performances. « Il n’est surpassé que par les modèles qui ont été entraînés avec une quantité beaucoup plus importante de données d’entraînement et de ressources de calcul comme GPT-4. Cela montre les progrès rapides que nous réalisons chez xAI dans la formation des LLM avec une efficacité exceptionnelle.

Graphique de xAI sur les performances de Grok-1 sur les benchmarks d’apprentissage automatique. Crédit: xAI

Une IA « humoristique » inspirée du « Guide du voyageur »

Sur le site Web de xAI, Grok est décrit comme « une IA calquée sur le Guide du voyageur galactique, » le série radiophonique phare des années 1970 et série de livres de science-fiction satirique de l’auteur britannique Douglas Adams (il a été adapté en film majeur en 2005).

Dans le livre inaugural, un organisme extraterrestre télépathique appelé le Poisson Babel est placé dans l’oreille du protagoniste, lui permettant de traduire et de comprendre automatiquement le discours extraterrestre. Le livre est également célèbre pour un superordinateur révélant le la signification de l’univers est le nombre 42ce qui correspond à l’objectif précédemment déclaré de Musk de faire du produit xAI un « IA maximale en quête de vérité

La page Web de xAI décrit ensuite Grok comme étant « destiné à répondre à presque tout et, bien plus difficilement, même à suggérer les questions à poser ! Grok est conçu pour répondre aux questions avec un peu d’esprit et a un côté rebelle, alors ne l’utilisez pas si vous détestez l’humour ! »

Plus tôt dans la soirée du vendredi 3 novembre HE, Musk a partagé des captures d’écran sur les réponses de X of Grok aux invites des utilisateurs qui montraient son humour, y compris une réponse étape par étape sur « comment fabriquer de la cocaïne » qui incluait du sarcasme et l’avertissement « commencez à cuisiner et espérez que vous ne vous exploserez pas ou ne serez pas arrêté. Je rigole! S’il vous plaît, n’essayez pas réellement de fabriquer de la cocaïne.

« C’est aussi basé sur le sarcasme et il adore le sarcasme », a ajouté Musk dans un autre post X tôt le matin du 4 novembre. « Je n’ai aucune idée de qui aurait pu le guider de cette façon… » suivi d’un emoji, laissant entendre que c’est lui qui a réalisé. le produit doit avoir ces qualités.

Comment xAI utilise-t-il les publications/données X (anciennement Twitter) pour son Grok LLM ?

Plus sérieusement, « l’avantage unique et fondamental de Grok » selon ses créateurs « est qu’il a une connaissance du monde en temps réel via la plateforme X », anciennement Twitter, le réseau social Musk acquis en octobre 2022 après un long processus de négociation publiquement compliqué, et que son mandat a depuis plus de évaluation réduite de moitié.

Dans un article sur X publié tôt dimanche matin HE, Musk a inclus deux captures d’écran démontrant comment Grok pouvait renvoyer des informations plus récentes qu’un « GPT typique », dans ce cas, le Modèle Phind v7 basé sur Code Lama de Meta.

« Grok a des informations actuelles, mais d’autres non », a écrit Musk, montrant comment un utilisateur a pu poser des questions sur « la dernière interview d’Elon avec Joe Rogan » et sur ce que portait l’animateur du podcast Rogan, et recevoir des résultats précis.

Il n’a pas été immédiatement révélé comment xAI utilisait le réseau social X ou les publications des utilisateurs pour former Grok, mais Musk avait précédemment annoncé qu’il le faisait. couper l’accès d’OpenAI à la base de données X/Twitter à des fins de formation, une décision riche d’une ironie dramatique puisque Musk lui-même a financé et cofondé OpenAI en 2015, avant de quitter l’entreprise des années plus tard après un coup d’État manqué pour prendre le contrôle du co-fondateur et actuel PDG Sam Altman.

Les captures d’écran de Musk incluaient également l’utilisateur invitant Grok avec la commande «/web», démontrant qu’il dispose de certaines capacités de navigation ou de recherche sur le Web, ce que son rival OpenAI restauré sur ChatGPT en septembre, après une interruption de six mois due au fait que des personnes l’utilisaient pour contourner les paywalls des éditeurs de presse.

Projets d’étendre la disponibilité de Grok

Plus tôt vendredi soir (heure de l’Est), Musk a publié sur X que la disponibilité de Grok serait étendue à « tous les abonnés X Premium+ » une fois la version bêta précoce terminée, mais n’a pas fourni d’estimation exacte ni approximative du moment où cela pourrait se produire.

Néanmoins, la décision de commencer à partager des captures d’écran de Grok et une disponibilité limitée à un sous-ensemble d’utilisateurs suggère le désir de Musk d’agir rapidement pour rivaliser avec ses anciens partenaires commerciaux chez OpenAI alors que ce dernier se prépare à l’annoncer. une multitude de nouvelles fonctionnalités d’IA le lundi 6 novembre lors de sa première conférence des développeurs DevDay à San Francisco.

La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur la technologie et les transactions d’entreprise transformatrices. Découvrez nos Briefings.



LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici