Voici une vérité douloureuse : IA générative a décollé, mais les processus de production de l’IA n’ont pas suivi le rythme. En fait, ils sont de plus en plus laissés pour compte. Et c’est un énorme problème pour les équipes du monde entier. Il existe une volonté d’intégrer des modèles de langage étendus (LLM) dans un large éventail d’initiatives commerciales, mais les équipes ne peuvent pas les mettre en production en toute sécurité. Les responsables de la prestation sont désormais confrontés à la création d’encore plus de piles Frankenstein à travers l’IA générative et prédictive : des technologies et des outils distincts, davantage de silos de données, davantage de modèles à suivre et davantage de problèmes opérationnels et de surveillance. Cela nuit à la productivité et crée des risques en raison d’un manque d’observabilité et de clarté concernant les performances du modèle, ainsi que de confiance et d’exactitude.
C’est incroyablement difficile pour ceux qui sont déjà épuisés apprentissage automatique et science des données équipes à évoluer. Ils sont désormais non seulement surchargés de demandes LLM, mais sont également paralysés par des décisions LLM qui peuvent risquer de futurs problèmes de maintenance et de maintenance, tout en jonglant avec les modèles prédictifs et les processus de production existants. C’est une recette pour une folie de production.
C’est exactement pourquoi nous annonçons notre produit de production d’IA étendu, avec l’IA générative, pour permettre aux équipes d’utiliser les LLM en toute sécurité et en toute confiance, unifiées avec leurs processus de production. Notre promesse est de fournir à votre équipe les outils nécessaires pour gérer, déployer et surveiller tous vos modèles génératifs et prédictifs, dans une solution de gestion de production unique qui reste toujours alignée sur votre pile IA/ML en évolution. Avec le lancement de l’été 2023, DataRobot a lancé un Plateforme d’IA générative et d’IA prédictive « tout-en-un » et vous pouvez désormais surveiller et gouverner les deux déploiements d’IA générative à l’échelle de l’entreprise côte à côte avec l’IA prédictive. Entrons dans les détails !
Les équipes d’IA doivent résoudre le problème de confiance du LLM
Sauf si vous vous êtes caché sous un très gros rocher ou seulement En consommant la télé-réalité des années 2000 au cours de la dernière année, vous avez entendu parler de la montée et de la domination des grands modèles linguistiques. Si vous lisez ce blog, il y a de fortes chances que vous les utilisiez dans votre vie quotidienne ou que votre organisation les ait intégrés à votre flux de travail. Mais les LLM ont malheureusement tendance à fournir des informations erronées confiantes et plausibles à moins qu’ils ne soient étroitement gérés. C’est pourquoi le déploiement des LLM de manière gérée est la meilleure stratégie pour qu’une organisation en tire une valeur réelle et tangible. Plus précisément, les rendre sûr et contrôlé afin d’éviter les risques juridiques ou de réputation est d’une importance capitale. C’est pourquoi LLMOps est essentiel pour les organisations qui cherchent à générer en toute confiance de la valeur à partir de leurs projets d’IA générative. Mais dans chaque organisation, les LLM n’existent pas en vase clos, ils ne constituent qu’un type de modèle et font partie d’un écosystème d’IA et de ML beaucoup plus vaste.
Il est temps de prendre le contrôle de la surveillance de tous vos modèles
Historiquement, les organisations ont eu du mal à surveiller et à gérer leur nombre croissant de modèles de ML prédictif et à s’assurer qu’ils fournissent les résultats dont l’entreprise a besoin. Mais aujourd’hui, avec l’explosion des modèles d’IA génératifs, cela va aggraver le problème de surveillance. Alors que les modèles prédictifs et désormais génératifs prolifèrent dans l’ensemble de l’entreprise, les équipes de science des données n’ont jamais été aussi mal équipées pour traquer efficacement les modèles peu performants qui génèrent des résultats commerciaux médiocres et un retour sur investissement faible ou négatif.
En termes simples, il est essentiel de surveiller les modèles prédictifs et génératifs, à tous les niveaux de l’organisation, pour réduire les risques et garantir qu’ils fournissent des performances, sans parler de la réduction des efforts manuels qui accompagnent souvent la surveillance de la prolifération croissante des modèles.
De manière unique, les LLM introduisent un tout nouveau problème : gérer et atténuer le risque d’hallucination. Essentiellement, le défi consiste à gérer le problème de confiance LLM, à grande échelle. Les organisations risquent que leur LLM produit soit grossier, fournisse des informations erronées, perpétue des préjugés ou inclue des informations sensibles dans leur réponse. Tout cela rend le comportement et les performances des modèles de surveillance primordiaux.
C’est là que DataRobot AI Production brille. Son ensemble complet de fonctionnalités de surveillance, d’intégration et de gouvernance LLM permet aux utilisateurs de déployer rapidement leurs modèles avec une observabilité et un contrôle complets. En utilisant notre suite complète d’outils de gestion de modèles, en utilisant le registre de modèles pour la gestion automatisée des versions de modèles ainsi que nos pipelines de déploiement, vous pouvez ne plus vous soucier de votre LLM (ou même de votre modèle de régression logistique classique). dérailler.
Nous avons étendu les capacités de surveillance de DataRobot pour fournir des informations sur le comportement du LLM et aider à identifier tout écart par rapport aux résultats attendus. Il permet également aux entreprises de suivre les performances des modèles, d’adhérer aux SLA et de se conformer aux directives, garantissant ainsi une utilisation éthique et guidée de tous les modèles, quel que soit l’endroit où ils sont déployés ou qui les a construits.
En fait, nous offrons un support de surveillance robuste pour tous les types de modèles, du prédictif au génératif, y compris tous les LLM, permettant aux organisations de suivre :
- État du service : Il est important de suivre pour s’assurer qu’il n’y a aucun problème avec votre pipeline. Les utilisateurs peuvent suivre le nombre total de requêtes, d’achèvements et d’invites, le temps de réponse, le temps d’exécution, la charge médiane et maximale, les erreurs de données et système, le nombre de consommateurs et le taux de réussite du cache.
- Suivi de la dérive des données: Les données évoluent au fil du temps et le modèle que vous avez entraîné il y a quelques mois peut déjà perdre en performances, ce qui peut être coûteux. Les utilisateurs peuvent suivre la dérive des données et les performances au fil du temps et même suivre l’achèvement, la température et d’autres paramètres spécifiques au LLM.
- Métriques personnalisées : À l’aide d’un cadre de métriques personnalisées, les utilisateurs peuvent créer leurs propres métriques, spécifiquement adaptées à leur modèle de construction personnalisé ou LLM. Des mesures telles que la surveillance de la toxicité, le coût d’utilisation du LLM et la pertinence du sujet peuvent non seulement protéger la réputation d’une entreprise, mais également garantir que les LLM restent « sur le sujet ».
En capturant les interactions des utilisateurs au sein des applications GenAI et en les réinjectant dans la phase de création du modèle, le potentiel d’amélioration de l’ingénierie et des réglages rapides est vaste. Ce processus itératif permet d’affiner les invites en fonction de l’activité réelle des utilisateurs, ce qui entraîne une communication plus efficace entre les utilisateurs et les systèmes d’IA. Non seulement cela permet à l’IA de mieux répondre aux besoins des utilisateurs, mais cela contribue également à créer de meilleurs LLM.
Commande et contrôle de tous vos modèles génératifs et de production
Avec la ruée vers les LLM, les équipes de science des données sont confrontées à un autre risque. Le LLM que vous choisissez maintenant n’est peut-être pas celui que vous utiliserez dans six mois. Dans deux ans, le modèle sera peut-être complètement différent, et vous souhaiterez l’exécuter sur un autre cloud. En raison du rythme effréné de l’innovation LLM en cours, le risque d’accumulation de dette technique devient pertinent en l’espace de quelques mois et non d’années. Et avec la ruée des équipes pour déployer l’IA générative, il n’a jamais été aussi facile pour les équipes de créer des modèles malveillants qui exposent l’entreprise à prendre des risques.
Les organisations ont besoin d’un moyen d’adopter en toute sécurité les LLM, en plus de leurs modèles existants, et de les gérer, de les suivre et de les brancher et de les utiliser. De cette façon, les équipes sont isolées du changement.
C’est pourquoi nous avons mis à niveau le registre des modèles de production d’IA Datarobot, qui est un composant fondamental de la production d’IA et de ML pour fournir une approche entièrement structurée et gérée pour organiser et suivre l’IA générative et prédictive, ainsi que votre évolution globale de l’adoption du LLM. Le registre des modèles permet aux utilisateurs de se connecter à n’importe lequel LLM, qu’il s’agisse de versions populaires comme GPT-3.5, GPT-4, LaMDA, LLaMa, Orca ou même de modèles sur mesure. Il fournit aux utilisateurs un référentiel central pour tous leurs des modèlesquel que soit l’endroit où ils ont été créés ou déployés, permettant une gestion, une gestion des versions et un déploiement efficaces des modèles.
Alors que tous les modèles évoluent au fil du temps en raison de l’évolution des données et des exigences, la gestion des versions intégrée au registre des modèles aide les utilisateurs à garantir la traçabilité et le contrôle de ces modifications. Ils peuvent en toute confiance effectuer une mise à niveau vers des versions plus récentes et, si nécessaire, revenir sans effort à un déploiement précédent. Ce niveau de contrôle est essentiel pour garantir que tous les modèles, mais en particulier les LLM, fonctionnent de manière optimale dans les environnements de production.
Avec DataRobot Model Registry, les utilisateurs obtiennent un contrôle total sur leurs modèles prédictifs et LLM classiques : l’assemblage, les tests, l’enregistrement et le déploiement de ces modèles se font sans tracas, le tout à partir d’une seule interface.
Libérer un avantage en matière de polyvalence et de flexibilité
S’adapter au changement est crucial, car différents LLM émergent constamment, adaptés à différents objectifs, des langues aux tâches créatives.
Vous avez besoin de polyvalence dans vos processus de production pour vous y adapter et vous avez besoin de flexibilité pour brancher et utiliser le bon modèle génératif ou prédictif pour votre cas d’utilisation plutôt que d’essayer d’en adapter un de force. Ainsi, dans DataRobot AI Production, vous pouvez déployer vos modèles à distance ou dans DataRobot, afin que vos utilisateurs disposent d’options polyvalentes pour les tâches prédictives et génératives.
Nous sommes également allés plus loin avec les API DataRobot Prediction qui offrent aux utilisateurs la flexibilité d’intégrer leurs modèles personnalisés ou leurs LLM préférés dans leurs applications. Par exemple, il est désormais simple d’ajouter rapidement une génération de texte ou une création de contenu en temps réel à vos applications.
Vous pouvez également tirer parti de nos API de prédiction pour permettre aux utilisateurs d’exécuter des tâches par lots avec des LLM. Par exemple, si vous devez générer automatiquement de gros volumes de contenu, comme des articles ou des descriptions de produits, vous pouvez utiliser DataRobot pour gérer le traitement par lots avec le LLM.
Et comme les LLM peuvent même être déployés sur des appareils périphériques dotés d’une connectivité Internet limitée, vous pouvez également tirer parti de DataRobot pour faciliter la génération de contenu directement sur ces appareils.
Datarobot AI Production est conçu pour vous permettre de faire évoluer l’IA générative et prédictive en toute confiance, efficacité et sécurité.
DataRobot AI Production offre aux dirigeants une nouvelle façon d’unifier, de gérer, d’harmoniser, de surveiller les résultats et de pérenniser leurs initiatives d’IA générative et prédictive afin qu’ils puissent répondre avec succès aux besoins d’aujourd’hui et s’adapter au paysage changeant de demain. Il permet aux équipes de fournir de manière évolutive davantage de modèles, qu’ils soient génératifs ou prédictifs, en les surveillant tous pour garantir qu’ils produisent les meilleurs résultats commerciaux, afin que vous puissiez développer vos modèles de manière durable. Les équipes peuvent désormais centraliser leurs processus de production sur l’ensemble de leur gamme d’initiatives d’IA et prendre le contrôle de tous leurs modèles, pour permettre à la fois une gouvernance plus forte et également pour réduire le verrouillage du fournisseur de cloud ou du modèle LLM.
Plus de productivité, plus de flexibilité, plus d’avantage concurrentiel, de meilleurs résultats et moins de risques : il s’agit de faire en sorte que chaque initiative d’IA soit fondamentalement axée sur la valeur.
Pour en savoir plus, vous pouvez inscrivez-vous pour une démo aujourd’hui par l’un de nos experts en IA appliquée et en produits, afin que vous puissiez avoir une idée claire de ce que AI Production peut apporter à votre organisation. Il n’y a jamais eu de meilleur moment pour entamer la conversation et s’attaquer de front à cette boule de poils de l’IA.
A propos de l’auteur
Brian Bell Jr. dirige la gestion des produits pour la production d’IA chez DataRobot. Il a une formation en ingénierie, où il a dirigé le développement de l’infrastructure DataRobot Data Ingest et ML Engineering. Auparavant, il a occupé des postes au Jet Propulsion Lab de la NASA, en tant que chercheur en apprentissage automatique au sein de l’Evolutionary Design and Optimization Group du MIT et en tant qu’analyste de données dans le domaine des technologies financières. Il a étudié l’informatique et l’intelligence artificielle au MIT.
Kateryna Bozhenko est chef de produit pour la production d’IA chez DataRobot, avec une vaste expérience dans la création de solutions d’IA. Diplômée en commerce international et en administration des soins de santé, elle est passionnée par le fait d’aider les utilisateurs à faire fonctionner efficacement les modèles d’IA afin de maximiser le retour sur investissement et de découvrir la véritable magie de l’innovation.
Mary Reagan est chef de produit chez DataRobot et adore créer des produits centrés sur l’utilisateur et basés sur les données. Avec un doctorat. Diplômée de l’Université de Stanford et ayant une formation de Data Scientist, elle allie de manière unique rigueur académique et expertise pratique. Son parcours professionnel présente une transition transparente de l’analyse à la stratégie produit, faisant d’elle une leader aux multiples facettes en matière d’innovation technologique. Elle vit dans la Bay Area et adore passer les week-ends à explorer le monde naturel.
