Les entreprises considèrent l’adoption de l’IA comme un impératif stratégique qui leur permettra de rester pertinentes sur des marchés de plus en plus concurrentiels. Cependant, il reste difficile de développer rapidement ces capacités étant donné la difficulté de trouver des talents et des ressources facilement disponibles pour se lancer rapidement dans l’aventure de l’IA.
Cloudera a récemment signé un accord de collaboration stratégique avec Amazon Web Services (AWS), renforçant ainsi notre relation et notre engagement à accélérer et à faire évoluer la gestion et l’analyse des données natives du cloud sur AWS. Notre vision est de permettre à nos clients de maximiser plus facilement, plus économiquement et plus sûrement la valeur qu’ils tirent de l’IA. Dans cet article, nous partageons notre vision et les intégrations disponibles pour nos clients sur Plateforme de données Cloudera avec IA générative sur AWS. Les offres d’IA générative sur AWS incluent Socle amazonien, Amazon SageMaker JumpStart, AWS Trainium, Inférence AWS, Amazon CodeWhisperer, AWS HealthScribeet BI générative dans Amazon QuickSight.
Notre vision : développer l’IA avec CDP sur AWS
La vision de l’IA de Cloudera, en accord avec AWS, est de permettre aux clients d’exploiter les 25 exaoctets de données gérés dans Cloudera pour créer une IA différenciée dans leur secteur spécifique. Notre vision repose sur deux piliers :
- Développez l’IA avec Cloudera, alimentée par l’IA générative sur AWS : Permettre aux clients de créer des applications d’IA rapidement et de manière rentable en créant des capacités et des intégrations entre Apprentissage automatique Cloudera et IA générative sur AWS.
- Développez l’IA dans Cloudera, alimentée par l’IA générative sur AWS : Offrez aux praticiens des données une productivité basée sur l’IA à l’aide de Cloudera Data Platform (CDP) en intégrant des fonctionnalités d’IA générative dans CDP.
Examinons ce qui se passe dans chacun de ces piliers entre AWS et Cloudera.
Construire l’IA avec Cloudera, optimisé par Amazon Bedrock
Nous développons des capacités d’IA générative dans Cloudera, en utilisant la puissance de Socle amazonien, un service sans serveur entièrement géré. Les clients peuvent créer rapidement et facilement des applications d’IA générative à l’aide de ces nouvelles fonctionnalités disponibles dans Cloudera.
AMP de résumé de texte CML créé à l’aide d’Amazon Bedrock
Avec le disponibilité générale d’Amazon BedrockCloudera publie son dernier prototype de ML appliqué (AMP) intégré Apprentissage automatique Cloudera: Texte CML Résumé AMP construit à l’aide d’Amazon Bedrock. Grâce à cet AMP, les clients peuvent utiliser les modèles de base disponibles dans Amazon Bedrock pour le résumé textuel des données gérées à la fois dans Cloudera Public Cloud sur AWS et Cloudera Private Cloud sur site.
LLM Text Summarization AMP montre comment nos clients peuvent rapidement créer et déployer des applications d’IA en tirant parti des modèles de base disponibles dans Amazon Bedrock pour effectuer une synthèse de texte automatisée. Cela permet aux entreprises de distiller de longs documents, articles ou communications en résumés concis et cohérents, facilitant ainsi une prise de décision rapide et améliorant la productivité. En exploitant les capacités d’Amazon Bedrock et de notre AMP, les organisations peuvent rationaliser leurs processus d’analyse de données, extraire des informations cruciales et acquérir un avantage concurrentiel.
Vous trouverez ci-dessous une architecture de haut niveau et un flux de processus pour l’AMP de synthèse de texte de Cloudera construit à l’aide d’Amazon Bedrock :
En créant cet AMP, l’équipe de recherche et développement de Cloudera a exploré et choisi Amazon Bedrock.
- Avec Amazon Bedrock, les clients peuvent interagir via une seule API et choisissez parmi une large gamme de modèles de fondations leaders de l’industrie.
- En tant que service entièrement géré, il n’est pas nécessaire de configurer ou de gérer une infrastructure, ce qui permet aux clients de commencer immédiatement à créer leur application.
- Nous pouvons affiner le modèle Amazon Bedrock en utilisant nos propres données étiquetées pour créer un modèle personnalisé précis pour notre problème spécifique.
- Amazon Bedrock est intégré aux fonctionnalités de sécurité AWS, que les clients connaissaient bien et qui leur ont permis d’éviter un nouvel examen de la sécurité informatique, un autre gain de temps important.
- Les clients utilisent les outils et fonctionnalités AWS qu’ils connaissent pour déployer des applications d’IA générative fiables, sécurisées et évolutives.
Pour ce cas d’utilisation, nous avons sélectionné le modèle Titan Text d’Amazon pour ses solides antécédents en matière de cas d’utilisation de résumé de texte et l’utilisation des meilleures pratiques d’IA responsable dans sa création.
Voici un exemple de l’AMP de Cloudera en action avec le code de requête de l’API Amazon Bedrock qui est automatiquement généré par l’application en fonction du texte d’entrée exposé. Cet AMP peut être utilisé sur n’importe quel système Cloudera exécuté sur site ou sur tout cloud public directement intégré aux API Amazon Bedrock.
Intégrations prévues CML AWS Inferentia et AWS Trainium
L’AMP de synthèse de texte LLM n’est que le début des avantages que nos clients bénéficieront des intégrations de produits d’IA générative Cloudera et AWS. Cloudera travaille sur les intégrations d’AWS Inferentia et AWS Trainium–alimenter les instances Amazon EC2 dans Cloudera Service d’apprentissage automatique (CML). Cela donnera aux clients de CML la possibilité de lancer des sessions de calcul isolées à l’aide de ces accélérateurs puissants et efficaces spécialement conçus pour les charges de travail d’IA.
AWS Trainium–La prise en charge des instances Amazon EC2 optimisées apportera des améliorations d’efficacité à la phase de formation des modèles d’apprentissage automatique au sein de CML. Amazon EC2 Trn1 Les instances offrent un temps de formation plus rapide tout en offrant jusqu’à 50 % d’économies sur les coûts de formation par rapport aux instances Amazon EC2 comparables.
Avec Inférence AWS, les clients CML peuvent tirer parti de puces d’inférence conçues sur mesure, permettant une inférence plus rapide et plus rentable pour leurs modèles d’apprentissage automatique auto-hébergés. Amazon EC2 Inf2 Les instances offrent un débit jusqu’à neuf fois supérieur et un coût par inférence jusqu’à 80 % inférieur à celui des instances Amazon EC2 comparables.
Les clients peuvent également utiliser Kit SDK AWS Neuron pour former et déployer des modèles sur Amazon EC2 Trn1 et Amazon EC2 Inf2 instances en tant qu’instances à la demande, instances réservées et instances ponctuelles, ou dans le cadre d’un plan d’économies : USA Est (Virginie du Nord), USA Ouest (Oregon) et USA Est (Ohio).
Construire l’IA dans Cloudera, optimisé par Amazon Bedrock
Nous proposons des fonctionnalités d’IA générative intégrées aux services et applications Cloudera, afin que les clients puissent facilement interagir et bénéficier d’obtention de résultats plus rapides.
Assistant IA de code SQL de CDP
Nous ne pourrions être plus enthousiastes à l’idée d’intégrer des capacités d’IA générative dans CDP pour optimiser la productivité des praticiens des données.
L’assistant d’IA de code SQL de CDP optimisé par Amazon Bedrock est déjà en cours de développement. Cet outil d’IA générative permet aux analystes de générer et de modifier des requêtes SQL à l’aide d’instructions en langage naturel. Il peut également optimiser les requêtes SQL pour les rendre plus efficaces, expliquer ce que fait une requête SQL en anglais simple, et rechercher et corriger automatiquement les erreurs dans les requêtes qui ne s’exécuteront pas. Nous utilisons le modèle Claude v2 Foundation d’Anthropic disponible dans Amazon Bedrock pour cette fonctionnalité de génération texte vers SQL.
Cet outil à lui seul révolutionnera la façon dont les analystes effectuent leur travail—leur permettant de consacrer plus de temps à la création de valeur commerciale et moins de temps à l’écriture de code.
Vous trouverez ci-dessous l’architecture de haut niveau de l’assistant d’IA de code SQL de CDP :
Nous souhaitons analyser les ventes par magasin, nous cliquons donc sur le bouton Générer dans HUE (notre interface utilisateur d’éditeur SQL standard). Ensuite, nous écrivons les points de données que nous voulons en langage naturel et cliquons sur OK.
L’assistant IA trouve les tables pertinentes nécessaires et écrit la requête SQL avec une explication détaillée de sa logique en quelques secondes. Tout ce que nous avons à faire est de vérifier, de cliquer sur Insérer et de l’exécuter.
Et après?
Même avec ces intégrations dans notre pipeline de développement, nous ne faisons qu’effleurer la surface de ce que nous allons construire à l’aide des services CDP et AWS AI. Restez à l’écoute des mises à jour alors que nous donnons vie à notre vision en suivant nos Flux de produits Nouveautés. Nous nous engageons plus que jamais à rendre plus facile, économique et plus sûre pour nos clients l’optimisation de la valeur qu’ils tirent de l’IA.
Ressources pour créer une IA générative avec CDP sur AWS
Pour en savoir plus, découvrez les nouvelles fonctionnalités d’IA générative disponibles dans Apprentissage automatique Cloudera page. Abonnez-vous au Essai CDP Public Cloud de 60 jours et commencez à apprendre à créer des solutions avec CDP sur AWS. En savoir plus sur IA générative sur AWS en utilisant Ressources de formation AWS et Atelier sur le substrat rocheux de l’Amazonie.
