lundi, décembre 4, 2023

Exploitez la puissance de Pinecone avec le nouveau prototype d’apprentissage automatique appliqué de Cloudera


Améliorez vos applications d’IA avec notre dernier prototype de ML appliqué

Chez Cloudera, nous nous efforçons continuellement de donner aux organisations les moyens de libérer tout le potentiel de leurs données, en catalysant l’innovation et en générant des informations exploitables. Nous sommes donc ravis de vous présenter notre dernier prototype de ML appliqué (AMP)un chatbot à grand modèle de langage (LLM) personnalisé avec les données du site Web à l’aide du Llama2 LLM de Meta et Base de données vectorielles de Pinecone.

Innovation en architecture

Afin d’exploiter leurs propres données uniques dans le déploiement d’un LLM (ou d’un autre modèle génératif), les organisations doivent coordonner les pipelines pour alimenter en permanence le système en données fraîches qui seront utilisées pour l’affinement et l’augmentation du modèle.

Cet AMP est construit sur la base de l’un de nos AMP précédentes, avec l’amélioration supplémentaire permettant aux clients de créer une base de connaissances à partir de données sur leur propre site Web à l’aide de Cloudera DataFlow (CDF), puis d’envoyer des questions au chatbot à partir de cette même base de connaissances dans Pinecone. DataFlow aide nos clients à assembler rapidement des composants prédéfinis pour créer des pipelines de données capables de capturer, traiter et distribuer n’importe quelle donnée, n’importe où et en temps réel. L’ensemble du pipeline pour cet AMP est disponible dans un modèle ReadyFlow configurable qui comprend un nouveau connecteur à la base de données vectorielles Pinecone pour accélérer davantage le déploiement d’applications LLM avec un contexte pouvant être mis à jour. Le connecteur facilite la mise à jour du contexte LLM en chargeant, en fragmentant, en générant des intégrations et en les insérant dans la base de données Pinecone dès que de nouvelles données sont disponibles.

Fig 1. Présentation générale de l’ingestion de données en temps réel avec la base de données vectorielles Cloudera DataFlow to Pinecone.

Relever le défi des « hallucinations »

Notre tout dernier AMP est conçu pour relever un défi répandu dans le déploiement de solutions d’IA générative : les « hallucinations ». L’AMP montre comment les organisations peuvent créer une base de connaissances dynamique à partir des données de sites Web, améliorant ainsi la capacité du chatbot à fournir des réponses précises et riches en contexte. Son architecture, connue sous le nom génération augmentée par récupération (RAG)est essentiel pour réduire les réponses hallucinées, améliorer la fiabilité et l’utilité des applications LLM, rendant ainsi l’expérience utilisateur plus significative et plus précieuse.

Fig 2. Un aperçu de l’architecture RAG avec une base de données vectorielles utilisée pour minimiser les hallucinations dans l’application chatbot.

L’avantage Pinecone

La base de données vectorielles de Pinecone apparaît comme un atout essentiel, agissant comme une mémoire à long terme pour l’IA, essentielle pour imprégner les interactions de contexte et de précision. L’utilisation de la technologie de Pinecone avec Cloudera crée un écosystème qui facilite la création et le déploiement d’applications d’IA en temps réel robustes, évolutives, alimentées par les données uniques de grande valeur d’une organisation. La gestion des données qui représentent les connaissances organisationnelles est facile pour tout développeur et ne nécessite pas de cycles exhaustifs de travail en science des données.

Utiliser Pinecone pour le stockage de données vectorielles sur un magasin vectoriel open source interne peut être un choix prudent pour les organisations. Pinecone allège la charge opérationnelle liée à la gestion et à la mise à l’échelle d’une base de données vectorielles, permettant aux équipes de se concentrer davantage sur l’extraction d’informations à partir des données. Il offre un environnement hautement optimisé pour la recherche de similarités et la personnalisation, avec une équipe dédiée assurant une amélioration continue du service. À l’inverse, la maintenance et l’optimisation des solutions autogérées peuvent nécessiter beaucoup de temps et de ressources, ce qui fait de Pinecone un choix plus efficace et plus fiable.

Adoptez les nouvelles capacités

Notre nouveau chatbot LLM AMP, amélioré par la base de données vectorielles de Pinecone et l’ingestion d’intégration en temps réel, témoigne de notre engagement à repousser les limites de l’apprentissage automatique appliqué. Il incarne notre engagement à fournir des solutions raffinées, innovantes et pratiques qui répondent aux demandes et aux défis changeants dans le domaine de l’IA et de l’apprentissage automatique. Nous vous invitons à explorer les fonctionnalités améliorées de ce dernier AMP.

Related Articles

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici

Latest Articles