Accueil Big Data C’est un jour de neige ! Voici les nouveautés que Snowflake offre à ses clients

C’est un jour de neige ! Voici les nouveautés que Snowflake offre à ses clients

0
C’est un jour de neige !  Voici les nouveautés que Snowflake offre à ses clients
C’est un jour de neige !  Voici les nouveautés que Snowflake offre à ses clients


(Kim Kuperkova/Shutterstock)

Snowflake a fait de nombreuses annonces aujourd’hui lors de son événement de lancement « Snowday 2023 », notamment une nouvelle offre d’IA générative baptisée Cortex, des mises à jour de son environnement Snowpark pour l’apprentissage automatique traditionnel, la prise en charge des tables Iceberg, des mises à jour de son outil de gouvernance des données Horizon et un nouveau carnet de flocons de neige.

La société décrit Snowflake Cortex comme un service entièrement géré permettant de créer et d’exécuter toutes sortes d’applications d’IA dans son cloud, y compris des applications d’IA génératives. Actuellement en version préliminaire privée, Cortex couvre un ensemble de « fonctions spécialisées » et de « fonctions à usage général » sans serveur que les clients peuvent appeler avec quelques lignes de SQL ou de Python.

Les fonctions spécialisées de Cortex incluent des modèles linguistiques capables de détecter les sentiments dans le texte, de résumer le texte, d’extraire les réponses du texte et de traduire le texte dans d’autres langues. Il existe également des fonctions spécialisées permettant d’exploiter les modèles d’apprentissage automatique traditionnels, tels que la prévision, la détection d’anomalies et la classification.

Dans la catégorie « fonctions à usage général », nous trouvons de grands modèles de langage tels que Meta’s Llama 2 et plusieurs « Snowflake LLM hautes performances » qui permettront aux clients de « discuter » avec leurs données, indique la société. Nous trouvons également des éléments tels que les intégrations vectorielles et les capacités de recherche de vecteurs dans le compartiment de fonctions à usage général de Cortex. Snowflake ajoute également le vecteur comme type de données natif dans son cloud de données.

En tant qu’offre sans serveur sur Snowflake Data Cloud, Cortex est simple à utiliser, ne nécessite aucune expertise en IA, ne nécessite pas de configuration de GPU et emprunte à la sécurité inhérente de Snowflake, déclare Sridhar Ramaswamy, vice-président senior de Snowflake. IA.

Comment Snowflake évolue vers GenAI (Source de l’image : Snowflake)

« C’est formidable pour nos utilisateurs car ils n’ont pas à effectuer de provisionnement », a déclaré Ramaswamy lors d’une conférence de presse la semaine dernière. « Nous faisons l’approvisionnement. Nous effectuons le déploiement. Cela ressemble à une API, similaire, par exemple, à ce que propose OpenAI, mais cela est fait directement dans Snowflake. Les données ne partent nulle part. Et cela s’accompagne du type de garanties que nos clients souhaitent et exigent, à savoir que les données sont évidemment isolées. Cela n’est jamais mêlé à une quelconque formation inter-clients.

Dans le cadre du lancement de Cortex, Snowflake dévoile également des avant-premières privées de quelques « expériences LLM natives » qui fourniront des capacités GenAI exploitant les fonctions Cortex. Cela inclut Document AI, Snowflake Copilot et Universal Search.

Ces éléments de base, combinés à l’aperçu public de la prise en charge de l’environnement de développement Streamlit dans Snowflake, devraient contribuer à dynamiser le développement d’applications LLM et GenAI, comme pour les chatbots, a déclaré Ramaswamy.

« Un chatbot n’est rien d’autre qu’une combinaison d’index vectoriels et d’un modèle de langage qui utilise la récupération effectuée sur l’index pour effectuer les invites », a-t-il déclaré. « Et c’est à ce moment-là que nous donnons le pouvoir à nos utilisateurs afin que les plus aventureux d’entre eux puissent créer des applications significatives très, très rapidement. »

Mises à jour du Snowpark et carnets également

La société a également lancé aujourd’hui une version préliminaire privée de Snowflake Notebooks, qui permet aux utilisateurs d’explorer des données et de développer des applications d’apprentissage automatique dans un environnement familier de type Juptyer exécuté sur leur ordinateur portable.

« Cela vous apporte une expérience de développement basée sur des cellules dans laquelle vous pouvez construire sur une cellule, l’exécuter et la développer de manière itérative – mélanger et assortir SQL, Python et Markdown », a déclaré Jeff Hollan, directeur des produits pour Snowflake Developer Platform et Snowpark.

Snowpark fournit des bibliothèques et des environnements d’exécution pour manipuler les données non SQL dans Snowflake (Source de l’image : Snowflake)

« La visualisation constitue une grande partie de l’analyse et de la compréhension de vos données, et ce bloc-notes est directement intégré aux visualisations Streamlit », a-t-il poursuivi. «J’aime souvent dire que l’une des choses que je préfère à propos de Steramlit est qu’il n’existe pas d’application Streamlit laide. Streamlit propose une superbe visualisation prête à l’emploi, et vous pouvez utiliser ces visualisations exactes dans votre ordinateur portable pour avoir un aperçu de vos données et de ce qu’elles font.

Snowflake Notebooks est un composant de Snowpark, la collection de bibliothèques et d’exécutions Python, Java et Scala de la société permettant de travailler avec des données non SQL hébergées dans Snowflake. La société a fait plusieurs autres annonces concernant Snowpark destinées aux clients qui tentent de développer des modèles d’apprentissage automatique traditionnels sur les données hébergées dans Snowflake.

Pour commencer, il a annoncé que l’API Snowpark ML Modeling serait bientôt disponible pour tous. Selon l’entreprise, cette API permet aux développeurs et aux data scientists d’étendre l’ingénierie des fonctionnalités et de simplifier la formation des modèles pour un développement de modèles plus rapide et plus intuitif dans Snowflake.

Il a également annoncé Snowpark Model Registry, qui fournira un guichet unique pour cataloguer et accéder à tous les modèles utilisés dans l’environnement Snowpark, y compris le ML traditionnel ainsi que les LLM pour GenAI. Le registre des modèles de Snowpark sera bientôt disponible en avant-première publique.

Enfin, il a annoncé le début d’un aperçu privé du Snowflake Feature Store, qui fournira un référentiel pour créer, stocker, gérer et servir les fonctionnalités ML que les scientifiques des données et les ingénieurs en apprentissage automatique souhaitent également utiliser pour former un modèle. quant à l’exécution de l’inférence.

« Ce sont trois éléments de base vraiment passionnants », a déclaré Hollan. « Le thème de tout cela est de vous permettre d’adopter les meilleures pratiques qui existent dans l’écosystème d’apprentissage automatique, tout en y apportant la simplicité, l’évolutivité et les performances que SF peut offrir de manière unique. »

Nouvel horizon pour la gouvernance

La gouvernance des données a toujours été un élément essentiel du développement et du développement durable de l’IA. Mais maintenant que l’explosion de GenAI accroît l’intérêt pour l’IA, la gouvernance des données apparaît comme une véritable pierre d’achoppement qui pourrait empêcher toutes les formes de succès de l’IA.

À cette fin, Snowflake a mis à jour aujourd’hui Horizon, son offre préexistante pour l’automatisation des tâches de gouvernance des données telles que la conformité, la sécurité, la confidentialité, l’interopérabilité et les capacités d’accès dans le cloud de Snowflake.

Sans données fiables, tout projet d’IA échouera. Dans cet esprit, Snowflake lance une fonctionnalité Horizon appelée Data Quality Monitoring. Actuellement en version préliminaire privée, Data Quality Monitoring vise à permettre aux clients de mesurer et d’enregistrer plus facilement les mesures de qualité des données à des fins de reporting, d’alerte et de débogage, a indiqué la société. Une autre nouvelle fonctionnalité d’Horizon en avant-première privée est Data Lineage, qui est conçue pour donner aux clients « une visualisation à vol d’oiseau de la lignée des objets en amont et en aval », indique la société.

Sur le plan de la confidentialité et de la sécurité, les clients pourront bientôt utiliser les politiques de confidentialité différentielles, une nouvelle fonctionnalité de Snowflake qui permettra aux clients de protéger les données sensibles « en garantissant que le résultat d’une requête ne contient pas d’informations pouvant être utilisées pour dessiner des données sensibles. conclusions sur tout enregistrement individuel dans l’ensemble de données sous-jacent », déclare la société. Il est actuellement en développement.

Snowflake propose également de nouveaux classificateurs de données qui amélioreront la capacité des clients à définir la signification des données sensibles dans leur entreprise. Enfin, un nouveau Trust Center, qui sera bientôt en avant-première privée, vise à aider les clients à rationaliser leur surveillance de la sécurité et de la conformité cross-cloud en le regroupant au même endroit.

Le coût est une préoccupation perpétuelle lorsque vous exécutez dans le cloud, et quelque chose auquel Snowflake a dit qu’il était sensible. À cette fin, elle ajoute une nouvelle interface de gestion des coûts à Horizon qui permettra aux administrateurs « de comprendre, contrôler et optimiser facilement leurs dépenses », indique la société.

Enfin, la société a annoncé un aperçu public d’Iceberg Tables. La société a déjà fait d’Iceberg son format de table ouverte préféré, mais il existait quelques différences dans la façon dont les tables Iceberg étaient prises en charge. Avec cette annonce, il s’agit de simplifier et d’unifier ce support.

« Au lieu de deux types de tables distinctes pour Iceberg, nous combinons les tables externes Iceberg et les tables Iceberg natives en un seul type de table avec une expérience utilisateur similaire », ont écrit les ingénieurs de Snowflake, Ron Ortloff et Steve Herbert, dans un blog. plus tôt cette année. « Vous pouvez facilement configurer votre catalogue Iceberg pour qu’il corresponde aux fonctionnalités dont vous avez besoin. »

Articles connexes:

Databricks et Snowflake : comparaison des géants des données

Snowflake donne un petit quelque chose à tout le monde au sommet

Les formats de tables ouvertes s’affrontent dans Lakehouse Data Smackdown

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici