lundi, décembre 4, 2023

JetBlue met à l’échelle l’IA en temps réel sur Rockset


JetBlue est le leader des données dans le secteur du transport aérien qui utilise les données pour offrir des expériences client de pointe et des tarifs bas perturbateurs vers des destinations populaires à travers le monde. La clé de l’expérience client de JetBlue qui favorise une forte fidélité est de rester efficace même lors d’opérations dans les espaces aériens les plus encombrés au monde – un exploit qui serait impossible à réaliser sans l’analyse et l’IA en temps réel.

JetBlue optimise l’utilisation élevée des avions et de l’équipage en acquérant une compréhension approfondie des opérations aériennes mondiales, de la relation entre les avions, les clients et l’équipage, des facteurs de retard et des effets en cascade potentiels des retards pouvant entraîner de nouvelles perturbations.

Pour atteindre ce niveau d’informations, il faut comprendre de grands volumes et une grande variété de sources, depuis toutes les composantes des données opérationnelles jusqu’aux données météorologiques, en passant par les données sur le trafic aérien et bien plus encore. La complexité des données et de la situation peut être difficile à comprendre rapidement et à prendre des mesures sans l’aide de l’apprentissage automatique.

C’est pourquoi JetBlue innove avec l’analyse en temps réel et l’IA, en utilisant aujourd’hui plus de 15 applications d’apprentissage automatique en production pour la tarification dynamique, la personnalisation client, les applications d’alerte, les chatbots et bien plus encore. Ces applications d’apprentissage automatique confèrent à JetBlue un avantage concurrentiel en améliorant ses capacités commerciales et opérationnelles.

Dans ce blog, nous expliquerons comment JetBlue a créé une plateforme d’apprentissage automatique interne, BlueML, qui permet aux équipes de produire rapidement de nouvelles applications d’apprentissage automatique à l’aide d’une bibliothèque et d’une configuration communes. BlueML a joué un rôle central dans la prise en charge des applications basées sur LLM et des produits en temps réel d’IA et de ML de JetBlue.

Données et IA chez JetBlue

Magasin de fonctionnalités BlueML

JetBlue adopte une architecture Lakehouse utilisant Databricks Delta Live Tables pour prendre en charge les données provenant d’une variété de sources et de formats, permettant ainsi aux scientifiques et ingénieurs de données d’itérer facilement sur leurs applications. Dans la maison du lac, les données sont traitées et enrichies suite au cadre médaillon pour créer des fonctionnalités et des prédictions par lots, en temps quasi réel et en temps réel pour le magasin de fonctionnalités BlueML. Rockset fait office de magasin de fonctionnalités en ligne pour BlueML, conservant les fonctionnalités pour les requêtes à faible latence pendant l’inférence.


Architecture de données, d'analyse et d'apprentissage automatique JetBlue

Architecture de données, d’analyse et d’apprentissage automatique JetBlue

Le magasin de fonctionnalités BlueML a accéléré le développement d’applications ML chez JetBlue, permettant aux scientifiques et ingénieurs des données de se concentrer sur la modélisation et l’ingénierie de fonctionnalités réutilisables et non sur le code complexe et les opérations ML. En conséquence, les équipes peuvent produire de nouvelles fonctionnalités et de nouveaux modèles avec un minimum d’ingénierie.


Rockset indexe et propose des fonctionnalités en ligne pour les recommandations, les promotions marketing et le jumeau numérique BlueSky.

Rockset indexe et propose des fonctionnalités en ligne pour les recommandations, les promotions marketing et le jumeau numérique BlueSky.

La flexibilité du système de base de données sous-jacent est un facteur essentiel de la vitesse de développement du ML avec BlueML. Rockset dispose d’un schéma et d’un modèle de requête flexibles, permettant d’ajouter facilement de nouvelles données ou de modifier des fonctionnalités et des prédictions. Avec Rockset Technologie d’indexation convergée, les données sont indexées dans un index de recherche, un magasin en colonnes, un index ANN et un magasin de lignes pour des analyses de latence en millisecondes sur un large éventail de modèles de requête. Rockset offre la vitesse et l’évolutivité requises par les applications ML auxquelles plus de 2 000 employés de JetBlue accèdent quotidiennement.

Base de données vectorielles pour chatbots

JetBlue utilise également Rockset comme base de données de vecteurs pour stocker et indexer des vecteurs de grande dimension générés à partir de grands modèles linguistiques (LLM) afin de permettre une recherche efficace d’applications de chatbot. Avec les récentes améliorations et la disponibilité des LLM, JetBlue travaille rapidement pour permettre aux équipes internes d’accéder plus facilement aux données en utilisant un langage naturel pour trouver le statut des vols, la FAQ générale, l’analyse du sentiment des clients, les raisons de tout retard et l’impact des retards sur clients et équipages.


L'architecture des chatbots JetBlue utilisant OpenAI, Dolly et Rockset.

L’architecture des chatbots JetBlue utilisant OpenAI et Rockset.

Couche sémantique en temps réel pour les applications IA et ML

En plus de l’initiative BlueML, JetBlue a également exploité l’architecture Lakehouse pour ses produits d’IA et de ML nécessitant une couche sémantique en temps réel. L’équipe Data Science, Data Engineering et AI & ML de JetBlue a pu connecter rapidement des pipelines de streaming aux collections Rockset et lancer des API de requête lambda. Ces points de terminaison d’API REST sont intégrés directement dans les applications frontales, ce qui permet une stratégie de commercialisation de produits transparente et efficace sans nécessiter de grandes équipes d’ingénierie logicielle.

Les utilisateurs de produits d’IA et de ML en temps réel sont en mesure d’utiliser avec succès le LLM intégrés, des capacités de simulation et des fonctionnalités plus avancées directement dans les produits grâce au QPS élevé, à la faible barrière à l’entrée et aux couches sémantiques évolutives. Ces produits vont de la prévision des revenus et de la tarification dynamique auxiliaire aux jumeaux numériques opérationnels et aux moteurs de recommandation de décision.


L'interface du chatbot BlueSky utilisée pour la prise de décision opérationnelle.

L’interface du chatbot BlueSky utilisée pour la prise de décision opérationnelle.

Conditions requises pour le magasin de fonctionnalités en ligne et la base de données vectorielles

Rockset est utilisé par l’équipe de science des données de JetBlue pour servir les produits internes, notamment les recommandations, les promotions marketing et les jumeaux numériques opérationnels. JetBlue a évalué Rockset sur la base des exigences suivantes :

  • Requêtes avec une latence d’une milliseconde : les équipes internes souhaitent des expériences instantanées afin de pouvoir réagir rapidement aux conditions changeantes dans les airs et au sol. C’est pourquoi les expériences de chat telles que « de combien de temps mon vol est-il retardé » doivent générer des réponses en moins d’une seconde.
  • Haute simultanéité : la base de données prend en charge les applications à haute simultanéité exploitées quotidiennement par plus de 10 000 employés.
  • Données en temps réel : JetBlue opère dans les espaces aériens les plus encombrés et les retards dans le monde entier peuvent avoir un impact sur les opérations. Tous les produits opérationnels d’IA et de ML doivent prendre en charge une latence des données d’une milliseconde afin que les équipes puissent prendre des mesures immédiates sur les données les plus à jour.
  • Architecture évolutive : JetBlue nécessite une architecture cloud évolutive qui sépare le calcul du stockage, car un certain nombre d’applications doivent accéder aux mêmes fonctionnalités et ensembles de données. Avec une architecture cloud, chaque application dispose de son propre cluster de calcul isolé pour éliminer les conflits de ressources entre les applications et économiser sur les coûts de stockage.

En plus d’évaluer Rockset, l’équipe de science des données a également examiné plusieurs solutions ponctuelles, notamment des magasins de fonctionnalités, des bases de données vectorielles et des entrepôts de données. Avec Rockset, ils ont pu consolider 3 à 4 bases de données en une seule solution et minimiser les opérations.

« L’itération et la rapidité des nouveaux produits ML étaient les plus importantes pour nous », déclare Sai Ravuru, directeur principal de la science des données et de l’analyse chez JetBlue. « Nous avons constaté l’immense puissance de l’analyse en temps réel et de l’IA pour transformer l’augmentation et l’automatisation des décisions en temps réel de JetBlue, car l’assemblage de 3 à 4 solutions de bases de données aurait ralenti le développement d’applications. Avec Rockset, nous avons trouvé une base de données capable de suivre le rythme rapide de l’innovation chez JetBlue.

Avantages de Rockset pour l’IA chez JetBlue

L’équipe de données de JetBlue a adopté Rockset comme magasin de fonctionnalités en ligne et base de données de recherche de vecteurs. Les fonctionnalités de base de Rockset permettent à l’équipe chargée des données d’avancer plus rapidement dans le développement d’applications tout en obtenant des performances rapides et constantes :

  • Indice convergé : le Indice convergé offre des performances de requête en millisecondes pour les recherches, les recherches vectorielles, les agrégations et les jointures avec un réglage minimal des performances. Grâce à l’avantage de performance prêt à l’emploi de Rockset, l’équipe de JetBlue a pu publier rapidement de nouvelles fonctionnalités ou applications.
  • Modèle de données flexible : les données à grande échelle et fortement imbriquées peuvent être facilement interrogées à l’aide de SQL. De plus, la gestion dynamique des schémas de Rockset a permis à l’équipe de science des données de ne plus dépendre de l’ingénierie pour les modifications des fonctionnalités. Grâce au modèle de données flexible de Rockset, l’équipe a constaté une diminution de 30 % du délai de mise sur le marché des nouvelles fonctionnalités de ML.
  • API SQL : Rockset adopte également une approche axée sur les API et stocke des requêtes SQL nommées et paramétrées qui peuvent être exécutées à partir d’un point de terminaison REST dédié. Ces requête lambdas accélérer le développement d’applications car les équipes data n’ont plus besoin de créer des API dédiées, supprimant ainsi une étape de développement qui pouvait auparavant prendre jusqu’à une semaine. « Il nous aurait fallu encore 3 à 6 mois pour lancer les produits d’IA et de ML sans les lambdas de requêtes », explique Sai Ravuru. « Rockset a réduit ce temps à quelques jours grâce à la facilité de conversion d’une requête SQL en API REST. »
  • Architecture cloud native : l’évolutivité de Rockset permet à JetBlue de prendre en charge des applications à haute concurrence sans se soucier d’une augmentation considérable de leur facture de calcul. Comme Rockset est spécialement conçu pour les applications de recherche et d’analyse dans le cloud, il offre un meilleur rapport qualité-prix que les solutions Lakehouse et d’entrepôt de données et génère déjà des économies de calcul pour JetBlue. L’un des avantages de l’architecture de Rockset est sa capacité à séparer les deux stockage de calcul et calculer-calculer pour fournir des applications toujours performantes basées sur des données de streaming à haute vitesse.

L’avenir de l’IA dans le ciel

L’IA commence tout juste à prendre son envol et profite déjà à JetBlue et aux quelque 40 millions de voyageurs qu’elle transporte chaque année. La rapidité de l’innovation chez JetBlue est rendue possible par la facilité d’utilisation de la pile de données sous-jacente.

« Nous en sommes à plus de 15 applications ML en production et je prévois que ce nombre augmentera de manière exponentielle au cours de l’année prochaine », déclare Sai Ravuru. «Cela remonte à notre investissement dans BlueML en tant que plate-forme centralisée en libre-service pour l’IA et le ML où les données et les prédictions en temps réel sont accessibles dans toute l’organisation pour améliorer l’expérience client», poursuit Ravuru. « Nous avons jeté les bases de l’innovation grâce à l’IA et j’ai hâte de voir l’impact transformateur qu’elle aura sur l’expérience de nos clients en matière de réservation, de vol et d’interaction avec les canaux numériques de JetBlue. La prochaine étape consiste à prendre de nombreuses informations fournies aux équipes internes et à les intégrer au site Web et aux applications JetBlue. Il y a encore beaucoup plus à venir.



Related Articles

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici

Latest Articles