Accueil Big Data Suivi logistique en temps réel et IA chez Windward

Suivi logistique en temps réel et IA chez Windward

0
Suivi logistique en temps réel et IA chez Windward


Au vent (LSE : WNWD), est la principale société Maritime AI™, fournissant une plate-forme tout-en-un pour la gestion des risques et la sensibilisation au domaine maritime afin d’accélérer le commerce mondial. Windward surveille et analyse ce que font chaque jour plus de 500 000 navires dans le monde, y compris où ils vont, quelles marchandises sont stockées, comment ils gèrent les intempéries et quels ports ils fréquentent. Avec 90% du commerce est transporté par voie maritime, ces données sont cruciales pour maintenir la chaîne d’approvisionnement mondiale sur la bonne voie, mais peuvent être difficiles à démêler et à exploiter. Windward remplit ce créneau en fournissant des renseignements exploitables avec un suivi ETA en temps réel, des informations sur les performances des transporteurs, une surveillance et une atténuation des risques, etc.

En 2022, Windward s’est lancé dans plusieurs modifications de son application, ce qui a conduit à reconsidérer sa pile de données sous-jacente. D’une part, l’entreprise a décidé d’investir dans un Laboratoire d’analyse des API où les clients et partenaires des fournisseurs, transporteurs, gouvernements et compagnies d’assurance pourraient utiliser les données maritimes dans le cadre de leurs systèmes et flux de travail internes. Cela a permis à chacun des acteurs d’utiliser les données maritimes de manière distincte, les compagnies d’assurance déterminant les prix et évaluant les risques et les gouvernements surveillant les activités illégales. En conséquence, Windward souhaitait une pile de données sous-jacente qui adoptait d’abord une approche API.

Windward a élargi ses connaissances en matière d’IA pour inclure les risques liés à pêche illégale, non réglementée et non déclarée (INN) ainsi que identifier les flottes fantômes qui obscurcissent le transport de marchandises pétrolières et humides russes sanctionnées. Pour prendre en charge cela, la plate-forme de données de Windward devait permettre une itération rapide afin de pouvoir innover rapidement et développer davantage de capacités d’IA.


La plateforme d'IA Windward Maritime

La plateforme d’IA Windward Maritime

Enfin, Windward souhaitait déplacer l’ensemble de sa plate-forme d’une infrastructure de données par lots vers le streaming. Cette transition peut prendre en charge de nouveaux cas d’utilisation qui nécessitent un moyen plus rapide d’analyser les événements, ce qui n’était pas nécessaire jusqu’à présent.

Dans ce blog, nous décrirons la nouvelle plate-forme de données pour Windward et comment elle est d’abord une API, permet une itération rapide du produit et est architecturée pour le streaming de données en temps réel.

Défis liés aux données

Windward suit les positions des navires générées par les transmissions AIS dans l’océan. Plus de 100 millions de transmissions AIS sont ajoutées chaque jour pour suivre la position d’un navire à tout moment. Si un navire effectue un virage, Windward peut utiliser un nombre minimal de transmissions AIS pour tracer sa trajectoire. Ces données peuvent également être utilisées pour déterminer la vitesse, les ports visités et d’autres variables faisant partie du voyage. Or, ces données de transmission AIS sont un peu floues, ce qui rend difficile l’association d’une transmission au bon navire. En conséquence, environ 30 % de toutes les données finissent par déclencher des modifications et des suppressions de données.

En plus des données de transmission AIS, il existe d’autres sources de données à enrichir, notamment la météo, les cartes marines, la propriété, etc. Ces données d’enrichissement ont des schémas changeants et de nouveaux fournisseurs de données sont constamment ajoutés pour améliorer les informations, ce qui rend difficile pour Windward la prise en charge de l’utilisation de bases de données relationnelles avec des schémas stricts.

À l’aide de données historiques et en temps réel, Windward effectue une analyse comportementale pour examiner les activités maritimes, les performances économiques et les pratiques de transport trompeuses. Ils créent également des modèles d’IA qui sont utilisés pour déterminer le risque environnemental, le risque de non-respect des sanctions, le risque opérationnel, etc. Toutes ces évaluations remontent à l’initiative AI Insights qui a conduit Windward à réexaminer sa pile de données.


Les étapes suivies par Windward pour créer des données exclusives et des informations sur l'IA

Les étapes suivies par Windward pour créer des données exclusives et des informations sur l’IA

Comme Windward fonctionnait dans une pile de données par lots, ils stockaient les données brutes dans S3. Ils ont utilisé MongoDB comme magasin de métadonnées pour capturer les données des navires et de l’entreprise. Les données de position du navire, qui sont par nature un ensemble de données géospatiales de séries chronologiques, ont été stockées à la fois dans PostgreSQL et Cassandra pour pouvoir prendre en charge différents cas d’utilisation. Windward a également utilisé des bases de données spécialisées comme Elasticsearch pour des fonctionnalités spécifiques telles que la recherche de texte. Lorsque Windward a fait l’inventaire de son architecture de données, ils disposaient de 5 bases de données différentes, ce qui rendait difficile la prise en charge de nouveaux cas d’utilisation, la réalisation de requêtes contextuelles performantes et la mise à l’échelle des systèmes de bases de données.

De plus, à mesure que Windward introduisait de nouveaux cas d’utilisation, leur pile de données commençait à rencontrer des limites. Selon Benny Keinan, vice-président de la R&D chez Windward : « Nous étions bloqués sur le développement de fonctionnalités et travaillions trop dur sur des fonctionnalités qui auraient dû être faciles à créer. La pile de données et le modèle avec lesquels nous avons lancé Windward il y a douze ans n’étaient pas idéaux pour les fonctionnalités de recherche et d’analyse nécessaires pour transformer numériquement et intelligemment l’industrie maritime.

Benny et son équipe ont décidé de se lancer dans une nouvelle pile de données capable de mieux prendre en charge les suivi logistique besoins de leurs clients et de l’industrie maritime. Ils ont commencé par examiner les demandes de nouveaux produits des prospects et des clients qui seraient difficiles à prendre en charge dans la pile actuelle, limitant ainsi la possibilité de générer de nouveaux revenus importants. Ceux-ci comprenaient :

  • Requêtes géographiques : les clients souhaitaient générer des polygones personnalisés pour surveiller des zones maritimes d’intérêt particulières. Leur objectif était d’avoir la capacité d’effectuer des recherches sur des données antérieures pour des polygones récemment définis et d’obtenir des résultats en quelques secondes.
  • Recherche de navire : les clients souhaitaient rechercher un navire spécifique et voir toutes les informations contextuelles, y compris les transmissions AIS, la propriété, les activités et les relations entre les activités (par exemple, la séquence d’activités). Les requêtes de recherche et de jointure étaient difficiles à prendre en charge en temps opportun dans l’expérience applicative.
  • Recherche de mots partielle et floue : le client peut ne disposer que du nom partiel du navire et la base de données doit donc prendre en charge les recherches de mots partielles.

Windward s’est rendu compte que la base de données devait prendre en charge à la fois la recherche et l’analyse des données en streaming pour répondre à ses besoins actuels et futurs en matière de développement de produits.

Exigences pour la base de données de nouvelle génération

Le nombre de bases de données sous gestion et les défis liés à la prise en charge des nouvelles exigences de cas d’utilisation ont incité Windward à consolider sa pile de données. En adoptant une approche centrée sur les cas d’utilisation, Windward a pu identifier les exigences suivantes :


Exigences de Windward pour leur base de données de nouvelle génération

Exigences de Windward pour leur base de données de nouvelle génération

Après avoir défini les exigences, Windward a évalué plus de 10 bases de données différentes, parmi lesquelles seules Rockset et Snowflake étaient capables de prendre en charge les principaux cas d’utilisation de recherche et d’analyse dans leur application.

Rockset a été présélectionné pour l’évaluation car il est conçu pour une recherche et une analyse rapides sur les données en streaming et adopte une approche prioritaire par API. De plus, Rockset prend en charge les mises à jour sur place, ce qui permet de traiter efficacement les modifications apportées aux transmissions AIS et aux navires associés. Grâce à la prise en charge de SQL sur des données semi-structurées profondément imbriquées, Windward a vu le potentiel de consolider les données géographiques et les données de séries chronologiques en un seul système et d’effectuer des requêtes à l’aide de SQL. Comme l’une des limites des systèmes existants était leur incapacité à effectuer des recherches rapides, Windward a apprécié le système de Rockset. Indice convergé qui indexe les données dans un index de recherche, un magasin en colonnes et un magasin en lignes pour prendre en charge un large éventail de modèles de requête prêts à l’emploi.

Flocon de neige a été évalué pour son stockage en colonnes et sa capacité à prendre en charge des agrégations et des jointures à grande échelle sur des données historiques. Snowflake et Rockset sont tous deux natifs du cloud et entièrement gérés, ce qui minimise les opérations d’infrastructure de la part de l’équipe d’ingénierie de Windward afin qu’elle puisse se concentrer sur la création de nouvelles connaissances et capacités d’IA dans leur application maritime.

Évaluation des performances de Rockset et Snowflake

Windward a évalué les performances des requêtes des systèmes sur une suite de 6 requêtes typiques, notamment la recherche, la géorecherche, la correspondance floue et les agrégations à grande échelle sur une taille d’ensemble de données d’enregistrements d’environ 2 milliards.

Les performances de Rockset ont été évaluées sur une instance virtuelle XL, une allocation de 32 vCPU et 256 Go de RAM, soit 7,3496 $/h dans la région AWS US-West. Les performances de Snowflake ont été évaluées sur un grand entrepôt de données virtuel coûtant 16 $/h dans AWS US-West.


Évaluation des performances de Rockset et Snowflake

Évaluation des performances de Rockset et Snowflake

Les tests de performances montrent que Rockset est capable d’atteindre plus rapidement performances de requête à moins de la moitié du prix de Snowflake. Scie à rochet jusqu’à un avantage prix-performance jusqu’à 30,91x sur Snowflake pour le cas d’utilisation de Windward. Les gains de vitesse de requête par rapport à Snowflake sont dus à la technologie d’indexation convergée de Rockset, dans laquelle un certain nombre d’index sont exploités en parallèle pour obtenir des performances rapides sur des données à grande échelle.

Ces tests de performances ont permis à Windward d’être convaincu que Rockset pourrait répondre à la latence de requête en secondes souhaitée pour l’application tout en respectant le budget actuel et futur.

Itérer dans un océan de données

Avec Rockset, Windward est en mesure de répondre aux besoins en évolution rapide de l’écosystème maritime, en offrant à ses clients la visibilité et les informations d’IA nécessaires pour réagir et rester en conformité.

Les capacités analytiques qui mettaient hors service la base de données PostgreSQL de Windward ou qui prenaient au minimum 40 minutes à charger, sont désormais fournies aux clients en quelques secondes. De plus, Windward consolide trois bases de données dans Rockset pour simplifier les opérations et faciliter la prise en charge des nouvelles exigences de produits. Cela donne à l’équipe d’ingénierie de Windward le temps nécessaire pour développer de nouvelles connaissances en matière d’IA.

Benny Keinan décrit comment le développement de produits a évolué avec Rockset : « Nous sommes en mesure d’offrir à nos clients de nouvelles fonctionnalités qui n’étaient pas possibles avant Rockset. En conséquence, les dirigeants maritimes exploitent les connaissances de l’IA pour gérer leurs chaînes d’approvisionnement à travers la pandémie de coronavirus, la guerre en Ukraine, les initiatives de décarbonation et bien plus encore. Rockset nous a aidé à répondre aux besoins changeants de l’industrie maritime, le tout en temps réel.

Vous pouvez en savoir plus sur les éléments fondamentaux et les principes de l’IA de Windward sur leur blog. Un regard sur la « salle des machines » de l’IA de Windward.



LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici