Accueil Big Data Le leader du contenu audio en ligne libère des données contextualisées en libre-service

Le leader du contenu audio en ligne libère des données contextualisées en libre-service

0
Le leader du contenu audio en ligne libère des données contextualisées en libre-service
Le leader du contenu audio en ligne libère des données contextualisées en libre-service


Comment un pionnier du contenu numérique a étendu la valeur de Snowflake à ses consommateurs de données

Hébergeant des milliers de podcasts, des millions de chansons et des programmes à la demande pour des émissions de radio, cette organisation est un leader du contenu audio en ligne. Avec des millions et des millions de clients, chacun avec des préférences uniques sur un nombre apparemment illimité de choix de contenu, l’organisation repose sur une quantité massive de données utiles. Et parmi les personnes clés chargées de garantir que l’organisation tire le meilleur parti de ces données se trouve le responsable de l’ingénierie et de l’architecture des données.

« Je suis ici depuis près de deux ans, mais je travaille dans le génie logiciel depuis environ 15 ans. J’ai rejoint le groupe parce que nous faisons des choses vraiment complexes et intéressantes avec les données, et que nous disposons de moyens innovants pour soutenir la prise de décision basée sur les données », a-t-il expliqué.

L’équipe d’ingénierie et d’architecture des données de l’organisation, composée de 12 membres, gère soigneusement un éventail de technologies, depuis les couches de transformation jusqu’à leur entrepôt de données, en fournissant la technologie et les actifs dont les équipes en aval comme Data Science ont besoin pour développer des modèles de prévision, cartographier les parcours clients et prendre des décisions commerciales solides. .

« Nous avons plusieurs parties prenantes comme les équipes d’analyse ou de produit, et notre objectif est de leur donner ce dont elles ont besoin pour prendre des décisions de qualité basées sur les données afin que nous soyons prêts à innover dans les mois et les années à venir », a-t-il expliqué.

La pile de données moderne gérée par leur équipe se compose d’Airflow, Snowpipe, Snowflake et Tableau. Longtemps pris en charge par Confluence pour la documentation, le contexte de leurs actifs de données est désormais accessible via Atlan, leur plateforme de choix pour la gouvernance des données, la documentation et la découvrabilité.

« Snowflake ne propose pas d’option de documentation, nous avons donc utilisé Confluence. Il y avait beaucoup de documents anciens qu’il n’était malheureusement pas facile de rechercher », a expliqué leur chef. « Vous pouviez documenter autant de choses que vous le souhaitiez, mais cela ne se trouvait pas sur mes tables Snowflake, comme je le souhaitais. Il était également difficile de découvrir des ensembles de données auxiliaires et complémentaires pertinents par rapport à ce que vous recherchiez, et il était même difficile de savoir où et quand ajouter ou mettre à jour la documentation.

En l’absence d’un catalogue de données moderne, chaque fois que les consommateurs de données recherchaient des données ou cherchaient à en comprendre davantage, de nombreuses questions étaient adressées à l’équipe d’analyse des données. Bien qu’ils connaissaient les ensembles de données de Snowflake, ces allers-retours persistants détournaient leur attention et entraînaient un délai d’obtention d’informations plus long pour les consommateurs de données.

« C’est une petite équipe et ils ne peuvent pas aider tout le monde, c’est pourquoi nous voulions que tout cela soit accessible en libre-service. Je souhaite que les internautes puissent trouver rapidement ce qu’ils recherchent, puis poser une question plus éclairée telle que « J’ai trouvé ces données Sales Analytics, mais je souhaite également déterminer ce qui se passe avec les annonceurs. » Est-ce possible ?' », a-t-il partagé.

Après une évaluation approfondie des outils disponibles, l’organisation a choisi Atlan pour présenter et contextualiser les actifs précieux stockés dans Snowflake à ses parties prenantes, améliorant ainsi le temps d’obtention d’informations et favorisant une utilisation plus judicieuse des données, et supprimant le modèle de service coûteux qui avait tourmenté leur analyse de données. équipe.

Ce qui m’a marqué chez Atlan, c’est que nos parties prenantes pouvaient se connecter et interroger directement des informations. Au lieu que mon équipe fournisse un accès direct à tous ces magasins de données dans Snowflake, je pourrais fournir un accès à Atlan et ils pourraient trouver ce dont ils avaient besoin. Il s’agit d’un modèle de guichet unique pour la gouvernance et la découverte, et c’est ce que je recherchais. Je ne voulais pas plus d’un outil.

Leader de l’ingénierie et de l’architecture des données

En commençant par intégrer Atlan aux systèmes fondamentaux de leur pile de données comme Snowflake et Airflow, l’équipe s’est mise au travail en documentant ses tables les plus importantes dans Snowflake. Ensuite, à l’aide de Jira, ils ont mis en place un processus de documentation continue, invitant les propriétaires en amont des actifs de données à documenter leur travail dans Atlan chaque fois qu’un changement survient.

« Désormais, lorsque vous travaillez sur une table, l’une des tâches automatisées configurées dans Jira est que le propriétaire doit documenter cette table dans Atlan. S’ils travaillent sur un tableau qui n’a pas été enrichi dans Atlan, c’est leur temps de prendre 10 minutes et de rédiger un texte de présentation, d’expliquer les colonnes, d’ajouter des informations pertinentes et peut-être d’ajouter quelques balises », a expliqué leur responsable.

Le premier groupe à adopter ce processus est leur équipe d’analyse de données, qui documente leur connaissance approfondie de l’écosystème Snowflake de l’organisation, puis les équipes produits, avec un contexte unique à fournir sur les nombreuses offres de l’organisation. En aval, cela garantit que les consommateurs de données, depuis un utilisateur marketing effectuant une analyse simple jusqu’à un dirigeant curieux de savoir comment un tableau de bord est assemblé, peuvent prendre des décisions plus rapides et plus éclairées.

« Souvent, les gens veulent juste des rapports, mais il y a aussi beaucoup de techniciens brillants qui veulent approfondir les données, et nous sommes en mesure de leur fournir quelque chose à tous », a expliqué leur leader. « Disposer d’un outil de documentation signifie que nous nous alignons mieux, et un meilleur alignement nous aide à prendre des décisions plus rapides. »

Un effet important de l’adoption d’Atlan par l’organisation est une meilleure adoption des capacités de Snowflake et des actifs qui y sont stockés, ainsi qu’une politique plus judicieuse d’octroi d’un accès direct à l’entrepôt de données.

« Les gens ont appris au cours des deux dernières années que nous disposions d’un magasin de données central et qu’ils veulent simplement y accéder. Nous avons quelques utilisateurs expérimentés qui utilisent beaucoup les données brutes et savent exactement ce qu’ils font, mais il y a un nombre croissant de personnes qui sont moins techniques et qui ont entendu dire qu’elles pouvaient accéder aux données s’ils avaient accès à Snowflake. », a expliqué leur chef.

De plus en plus fréquemment, les consommateurs de données moins techniques de l’organisation demanderaient l’accès à Snowflake, mais sans expérience de la navigation dans les entrepôts de données, ni capacité à utiliser SQL, ils seraient rapidement submergés par le volume et la complexité des données dont ils disposent.

Alors que leur équipe de données pouvait détourner certaines de ces demandes des utilisateurs finaux vers des outils comme Amplitude, Atlan était la pièce manquante qui pourrait rendre les actifs de données de leur organisation consultables, compréhensibles et utilisables pour un éventail de rôles et de compétences.

« Pour les personnes qui souhaitent faire un peu d’analyse par elles-mêmes, mon objectif est de les envoyer à Atlan », a-t-il expliqué. « Là, ils disposeront de tout le contexte dont ils ont besoin et de quelques requêtes enregistrées avec lesquelles ils pourront démarrer. Ils peuvent y donner un meilleur sens.

Désormais, lorsque des demandes d’accès à Snowflake sont formulées, l’équipe répond par un ensemble structuré de questions qui évaluent ses capacités techniques et détermine le meilleur endroit où les envoyer pour rechercher et appliquer des données. Et en permettant à ce nouveau groupe d’utilisateurs d’utiliser Atlan, l’équipe d’ingénierie et d’architecture des données évite toute confusion chez ses utilisateurs finaux, ainsi que des allers-retours coûteux de formation et de questions sur des concepts comme SQL.

Je ne veux pas surprotéger les données et en avoir peur. Nous sommes en sécurité, nous accordons la priorité à la confidentialité, mais nous voulons également la démocratiser. Les données sont là pour une raison, et les gens ne peuvent pas prendre de bonnes décisions si nous les stockons et ne les rendons pas disponibles. Et même si nous le rendons disponible, si ce n’est pas compréhensible, cela n’a pas d’importance. Nous veillons à ce qu’il soit compréhensible, fiable, de haute qualité et détectable.

Leader de l’ingénierie et de l’architecture des données

Avec une bibliothèque en croissance constante d’actifs de données bien contextualisés et un nombre croissant d’utilisateurs finaux désormais capables de tirer parti de Snowflake, l’équipe de données se concentre sur la gouvernance des données, en se concentrant non seulement sur la sécurité et la confidentialité, mais aussi en donnant un sens aux problématiques disparates, mais des sources de données similaires, éliminant les silos de connaissances et augmentant la visibilité de l’ensemble de leur parc de données.

« Il faut avoir un endroit où tout est rassemblé et documenté. Atlan fournit tous les outils dont j’ai besoin pour faire une bonne gouvernance sur les actifs dont je dispose », a partagé leur leader. « Nous voulons permettre des décisions de qualité, basées sur des données, et prendre les bonnes décisions avec les bonnes informations. Nous ne pouvons pas y parvenir sans une bonne gouvernance.

Après une mise en œuvre réussie d’Atlan, démocratisant l’accès à des actifs précieux dans leur écosystème Snowflake, leur responsable des données a partagé ce qu’il considère comme des considérations clés pour ses pairs alors qu’ils envisagent d’investir dans un catalogue de données moderne.

C’est le premier et le seul outil de catalogage que j’ai utilisé. Nous avons reçu des démos d’autres sociétés, mais l’équipe d’Atlan innove très rapidement et a été réactive dès le début pour tous les problèmes ou demandes que nous avons eus ; des problèmes qui ont pour la plupart disparu à ce stade, un an plus tard. Mon conseil serait de rechercher quelque chose qui soit non seulement utilisable par vos équipes techniques, mais simple à comprendre et à naviguer pour toutes les personnes qui seront vos consommateurs. Si ce n’est pas le cas, ils n’y toucheront pas.»

Leader de l’ingénierie et de l’architecture des données

photo par Will François sur Unsplash

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici