Accueil Big Data Foundry : un pionnier des métadonnées actives – Atlan

Foundry : un pionnier des métadonnées actives – Atlan

0
Foundry : un pionnier des métadonnées actives – Atlan
Foundry : un pionnier des métadonnées actives – Atlan


Piloter un langage partagé pour les données avec Atlan

La série Active Metadata Pioneers présente les clients d’Atlan qui ont récemment réalisé une évaluation approfondie du marché de la gestion active des métadonnées. Transmettre ce que vous avez appris au prochain leader des données est le véritable esprit de la communauté Atlan ! Ils sont donc ici pour partager leur point de vue durement acquis sur un marché en évolution, ce qui constitue leur pile de données moderne, des cas d’utilisation innovants des métadonnées, et bien plus encore.

Dans cet épisode de la série, nous rencontrons Richard Goerwitz, Data Engineering Architect, Brian Kim, Data Analyst II et Amit Kini, Data Engineer III chez Foundry, une organisation dédiée à l’autonomisation des infrastructures décentralisées pour les institutions à la recherche d’outils pour l’extraction et le jalonnement d’actifs numériques. . Ils expliquent comment Foundry a rapidement fait mûrir sa technologie de données et son équipe. Désormais, un catalogue de données moderne facilitera la découverte et un langage partagé pour leurs actifs de données et accélérera leur parcours de gouvernance des données.

Cette interview a été éditée par souci de concision et de clarté.


Pourriez-vous nous parler un peu de vous, de votre parcours et de ce qui vous a attiré vers les données et l’analyse ?

Brian :
Je travaille actuellement en tant qu’analyste de données chez Foundry et j’ai été exposé pour la première fois au domaine des données alors que j’étudiais l’analyse commerciale à l’école supérieure. J’ai toujours comparé un analyste de données à un chef. Les données brutes sont l’ingrédient principal et les analystes les découpent, les coupent en dés et les préparent pour en faire quelque chose qui est consommable pour les utilisateurs finaux. Le fait que je puisse mettre à profit mon point de vue sur les décisions basées sur les données a toujours rendu les données et les analyses intéressantes.

Surtout pour Foundry, toutes les décisions commerciales clés sont fortement basées sur les données. C’est pourquoi je passe la plupart de mon temps à analyser et visualiser de manière proactive les données pour des équipes telles que l’équipe de développement commercial et l’équipe financière, afin qu’elles puissent naviguer parmi les opportunités avec moins de risques.

Amit :
Je travaille dans le domaine de l’ingénierie des données depuis environ 15 ans et j’ai passé la plupart de ces années à travailler dans le secteur des données et de l’analyse liées au sport. En tant qu’ingénieur de données chez Foundry, je me concentre actuellement sur la mise en œuvre du modèle d’entrepôt de données d’entreprise, l’intégration de nouvelles technologies de données et la collaboration étroite avec Atlan.

Richard:
Je suis exposé à l’administration de bases de données et de systèmes depuis près de 30 ans maintenant. Mon rôle chez Foundry est d’apporter des connaissances sur le pipeline de données et les outils globaux, et de faire le lien entre les analystes de données, les data scientists et les ingénieurs de données. L’objectif est que tout le monde tire à plein régime et utilise la technologie disponible. J’ai passé beaucoup de temps à présenter à l’équipe des concepts tels que le modèle de lac de données standard, les avantages de la base de données en colonnes dans l’analyse, l’importance du catalogue et de la fédération de données, et bien d’autres encore.

Pourriez-vous décrire Foundry et votre équipe de données ?

Brian :
Foundry est surtout connu pour le Foundry USA Pool, qui est actuellement le plus grand pool minier Bitcoin au monde, mais nous sommes également connus pour nos services complets de premier ordre destinés aux mineurs institutionnels, aux clients de jalonnement et aux entrepreneurs blockchain, et pour leur fournir le les outils dont ils ont besoin, qui comprennent des services autour des équipements miniers, y compris la logistique et le déploiement des machines.

Nous appelons toujours l’équipe données la famille des données car malgré un certain nombre de rôles et de titres différents, nous travaillons tous en très étroite collaboration pour atteindre nos objectifs. Les analystes de données s’efforcent de comprendre les besoins et les désirs de l’équipe commerciale et de déterminer les exigences en matière de données. Ensuite, les ingénieurs de données fournissent leurs commentaires sur les meilleures pratiques et acheminent les données vers le lac de données.

À quoi ressemble votre pile de données ?

Richard:
Foundry était une jeune organisation lorsque je l’ai rejoint pour la première fois, et notre ingénierie des données a considérablement mûri en peu de temps. Nous avons construit une infrastructure substantielle, telle qu’un entrepôt de données d’entreprise et un lac de données, qui permettront de mieux faire apparaître les données et de prendre en charge les décisions basées sur les données.

Pourquoi rechercher une solution de gestion active des métadonnées ? Ce qui manquait?

Richard:
Les personnes qui ont la main sur les données en ont une bonne compréhension, mais l’équipe chargée des données se pose toujours des questions sur l’endroit où certains éléments de données peuvent être trouvés, à quoi ils ressemblent et qui ils peuvent contacter pour accéder aux données. Il y a beaucoup d’échanges d’informations verbales pour obtenir des réponses à ces questions, et cela prend beaucoup de temps.

Ce sur quoi nous travaillons est de mettre en œuvre davantage d’outils et de processus pour aider nos équipes à se servir en libre-service dans la mesure du possible, en particulier à mesure que nous évoluons vers un maillage de données de domaine où les équipes sont censées pouvoir fonctionner de manière quelque peu indépendante de par leur conception. Vous ne pouvez vraiment pas faire cela sans un bon outil de catalogage et de gouvernance.

Brian :
À mesure que notre organisation évolue, nous collectons et stockons des données plus rapidement que jamais et les sources sont devenues plus diversifiées. L’un des problèmes les plus importants auxquels je suis personnellement confronté concerne l’exposition des données. Nous disposons de données riches. Cependant, les personnes extérieures à l’équipe chargée des données ne savent pas exactement où et quelles données nous pouvons fournir. En fait, les questions les plus courantes que je rencontre sont « Pouvez-vous rechercher ces données ? », « Ces données sont-elles disponibles ? » et « Pouvez-vous fournir ces données ? ». Souvent, ces questions pourraient être simplement intéressées si nous disposons du bon outil. De plus, j’ai vu des cas où les gens faisaient référence à la même terminologie avec des significations différentes. Aligner tout le monde et avoir une meilleure efficacité dans la communication est un autre grand objectif que j’ai hâte d’accomplir.

Pourquoi Atlan était-il un bon choix ? Est-ce que quelque chose est ressorti lors de votre processus d’évaluation ?

Brian :
Notre équipe a eu une très bonne expérience avec Atlan en termes de convivialité et de concentration sur nos cas d’utilisation. Pour moi, je pense qu’Atlan dispose d’une documentation très solide lorsque j’essaie de rechercher de quoi il est capable et ce que nous pouvons réaliser avec.

Richard:
Nous avons examiné trois produits avant de choisir Atlan. Atlan utilise l’open source, a fait quelques pas stratégiques vers l’IA et il n’y a pas beaucoup d’infrastructure héritée car elle a commencé dans un environnement cloud. Ce sont des choses, en plus d’avoir une belle interface, qui nous ont fait décider en faveur d’Atlan.

Que comptez-vous créer avec Atlan ? Avez-vous une idée des cas d’utilisation que vous créerez et de la valeur que vous générerez ?

Amit :
Le glossaire métier et la découvrabilité des données sont principalement ce que nous cherchons à mettre en œuvre dans un avenir proche. Mais il existe d’autres cas d’utilisation sur lesquels nous souhaitons en savoir plus. Je m’intéresse personnellement au traçage des données, à l’analyse des causes profondes pour voir comment les données circulent à travers divers systèmes et au marquage des données.

Brian :
Atlan sera idéal pour exposer les données via le catalogage et pour aligner les personnes via un glossaire. Un cas d’utilisation supplémentaire d’Atlan pour nous sera l’amélioration de la gouvernance des données. Il s’agit d’un sujet qui intéresse plusieurs équipes de l’organisation, telles que l’équipe juridique et conformité, sécurité et DevOps.

photo par Taylor Vic sur Unsplash

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici