Gouverner Snowflake et Supercharger Sigma avec Atlan
La série Active Metadata Pioneers présente les clients d’Atlan qui ont récemment réalisé une évaluation approfondie du marché de la gestion active des métadonnées. Transmettre ce que vous avez appris au prochain leader des données est le véritable esprit de la communauté Atlan ! Ils sont donc ici pour partager leur point de vue durement acquis sur un marché en évolution, ce qui constitue leur pile de données moderne, des cas d’utilisation innovants des métadonnées, et bien plus encore.
Dans cet épisode de la série, nous rencontrons Daniel Dowdy, directeur de l’analyse Big Data chez North American Bancard. Daniel partage le parcours de son organisation vers la centralisation des données dans Snowflake et leur exposition dans Sigma, et comment Atlan jouera un rôle clé dans l’avancement de leur stratégie de gouvernance des données et dans la réduction des efforts déployés par leurs analystes et ingénieurs pour rechercher, comprendre et appliquer les données.
Cette interview a été éditée par souci de concision et de clarté.
Pourriez-vous nous parler un peu de vous, de votre parcours et de ce qui vous a attiré vers Data & Analytics ?
C’est un peu une histoire pour y arriver et pour moi, ce n’était pas un chemin direct. J’ai toujours été une personne procédurale et analytique, passionnée par la résolution de problèmes et l’aide aux gens. J’ai commencé par servir dans le Corps des Marines, et je pense que cela a contribué à améliorer ces attributs tout en ajoutant une tonne de compétences en leadership.
Après le Corps des Marines, j’ai décidé de concentrer ma carrière sur la finance. Il y a donc un peu plus de 12 ans, j’ai rejoint l’équipe financière de North American Bancard. Après avoir accédé à certains rôles de direction, j’ai fini par superviser les consultants techniques que nous avions pour notre logiciel de comptabilité, et j’étais bien plus intéressé à pouvoir passer sous le capot, pour ainsi dire, et extraire des données plutôt que d’utiliser l’interface graphique dans les logiciels.
Et à partir de là, les choses ont décollé. J’ai suivi des cours de génie logiciel et j’ai eu l’opportunité de diriger l’équipe de planification et d’analyse des activités de notre organisation opérationnelle. Nous avons fini par être bien plus que cela lorsque nous avons commencé à centraliser les rapports et les KPI et à développer réellement une feuille de route de business intelligence et d’analyse avancée. Cela m’a amené à évoluer dans l’organisation informatique et à gérer l’équipe Data Science et Reporting.
Le succès que nous avons eu là-bas, en créant notre entrepôt de données de nouvelle génération via Snowflake et en permettant des analyses en libre-service dans toute l’organisation à l’aide de flux de données en temps réel, m’a conduit à mon rôle actuel. Ce n’était pas un chemin clair ou direct où je savais que j’allais me lancer dans les données et l’analyse dès le début, mais je suis heureux d’être ici. Et compte tenu de la façon dont tout a évolué au cours de la dernière décennie dans les rôles centrés sur les données, je suis plus enthousiaste que jamais à l’idée de travailler dans le monde des données et de l’analyse.
Pourriez-vous décrire North American Bancard et comment votre équipe de données soutient l’organisation ?
North American Bancard est le sixième plus grand acquéreur indépendant du pays et aide les commerçants à traiter environ 45 milliards de dollars par an. Au cours des 20 dernières années, NAB s’est concentré sur la création d’une plate-forme aussi simple que possible pour permettre aux commerçants de développer leur activité grâce à des innovations et au traitement des cartes de crédit, au commerce électronique, aux paiements mobiles et bien plus encore.
Lorsque nous parlons spécifiquement de l’équipe de données, NAB Holdings dispose d’une équipe de données de base composée d’ingénieurs, d’analystes, d’administrateurs et de scientifiques des données. Plusieurs autres départements de notre organisation, en plus de bon nombre de nos autres filiales, disposent de leurs propres équipes de données avec lesquelles nous collaborons pour créer un écosystème de données très robuste.
L’une des meilleures choses à propos de notre équipe de données est que nous ne restons jamais coincés dans l’état d’esprit « C’est ainsi que cela a toujours été fait ». Tous les membres de notre équipe sont toujours à la recherche de la prochaine façon d’innover et de s’améliorer, et nous évaluons toujours les nouvelles technologies et recherchons la meilleure façon de faire les choses par rapport à la façon dont cela a toujours été fait. Je suis incroyablement reconnaissant d’avoir l’opportunité de travailler avec une équipe de données incroyable. Leur collaboration et leur soutien alors que nous évoluons et innovons constamment pour construire de futurs systèmes sont vraiment passionnants.
Pourriez-vous décrire votre pile de données ?
De haut niveau, nous avons une approche multi-cloud, tirant parti des services de différents fournisseurs de cloud, couvrant plusieurs régions. Nous disposons d’une grande variété de sources de données et de presque tous les types de bases de données auxquels vous pouvez penser. Nous avons centralisé la plupart de ces informations dans Snowflake. Et une grande partie de ce qui arrive dans Snowflake est synchronisé via CDC et divers outils et technologies que nous utilisons pour y parvenir.
Nous utilisons une combinaison de technologies modernes pour la réplication et le streaming des données ainsi que nos solutions et processus ETL/ELT. Une fois centralisés dans Snowflake et transformés pour créer notre entrepôt de données et nos data marts, nous utilisons principalement Sigma comme couche BI. Au cours des deux dernières années, la combinaison Sigma et Snowflake a constitué un point central dans l’évolution de notre pile technologique.
Nous étions autrefois confrontés à un obstacle, car nous avions une telle variété de sources de données sur plusieurs serveurs et, avec la taille des données dont nous disposions, des requêtes qui prenaient 30 heures à exécuter, puis échouaient souvent lorsque nous essayions de faire une analyse. Depuis que nous avons migré vers Snowflake, nous obtenons les mêmes résultats en 30 secondes ou moins. Cela nous a donc fait passer de cet environnement de « désert de données » à une oasis d’informations, à bien des égards.
Cela a, à son tour, augmenté le volume des demandes entrantes. De plus en plus de personnes pouvaient désormais obtenir beaucoup plus d’informations, et elles le voulaient rapidement. Nous avons donc dû développer un environnement favorisant l’analyse en libre-service qui mettait les données à disposition. du bout des doigts des analystes plutôt que de passer par nous dans un système de requête pour l’extraire à leur place. C’est là que Sigma est entré dans notre pile technologique.
Leur interface de type Excel a permis une adoption immédiate de l’outil, et nous avons pu exposer les données de reporting et permettre à ces analystes de les explorer. Ensuite, ils pouvaient répondre à 20 questions qu’ils pouvaient poser en quelques minutes seulement, alors qu’ils passaient autrefois des jours d’allers-retours à travailler avec un système de tickets.
Nous disposons d’une très large gamme de technologies, mais notre objectif est de les centraliser dans Snowflake et de leur permettre d’être consommables dans Sigma.
Qu’est-ce qui vous a incité à rechercher une plateforme de gestion active des métadonnées ? Qu’est-ce qui s’est démarqué chez Atlan ?
Nous souhaitions une solution de gouvernance des données vraiment solide et nous souhaitions pouvoir créer un glossaire de données robuste. Ce sont les principales fonctionnalités que nous recherchions.
Lors de l’évaluation, nous avons constaté que d’autres outils pouvaient faire cela. Mais quand il s’agissait d’Atlan, vous pouviez faire ces choses, mais vous pouviez aussi faire toutes ces autres choses que nous ne recherchions pas nécessairement mais dont nous avions vraiment besoin.
Le plug-in Chrome a été essentiel pour créer cette intégration transparente avec Sigma. Nous avons des centaines d’utilisateurs Sigma, et il était important de leur offrir une expérience améliorée leur permettant de voir plus d’informations ou de soumettre des tickets Jira directement dans un tableau de bord, sans avoir à s’en éloigner. De plus, le ticket Jira marque ensuite le tableau de bord pour que nos analystes puissent travailler plus rapidement sur la résolution des problèmes.
Pour Sigma, cela va augmenter l’adoption, mais cela nous donne également la possibilité d’augmenter le nombre de personnes que nous allons autoriser dans cet environnement. Nous sommes encore assez limités quant aux personnes à qui nous proposons Sigma. Maintenant que nous avons la possibilité de voir l’origine de tous ces rapports et exactement ce qui se passe dans le système, et que nous pouvons avoir plus de contrôles, nous sommes plus à l’aise d’élargir le nombre de personnes que nous allons autoriser à accéder à cet environnement. Et en plus de cela, l’expérience utilisateur sera bien meilleure grâce à cette amélioration.
L’intégration Sigma est le principal cas d’utilisation qui représentait une exigence stricte. Nous avions besoin de quelque chose qui s’intègre à Sigma, et le vôtre était, parmi tous ceux avec qui nous avons effectué une preuve de concept, le meilleur de sa catégorie. Nous avons évalué une autre solution plus tôt cette année et ils ont dit : « Oh oui, nous pourrons éventuellement. » Eh bien, nous ne pouvons pas acheter quelque chose pour finalement travailler avec ce dont nous avons besoin maintenant. Vous aviez raison.
Ensuite, il y avait les fonctions d’optimisation des coûts dans Snowflake, les personnages et la possibilité de baliser les éléments à des fins de gouvernance. Il comportait tellement de couches supplémentaires que nous n’avions même pas dans nos exigences, ce qui en faisait simplement un outil clair.
Et je dois dire que les vendeurs et l’ingénieur commercial avec qui nous avons travaillé étaient absolument extraordinaires. Ils ont été très utiles et je ne saurais trop les crier.
Que comptez-vous créer avec Atlan ? Avez-vous une idée des cas d’utilisation que vous créerez et de la valeur que vous générerez ?
Une grande partie de ce que nous faisons consiste à améliorer la sécurité. Même si nous avons de très bonnes politiques de sécurité, notre réflexion est la suivante : « Comment pouvons-nous l’améliorer ? » Comment pouvons-nous rechercher les éléments qui doivent être masqués, puis les étiqueter correctement ? Comment pouvons-nous identifier les nouveaux objets ajoutés qui pourraient être sensibles ? La sécurité est toujours une priorité pour réduire nos risques et notre exposition.
En dehors de cela, tout ce que font nos analystes utilisateurs finaux dans Sigma sera d’autant plus rapide lorsqu’ils seront en mesure de voir ces définitions et de voir ces commentaires, tickets et discussions passés autour des données qu’ils examinent activement. travaille sur.
Le retour sur investissement que nous obtiendrons grâce aux gains d’efficacité, depuis l’analyste de l’utilisateur final jusqu’à l’ingénieur qui pourrait essayer de corriger un rapport qui, selon eux, est défectueux, je pense que ce sont les principaux facteurs de valeur.
Au-delà de cela, il suffit de créer un glossaire et un dictionnaire de données robustes, qui aideront l’organisation, dans son ensemble, à créer des mesures et des solutions de reporting cohérentes.
photo par rupixen.com sur Unsplash
