Alors que les entreprises cherchent aujourd’hui à faire davantage avec les données, à tirer pleinement parti du cloud et à entrer dans l’ère de l’IA, elles recherchent des services capables de traiter les données à grande échelle, de manière fiable et efficace. Aujourd’hui, nous sommes ravis d’annoncer la prochaine avant-première publique de HDInsight sur le service Azure Kubernetes (AKS), notre service Big Data cloud natif et open source, entièrement réorganisé sur l’infrastructure Azure Kubernetes Service avec deux nouvelles charges de travail et de nombreuses améliorations dans l’ensemble de la pile. L’aperçu public sera disponible le 10/10.
HDInsight sur les performances d’amplification d’AKS
HDInsight sur AKS inclut les charges de travail Apache Spark, Apache Flink et Trino sur une infrastructure Azure Kubernetes Service, et propose une intégration approfondie avec les services d’analyse Azure populaires tels que Power BI, Usine de données Azureet Moniteur Azure, tout en tirant parti des services gérés Azure pour Prometheus et Grafana pour la surveillance. HDInsight sur AKS est une solution d’analyse open source de bout en bout, facile à déployer et rentable à exploiter.
HDInsight sur AKS aide les clients à exploiter des logiciels open source pour leurs besoins d’analyse en :
- Fournir un ensemble organisé de charges de travail d’analyse open source telles qu’Apache Spark, Apache Flink et Trino. Ces charges de travail constituent les meilleurs logiciels open source pour l’ingénierie des données, l’apprentissage automatique, le streaming et les requêtes.
- Fournir une infrastructure, une sécurité et une surveillance gérées afin que les équipes puissent consacrer leur temps à créer des applications innovantes sans avoir à se soucier des autres composants de leur pile. Les équipes peuvent être sûres que HDInsight aide à protéger leurs données.
- Offre la flexibilité dont les équipes ont besoin pour étendre leurs capacités en exploitant le riche écosystème open source actuel pour les bibliothèques réutilisables et en personnalisant les applications via des actions de script.
Les clients profondément investis dans l’analyse open source peuvent utiliser HDInsight sur AKS pour réduire les coûts en configurant des systèmes d’analyse de bout en bout entièrement fonctionnels en quelques minutes, en tirant parti d’intégrations prêtes à l’emploi, d’une sécurité intégrée et d’une infrastructure fiable. Nos investissements dans l’amélioration des performances et des fonctionnalités telles que la mise à l’échelle automatique permettent aux clients d’exécuter leurs charges de travail d’analyse à un coût optimal. HDInsight sur AKS est livré avec une structure tarifaire très simple et cohérente par vcore et par heure, quelle que soit la taille de la ressource ou la région, plus le coût des ressources fournies.
Les développeurs apprécient HDInsight pour la flexibilité qu’il offre pour étendre les capacités de base des charges de travail open source via des actions de script et la gestion de bibliothèques. HDInsight sur AKS propose une expérience de portail intuitive pour gérer les bibliothèques et surveiller les ressources. Les développeurs ont la possibilité d’utiliser un kit de développement logiciel (SDK), des modèles Azure Resource Manager (ARM) ou l’expérience du portail en fonction de leurs préférences.
Rejoignez-nous pour une analyse approfondie de ce lancement dans notre prochain webinaire gratuit.
Ouvert, géré et flexible
HDInsight sur AKS couvre toute la gamme des besoins d’analyse de l’entreprise, couvrant les tâches de streaming, de traitement des requêtes, de lots et d’apprentissage automatique avec une visualisation unifiée.
Charges de travail open source organisées
HDInsight sur AKS inclut des charges de travail choisies en fonction de leur utilisation dans des scénarios d’analyse typiques, de leur adoption par la communauté, de leur stabilité, de leur sécurité et de la prise en charge de l’écosystème. Cela garantit que les clients n’ont pas besoin de se débattre avec le complexité du choix en raison d’une myriade d’offres avec des capacités qui se chevauchent et une interopérabilité incohérente.
Chacune des charges de travail sur HDInsight sur AKS est la meilleure de sa catégorie pour les scénarios d’analyse qu’elle prend en charge :
- Apache Flink est le framework de traitement de flux distribué open source qui alimente le traitement de flux avec état et permet des scénarios d’analyse en temps réel.
- Trino est le moteur de requêtes fédérées hautement performant et évolutif, traitant des requêtes ad hoc sur une variété de sources de données, à la fois structurées et non structurées.
- Apache Spark est le choix de confiance de millions de développeurs pour leurs besoins en ingénierie de données et en apprentissage automatique.
HDInsight sur AKS propose ces charges de travail populaires avec un modèle d’authentification commun, une prise en charge du méta-magasin partagé et des intégrations prédéfinies qui facilitent le déploiement d’applications d’analyse.
Le service géré réduit la complexité
HDInsight sur AKS est un service géré dans l’infrastructure Azure Kubernetes Service. Avec un service géré, les clients n’ont pas à gérer l’infrastructure et d’autres composants logiciels, notamment les systèmes d’exploitation, l’infrastructure AKS et les logiciels open source. Cela garantit que les entreprises peuvent bénéficier d’une sécurité continue et d’améliorations fonctionnelles et de performances sans investir de précieuses heures de développement.
La conteneurisation permet un déploiement, une mise à l’échelle et une gestion transparentes des composants architecturaux clés. La résilience inhérente d’AKS permet aux pods d’être automatiquement reprogrammés sur les nœuds nouvellement mis en service en cas de panne. Cela signifie que les tâches peuvent s’exécuter avec un minimum de perturbations des accords de niveau de service (SLA).
Les clients combinant plusieurs charges de travail dans leur data lakehouse doivent faire face à une variété d’expériences utilisateur, ce qui entraîne une courbe d’apprentissage abrupte. HDInsight sur AKS offre une expérience unifiée pour la gestion de leur Lakehouse. Le provisionnement, la gestion et la surveillance de toutes les charges de travail peuvent être effectués depuis une seule interface. De plus, grâce aux services gérés pour Prometheus et Grafana, les administrateurs peuvent surveiller l’état du cluster, l’utilisation des ressources et les mesures de performances.
Grâce aux fonctionnalités de mise à l’échelle automatique incluses dans HDInsight sur AKS, les ressources (et donc les coûts) peuvent être optimisées en fonction des besoins d’utilisation. Pour les tâches avec des modèles de charge prévisibles, les équipes peuvent planifier la mise à l’échelle automatique des ressources en fonction d’un calendrier prédéfini. Une mise hors service progressive permet de définir des périodes d’attente pour que les travaux soient terminés avant de réduire progressivement les ressources, équilibrant ainsi avec élégance les coûts et l’expérience. La mise à l’échelle automatique basée sur la charge peut augmenter ou diminuer les ressources en fonction des modèles d’utilisation mesurés par l’utilisation du calcul et de la mémoire.
HDInsight sur AKS marque un abandon des mécanismes de sécurité traditionnels comme Kerberos. Il adopte OAuth 2.0 comme cadre de sécurité, offrant une approche moderne et robuste de la protection des données et des ressources. Dans HDInsight sur l’autorisation AKS, les contrôles d’accès sont basés sur les identités gérées. Les clients peuvent également apporter leurs propres réseaux virtuels et les associer lors de la configuration du cluster, augmentant ainsi la sécurité et permettant la conformité aux politiques de leur entreprise. Les clusters sont isolés avec des espaces de noms pour protéger les données et les ressources au sein du locataire. HDInsight sur AKS permet également de gérer l’accès au cluster à l’aide des rôles Azure Resource Manager (ARM).
Les clients qui ont participé à l’aperçu privé adorent HDInsight sur AKS.
Voici ce qu’un utilisateur avait à dire sur son expérience.
« Avec HDInsight sur AKS, nous sommes passés en toute transparence des contraintes de notre solution interne à une plateforme gérée robuste. Ce changement crucial signifie que nos ingénieurs sont désormais libres de canaliser leur expertise vers l’innovation cœur de métier, plutôt que d’être empêtrés dans la gestion de la plateforme. L’intégration harmonieuse de HDInsight avec d’autres produits Azure a accru notre efficacité. Une sécurité renforcée renforce l’intégrité et la fiabilité de nos données, tandis que l’évolutivité garantit notre croissance sans accroc. Essentiellement, HDInsight sur AKS renforce notre stratégie de données, permettant des opérations commerciales plus rationalisées et plus efficaces.
Matheus Antunes, architecte de données, XP Inc
Azure HDInsight sur les ressources AKS
