Data Engineering
Le data engineering ETRM avec Azure
Les plateformes ETRM recèlent une valeur historique considérable, difficile à exploiter avec les seuls outils de reporting natifs. Voici comment une plateforme de données cloud sur Azure comble généralement cet écart.
Les plateformes ETRM accumulent des années d'historique précieux de deals, de positions et de P&L, mais leurs outils de reporting natifs sont généralement conçus pour du reporting opérationnel, non pour une analyse historique flexible. Une plateforme de données cloud - le plus souvent construite sur Azure dans les environnements ETRM d'entreprise - comble cet écart sans toucher à la production.
Pourquoi Azure en particulier
Azure n'est pas la seule plateforme cloud viable pour ce schéma, mais c'est celle que nous rencontrons le plus souvent dans les environnements ETRM d'entreprise, en grande partie parce que beaucoup de sociétés de négoce exploitent déjà d'autres briques Microsoft (SQL Server, Active Directory, Power BI) et qu'Azure s'intègre naturellement à cet existant.
Les composants clés
- Azure Data Factory - orchestre l'extraction planifiée depuis l'ETRM et les autres systèmes sources
- Azure Data Lake - stocke les données brutes extraites avant transformation
- Databricks - transforme et modélise les données, couramment avec Delta Lake pour des jeux de données versionnés et fiables
- Azure SQL / Synapse - expose les données modélisées pour le reporting et l'analytique
- Power BI - la couche de reporting en libre-service la plus répandue par-dessus
Le schéma d'architecture
De l'ETRM à la plateforme de données cloud
Réussir l'extraction sans perturber la production
La décision de conception la plus importante porte sur la façon dont les données sortent de l'ETRM sans ajouter de charge ni de risque au système de production. Une extraction planifiée et incrémentale (n'extraire que ce qui a changé depuis la dernière exécution) pendant les fenêtres de faible activité est l'approche standard, de préférence à des extractions complètes quotidiennes ou à des interrogations en direct de la base de production.
Modéliser les données historiques pour l'analyse
Une fois les données arrivées dans le lac, elles doivent être modélisées spécifiquement pour un usage analytique - ce qui diffère généralement du schéma transactionnel de l'ETRM. Le versionnement de Delta Lake est ici particulièrement précieux : il permet aux analystes d'interroger les données telles qu'elles existaient à un instant donné, ce qui compte pour l'analyse de scénarios historiques et pour l'audit.
La place de l'IA et de l'analytique avancée
Une fois les données de deals, de positions et de marché consolidées dans une plateforme de données cloud bien modélisée, il devient réaliste d'y superposer des analyses plus avancées - prévision, détection d'anomalies, modélisation de scénarios - dont aucune n'est envisageable directement sur une base ETRM transactionnelle en production.
Étude de cas associée
Voir Moderniser les données d'un ETRM historique avec Azure pour un exemple complet de ce schéma appliqué à l'historique d'une société de négoce pétrole et gaz.
À retenir
- Une plateforme de données cloud - typiquement Azure Data Factory, Data Lake, Databricks et Power BI dans les environnements ETRM d'entreprise - sépare les charges analytiques de l'ETRM transactionnel.
- Une extraction planifiée et incrémentale préserve les performances de production tout en fournissant des données à jour pour l'analyse.
- Le versionnement de Delta Lake permet une analyse historique à un instant donné, impraticable directement sur une base ETRM en production.
Services associés et lectures complémentaires
Vous rencontrez la même chose dans votre environnement ?
Parlez-nous de votre plateforme et du problème précis auquel vous faites face : nous vous proposerons la bonne étape suivante.