Pétrole et gaz · Data engineering
Moderniser les données d'un ETRM historique avec Azure
Une société de négoce pétrole et gaz disposait de plus d'une décennie d'historique de deals et de positions enfermée dans un ETRM aux capacités de reporting limitées, rendant l'analyse historique lente et dépendante de la DSI.
L'enjeu
Les analystes devaient mener des analyses de scénarios et de performance sur plusieurs années de données de deals, mais les outils de reporting natifs de l'ETRM étaient conçus pour du reporting opérationnel, non pour de l'analyse ad hoc, et chaque nouvelle demande de rapport nécessitait l'intervention de la DSI.
Environnement existant
Un ETRM d'entreprise comme système de référence, sans entrepôt de données ni couche analytique, et des demandes de reporting traitées via une file d'attente gérée par l'équipe support ETRM.
Cause racine
Le modèle de données de l'ETRM était optimisé pour l'intégrité transactionnelle, non pour l'interrogation analytique, et il n'existait aucune plateforme distincte où les analystes puissent explorer les données en autonomie sans risquer de dégrader les performances de production.
Solution
Nous avons conçu et construit une plateforme de données cloud sur Azure extrayant de façon planifiée les données de deals, de positions et de marché depuis l'ETRM, les modélisant pour un usage analytique dans Azure Data Lake et Databricks, et les exposant via Power BI - donnant aux analystes un accès en libre-service sans toucher à l'ETRM de production.
Architecture de modernisation des données
Mise en œuvre
- Cartographie du modèle de données de l'ETRM et identification des entités nécessaires à l'analyse
- Construction de pipelines d'extraction planifiés avec Azure Data Factory
- Modélisation des données historiques dans Delta Lake pour une analyse cohérente et versionnée
- Construction d'une couche sémantique et de jeux de données Power BI pour le reporting en libre-service
- Formation de l'équipe analytique au nouveau mode de travail en libre-service
Résultat
- Les analystes ont pu construire de nouveaux rapports historiques sans solliciter la DSI
- Le délai de production d'un rapport est passé de plusieurs semaines à quelques heures pour la majorité des demandes
- Les performances de production de l'ETRM ont été préservées des requêtes analytiques ad hoc
Technologies
Enseignements
- Séparer les charges analytiques de l'ETRM transactionnel est souvent l'investissement en data engineering au plus fort effet de levier pour une société de négoce.
- L'adoption du reporting en libre-service dépend autant de la formation et de la conception de la couche sémantique que du pipeline lui-même.
Vous traversez une situation comparable ?
Parlez-nous de votre environnement et nous vous expliquerons comment nous l'aborderions.