Petróleo y gas · Ingeniería de datos
Modernización de datos ETRM heredados con Azure
Una empresa de trading de petróleo y gas tenía más de una década de histórico de operaciones y posiciones bloqueado dentro de un ETRM con una flexibilidad de reporting limitada, lo que hacía que el análisis histórico fuera lento y dependiente de TI.
El reto
Los analistas necesitaban ejecutar análisis históricos de escenarios y rendimiento sobre años de datos de operaciones, pero las herramientas nativas de reporting del ETRM estaban pensadas para informes operativos, no para analítica ad hoc, y cada nueva petición de informe requería la intervención de TI.
Entorno existente
Un ETRM corporativo como sistema de registro, sin data warehouse ni capa analítica, y con las peticiones de reporting gestionadas mediante una cola de trabajo del equipo de soporte del ETRM.
Causa raíz
El modelo de datos del ETRM estaba optimizado para la integridad transaccional, no para la consulta analítica, y no existía una plataforma independiente donde los analistas pudieran explorar los datos de forma autónoma sin poner en riesgo el rendimiento de producción.
Solución
Diseñamos y construimos una plataforma de datos en la nube sobre Azure que extraía de forma programada los datos de operaciones, posiciones y mercado del ETRM, los modelaba para uso analítico en Azure Data Lake y Databricks, y los exponía a través de Power BI, dando a los analistas acceso autoservicio sin tocar el ETRM de producción.
Arquitectura de modernización de datos
Implantación
- Mapeo del modelo de datos del ETRM e identificación de las entidades necesarias para la analítica
- Construcción de pipelines de extracción programada con Azure Data Factory
- Modelado del histórico en Delta Lake para una analítica consistente y versionada
- Desarrollo de una capa semántica y de conjuntos de datos en Power BI para el reporting autoservicio
- Formación del equipo de analítica en el nuevo flujo de trabajo autoservicio
Resultado
- Los analistas podían crear nuevos informes históricos sin intervención de TI
- El tiempo de respuesta para la mayoría de las peticiones pasó de semanas a horas
- El rendimiento del ETRM en producción quedó protegido frente a las consultas analíticas ad hoc
Tecnologías
Lecciones aprendidas
- Separar las cargas analíticas del ETRM transaccional suele ser la inversión en ingeniería de datos con mayor retorno que puede acometer un negocio de trading.
- La adopción del reporting autoservicio depende tanto de la formación y del diseño de la capa semántica como del propio pipeline.
¿Está afrontando algo parecido?
Cuéntenos cómo es su entorno y le explicaremos cómo lo abordaríamos.