Trading de materias primas · Datos pre-trade
Construcción de un pipeline de datos de mercado para trading de materias primas
Una operativa multi-commodity dependía de cargas manuales en hojas de cálculo para varias fuentes de datos de mercado, lo que generaba retrasos y errores puntuales de introducción de datos que llegaban al sistema de riesgo.
El reto
Una operativa de trading que cubría varias clases de materias primas había hecho crecer sus fuentes de datos de mercado de forma orgánica: algunas automatizadas y varias todavía descargadas y cargadas manualmente cada mañana por un analista de operaciones. El paso manual introducía tanto retrasos como errores ocasionales de transcripción que se propagaban hasta la valoración.
Entorno existente
Una plataforma CTRM para captura de operaciones y riesgo, alimentada por una mezcla de feeds automatizados vía API y cargas manuales de ficheros, sin ninguna capa centralizada de validación.
Causa raíz
Ningún equipo era responsable de la calidad del dato de extremo a extremo. Cada fuente se había integrado de forma independiente a lo largo de varios años, con una lógica de validación (cuando existía) incorporada directamente en scripts de carga puntuales en lugar de en un marco compartido.
Solución
Construimos una capa de ingesta centralizada que normalizaba todas las fuentes de datos (manuales y automatizadas) a un formato común, añadimos reglas de validación y detección de valores atípicos en el punto de ingesta y automatizamos los feeds manuales restantes mediante API o descarga programada de ficheros allí donde el proveedor lo permitía.
Pipeline de datos de mercado
Implantación
- Auditoría de todas las fuentes de datos de mercado existentes y de su método de integración
- Diseño de un esquema de ingesta común para fuentes automatizadas y manuales
- Automatización de los feeds manuales restantes mediante API o descarga programada
- Incorporación de reglas de validación y detección de atípicos en la ingesta
- Desarrollo de un cuadro de mando de monitorización de la salud del pipeline y la integridad de los datos
Resultado
- Se eliminaron las cargas manuales propensas a errores en todas las fuentes salvo en una heredada
- Los problemas de calidad del dato se detectaban en la ingesta en lugar de descubrirse aguas abajo en los informes de riesgo
- El equipo de operaciones recuperó el tiempo que antes dedicaba al tratamiento manual de datos
Tecnologías
Lecciones aprendidas
- Los pipelines de datos de mercado que crecen de forma orgánica durante años tienden a acumular validaciones inconsistentes: una auditoría periódica compensa la inversión.
- Automatizar un feed manual tiene menos que ver con la integración de la API en sí y más con acordar quién es responsable y cómo se escala cuando el feed falla.
¿Está afrontando algo parecido?
Cuéntenos cómo es su entorno y le explicaremos cómo lo abordaríamos.