Négoce de matières premières · Données pré-trade
Construire un pipeline de données de marché pour le négoce de matières premières
Une activité de négoce multi-matières premières dépendait de chargements manuels de tableurs pour plusieurs sources de données de marché, générant des retards et des erreurs de saisie récurrentes qui atteignaient le système de risque.
L'enjeu
Une activité de négoce couvrant plusieurs classes de matières premières avait vu ses sources de données de marché croître de façon organique : certaines automatisées, plusieurs encore téléchargées et chargées manuellement chaque matin par un analyste des opérations. Cette étape manuelle introduisait à la fois du retard et des erreurs de transcription occasionnelles qui se propageaient jusqu'à la valorisation.
Environnement existant
Une plateforme CTRM pour la saisie des deals et le risque, alimentée par un mélange de flux API automatisés et de chargements de fichiers manuels, sans couche de validation centralisée.
Cause racine
Aucune équipe unique n'était responsable de la qualité des données de bout en bout. Chaque source avait été intégrée indépendamment au fil des années, avec une logique de validation - lorsqu'elle existait - codée directement dans des scripts de chargement ponctuels plutôt que dans un cadre commun.
Solution
Nous avons construit une couche d'ingestion centralisée normalisant chaque source de données - manuelle comme automatisée - dans un format commun, ajouté des règles de validation et de détection d'anomalies au point d'ingestion, et automatisé les flux manuels restants via API ou récupération de fichiers planifiée lorsque le fournisseur le permettait.
Pipeline de données de marché
Mise en œuvre
- Audit de toutes les sources de données de marché existantes et de leur mode d'intégration
- Conception d'un schéma d'ingestion commun aux sources automatisées et manuelles
- Automatisation des flux manuels restants via API ou récupération planifiée
- Ajout de règles de validation et de détection d'anomalies à l'ingestion
- Construction d'un tableau de bord de supervision de la santé du pipeline et de la complétude des données
Résultat
- Les chargements manuels, sources d'erreurs, ont été éliminés pour toutes les sources sauf une, historique
- Les problèmes de qualité des données sont détectés à l'ingestion plutôt que découverts en aval dans les rapports de risque
- L'équipe opérations a récupéré le temps auparavant consacré au traitement manuel des données
Technologies
Enseignements
- Les pipelines de données de marché qui grandissent de façon organique pendant des années accumulent des validations hétérogènes : un audit périodique vaut l'investissement.
- Automatiser un flux manuel relève moins de l'intégration technique de l'API que de l'accord sur la responsabilité et l'escalade lorsque le flux tombe.
À voir aussi
Vous traversez une situation comparable ?
Parlez-nous de votre environnement et nous vous expliquerons comment nous l'aborderions.