ETRMSolutionETRMSolution

Gaz naturel · Données pré-trade

Automatiser la validation des données de marché pré-trade

Un desk gaz avait connu deux incidents distincts au cours d'un même trimestre où une donnée de marché erronée avait atteint la valorisation avant que quiconque ne s'en aperçoive.

Exemple illustratif. Cette étude de cas est une synthèse anonymisée représentative des missions que nous menons, et non la divulgation d'un client nommément identifié.

L'enjeu

Les données de marché étaient contrôlées manuellement chaque matin par un analyste des opérations qui repérait les valeurs manifestement fausses. Le procédé détectait les erreurs importantes et évidentes, mais laissait passer les anomalies plus fines - un prix plausible mais néanmoins faux - qui n'apparaissaient qu'une fois la valorisation affectée.

Environnement existant

Une plateforme de trading et de risque gaz recevant quotidiennement des courbes de prix de plusieurs sources, avec pour seule étape de validation une revue visuelle manuelle.

Cause racine

Il n'existait aucune couche de validation systématique fondée sur des règles : la détection reposait entièrement sur la capacité d'un analyste à repérer une anomalie à l'œil nu, ce qui ne passe pas à l'échelle et reste par nature irrégulier.

Solution

Nous avons conçu une couche de validation à base de règles et de statistiques s'exécutant automatiquement sur chaque courbe de prix entrante : contrôles de bornes par rapport aux plages historiques, seuils de variation d'un jour sur l'autre, et comparaison entre sources lorsque plusieurs fournisseurs cotaient le même instrument. Les valeurs signalées étaient mises en attente de revue avant diffusion vers l'ETRM, plutôt que d'échouer silencieusement ou de passer sans contrôle.

Pipeline de validation

Courbes de prix entrantes
Contrôles de bornes et de plages
Détection des variations jour sur jour
Comparaison entre sources
Signalé pour revue / approuvé automatiquement
Diffusé vers l'ETRM

Mise en œuvre

  • Définition des règles de validation avec les équipes trading et risque
  • Construction de la couche de validation exécutée automatiquement à chaque chargement de données
  • Création d'une file de revue des valeurs signalées avec un workflow d'approbation ou de rejet clair
  • Calibrage des seuils sur plusieurs semaines pour équilibrer faux positifs et erreurs non détectées

Résultat

  • Aucun nouvel incident de donnée erronée non détectée dans les douze mois suivant le déploiement
  • Le rôle de l'analyste des opérations est passé du balayage manuel à la revue d'un petit nombre d'exceptions signalées
  • Le temps de revue quotidien a fortement diminué malgré un volume de données entrantes identique

Technologies

PythonSQL ServerScheduled validation jobs

Enseignements

  • La revue visuelle manuelle des données de marché ne passe pas à l'échelle et reste irrégulière par nature : une couche à base de règles détecte ce que l'œil humain a tendance à manquer.
  • Une file de revue pour les valeurs signalées (et non rejetées automatiquement) garde l'humain dans la boucle sur les cas limites sans réintroduire le goulet d'étranglement initial.

Vous traversez une situation comparable ?

Parlez-nous de votre environnement et nous vous expliquerons comment nous l'aborderions.