L’environnement NMLab

NMLab est un environnement d’analyse de marché conçu et opéré en interne, de la collecte de la donnée jusqu’à sa visualisation. Le bâtir suppose de résoudre, bout à bout, des problèmes d’ingénierie exigeants : stocker des séries temporelles à l’échelle du milliard de points, les rendre interactives à l’écran et les diffuser en temps réel. Voici comment.

Un moteur de rendu taillé pour des centaines de millions de points

Afficher des séries financières au tick près, sur plusieurs années, dépasse largement ce qu’un graphique web classique sait encaisser. Le terminal s’appuie sur SciChart, un moteur de rendu graphique WebAssembly accéléré par le GPU — la même technologie de visualisation que l’on retrouve dans les salles de marché des banques d’investissement et des hedge funds, chez des équipes de Formule 1 ou à la NASA. Nous l’avons étendu d’une couche de dessin par lots développée sur mesure : les primitives d’un même objet — et même d’objets consécutifs — sont fusionnées en un minimum d’appels de rendu, avec écriture directe dans la mémoire WASM et mise en cache des calques au repos. Résultat : l’environnement affiche près de 200 millions de points simultanément sans le moindre ralentissement. Le pan, le zoom et la manipulation de centaines d’objets de dessin tiennent 60 images par seconde, là où une approche naïve tomberait à quelques images — et la scène reste fluide jusqu’à l’échelle du millier d’objets.

Une architecture de données pensée pour l’échelle

Sous la visualisation, plusieurs milliards d’enregistrements tick et candle sont stockés dans PostgreSQL + TimescaleDB. Les hypertables sont partitionnées par le temps comme par l’instrument ; les prix sont conservés en entiers à facteur d’échelle fixe, pour préserver à la fois la précision et la vitesse ; les bougies 1 minute, 1 heure et 1 jour sont matérialisées en continu par des tâches en base plutôt que recalculées à la volée. Chaque choix vise la même cible : des requêtes analytiques rapides, quel que soit l’horizon interrogé.

Du tick à l’écran, en temps réel

La donnée fraîche n’attend pas d’être interrogée. Dès l’insertion, la base émet une notification qu’un backend FastAPI relaie immédiatement aux clients connectés par WebSocket. Le même chemin alimente la visualisation interactive et les flux live — sans polling ni latence superflue.

Trouver des edges, à grande échelle

Cette vitesse n’est pas un simple confort d’affichage : elle change la nature de la recherche. Parce que l’environnement balaie des milliards de points en quelques instants et expose exactement la même donnée aux notebooks d’analyse, nous menons des études statistiques à grande échelle — des milliers d’hypothèses éprouvées sur de nombreux instruments et de longues périodes — en une fraction du temps habituel. Travailler sur la donnée brute et complète — sans agrégation ni échantillonnage — et rejouer chaque test à l’identique sur d’autres instruments et d’autres périodes facilite l’élimination des biais statistiques (agrégation, survie, surapprentissage) qui faussent tant d’études. C’est un avantage décisif pour détecter des edges exploitables : plus l’itération est rapide, plus on explore d’idées, et plus on isole les régularités qui comptent réellement. La démarche n’est pas restée théorique : elle a permis d’isoler des régularités statistiques inédites, qui nourrissent directement nos propres travaux de recherche.

Face aux méthodes conventionnelles

Les approches habituelles imposent presque toujours un arbitrage. Les plateformes de charting grand public et les bibliothèques web agrègent l’historique et plafonnent à quelques dizaines de milliers de points — adieu la microstructure ou la profondeur. Les montages « données vendeur, tableur et scripts » dissocient ce que l’on regarde de ce que l’on teste et ralentissent l’exploration ; le cloud et le SaaS, eux, exposent la donnée à un tiers et facturent à la requête. L’environnement n’exige aucun de ces compromis : la donnée reste au tick près et sur place, l’écran et l’analyse partagent la même source, et des milliards de points se parcourent en quelques instants. Là où le conventionnel oblige à choisir entre granularité, échelle, reproductibilité, coût et confidentialité, l’environnement les réunit.

Un système intégré, optimisé de bout en bout

Ingestion, stockage, API, visualisation et recherche forment un système cohérent, conçu et opéré on-premise. Cette intégration verticale n’est pas qu’une question de contrôle : connaître chaque maillon permet d’optimiser les autres en conséquence, du format de stockage jusqu’au pipeline de rendu. C’est cette chaîne technique, du tick brut à l’image affichée, que nous maîtrisons.