Applications des marchés financiers des LLMs : opportunités, limites et axes de mise en œuvre

TL;DR

Les LLMs sont des apprenants autoregressifs qui prédisent le prochain token d’une séquence; en finance, les tokens peuvent être des prix, des rendements ou des transactions, et pas seulement des mots. The Gradient.
L’échelle des données et la qualité du signal comptent : Hudson River Trading estime environ 177 milliards de tokens de données de marché par an, alors que GPT-3 a été entraîné sur environ 500 milliards de tokens, soulignant l’écart entre données de modèle et données de marché. The Gradient.
L’apprentissage multimodal et la residualisation offrent des voies pour modéliser davantage, en combinant données temporelles classiques et signaux non prix. The Gradient.
La fenêtre contextuelle des LLMs permet d’analyser sur plusieurs horizons temporels, des secondes aux mois, ouvrant la possibilité de prédire des trajectoires complètes plutôt qu’un seul rendement du prochain pas. The Gradient.
Les données synthétiques et l’échantillonnage d’événements extrêmes pourraient nourrir l’entraînement et l’évaluation des risques, mais la calibration pratique reste complexe. The Gradient.
Bien que les modèles de type GPT-4 ne dominent pas nécessairement le trading quantitatif, rester curieux et expérimental peut être rentable dans les marchés alimentés par l’IA. The Gradient.

Contexte et arrière-plan

L’IA a suscité des investissements massifs dans des entreprises privées et publiques et a captivé l’imagination du public en 2023. Des produits révolutionnaires comme ChatGPT sont alimentés par des Large Language Models (LLMs) qui excellent à modéliser des séquences de tokens représentant des mots ou des parties de mots. Il est surprenant de constater que des structures apparaissent déjà à partir de la prédiction du prochain token, permettant des tâches telles que la traduction, les questions-réponses et la génération de prose humaine à partir d’invites simples. Les traders quantitatifs se demandent s’ils peuvent transformer ces modèles en prédicteurs de prix ou de transactions, plutôt que de modéliser des phrases. Cette ligne de recherche révèle de nombreux enjeux pour l’IA et la modélisation des séries temporelles financières. The Gradient. Les LLMs sont des apprenants autoregressifs qui utilisent les tokens précédents pour prédire le suivant. En finance, une part importante de la recherche vise à identifier des structures autoregressives dans des séquences de nouveautés, d’ordres ou de changements fondamentaux qui prédisent les prix futurs. Le principal défi est la disponibilité et la richesse des données : même avec des milliers d’actions négociables, la quantité et le contenu des données financières pour entraîner des modèles aussi grands peuvent être limités. À NeurIPS 2023, Hudson River Trading a comparé la taille des données de langage à celle des données de marché et a estimé environ 177 milliards de tokens de marché par an (avec 3 000 actions négociables, 10 points de données par action et par jour, 252 jours de négociation par an et 23 400 secondes dans une journée de négociation), ce qui n’est pas loin du volume utilisé pour entraîner GPT-3, qui est de 500 milliards de tokens. Toutefois, ces tokens représentent des prix, des rendements ou des transactions et sont bien plus difficiles à prédire que des mots. The Gradient. Le langage bénéficie d’une structure linguistique (par exemple, la grammaire). Il n’est pas difficile d’imaginer qu’un humain peut prédire le prochain mot dans une phrase, mais prédire le prochain rendement à partir d’une séquence de transactions n’est pas trivial, ce qui explique l’absence de traders milliardaires. En outre, il y a bien plus de bruit que de signal dans les données financières. Les traders et les institutions peuvent agir pour des raisons qui ne sont pas rationnelles ou liées à des fondamentaux. L’épisode GameStop en 2021 est un exemple. The Gradient. D’un autre côté, il existe des raisons de croire que les idées issue de l’IA peuvent bien fonctionner en finance. Un domaine prometteur est l’apprentissage multimodal, qui vise à combiner des données classiques telles que les séries temporelles de prix et de volumes avec des données alternatives de différents types, tels que les signaux de sentiment, les articles de presse, les rapports d’entreprise, ou des images satellites d’activités portuaires dans les zones de ressources. En combinant ces informations non directement liées aux prix, on peut espérer des prédictions plus robustes. The Gradient. Une autre stratégie, la residualisation, occupe une place importante tant en finance qu’en IA, bien que son rôle soit différent dans chaque domaine. En finance, les modèles factoriels décomposent les rendements en un élément commun et un élément idiosyncratique. Les rendements de marché et les facteurs sont difficiles à prédire et créent une inter-dépendance, ce qui rend utile de retirer l’élément commun lorsque l’on prédit au niveau de l’actif et d’augmenter le nombre d’observations indépendantes. Dans les architectures résiduelles comme les transformers, l’idée est d’apprendre une fonction h(X) proche de l’identité, de sorte que le résiduel h(X) − X soit proche de zéro, ce qui facilite l’apprentissage. Cette approche vise dans les deux domaines à exploiter la structure pour affiner les prédictions. The Gradient. Un élément clé des LLMs est leur capacité à discerner des affinités entre les tokens sur de longues horizons, ce que l’on appelle des « context windows ». En finance, cette capacité permet d’analyser des phénomènes multi-échelles, certains aspects des mouvements de marché s’expliquant sur des horizons très différents. Par exemple, les informations fondamentales (bénéfices) peuvent être intégrées sur des mois, les phénomènes techniques (momentum) sur des jours, et les phénomènes de microstructure (déséquilibre de l’ordre) sur des secondes à minutes. Capturer tous ces phénomènes nécessite l’analyse de multiples horizons temporels à travers la fenêtre de contexte. The Gradient. Une autre application financière des LLMs pourrait être la génération de données synthétiques. Cela pourrait inclure la création de trajectoires simulées des prix qui imitent les caractéristiques observées sur les marchés et aider à atténuer le manque de données. Des données artificielles pourraient ouvrir la porte à des techniques d’apprentissage par meta-apprentissage qui ont été appliquées, par exemple, en robotique. En finance, ces simulateurs pourraient être utilisés pour entraîner et optimiser des stratégies de trading, enseignant des concepts tels que l’aversion au risque et la diversification, puis utilisant des données réelles pour affiner les prédictions et calibrer la vitesse de trading. The Gradient. Les professionnels des marchés s’intéressent souvent aux événements extrêmes, lorsque les stratégies risquent de connaître des gains ou des pertes importants. Des modèles génératifs permettant d’échantillonner des scénarios extrêmes pourraient trouver une utilité, mais leur nature rare rend la tâche délicate. Malgré les scepticismes, il est possible d’imaginer que les modèles d’IA soutiennent l’analyse fondamentale, en aidant les analystes à affiner une thèse d’investissement, à déceler des incohérences dans les commentaires de la direction ou à établir des liens latents entre industries et entreprises. En somme, ces modèles pourraient agir comme un « Charlie Munger » numérique pour chaque investisseur. The Gradient.

What’s new

L’article met en évidence des axes prometteurs où les LLMs pourraient influencer la finance : apprentissage multimodal, residualisation pour isoler des signaux prédictifs au-delà du mouvement de marché et utilisation de fenêtres de contexte étendues pour analyser des phénomènes à travers des horizons temporels différents. Il aborde également la génération de données synthétiques pour l’entraînement et la calibration des stratégies, ainsi que les scénarios extrêmes à tester avec prudence. The Gradient.

Contexte et antécédents (développé)

Les LLMs reposent sur un apprentissage autoregressif qui prévoit le prochain élément d’une séquence à partir des éléments précédents. En finance, la séquence peut être des prix, des rendements ou des données de transactions. Le défi est que les données financières comportent beaucoup de bruit et que les acteurs du marché s’adaptent constamment, rendant l’environnement très dynamique. L’exemple de NeurIPS 2023, avec Hudson River Trading, illustre le contraste entre les données de langage et les données du marché, montrant que le volume de tokens nécessaires pour les marchés peut être substantiel et que les signaux de marché peuvent être difficiles à prédire. The Gradient. La nature des données financières diffère de celle du langage naturel; le langage bénéficie d’une structure linguistique et d’un cadre interprétable, ce qui n’est pas le cas des données financières où les événements peuvent être irrationnels ou non reliés à des fondamentaux. Cette réalité motive l’intérêt pour des approches dissociant le mouvement global du marché des signaux propres à chaque actif, comme la residualisation. The Gradient. L’apprentissage multimodal est une autre piste prometteuse pour la finance, permettant de combiner des signaux de texte, des données numériques et des images ou signaux non structurés pour enrichir les signaux de prévision. The Gradient. L’idée de fenêtres contextuelles longues ouvre la possibilité d’analyser des phénomènes s’étalant sur des horizons multiples, comme des annonces de résultats sur des mois ou des évolutions techniques sur des jours, tout en surveillant des signaux microstructurels sur des secondes à minutes. The Gradient. Les données synthétiques peuvent être utilisées pour l’entraînement et la calibration, avant d’affiner les prédictions sur des données réelles afin de déterminer la vitesse optimale de trading et de tester des stratégies dans des scénarios variés. The Gradient.

Pourquoi cela compte (impact pour les développeurs/entreprises)

Pour les développeurs, ces idées soulignent le besoin de pipelines de données capables d’intégrer des entrées multimodales, des architectures avec des fenêtres de contexte étendues et des schémas d’entraînement mariant données synthétiques et données réelles. Pour les entreprises, ces approches pourraient offrir des outils d’aide à la décision capables de résumer des signaux complexes, de tester des hypothèses sur des horizons temporels multiples et de soutenir l’analyse fondamentale. Toutefois, l’adoption pratique exige une gestion soignée de la qualité des données et de la dynamique du marché et comporte des défis inhérents au bruit et à l’évolution des marchés financiers. The Gradient.

Détails techniques ou Mise en œuvre

Des repères numériques issus de l’article illustrent les défis et les voies possibles :

Élément	Valeur
Actions négociables	3 000
Points de données par action par jour	10
Jours de négociation par an	252
Secondes par jour de négociation	23 400
Tokens de données de marché par an	177 milliards
Tokens d’entraînement GPT-3	500 milliards
Ces chiffres mettent en évidence le décalage entre la donnée de marché disponible et l’échelle typique de l’entraînement des LLMs, motivant des approches efficaces en matière de données et d’intégration multimodale, ainsi que l’idée d’utiliser des fenêtres de contexte plus longues pour supporter des prévisions sur plusieurs horizons. The Gradient.
En pratique, une voie réaliste combine : (1) l’agrégation d’entrées multimodales (prix, volumes, actualités, sentiment, rapports et éventuellement images) ; (2) l’application des concepts de residualisation pour isoler les effets de marché globaux des signaux propres à chaque actif ; (3) la conception de modèles capables de traiter de longues fenêtres de contexte pour des tâches de prévision sur plusieurs horizons ; (4) la génération de données synthétiques pour l’entraînement et la calibration des stratégies, puis un ajustement sur des données réelles pour calibrer la vitesse de trading ; et (5) la considération de scénarios extrêmes avec des garde-fous appropriés. The Gradient.

Points à retenir

Les LLMs permettent de modéliser des séquences plus riches que des mots, incluant des prix et des transactions, mais la qualité des données demeure critique. The Gradient.
L’écart entre les données de marché et l’échelle des modèles standards encourage les approches efficaces et multimodales. The Gradient.
Les fenêtres contextuelles longues offrent une analyse multi-horizons et une meilleure adaptation à des signaux de marché variés. The Gradient.
Les données synthétiques et l’échantillonnage d’événements extrêmes peuvent aider l’entraînement et la gestion des risques, mais nécessitent une conception prudente. The Gradient.
Rester ouvert à l’évolution des IA dans la finance peut révéler des opportunités même sans domination claire de modèles comme GPT-4. The Gradient.