Qu'est-ce que la validation walk-forward ? 104 paires stratégie-ticker testées - seulement 54 % ont survécu

Voici comment se déroule le récit classique d'un backtest. Choisissez une stratégie. Choisissez un ticker. Passez-la sur les deux dernières années de données. Additionnez le P&L. Annoncez un chiffre. S'il est positif, revendiquez un avantage. Éventuellement, partagez un graphique sur Twitter.

Ce récit n'est qu'à moitié juste. Un backtest positif est une condition nécessaire à l'avantage. Il est loin d'en être une condition suffisante. Une stratégie peut produire une magnifique courbe d'équité in-sample tout en restant un curve-fit - un ajustement fortuit au bruit de la fenêtre historique précise, sans aucun pouvoir prédictif sur des données que la stratégie n'a jamais vues. La façon de faire la différence, c'est la validation walk-forward : relancer la stratégie sur des fenêtres futures disjointes que l'optimisation n'a jamais touchées, et voir si l'avantage survit.

Nous venons de lancer un balayage sur toute la bibliothèque tradfi-stocks de QA - chaque stratégie de la bibliothèque × chaque ticker de l'univers thématique. 104 paires (stratégie, ticker) sur 2 ans de données horaires, découpées en deux fenêtres walk-forward d'un an. Les verdicts : 56 ROBUST (53,8 %), 20 STABLE (19,2 %), 18 LUMPY (17,3 %), 10 sans trade. Cette proportion de ROBUST est élevée par rapport aux standards du secteur - la plupart des univers de backtest publics survivent à un taux à un chiffre ou pire - et ce taux élevé est en soi un signal : il indique que l'univers est réel, et non que la validation est faible. Cet article détaille la procédure, les quatre verdicts (avec des exemples concrets issus du balayage en direct), et pourquoi la plupart des backtests retail échouent en silence à ce seuil.

Ce qu'est réellement la validation walk-forward

La procédure, en cinq étapes :

1. Prenez votre fenêtre historique complète. Pour le balayage tradfi-stocks de QA : 2 ans de barres horaires par ticker, se terminant récemment.
2. Découpez-la en blocs. Deux blocs d'un an chacun est le réglage par défaut de QA (wf_days: 365). Certaines configurations utilisent des tranches glissantes plus courtes - même logique.
3. Entraînez (ou « ajustez ») sur le bloc 1. Trouvez le jeu de paramètres qui maximise la fonction objectif que vous optimisez - généralement un P&L ajusté du risque. Figez ces paramètres.
4. Testez sur le bloc 2. Appliquez les paramètres figés à des données que la stratégie n'a jamais vues. Mesurez le résultat.
5. Répétez. Éventuellement, entraînez sur les blocs 1+2, testez sur le bloc 3. Ou faites glisser une fenêtre barre par barre (la variante la plus coûteuse). L'objectif reste le même : séparer les données utilisées pour choisir la stratégie de celles utilisées pour la juger.

Tout l'enjeu se situe à l'étape 4 - la stratégie est notée sur des données qu'elle n'a pas pu observer. Toute stratégie qui réussit l'étape 3 mais échoue à l'étape 4 est un curve-fit. Toute stratégie qui réussit aux deux a, au minimum, démontré que le motif qu'elle exploite était présent dans deux tranches indépendantes du passé - ce qui est la preuve empirique la plus nette disponible que le motif pourrait persister dans le futur.

Pourquoi c'est important - le problème du curve-fit

Sans walk-forward, les backtests sont d'une habileté déconcertante à mentir. Le mécanisme est simple : toute stratégie comportant ne serait-ce qu'un petit nombre de paramètres réglables peut être ajustée au bruit d'une fenêtre historique précise de manière si serrée qu'elle produit une superbe courbe d'équité. La stratégie n'a rien appris de généralisable ; elle a appris la séquence spécifique de gaps overnight et de rééquilibrages d'ETF qui se sont produits dans cette fenêtre. Quand vous la lancez sur une autre fenêtre, le bruit est différent, et la stratégie revient à un avantage quasi nul (moins les coûts de transaction).

La signature du curve-fitting, c'est la sensibilité aux paramètres. Une stratégie véritablement robuste produit un P&L similaire sur toute une plage de réglages de paramètres proches - son avantage vient de la structure de marché sous-jacente, pas du réglage précis des curseurs. Une stratégie en curve-fit produit un pic de P&L aigu aux paramètres optimaux et s'effondre rapidement dès que vous vous en éloignez. Le walk-forward détecte cela parce que les données de la période de test ont une structure de bruit différente de celle de la période d'entraînement ; le pic aigu ne réapparaît pas au même point de paramètre.

L'autre chose que le walk-forward détecte, c'est le changement de régime. Une stratégie qui fonctionnait en 2023 dans un régime de forte volatilité peut s'effondrer dans un régime de faible volatilité en 2024. Les backtests in-sample moyennent les régimes et masquent l'effondrement. Le walk-forward révèle l'effondrement fenêtre par fenêtre.

Les quatre verdicts QA - avec des exemples en direct

Le classificateur du balayage QA comprime chaque paire (stratégie, ticker) en l'un des quatre verdicts. Concrètement :

ROBUST - les deux fenêtres walk-forward positives et significatives. Aucune fenêtre ne porte tout le poids ; l'avantage est réparti.

Exemple : $CIFR sur regression_channel_mr. P&L complet sur 2 ans : 302 K$, réparti en WF1 103 K$, WF2 98 K$. Les deux fenêtres sont presque symétriques - la moitié de l'avantage provient de la première année, l'autre moitié de la seconde. C'est un résultat ROBUST aussi net que le balayage en produise, et un signal empirique fort que la structure de retour à la moyenne sous-jacente de CIFR est persistante.

STABLE - les deux fenêtres positives, mais l'une porte plus que l'autre.

Exemple : $CIFR sur ema_crossover (même ticker, stratégie différente). P&L complet sur 2 ans : 112 K$, réparti en WF1 69 K$, WF2 31 K$. Les deux moitiés fonctionnent ; la première a fait environ 2× la seconde. C'est STABLE - avantage réel, mais avec une variation de timing autour de laquelle un système déployé doit calibrer son sizing.

LUMPY - une fenêtre fait à peu près tout le travail. L'autre est plate ou négative.

Exemple : $NET sur ema_crossover. P&L complet sur 2 ans : 29 352 $, réparti en WF1 0 $, WF2 29 352 $. Le backtest in-sample uniquement paraît correct. Le walk-forward révèle que la totalité du P&L provient d'une seule année - l'autre année a produit zéro trade ou un résultat net nul. Le déployer en production revient à jouer à pile ou face sur le fait que l'année prochaine ressemble à 2024 ou à 2025.

Même motif sur $VRT sur regression_channel_mr : 54 K$ au total, WF1 -68 $, WF2 47 K$. Le backtest naïf rapporte 54 K$ d'avantage. Le walk-forward rapporte qu'une fenêtre était en réalité plate (avec une petite perte) et que l'autre a tout porté.

NOTRADES - la stratégie ne s'est pas déclenchée assez de fois sur l'une ou les deux fenêtres pour être statistiquement significative.

Exemple : 10 paires sur 104 ont effectué zéro trade sur au moins une fenêtre sur l'ensemble du balayage. Cela se produit lorsque les conditions d'entrée d'une stratégie sont trop restrictives par rapport au comportement du ticker - le seuil a été fixé d'une façon que les données n'ont jamais atteinte. Ce n'est pas un échec de la stratégie en soi, mais pas non plus une démonstration empirique d'avantage.

Le balayage complet - à quoi ressemblent 104 paires en agrégé

| Verdict | Nombre | Part | | --- | --- | --- | | ROBUST | 56 | 53,8 % | | STABLE | 20 | 19,2 % | | LUMPY | 18 | 17,3 % | | NOTRADES | 10 | 9,6 % | | Total paires | 104 | - |

53,8 % de ROBUST paraît élevé. Ça l'est. Les raisons pour lesquelles ce chiffre atteint un tel niveau sur cet univers précis :

1. L'univers a été pré-sélectionné pour sa structure thématique. Les 35 tickers du balayage ne sont pas des noms du S&P pris au hasard - c'est l'univers de bulles thématiques que QA valide déjà via la corrélation résidualisée. Ce sont des noms qui se négocient bien en grappes et qui présentent bien le type de volatilité structurée dont n'importe quelle classe de stratégie systématique peut extraire un avantage.
2. La bibliothèque de stratégies est restreinte et curée. La bibliothèque compte environ 10 stratégies, pas 1 000. Le problème de taux de base lié aux tests multiples (plus vous essayez de stratégies, plus vous verrez de réussites fortuites) est borné.
3. Le classificateur est juste, pas généreux. Une classification ROBUST exige que les deux fenêtres soient positives et de taille significative. LUMPY attrape le mode d'échec « une fenêtre a tout fait » que les backtests retail déguisent en avantage.

Sur un univers moins curé - un scrap aléatoire de noms du S&P 500 sans aucune théorie thématique derrière - lancer la même bibliothèque produirait une part de ROBUST bien plus faible. Le classificateur est le même ; la qualité des données diffère. C'est le contenu empirique de l'idée que « la structure thématique compte ».

Pourquoi la plupart des backtests retail échouent en silence à ce seuil

Trois schémas courants utilisés par les backtests retail, classés par gravité de l'échec :

1. In-sample uniquement. « Je l'ai backtesté sur les 2 dernières années et il a rapporté 40 %. » Pas de walk-forward. Pas de découpage out-of-sample. La stratégie a été calibrée sur les mêmes données qui servent à la juger. C'est le schéma dominant des vidéos de backtest sur Twitter et YouTube. Il ne vous dit pratiquement rien de la performance future.

2. Découpage entraînement/test (un seul pli). « J'ai entraîné sur 2022-2023 et testé sur 2024. » Mieux que l'in-sample uniquement - mais vous n'obtenez qu'un seul point de données out-of-sample. Si 2024 se trouve être un régime qui correspond à l'hypothèse structurelle de la stratégie, vous obtiendrez un chiffre positif et conclurez que la stratégie fonctionne. Le walk-forward à fenêtres multiples attrape le cas où l'unique fenêtre de test était un tirage chanceux.

3. Walk-forward avec classification par verdict. L'approche QA. Plusieurs fenêtres OOS, des étiquettes de verdict structurées, aucune fenêtre autorisée à porter tout le résultat. C'est le seuil que les backtests retail esquivent systématiquement, parce que la plupart des stratégies n'y passent pas.

Plus un backtest se situe haut dans cette liste, plus son résultat est une propriété du bruit historique plutôt que de la structure de marché sous-jacente. Une fois au niveau 3, vous disposez d'une preuve empirique qui se généraliserait, sous réserve de l'hypothèse que la structure de marché sous-jacente persiste.

Limites honnêtes - ce que le walk-forward ne peut toujours pas vous dire

Le walk-forward est la meilleure défense largement disponible contre le curve-fitting. Ce n'est pas une garantie. Trois modes d'échec y survivent :

Changement de régime au-delà de la fenêtre de test. Les deux fenêtres walk-forward peuvent tomber à l'intérieur du même régime de marché global. Une stratégie qui obtient ROBUST sur des données 2024-2026 a été testée sur une fenêtre dominée par le momentum thématique du supercycle de l'IA. Si 2027 est un régime entièrement différent - disons, un grignotage de faible volatilité étalé sur plusieurs années - l'hypothèse structurelle de la stratégie pourrait échouer d'une façon qu'aucune des deux fenêtres de test n'a révélée. Le WF ne peut valider que contre des régimes présents dans les données.

Biais de sélection au niveau de l'univers. Si vous n'avez inclus dans votre univers que des tickers qui avaient déjà bien performé sur l'ensemble de la fenêtre, votre part de ROBUST sera gonflée pour des raisons sans rapport avec votre stratégie. C'est la version « survie » du curve-fitting, et elle vit hors du contrôle WF par ticker. Atténuation : pré-définissez l'univers sur des bases théoriques (appartenance à un thème, secteur, capitalisation) plutôt que sur la performance historique.

Inflation due aux tests multiples. Si vous balayez suffisamment de stratégies, certaines passeront le walk-forward par pur hasard - plus vous testez de combinaisons (stratégie, ticker, paramètre), plus le nombre attendu de faux positifs est élevé. Atténuation : une bibliothèque de stratégies restreinte et curée ; une justification a priori explicite pour chaque stratégie ; et traiter un résultat ROBUST isolé avec scepticisme (un résultat est plus crédible lorsque des stratégies sœurs de la même classe se classent également bien, comme le démontrent les balayages Fibonacci et retour à la moyenne sur des listes de noms qui se recoupent).

Le cadrage honnête : le walk-forward réduit considérablement le risque de curve-fit mais ne l'élimine pas. C'est le prix d'entrée pour prendre un backtest au sérieux, pas une garantie de rendements futurs.

Comment QA applique cela en production

Chaque stratégie du bot tradfi-stocks de QA a traversé la validation walk-forward avant de voir du capital réel. La classification alimente deux décisions de production :

1. Attribution de stratégie par ticker. Chaque ticker se voit attribuer la stratégie au meilleur verdict WF sur ce nom. ROBUST est préféré ; STABLE est acceptable s'il n'existe aucun ROBUST ; LUMPY est exclu d'emblée.
2. Sizing par ticker. Les positions ROBUST reçoivent le sizing complet ; les positions STABLE reçoivent un sizing partiel ; les positions LUMPY ne sont pas tradées du tout. Le verdict fait office de gestion du risque au niveau de l'univers.

Cette méthodologie apparaît dans les deux articles précédents de la série éducative QA :

• L'article sur le retracement de Fibonacci rapporte des métriques au niveau du panier (PF 1,76, Sharpe 1,42, +23,7 % sur 3 ans) - toutes post-WF. Le chiffre « 4 fenêtres walk-forward sur 5 profitables » de cet article correspond exactement à la même procédure à l'échelle du panier.
• L'article sur le retour à la moyenne rapporte le décompte de 22 ROBUST sur 35 pour le retour à la moyenne en canal de régression. C'est le même balayage, le même classificateur, résumé pour cette stratégie en particulier.

Les revendications empiriques des deux articles précédents découlent de la procédure décrite ici. Le contrôle walk-forward est la partie de la méthodologie qui donne à ces chiffres leur poids épistémique.

Pour la méthodologie plus large de corrélation contre narratif qui décide quels tickers entrent dans l'univers en premier lieu, voir Pourquoi la corrélation > le narratif dans l'investissement thématique.

Comment appliquer cela à vos propres backtests

Si vous testez vous-même une stratégie :

1. Découpez vos données en au moins deux fenêtres disjointes avant d'ajuster quoi que ce soit. Moitié / moitié est un bon point de départ. Le walk-forward à fenêtres multiples est meilleur.
2. Ajustez sur la première fenêtre uniquement. Quoi que vous optimisiez - seuil d'entrée, multiple de stop, longueur de lookback - ajustez-le sur la première fenêtre et figez-le.
3. Testez sur la seconde fenêtre sans réajuster. C'est le résultat qui compte.
4. Examinez les distributions de P&L des deux fenêtres, pas seulement leurs sommes. Une stratégie qui gagne son P&L OOS sur un seul gros trade est fragile d'une façon qu'une stratégie qui le gagne sur de nombreux petits trades ne l'est pas.
5. Soyez impitoyablement honnête sur les résultats LUMPY. Un backtest qui dépend d'une seule fenêtre de rendements n'est pas une preuve validée d'avantage. Soit vous révisez la stratégie, soit vous acceptez qu'elle n'est pas déployable.

Pour une exécution retail aux États-Unis sur des stratégies qui passent ce seuil, la qualité des données horaires d'IBKR et le support des actions fractionnées sont la correspondance la plus nette - voir /stack/ibkr. Les verdicts walk-forward en direct sur l'univers QA - et les alertes basées sur des règles lorsqu'une stratégie ROBUST se déclenche - font partie de /pro.

Ce qu'il faut surveiller

• La cadence de revalidation. Le balayage QA est relancé environ chaque trimestre. Un ticker qui passe de ROBUST à LUMPY entre deux balayages est l'indicateur avancé d'un déplacement de la structure de marché sous-jacente pour ce nom.
• La part de ROBUST dans le temps. Si la part chute sensiblement sur des balayages consécutifs avec le même univers, le régime global s'est déplacé d'une façon qui érode l'avantage de plusieurs stratégies simultanément. C'est un signal de risque au niveau du portefeuille, pas au niveau d'une stratégie isolée.
• Le recoupement entre stratégies. Quand un ticker se classe ROBUST sous plusieurs stratégies (par ex. $AAOI sur regression_channel_mr et adaptive à la fois), la structure sous-jacente est exceptionnellement nette. Quand le recoupement se réduit, c'est un signal avancé de changement de régime sur ce nom.
• Le décompte NOTRADES. Une part NOTRADES croissante à règles d'entrée constantes signifie que le régime de volatilité de l'univers s'effondre - les stratégies qui ont besoin de volatilité pour se déclencher ne l'obtiennent pas. Cela précède généralement un changement de régime plus large.
• Le chiffre au niveau du panier. Même avec un WF par ticker solide, le P&L au niveau du panier peut échouer si les corrélations à travers le panier convergent pendant un drawdown. Surveillez le Sharpe du panier sur des balayages consécutifs comme principal signal agrégé.

Données en direct sur le panier validé par WF : /stocks/cifr, /stocks/aaoi, /stocks/rklb - trois des 56 paires (stratégie, ticker) ROBUST mises en évidence par ce balayage.

Contexte des bulles : /bubbles/photonics et les 8 autres grappes thématiques où la densité de ROBUST est la plus élevée.

Lecture connexe : Qu'est-ce que le retracement de Fibonacci ? et Qu'est-ce que le retour à la moyenne ? - les deux articles rapportent des chiffres qui découlent de la procédure walk-forward décrite ici. Pour la méthodologie de construction de l'univers, Pourquoi la corrélation > le narratif dans l'investissement thématique.

QuantAbundancia est de la recherche éducative. Rien ici ne constitue un conseil en investissement. Voir /disclosures.