Pourquoi la plupart des stratégies de trading échouent - curve-fitting et tests hors échantillon - les bases du trading, chapitre 10

La croyance standard est que si une stratégie a marché sur des données historiques, elle marchera à l'avenir - un bon backtest signifie une bonne stratégie. Ce récit n'est pas à moitié juste ; il est largement faux, et c'est l'idée fausse la plus coûteuse du trading retail. Un beau backtest est la chose la plus facile à fabriquer en finance, et une stratégie réglée pour paraître parfaite sur le passé ne vaut souvent rien sur le futur. La compétence qui sépare les traders qui gardent leur argent de ceux qui le perdent n'est pas de construire des stratégies - c'est de s'en méfier correctement.

Un cadrage plus exact : toute stratégie comportant quelques réglages ajustables peut être réglée pour épouser le bruit aléatoire d'une fenêtre historique précise de manière si serrée qu'elle affiche une courbe d'équité impeccable - sans rien apprendre de généralisable. C'est le curve-fitting, et la défense contre lui est le test hors échantillon. Ce chapitre explique le piège et le seuil que QA utilise pour le franchir, auquel 46 % des stratégies testées ont échoué en silence.

Ce qu'est réellement le curve-fitting

Donnez à une stratégie assez de curseurs ajustables - seuil d'entrée, distance de stop, longueur de lookback, réglages d'indicateurs - et vous pourrez toujours trouver la combinaison exacte qui aurait rapporté le plus sur les deux dernières années. Le problème : cette combinaison est ajustée à la séquence d'événements spécifique et non reproductible de cette fenêtre. La stratégie n'a pas découvert une vérité de marché ; elle a mémorisé le corrigé d'un examen particulier.

Le signe révélateur est la sensibilité aux paramètres. Une stratégie véritablement robuste rapporte de l'argent sur toute une plage de réglages proches - son avantage vient d'une structure de marché réelle, donc les réglages voisins fonctionnent aussi. Une stratégie en curve-fit affiche un pic de profit aigu à un seul réglage exact et s'effondre dès que vous touchez le moindre curseur. Le pic est l'empreinte d'un ajustement au bruit, pas au signal.

La raison pour laquelle cela trompe tout le monde, c'est que le backtest est réel - ces profits se seraient véritablement produits. C'est juste qu'ils se sont produits parce que la stratégie a été construite en connaissant la réponse, ce qui est précisément l'information que vous n'aurez pas demain.

Pourquoi un excellent backtest peut ne rien valoir

Un backtest lancé sur les mêmes données que celles ayant servi à régler la stratégie revient à corriger l'examen avec le corrigé en main. Bien sûr qu'il obtient 100 %. Cela ne vous dit rien sur la façon dont la stratégie se comporte sur des questions qu'elle n'a pas vues - or c'est la seule chose qui compte, car chaque trade futur est une question qu'elle n'a pas vue.

Deux pièges structurels font mentir les backtests :

• Dépendance au régime. Une stratégie qui prospère dans un marché volatil et en tendance peut être détruite dans un marché calme et en range. Un backtest sur un seul régime masque l'effondrement qui survient au changement de régime - et les régimes changent toujours.
• Survie et sélection. Testez uniquement sur des actions qui ont déjà bien performé et vos résultats sont gonflés pour des raisons sans rapport avec la stratégie. L'univers était truqué avant même le lancement de la stratégie.

C'est aussi pourquoi le chapitre 8 avertissait qu'une seule bonne série ne prouve rien. La variance et le curve-fitting produisent tous deux des petits échantillons flatteurs. Seule la performance hors échantillon sur plusieurs fenêtres a du poids.

Le remède - tests hors échantillon et walk-forward

La défense est simple sur le principe : séparez les données que vous utilisez pour construire la stratégie de celles que vous utilisez pour la juger.

1. Découpez votre historique en blocs - disons, deux fenêtres d'un an.
2. Réglez sur le premier bloc uniquement. Trouvez vos réglages là et figez-les.
3. Testez sur le second bloc - des données que le réglage n'a jamais touchées. Ce résultat est le résultat honnête.
4. Répétez sur les fenêtres. Faites glisser : réglez sur les données anciennes, testez sur les récentes, encore et encore.

C'est la validation walk-forward. Une stratégie qui reste rentable sur plusieurs fenêtres hors échantillon a démontré que son avantage était présent dans plusieurs tranches indépendantes du passé - la preuve la plus forte disponible (à défaut du trading réel) qu'il est réel et non un ajustement au bruit.

Les limites honnêtes - même la validation n'est pas une garantie

Le walk-forward réduit considérablement le risque de curve-fit ; il ne l'élimine pas. Trois modes d'échec survivent même à une validation propre :

• Régime au-delà de la fenêtre de test. Si vos deux fenêtres de test tombent dans le même régime global, un régime véritablement nouveau peut tout de même casser la stratégie d'une façon que les données n'ont jamais montrée.
• Inflation due aux tests multiples. Testez assez de stratégies et certaines passeront le walk-forward par pure chance. Le remède : un jeu de stratégies restreint et curé, avec une raison a priori d'attendre que chacune fonctionne - pas une partie de pêche à mille stratégies.
• Le futur n'est pas le passé. Tout test historique suppose que la structure de marché sous-jacente persiste. Parfois non. La validation vous achète de meilleures probabilités, jamais une certitude.

Le cadrage mature : le test hors échantillon est le prix d'entrée pour prendre une stratégie au sérieux, pas une promesse de profit. Il vous fait passer de « ça paraissait bien sur les données sur lesquelles je l'ai réglée » - ce qui ne vaut rien - à « ça a tenu sur des données qu'elle n'a jamais vues » - ce qui est la meilleure preuve disponible.

Ce que cela signifie pour un débutant

Vous ne codez peut-être pas encore de backtests, mais la leçon s'applique dès l'instant où vous copiez la stratégie de quiconque :

• Méfiez-vous de tout backtest impeccable, surtout sur les réseaux sociaux. Les impeccables sont les plus susceptibles d'être en curve-fit. Demandez : a-t-il été testé hors échantillon, sur plusieurs régimes ?
• Soyez impitoyable face aux résultats sur une seule fenêtre. Une stratégie dont le palmarès repose sur une seule grande année (LUMPY, dans le langage de QA) est un pile ou face, pas un avantage.
• Préférez le simple à l'optimisé. Moins de curseurs signifie moins de marge pour le curve-fit. Une règle simple qui fonctionne sur de nombreux réglages bat une règle finement réglée qui ne fonctionne qu'à un seul.
• Faites du paper-trading avant de risquer du capital. Lancer une stratégie en avant sur des données en direct auxquelles vous n'avez pas pu l'ajuster est votre propre test hors échantillon personnel.

Ce qu'il faut surveiller

• Si un avantage revendiqué a été testé hors échantillon. Si une stratégie n'a jamais été lancée que sur les données dont elle est issue, son palmarès n'est que décoration.
• La sensibilité aux paramètres. Une stratégie qui ne fonctionne qu'à un seul réglage exact est en curve-fit. Les avantages robustes survivent à une plage de réglages proches.
• La couverture des régimes. A-t-elle été testée sur des périodes calmes et volatiles, ou une seule ? Un backtest sur un seul régime masque son propre mode d'échec.
• Votre niveau de scepticisme. La position par défaut correcte face à toute revendication du type « cette stratégie a fait 200 % » est le doute, jusqu'à voir une preuve hors échantillon. Ce scepticisme est lui-même un avantage.

QA note chaque stratégie de ses bots ainsi avant qu'elle ne voie du capital réel - lisez la méthode complète dans Qu'est-ce que la validation walk-forward ? et l'étude de cas du retour à la moyenne dans Qu'est-ce que le retour à la moyenne ?. Le chapitre suivant transforme tout cela en un processus reproductible : votre propre playbook de trading.

---

Suite de la série : Construire un playbook de trading - transformer des règles en un processus que vous pouvez réellement suivre sous pression.

Pour aller plus loin : Qu'est-ce que la validation walk-forward ? · Qu'est-ce que le retour à la moyenne ?.

À voir en direct : le /playbook de QA pour le cadre de règles ; la télémétrie des bots validés walk-forward fait partie de /pro.

QuantAbundancia est de la recherche éducative. Rien ici ne constitue un conseil en investissement. Voir /disclosures.