Guide pratique
Pourquoi un backtest peut être sur-optimisé
Identifier le sur-ajustement d’un backtest, limiter les essais de paramètres et mieux séparer sélection et validation.
Le sur-ajustement apparaît lorsque les règles ou paramètres capturent les particularités du passé plutôt qu’un comportement susceptible de se répéter. Tester de nombreuses variantes puis conserver la meilleure augmente mécaniquement le risque de sélectionner une coïncidence.
Signaux d’alerte
- un paramètre précis fonctionne alors que les valeurs voisines échouent ;
- la majorité de la performance provient de quelques opérations ;
- la stratégie se dégrade fortement dès que les coûts augmentent ;
- le résultat disparaît sur une autre période ou un autre actif comparable.
Séparer recherche et validation
Une partie des données sert à formuler ou régler l’hypothèse. Une autre partie, non utilisée pendant cette phase, sert à la tester. Réutiliser plusieurs fois la période de validation finit toutefois par la transformer en période d’optimisation implicite.
Préférer des zones stables
Un plateau de paramètres raisonnables est plus rassurant qu’un pic isolé. Décaler légèrement la période, le seuil ou le coût ne devrait pas inverser complètement le diagnostic.
Documenter le nombre d’essais
Conservez la trace des variantes rejetées. La meilleure courbe n’a pas la même signification après trois essais qu’après trois mille. Les travaux sur la probabilité de sur-ajustement des backtests montrent précisément l’importance de la sélection multiple.