Les tests de robustesse sont-ils vraiment efficaces ?

La procédure suivante pourrait être appliquée pour montrer si les "tests de robustesse" sont réellement efficaces.

1. Construire 1000 stratégies avec EURUSD H1, en utilisant la période 2018-2023 comme données "In Sample" et en laissant 2024 comme "Unseen Data".
2. Une fois que vous avez construit les 1000 stratégies, avec une belle courbe d'équité, un bon facteur de profit et une condition physique acceptable, testez-les dans la période "Unseen".

Disons que 30% des stratégies initiales, c'est-à-dire trois cents, donnent un profit si elles sont testées uniquement en 2024. Cela signifie que si j'avais choisi une stratégie au hasard parmi les mille, j'aurais eu une probabilité de 30% de terminer l'année 2024 avec un profit.

3. Tester les 1000 stratégies initiales à l'aide d'un "test de robustesse", la "matrice de progression" par exemple, au cours de la période "en cours d'échantillonnage", 2018-2023.

Supposons que 10% de ces stratégies, soit cent, réussissent le test.

4. Testez maintenant ces cent stratégies dans la période "inédite" de 2024.

Si le "test de robustesse" a bien fonctionné, il devrait sélectionner les meilleures stratégies, et le pourcentage de stratégies rentables devrait être supérieur au 30% obtenu sans utiliser le "test de robustesse".

J'ai effectué cette procédure à de nombreuses reprises avec différents actifs, sur différentes périodes, en modifiant les paramètres et en utilisant tous les types de "tests de robustesse", mais le résultat a toujours été le même : le "test de robustesse" n'a pas été en mesure de sélectionner les stratégies les plus susceptibles d'être rentables au cours des périodes "invisibles".

J'ai écrit ce billet pour pouvoir me comparer à d'autres traders, pour comprendre si quelqu'un a des preuves que les "tests de robustesse" peuvent vraiment être utiles et de quelle manière.

Si vous n'êtes pas satisfait des outils de SQX, essayez plutôt les outils de Thomas Nickel. Il écrit :

La première phase de SQX a été très problématique - il y a toujours eu des problèmes. La phase suivante a été nettement améliorée, mais il s'agissait d'un chemin plus long.
Je programme en Java, mais j'ai déjà travaillé en C et en C++. L'assembleur se trouve encore un peu plus loin, mais il n'est pas encore utilisé.
Connaissez-vous mes trois programmes 1TP9 ? L'outil de suivi installe et utilise des AE générées par SQX, la boîte à outils génère des flux de travail et l'analyseur de métrologie comprend un indicateur de performance basé sur Weka.
Ces outils d'aide permettent d'analyser et d'installer les robots SQX. Ils sont disponibles sous forme de logiciels gratuits.
J'ai déjà eu du mal à comprendre comment les logiciels peuvent être vendus ou les cours dispensés, et comment les autres peuvent comprendre comment les stratégies rentables peuvent être mises en œuvre.
Il y a beaucoup de gens qui cherchent à le faire, mais la plupart du temps, cela ne fonctionne pas. 1TP9Les stratégies rentables sont difficiles à trouver - personne ne connaît celles qui fonctionnent parfaitement.
Le problème du 1TP9 est souvent lié au fait que de nombreuses stratégies sont tout simplement "adaptées aux courbes", c'est-à-dire qu'elles ne fonctionnent qu'à partir de données historiques et ne sont pas appliquées dans la pratique.
Je l'ai fait moi-même et j'ai constaté que ces systèmes ne fonctionnaient pas.
L'homme doit tracer l'ensemble du flux de travail et tout simuler. C'est pourquoi j'ai créé la boîte à outils, et je constate aujourd'hui que les flux de travail ne fonctionnent pas.
Jusqu'à présent, je n'ai eu qu'un seul flux de travail, qui s'est avéré excellent : le flux de travail GBPJPY H1 du forum SQX.

Je ne suis pas encore né et je ne peux pas faire de commentaire. Thomas s'intéresse au SQX depuis bien plus de 10 ans.

PS : Le lien de téléchargement se trouve dans le fichier PDF.

La phase initiale de SQX était vraiment problématique - il y avait des bogues partout. Entre-temps, les choses se sont considérablement améliorées, mais la route a été longue.

Je programme en Java, mais j'ai aussi travaillé en C et en C++. L'assembleur, c'était il y a longtemps ; il n'est plus guère utilisé de nos jours.

Connaissez-vous déjà mes trois programmes ? L'outil de surveillance installe et surveille les EA générés par SQX, la boîte à outils génère des flux de travail et l'analyseur de métriques contient une IA basée sur Weka.

Ces outils auxiliaires permettent d'analyser et d'installer les robots SQX. Ils sont disponibles sous forme de logiciel gratuit.

J'ai également envisagé de vendre le logiciel ou de proposer des formations pour montrer aux autres comment créer des stratégies rentables.

De nombreuses personnes essaient de le faire, mais la plupart du temps, cela ne fonctionne pas. Les stratégies Profitable sont difficiles à trouver - presque personne n'a de stratégie qui fonctionne vraiment bien.

Le problème réside souvent dans le fait que de nombreuses stratégies sont simplement "ajustées à la courbe", c'est-à-dire qu'elles ne fonctionnent que sur des données historiques et qu'elles s'effondrent dans la pratique.

J'ai moi-même vécu cette situation et j'ai réalisé que de tels systèmes ne fonctionnent pas.

Il faut examiner l'ensemble du flux de travail et tout simuler. C'est la raison pour laquelle j'ai développé la boîte à outils, et depuis lors, elle m'a généralement montré que les flux de travail ne fonctionnaient pas.

Jusqu'à présent, je n'ai trouvé qu'un seul flux de travail qui soit raisonnablement bon : le flux de travail GBPJPY H1 du forum SQX.

Ok, merci pour la réponse. Je vais étudier attentivement les documents que vous avez envoyés. Restons en contact !

Pour plus d'informations sur la "robustesse", cliquez ici :

https://dnyl.space/tag/robustness/

Bonjour Drunkshingha, merci pour votre message.

Je n'ai pas trouvé le sujet que j'ai abordé dans votre lien, est-ce correct ?

D'après mon expérience, les tests de robustesse tels que ceux de Montecarlo, la matrice Walk Forward, etc. etc. ne permettent pas de sélectionner les stratégies qui ont le plus de chances d'être rentables à l'avenir.

Je demande aux commerçants s'ils ont des preuves de leur efficacité.

Strategyquant fait son travail : il trouve des stratégies qui ont été rentables dans le passé, mais la plupart d'entre elles ne fonctionneront pas avec des données inédites. Nous devons sélectionner les stratégies qui seront rentables à l'avenir. Je n'ai pas encore trouvé d'outil capable de faire cela. D'après mon expérience, les tests de robustesse classiques ne fonctionnent pas.

J'ai commencé à lire les articles de Thomas Nickel que vous avez publiés dans ce forum. Il a développé un nouvel outil pour sélectionner les stratégies générées par Strategyquant. L'idée est assez bonne, mais j'ai besoin de temps pour tester sa méthode.

Je suis également en train de mettre au point une méthode, si elle fonctionne, je vous le ferai savoir.

Si ce sujet intéresse quelqu'un, n'hésitez pas à nous faire part de vos idées !

Je pense qu'il faut considérer les tests de robustesse comme un outil que l'on utilise pour les stratégies qui réussissent une série de backtesting de base. Cet outil vous montre les caractéristiques de votre système pour une évaluation en direct.

Pour ma part, je divise mes données en trois parties et chaque partie doit fournir un ensemble statistiquement significatif de transactions à évaluer.

En règle générale, cela signifie que vous avez besoin de plus de 10 ans de données historiques. Supposons que nous ayons 2013 - 2017 comme chunk 1, 2017 - 2021 comme chunk 2 et 2021 - 2025 comme chunk 3. Vous entraînez votre système sur la moitié du chunk 2 et vous l'évaluez sur l'autre moitié. Vous travaillez donc exclusivement avec les données de 2017 - 2021. Cette stratégie doit passer une série de filtres de base. Nous supposons qu'une stratégie qui a un facteur de profit constant de 1,75 aura très probablement un PF proche de 1,75 sur cet éventail de données.

Nous savons, grâce à ces quelques tests, que si nous disposons d'un ensemble suffisamment large de stratégies acceptables, nous avons l'espoir de disposer, quelque part dans cet ensemble, d'un sous-ensemble plus restreint de stratégies suffisamment robustes pour être négociées. Comment les trouver ? Eh bien, du point de vue des données du morceau 2, les morceaux 1 et 3 sont des données "inédites". Testons donc nos nouvelles stratégies sur le morceau 1 et voyons ce que nous obtenons.

Intuitivement, une stratégie robuste devrait être performante sur le chunk 1. J'ai constaté qu'entre 10 et 50% de mes stratégies ont des performances acceptables sur le chunk 1. Nous avons donc au moins le début de quelque chose.

Testez ensuite les stratégies qui ont réussi sur une série de périodes et de titres différents. Veillez à tester votre stratégie de manière rigoureuse, mais pas au point qu'elle n'ait aucune chance de réussir. Cela nécessite une bonne dose de discrétion et de connaissance du marché. Par exemple, ne choisissez pas le VIX comme deuxième titre pour valider une stratégie sur ES. Faites preuve de la même prudence en ce qui concerne les échéances. Si vous évaluez une stratégie de TF à 1 heure, ne la validez pas sur une période de 1 mois. Il y a BEAUCOUP plus de bruit sur le 1m et les stratégies qui traitent à ce niveau ont besoin de caractéristiques différentes. Personnellement, je ne pense pas qu'il soit possible pour le commerce de détail de négocier sur une période aussi courte. Je ne me donnerais même pas la peine d'exploiter des stratégies en dessous de 15m TF.

Si vous obtenez une stratégie qui passe ces tests, jetez un coup d'œil aux différents tests Monte Carlo disponibles. Utilisez-les pour comprendre comment votre stratégie devrait se comporter lorsqu'elle est confrontée à différentes réalités du marché. Vérifiez comment elle se comporte avec une série de slippages, ou de trades sautés. Examinez les différentes courbes d'équité affichées par le test des paramètres.

Si vous réussissez à passer tous ces tests, alors vous pouvez évaluer votre stratégie sur le dernier bloc de données. SI votre stratégie fonctionne bien sur le dernier bloc de données, alors vous avez peut-être quelque chose. Il reste encore quelques tests à effectuer, mais il est possible que vous travailliez maintenant avec une stratégie suffisamment robuste pour trader en direct.

J'ai constaté que beaucoup de gens, y compris moi-même, sont un peu irréalistes sur la façon dont une stratégie devrait fonctionner sur des données réelles. Nous voulons gagner de l'argent immédiatement, mais si nous lisons attentivement notre backtest, nous nous rendons compte que ce n'est pas vraiment ce qui se passe. Une bonne stratégie peut avoir une période de stagnation de 180 jours ou plus (c'est une longue période pour évaluer si vous êtes dans ce "trou"). J'ai trouvé des stratégies tout à fait acceptables qui se contentent de faire du surplace et de remporter quelques bonnes victoires tous les trimestres ou presque. Cela signifie que vous pouvez avoir 3 ou 4 pertes d'affilée sur des transactions qui se situent très bien dans une bonne marge de confiance par rapport à ce que votre stratégie devrait faire.

Voici donc ce que je pense être efficace. Evaluez honnêtement votre back test et vos tests de robustesse. Ne passez pas une stratégie que vous ne pourriez pas échanger personnellement. Pour moi, cela signifie un taux de gain de 50%, ret/dd > 8, PF > 1.5, risque < 2% du compte. Regardez ce que vous dit le backtest. S'il indique que vous pourriez avoir 6 pertes d'affilée, supposez que ces pertes pourraient être des pertes maximales. Reconnaissez que 6 pertes d'affilée est une statistique et non un maximum réel. Vous pourriez en avoir 7 ou 8. Que devez-vous faire si vous en avez 7 au cours de votre période d'évaluation ? Devriez-vous débrancher la prise ? Ayez un plan. Le marché est imprévisible.

Essayez d'évaluer les différentes parties de votre courbe d'équité en connaissant la situation du marché à l'époque. Comment votre strate s'est-elle comportée lors du krach de la covidie ? Peut-être pourriez-vous disposer d'une série de statistiques pour les transactions sur le marché "normal" et d'une deuxième série pour les conditions de marché exceptionnelles. Dans quel type de marché vous trouvez-vous actuellement ? Est-il très volatil ? Les marchés très volatils atteindront votre stop loss beaucoup plus souvent et vous devez savoir si c'est acceptable ou si votre stratégie est en train de s'effondrer.

Réalisez que 6 défaites d'affilée * 2% pourraient représenter beaucoup d'argent pour vous. Pouvez-vous le supporter ? Si ce n'est pas le cas, vous devez ajuster vos systèmes pour ramener votre risque dans une fourchette qui vous convient. Cela peut signifier que vous ne pouvez pas négocier certains titres. J'ai constaté qu'un grand nombre de particuliers rassemblent $5000 et s'en vont trader ES sans réaliser que ES peut avoir besoin de $2000 - $5000 de SL pour se déplacer pour un trade, même sur une période de temps plus courte. Beaucoup d'algos bénéficient du biais de survie et vous voulez un stoploss plus large que ce que les maths vous indiquent pour profiter de ce biais. Reconnaissez les limites de votre capital et n'essayez pas de négocier des titres que vous n'avez pas l'intention de négocier. En ce qui me concerne, je n'envisagerais pas de négocier des miniatures sans disposer d'au moins $100k USD en raison de mon expérience personnelle. Si vous ne disposez pas de cette somme, envisagez de négocier des micros.

Cela fait maintenant 4 ans que j'élabore des stratégies en parallèle et que je pratique le trading discrétionnaire. Je subviens aux besoins de ma famille grâce à mon trading discrétionnaire. Je n'utilise SQx que depuis quelques mois, mais j'ai beaucoup appris. Certaines des stratégies que j'évaluais par le passé ont été abandonnées parce qu'elles me faisaient perdre plus d'argent que je ne le souhaitais. Parfois, je revenais en arrière et je découvrais que ces mêmes stratégies avaient été renforcées et avaient permis de gagner pas mal d'argent par la suite. Si j'avais honnêtement évalué et compris ce que le backtest me disait, j'aurais pu les laisser trader plus longtemps et j'aurais alors été bénéficiaire.

La dernière partie de l'évaluation, celle qui porte sur les données réelles et l'argent réel, est toujours la plus difficile. Il est important de construire une image, ou une carte de ce que votre stratégie devrait faire dans un certain laps de temps. N'ayez pas peur de retirer vos bénéfices tôt, mais laissez le système négocier et vous dire où il aurait pu sortir. En tant que trader discrétionnaire, j'ai découvert que j'étais beaucoup plus apte à évaluer intuitivement le marché et à retirer mes bénéfices tôt, mais je dois regarder la courbe d'équité que le système aurait générée, et non la courbe d'équité que j'ai obtenue.

Je le fais dans le cadre de la période d'évaluation afin d'être un peu plus sûr de pouvoir préserver les fonds propres dont je dispose si j'évalue une stratégie perdante. Une fois que j'ai confiance dans le système, je le laisse tomber parce que le trading discrétionnaire prend du temps et que l'intérêt d'utiliser des algos est, pour moi, de libérer du temps. Donc, si vous avez des difficultés à trouver des algos robustes, ce n'est peut-être pas sur les tests d'algos que vous devez travailler, mais sur votre interprétation des données de backtest. J'ai entendu un bon trader algo sur un podcast dire que le trading d'algos n'est pas une expérience sans émotion, la seule vraie différence avec le trading d'algos et le trading discrétionnaire est que vous avez plus confiance dans vos données backtestées. Je pense que ce qu'il voulait vraiment dire, c'est que vous avez plus de données à votre disposition. Mais cela signifie que nous devons les utiliser efficacement lorsque nous évaluons des systèmes en direct.

J'espère que cela vous aidera.

En fin de compte, la robustesse ne fait qu'augmenter les chances de réussite de la stratégie.

Des éléments à prendre en compte :

1. Quels sont les objectifs que je souhaite atteindre et quels sont les tests qui s'y prêtent ?

Vous voulez trouver des paramètres stables ? Peut-être l'optimisation séquentielle, le spp ou même la marche en avant.

Vous voulez trouver le pire drawdown ? Peut-être Monte Carlo.

Vous voulez trouver des modèles et des animaux dans vos données de backtest ? Utilisez peut-être des simulations de type "what if".

Vous souhaitez connaître les performances de votre backtest sur des données inconnues ? Vous pouvez effectuer un backtest sur d'autres marchés.

**Le fait est qu'en matière de trading, tout est possible. C'est à nous de mettre les chances de notre côté et de surveiller les performances.

2. Une fois que vous disposez de vos données de backtest et de votre test de robustesse, posez-vous la question suivante : votre backtest vous semble-t-il normal ?

- Y a-t-il seulement des opérations d'achat/de vente ? Par exemple, la symétrie des opérations 0%.

-Quelles sont les pertes et les gains les plus importants ?

Est-ce que je m'attends à beaucoup ou à très peu de transactions ?

**Personne ne le mentionne, mais d'un certain point de vue, vos filtres humains constituent un test de robustesse en soi.

J'espère que cela vous aidera 🙂 .