Logique de certains tests de robustesse
11 réponses
afhampton
Il y a 7 ans #237813
Cela fait maintenant deux ans que je travaille dans ce domaine et j'ai suffisamment approfondi les détails du trading d'algo pour remettre en question certaines logiques que je considérais comme acquises lorsque j'ai commencé. Je suis sûr que chaque personne a son propre point de vue sur les défis que je propose ci-dessous et je suis vraiment intéressé par la logique qui sous-tend cette réflexion. N'hésitez pas à partager vos réflexions sur les raisons pour lesquelles vous utilisez ce que vous faites et comment cela vous a aidé dans l'identification de votre stratégie.
1. Je suis tout à fait d'accord avec les tests de robustesse : slippage variable, spread variable, randomisation de la barre de départ, randomisation des données historiques (probabilité 20, changement maximal de l'ATR 5-10%), randomisation de la distance minimale par rapport au prix, randomisation de l'ordre de transaction (exact et rééchantillonnage), et saut aléatoire de transactions. Tous ces éléments me semblent tout à fait logiques dans certaines limites et me semblent suffisants pour m'empêcher d'optimiser à outrance et de faire des ajustements de courbe.
Voici celles qui ne me semblent pas logiques. Si vous avez des raisons logiques de penser autrement, veuillez les partager avec moi et m'aider à voir où je peux me tromper.
1. Test avec d'autres paires de devises - Pourquoi s'attendre à ce qu'une stratégie élaborée sur une paire soit efficace sur une autre, même si elles sont "fortement" corrélées pendant un certain temps ? Chaque paire de devises (en particulier les principales) a sa propre "personnalité" en raison des banques centrales et des autres acteurs clés qui les contrôlent. Si une banque centrale indépendante est à l'origine d'une paire de devises, il est absurde de s'attendre à ce qu'une devise "apparentée" se comporte de la même manière (c'est-à-dire EURUSD, GBPUSD). Elles sont gérées indépendamment les unes des autres. Par conséquent, lorsque SQ élabore une stratégie qui est efficace sur une paire, à mon avis, je devrais m'attendre à ce qu'elle ne soit valable que pour cette paire et pour aucune autre.
2. Test sur d'autres horizons temporels - Lorsque SQ construit une stratégie qui répond à nos exigences (PF, DD, Net Profit, etc.) sur un horizon temporel, pourquoi s'attendrait-on à ce que ses performances soient aussi proches que possible sur un autre horizon temporel plus court ou plus long - en particulier si des indicateurs sont impliqués ? Les valeurs des indicateurs sont déterminées par les paramètres et le nombre de barres, etc. Si le même indicateur est placé sur un graphique qui est la moitié, le quart ou le quart d'un autre, les valeurs qu'il produit sont, dans de nombreux cas, complètement différentes. Par conséquent, les règles d'entrée/sortie d'une transaction basées sur la valeur de ces indicateurs ne sont plus applicables dans le cadre temporel différent. Dès lors, pourquoi s'attendre à ce que les performances de la stratégie soient aussi proches de celles de l'horizon temporel d'origine ?
3. Randomiser les paramètres de la stratégie - Comme pour #2 ci-dessus, avec les stratégies basées sur des indicateurs, ce sont les paramètres de la stratégie qui conduisent les calculs. Les ajuster à la hausse ou à la baisse influencera donc certainement les valeurs de sortie et donc les règles d'entrée/sortie. Ce test ne me semble raisonnable que si j'abaisse les attentes de performance de la stratégie pour qu'elles soient proportionnelles à la quantité de changement que j'introduis/autorise dans les paramètres. Si ma norme de PF est de 1,5 et que j'introduis 20% de changement dans les paramètres, cela n'a aucun sens pour moi d'attendre de la stratégie qu'elle conserve un PF de 1,5. La stratégie a été conçue pour répondre à certaines conditions qui se reflètent dans la valeur des indicateurs. Si ces conditions changent, je ne dois pas m'attendre à ce que les règles soient respectées et donc à ce que le niveau de performance reste le même.
J'aimerais connaître l'avis d'autres utilisateurs plus expérimentés de la SQ sur ces sujets. Il y a certainement des choses que je n'ai pas prises en compte et sur lesquelles j'ai besoin d'être éclairé. Qu'en pensez-vous ?
0
Enric
Il y a 7 ans #237818
1TP9Je ne serai probablement pas un utilisateur plus expérimenté, mais si je peux me permettre, j'aimerais ajouter mes deux cents parce que c'est un sujet que j'ai lu, auquel j'ai réfléchi et je crois qu'il est essentiel dans ce domaine. J'ai lu quelque part que vous devez écraser votre stratégie autant que vous le pouvez, sinon le marché le fera pour vous. Pour moi, c'est la raison pour laquelle j'ai ajouté les tests multimarchés et multitemporels dans le cadre des tests de robustesse. Je ne me soucie pas trop des raisons, mais je préfère écarter un tas de bonnes stratégies plutôt que de prendre quelques stratégies surfaites pour de bon.
En ce qui concerne les paramètres de la stratégie Randomize. Pour moi, c'est peut-être le test le plus important. Entre nos Backtests et l'exécution Live, il y a un brouillard de variables qui jouent toutes contre nous ; i) SQ Backtest ne correspond pas exactement à la réalité. Même le backtest SQ ne correspond pas exactement au backtest MT4 (vous pouvez le vérifier), ii) l'exécution du broker n'est pas précise, iii) les données historiques que nous avons utilisées ne sont pas les mêmes que celles du broker, du moins dans mon cas parce que mon broker ne fournit pas ses données historiques.
Et vous avez omis un test, celui de la matrice de marche en avant. Je l'applique comme test final pour confirmer la stratégie.
0
mabi
Il y a 7 ans #237822
Pour répondre brièvement à tous vos points, la seule raison de faire ces tests est de déterminer à quel point la stratégie est sensible aux différents changements du marché. Si les paramètres actuels échouent totalement, c'est probablement parce qu'ils ont été ajustés aux données sur lesquelles ils ont été créés et qu'ils n'ont trouvé qu'un coup de chance ou qu'ils ont été sur-optimisés par la chance. Mais si le changement de marché ou la randomisation des paramètres a un impact négatif médian sur la performance, cela vous indique que la stratégie est plutôt bonne en l'état et qu'elle peut très probablement être améliorée et adaptée à un autre marché par le biais de l'optimisation. Normalement, les stratégies qui peuvent être adaptées par optimisation à d'autres marchés où elles ont échoué dans leur forme originale sont robustes et peuvent être tradées en direct et pour cela nous avons maintenant l'excellent outil Opt.profile et SPP.
0
afhampton
Il y a 7 ans #237827
Merci d'avoir partagé vos idées avec Enric et Mabi. Vous mentionnez tous les deux le surajustement et la suroptimisation. Comme je l'ai indiqué dans mon premier message, les tests de robustesse que j'ai énumérés au point #1 sont tout à fait logiques à mes yeux - chacun d'entre eux porte sur des éléments réalistes du marché afin d'éviter le surajustement. Je peux vous assurer que rien de ce qui a passé mon ensemble de tests de robustesse n'a été obtenu "par chance". Ils tiennent compte des possibilités de changement auxquelles il faut s'attendre - et qui répondent toutes aux points que vous avez tous deux soulevés.
La question que je vous pose est donc la suivante : si les aspects qui vous préoccupent ont déjà été traités par des tests de robustesse spécifiques, pourquoi exigeriez-vous que la stratégie passe d'autres tests qui n'ont absolument aucun rapport avec les obstacles "réalistes" qu'elle rencontrera sur le marché ? Quelles sont les questions spécifiques abordées par ces tests (qui n'ont pas déjà été abordées dans les tests précédents) ?
0
Enric
Il y a 7 ans #237829
@afhampton. Vous remettez en question la nécessité des tests de robustesse multimarché et multitimeframe. J'ai vu des avis de traders instruits qui défendaient les deux points de vue. Je ne pense pas que quiconque puisse donner une réponse absolue.
Je préfère inclure ces tests dans mon flux de travail. Si je me trompe, j'aurai écarté de bonnes stratégies, ce qui est dommage. D'un autre côté, si vous excluez ces tests et que vous vous trompez, vous inclurez des stratégies trop limitées. La première option me donne plus de tranquillité d'esprit.
Enfin, @maby a inclus deux tests supplémentaires disponibles sur SQX. Bien sûr, je les inclurai également dans mon flux de travail. J'essaierai d'écraser mes stratégies sur le processus de construction autant que possible pour éviter qu'elles n'écrasent mon compte.
0
mabi
Il y a 7 ans #237830
Personne ne dit qu'il faut les exécuter. Pour les contrats à terme, je n'ai exécuté les tests que sur des instruments corrélés, sinon ils auraient échoué sans avoir été optimisés sur les instruments non corrélés. Sur le Forex, la plupart des instruments sont corrélés, c'est donc comme des données supplémentaires. Si vous le faites sur EurUsd et que vous le testez ensuite sur GbpUsd, vous avez encore 15 ans d'OOS. Mais vous avez raison, il n'est pas évident que cela soit très utile si l'on regarde les performances des stratégies négociées en direct.
0
Ilya
Il y a 7 ans #237832
Excellent sujet, j'y ajouterai mon grain de sel.
Bien que je puisse comprendre les personnes qui choisissent de remettre en question leurs stratégies de toutes les manières possibles, personnellement, je suis d'accord avec vous sur les points 1 et 2, je ne considère pas les vérifications multi-marchés et multi-cadres temporels comme des tests de robustesse valables, je les fais pour voir si je peux négocier un marché différent avec ma stratégie, mais rien de plus. Je ne vais certainement pas ignorer une stratégie qui a passé tous mes autres tests sur cette base.
Vous devez absolument écraser et défier votre stratégie autant que possible, mais si je suis un bon rappeur, je n'irai pas me produire dans une salle d'opéra, cela se terminera probablement par un désastre et des huées, n'est-ce pas ? Je m'en tiendrai aux clubs de rap.
En ce qui concerne le point 3, "Randomiser les paramètres de la stratégie", je l'interprète de la manière suivante :
- Pour moi, c'est essentiellement la même chose que "Randomiser les données historiques", à l'envers. Je vais donner un exemple :
Pour simplifier, disons que vous avez une stratégie qui est longue lorsque le prix croise et clôture en dessous de la SMA des 5 dernières barres.
Supposons que les prix de clôture des 5 dernières barres à un moment donné soient : 5, 10, 15, 20, 25. La SMA à ce moment-là est donc de 15.
Maintenant, pendant votre test de randomisation des données historiquesEnsuite, nous permutons légèrement ces prix de clôture, par exemple "6, 11, 14, 22, 27" pour voir si le léger changement des données historiques aura un impact sur votre stratégie ou non, n'est-ce pas ? Cette fois-ci, la SMA à ce moment précis est de 16 (au lieu de 15 dans les données réelles), et vous voulez voir si cette SMA de 16 incitera toujours votre EA à adopter une position longue/courte, combien vous gagnez/perdez cette fois-ci par rapport à la situation initiale, etc.
Supposons que vous fassiez une randomiser les paramètres de la stratégie test avec les mêmes données, donc cette fois, votre EA prend en compte la SMA(6) au lieu de la SMA(5) comme la stratégie originale, et disons que le prix de clôture historique de la barre avant les 5 barres mentionnées est 21. Vous avez maintenant les prix de clôture suivants des 6 dernières barres : 21, 5, 10, 15, 20, 25. La SMA de laquelle est ? 16. Vous avez donc obtenu le même résultat avec des données mutées qu'avec des données historiques légèrement différentes, mais "à l'envers", en diversifiant vos tests.
En d'autres termes, nous essayons de modifier les données historiques du point de vue de l'EA (évidemment sans changements très importants), plutôt que du point de vue des données, et nous voyons comment la stratégie gère cela. Il s'agit d'une forme de défi supplémentaire pour la stratégie, à laquelle on peut s'attendre à ce qu'elle survive. Comme les changements que nous faisons sont plus radicaux par rapport aux changements de données historiques, c'est aussi un test plus exigeant habituellement...
0
Enric
Il y a 7 ans #237833
Je comprends votre point de vue, mais je ne suis pas d'accord.
En suivant votre exemple. Si tu es un bon chanteur, tu pourrais probablement faire du rap ou de l'opéra. Si tu es rappeur tu ne pourras pas gagner ta vie avec l'opéra mais je suis sûr que tu te débrouilleras bien 🙂 .
Vous avez raison avec les paramètres de randomisation, mais imaginez une stratégie avec un StopLoss = 0.73 * SMA(5). En changeant la période de la SMA, j'obtiendrai le même résultat qu'en changeant les données historiques. Ok, pas de problème pour moi d'avoir un test redondant. Mais si je change le paramètre 0.73, c'est quelque chose qui peut arriver dans le trading réel.
0
Ilya
Il y a 7 ans #237834
Je comprends votre point de vue, mais je ne suis pas d'accord. Si l'on suit votre exemple. Si tu es un bon chanteur, tu pourrais probablement faire du rap ou de l'opéra. Si vous êtes rappeur, vous ne pourrez pas gagner votre vie avec l'opéra, mais je suis sûr que vous vous débrouillerez bien 🙂 Vous avez raison avec les paramètres aléatoires, mais imaginez une stratégie avec un StopLoss = 0,73 * SMA(5). En changeant la période de la SMA, j'obtiendrai le même résultat qu'en changeant les données historiques. Ok, pas de problème pour moi d'avoir un test redondant. Mais si je change le paramètre 0.73, c'est quelque chose qui peut arriver dans le trading réel.
C'est très bien que vous ne soyez pas d'accord et je vous souhaite bonne chance. Pour moi, il s'agit simplement d'une forme de perfectionnisme qui est agréable si elle fonctionne, mais qui n'est pas nécessaire. (Je veux dire, tout le monde n'est pas Freddy Mercury, n'est-ce pas ?)
Je suis également d'accord avec la deuxième partie de votre message, c'est une raison supplémentaire d'utiliser ce test. Mon exemple n'était qu'une base pour la nécessité de ce test, mais il ne m'aide pas vraiment si je finis par faire la même chose qu'en changeant les données de l'historique. Il s'agit de présenter un différents Il s'agit d'un changement de période, d'un léger changement de SL/TP s'il est basé sur ATR/Pips, ou d'un changement de coefficient comme vous l'avez suggéré. Tant que le changement n'est pas trop radical, il s'agit d'un défi intéressant et pertinent à relever.
Ilya
0
afhampton
Il y a 7 ans #237845
.... Mon exemple n'était qu'une base pour la nécessité de ce test, ... Ilya
0
mabi
Il y a 7 ans #237900
De nombreuses stratégies que je commercialise ont été élaborées sur un autre instrument ou un autre cadre temporel, mais elles ont été testées avec succès et j'ai donc décidé de les utiliser. Cela m'a permis d'économiser de nombreux mois de génération et de construire rapidement des portefeuilles diversifiés.
0
afhampton
Il y a 7 ans #237905
Merci Mabi. Vous soulevez un très bon point. Comment se présente la corrélation de ces stratégies lorsque l'on prend un portefeuille et qu'on le passe au Quant Analyzer ?
0
Affichage de 11 réponses de 1 à 11 (sur un total de 11)