Cas de test automatisé et précis du flux de travail de la SQ 100%

Mon premier flux de travail automatisé et précis 100%, StrategyQuant 'custom projects' test case

DISCLAIMER : Les résultats présentés ci-dessous sont encore préliminaires, il y a toujours une petite chance que mes résultats positifs soient influencés par un bug non découvert dans la version actuelle de SQ-X (build 118.84) ou que j'ai juste fait une erreur stupide quelque part dans mon flux de travail résultant en un énorme 'Data Mining Bias'. Cependant, j'ai fait de mon mieux et j'ai tout revérifié plusieurs fois... De plus, comme tout ceci est basé sur une fonctionnalité relativement nouvelle de SQ-X, rien de tout ceci n'a encore été testé sur un compte réel... mais je pense que j'ai construit un dossier solide soutenant que je pourrais avoir raison sur ce point.

Ma demande : Il semble que j'ai réussi à créer un flux de travail automatisé et précis de 100% en utilisant la fonctionnalité de StrategyQuant appelée "projets personnalisés".

100% signifie automatisé : J'appuie sur un bouton avant d'aller me coucher, et chaque matin, mon flux de travail génère, valide et sélectionne automatiquement quelques nouvelles stratégies qui sont "prêtes à l'emploi

Prêt à partir" signifie : Je peux les déployer immédiatement sur mon compte réel. Sans avoir besoin d'un traitement supplémentaire.

100% signifie exactement : Toutes les stratégies sélectionnées par ce processus automatique (~50 jusqu'à présent) ont été rentables au cours de la période de 2 ans à partir de la date de génération.

Pour tester mon flux de travail, j'ai adapté mon SFT comme décrit dans cette rubrique : Voir ICI.

Le flux de travail est basé sur des tests de validation standard (connaissances communes) tels que partagés par l'équipe SQ dans ses cours gratuits, mais avec des paramètres très rigoureux. Le flux de travail n'utilise pas de méthodes de validation avancées telles que WFA, WFM, OP, SPP. Au lieu de cela, un test de Monte-Carlo personnalisé est utilisé pour simuler le comportement d'une méthode SPR. Aucune analyse de portefeuille n'est effectuée (certains systèmes peuvent être corrélés !).

Mon cas de test de flux de travail automatique est divisé en deux périodes de vérification :
1. Fin de l'année 2014.
2. Fin de l'année 2016.

À chaque étape des temps 1 et 2, j'ai utilisé mon flux de travail pour générer et sélectionner automatiquement 20 NOUVEAU stratégies (parmi plusieurs centaines de milliers de systèmes) sans que cela ne se traduise par une augmentation des coûts. ANY intervention manuelle et ensuite TOUS des systèmes sélectionnés ont été testés à l'aide de SFT (données futures). Permettez-moi d'être clair sur un point : je n'ai sélectionné aucune stratégie.

Il semble que toutes les stratégies sélectionnées aient été rentables au cours de la période suivant la date de génération choisie. Voir les figures ci-dessous :

Cas de test 1 : Création de la stratégie @ 2014.12.31, test à terme simulé : 2015.01.01...2016.12.31.
Real-Ticks (données Dukascopy), Real-spread (pas de commissions)

Cas de test 2 : Création de la stratégie @ 2016.12.31, test à terme simulé : 2017.01.01...2018.12.31.
Real-Ticks (données Dukascopy), Real-spread (pas de commissions)

Mes conclusions jusqu'à présent :
1. S'il n'y a pas d'erreurs, il semble qu'il soit tout à fait possible d'utiliser les "projets personnalisés" automatisés de SQ-X pour générer et sélectionner automatiquement des systèmes de trading rentables.
2. Aucune méthode de validation/filtrage avancée n'est nécessaire. Bien entendu, ces tests ne devraient qu'améliorer le résultat total et minimiser le DD au niveau du portefeuille.
3. Les résultats dans SFT de >2014 sont légèrement meilleurs que >2016. Le flux de travail est quelque peu sensible aux données utilisées lors de la génération de la stratégie (en raison de l'évolution des conditions du marché). Il semble que les années 2017 et 2018 soient des années très difficiles pour le trading en utilisant le type de trading sélectionné.
4. Ce n'est pas encore 100% prouvé, mais c'est un très bon résultat jusqu'à présent, si l'on tient compte du fait qu'il est basé sur un flux de travail simple qui utilise des principes de filtrage de base.
5. Certaines des stratégies peuvent être corrélées, mais dans le cadre de cette étude, aucun filtrage manuel de la corrélation n'a été effectué. Cela compromettrait l'objectivité de ce cas de test.
6. Les paramètres de filtrage sont très rigoureux, ce flux de travail ne filtre que les stratégies les plus robustes. D'après mes statistiques, seulement 0,05% des stratégies générées sont capables de passer ce workflow.

TODO :
- Affiner le flux de travail et mettre en œuvre une nouvelle sélection de stratégies, effectuer des tests de corrélation, des analyses WFM et des tests supplémentaires au niveau du portefeuille.

- J'attends aussi le 01.03.2019 et la build 119 avec de nouvelles fonctionnalités 😉

Salue,
Chris

bon travail jusqu'à présent 🙂 .

un tick réel, un spread réel sans commission ni slippage pourrait conduire à des résultats très optimistes...avez-vous fait une comparaison ? tick avec spread fixe, précision de 1M, ajouter 1 pip de slippage ?

Est-ce que vos résultats ont été prouvés sur différents marchés ou périodes de temps ? Parce que le H1 de l'UE est le marché le plus facile et le TF.

Pouvez-vous nous montrer les résultats du cas de test 1 pour l'année 2017-2018 ? si les stratégies sont en train de mourir, ou si elles sont identiques ou meilleures que les stratégies du cas de test 2 ?

* Yeap 1M, fixed spread, slippage donnent des résultats très similaires (peut-être même légèrement pires)...

* Tous les autres tests diff TF, diff marchés font déjà partie intégrante de mon flux de travail. Comme je l'ai dit, il est basé sur l'ABC de la connaissance commune + le filtrage de type SPR.

* Le SFT étendu du cas de test 1 donne des résultats mitigés : certaines stratégies meurent ou stagnent après 2 ans, d'autres non. Il semble que ce flux de travail nécessite un remplacement périodique des stratégies (après 2 ans, un NOUVEL ensemble de stratégies doit être généré). Cela pourrait être différent lorsque WFM est utilisé, mais c'est une discussion différente pour plus tard... voir ci-dessous les résultats du cas 1 avec SFT étendu de 2015.01.01 jusqu'à 2018.12.31 (4 ans) :

L'utilisation de Fixed money stop Is semble très adaptée à la courbe, ce que je crois que vous faites. Je peux obtenir 95 %up jusqu'en 2015-2016 sans aucun test de robustesse, en ajoutant seulement la commission et le test du tic-tac réel au mélange. Cependant, aucune, zéro, aucune de ces stratégies ne fonctionne en 2017-2018. Faites de même et revenez avec des résultats pour 2018 et je croirai que vous avez trouvé quelque chose.

et pas de Logique floue 🙂 .

1) Comme je l'ai dit, je n'aime pas les spreads réels, les backtests seront très optimistes. Les données de Dukascopy ont un spread ECN très bas, donc sans commission ce n'est pas vrai. Si vous utilisez des stratégies STOP, ajoutez toujours un peu de slippage à votre backtest, car dans un environnement réel, vous en aurez, et vous serez souvent frappé par des gaps contre vous. Utilisez toujours des méthodes qui conduiront à un backtest réaliste, même 1 pip de différence de prix peut conduire d'un trade à profit à un trade à perte. Imaginons maintenant que vous utilisiez un tick réel et un spread réel.

2) Je n'aime pas les MM à risque fixe. Si vous effectuez un backtesting avec des paramètres que vous ne négocierez pas (capital, valeur du risque) et que sur le compte réel vous fixez des valeurs différentes, le backtest sera différent, dans les stratégies avec ATR SL.

3) à propos du "prêt à l'emploi" - la plupart d'entre nous utilisent un compte de démonstration ou un petit compte réel comme incubateur de stratégies - mais l'objectif principal n'est pas d'attendre deux ans pour arriver à une conclusion comme vous le faites avec votre méthode. Ce n'est pas nouveau, beaucoup d'entre nous utilisent des données inédites dans leurs flux de travail. L'objectif principal est de s'assurer que la stratégie se négocie de la même manière que dans le backtest. Dans le SQX, il y a des blocs de construction qui sont très sensibles au prix (pivots, fibo, etc.) - ce que vous voyez dans le backtest, vous ne l'obtiendrez pas même sur le compte de démonstration, ni sur le compte réel.

5) n'écoutez personne et suivez votre propre voie 🙂 .

Ok j'espérais ce genre de commentaire, mon but est de trouver des failles dans ces résultats positifs et non de prouver qu'ils sont 100% justes, car rien de tout cela n'a été testé sur un compte réel.

Quels sont les paramètres de spread/slippage que vous considérez comme réalistes pour Dukascopy/autres courtiers ? Spread@ ? Slippage@ ? Commissions ?

Voici les résultats mis à jour avec l'ajout de 2pips de slippage et de $9/Lot commissions...

Cas de test 1 : Simulation d'un test à terme : 2015.01.01...2016.12.31.

Cas de test 2 : test simulé à terme : 2017.01.01...2018.12.31.

Notez que 2017 et 2018 sont des années extrêmement difficiles pour les traders de systèmes, c'est comme si le marché était devenu immunisé contre l'algo-trading " simple ". Cependant, même en ajoutant le slippage et les commissions dans les deux cas, je vois un résultat total positif.

Je ne suis pas d'accord avec vous sur un point, à savoir le test avec un spread fixe. Tester avec un spread fixe, même aussi élevé que 2 pips, peut conduire à des résultats très délicats. Notez que tous les brokers augmentent leur spread de façon spectaculaire pendant les heures de nuit et aussi pendant les événements volatiles. Je vais tenter ma chance avec des ticks réels et un spread réel.

De plus, je vais essayer de vérifier une autre chose :

- Je vais prendre mes stratégies du cas de test 1, les filtrer en fonction de la corrélation et sélectionner quelques stratégies non corrélées pour construire un portefeuille.

- Nous ferons le WFM pour chaque année > 2015.01.01 jusqu'à aujourd'hui

Voyons si cela nous aidera à faire face à 2017/2018.

Je faisais la même chose il y a 3 ans quand j'ai commencé avec l'ancien SQ, en essayant de trouver les meilleurs paramètres pour les données afin de correspondre le plus possible au backtest. J'utilise le tick backtest avec un spread réel et j'en arrive très vite à la conclusion que dans la vie réelle, je n'obtiens que 50% des résultats du backtest. Vous aurez 1 gap contre vous, quelques NFP en montagnes russes, etc. Chaque courtier est différent, vous devez savoir où vous voulez trader en réel...

Le backtest était très optimiste et si je construis un portefeuille et que je calcule le niveau de risque et le capital nécessaire à partir des drawdowns maximaux, les valeurs diffèrent beaucoup.

Aujourd'hui, je n'utilise plus que la précision 1M et je m'en accommode très bien. Pour l'EURUSD, j'utilise un spread fixe de 2 pips avec un slippage de 1 pip.

Pour l'instant j'ai 159 stratégies de SQX dans l'incubateur et pour chaque stratégie j'ai fait la comparaison entre le tick et la précision 1M. Dans 99%, les courbes d'EQ ne diffèrent pas au niveau de la direction et de l'aspect de l'EQ. Mais si je regarde le RDD ou le max DD, je peux voir de très grandes différences.

Et une autre vérité est que dans 99% les backtes tick sont meilleurs que la précision 1M.

Il s'agit d'une comparaison de toutes les stratégies

DD TICK max - 3900

max DD 1M - 4500

Ok, c'est une belle enquête, mais les courbes présentées sont toujours backtestées (correctes ?), où vous comparez 99% tick BT avec un 1M BT, où pour le 1M BT vous avez utilisé un spread fixe supposé de 2pips avec un slippage de 1 pip. Ainsi, il n'est pas étonnant que le résultat basé sur 1M soit moins bon, c'est ce qui est attendu, vous pouvez le dire même sans faire de BT. Si je fais la même chose avec un spread supposé de 100 pips, la différence sera encore plus grande ;)

hankeys a écrit :

Pour l'instant j'ai 159 stratégies de SQX dans l'incubateur et pour chaque stratégie j'ai fait la comparaison entre le tick et la précision 1M. Dans 99%, les courbes d'EQ ne diffèrent pas au niveau de la direction et de l'aspect de l'EQ. Mais si je regarde le RDD ou le max DD, je peux voir de très grandes différences.

Veuillez nous montrer les bonnes choses, qui sont basées sur la comparaison des résultats de votre vie, et non sur un BT. Ce serait très intéressant à voir...

Vous ne me comprenez pas bien et vous ne lisez pas tout ce qui est écrit ici, car j'ai souvent envoyé ici des courbes de comparaison de l'acc réel.

OK...1 exemple

ligne rouge - acc réel

ligne noire - 1M bactest dukascopy

ligne verte - tic réel, écart réel

ligne jaune - backtest 1M données Asirikuy

J'ai prouvé à maintes reprises ce que je dis ici... faire un backtest optimiste est comme creuser un trou pour soi-même.

après 2 ans de trading en direct - le backtest 1M et TICK tient toujours, mais la courbe EQ réelle est déjà en perte...NFPs, gaps...et ils vous ont eu

Ok, je comprends votre point de vue, je voulais juste voir vos données, donc merci de les partager (encore), peut-être que c'est une discussion pour un autre sujet, mais.. :

* Je suppose que cette "ligne rouge - compte réel" est sur le courtier dukascopy ? Dans ce cas, quel niveau de spread/slippage supplémentaire serait nécessaire pour "émuler" les mêmes conditions que sur le compte réel (pour aligner la "ligne noire" sur la "ligne rouge") ? Si c'est possible... (ce dont je doute), je constate que ce décalage n'est pas constant, et qu'il est donc probablement dû à de nombreux facteurs différents.

* Avez-vous essayé d'isoler le(s) facteur(s) le(s) plus important(s) à l'origine de ce décalage, en analysant vos données ou en effectuant des tests supplémentaires ? Gaps, slippage, latence, nouvelles, swaps, types d'ordres, etc... ? Ou est-ce que ce sujet a déjà été abordé dans une autre rubrique ici...

Plus je lis de commentaires ici, plus je réalise que " ne rien partager " du tout pourrait être la meilleure façon de procéder sur ce forum. Je vois que vous avez déjà tout compris, je vois beaucoup de gens qui font de gros profits continuellement, surtout tous les gourous, il n'y a pas de place et pas besoin de partager des idées et d'avoir des discussions... 😉.

Ne vous découragez pas. Je suis plus qu'heureux d'entendre les idées et les points de vue de chacun, et je suis sûr que beaucoup d'autres ici l'apprécient aussi.

Ilya