Répondre

HELP - Le troisième test OOS échoue toujours après 18000 essais

0 réponses

Andrew Wolney

Client, bbp_participant, communauté, 3 réponses.

Visiter le profil

il y a 3 ans #260536

Salut les gars ! J'espère que tout le monde va bien. Je vous écris aujourd'hui parce que j'ai un problème auquel je ne sais pas trop comment remédier et je me suis creusé la tête pour trouver une solution.

J'ai récemment repris StrategyQuant pour la première fois depuis des années après avoir eu une fonction contrôlée dans une société financière ici à New York qui m'a empêché de négocier des devises. J'ai remarqué qu'il y avait un nouveau cours vidéo sur le site, et je me suis dit que ce serait un excellent cours de remise à niveau, surtout avec les nouvelles fonctionnalités - j'ai surtout utilisé SQ3 à l'époque.

J'ai donc installé mon générateur dans une configuration très similaire à celle du cours et je l'ai laissé fonctionner jusqu'à ce que je génère 3000 stratégies afin de pouvoir effectuer les tests de robustesse étape par étape à l'aide des vidéos. Mes stratégies ne se sont pas comportées aussi bien que le paquet de stratégies du cours. J'ai répété ce processus 5 fois (avec exactement les mêmes paramètres du constructeur) avec 3000 stratégies à chaque fois pour un total de 18000 stratégies soumises au test de robustesse. Voici mes résultats moyens.

Ce sont les valeurs indicatives suivantes que j'utilise à partir du cours Quastic :

Deuxième OOS
- (devrait éliminer environ 75% de stratégies) - a tué 83% de mes stratégies en moyenne. Un résultat serré, rien à voir ici.

Test de glissement
- (devrait éliminer environ 15% des stratégies restantes) - a tué 13% de mes stratégies en moyenne. Il n'y a rien à voir ici.

Un autre test de marché
- (devrait éliminer environ 50% des stratégies restantes) - a tué 90% de mes stratégies restantes en moyenne. WTF( ??) Il semble que mes stratégies soient BEAUCOUP plus sur-équilibrées que celles que gentleman a produites dans le cours. J'ai des doutes sur les raisons de ce phénomène, mais j'y viendrai.

Un autre test sur les périodes 1 et 2
- (devrait éliminer environ 30% des stratégies restantes) - a tué 31% de mes stratégies restantes en moyenne. C'est parfait.

Test exact de l'ordre des transactions de Monte Carlo
- (devrait éliminer environ 25% des stratégies restantes) - a tué 19% de mes stratégies restantes en moyenne. Un meilleur résultat que le cours !

Test de Monte Carlo sur les paramètres et les données
- (devrait éliminer environ 15%-40% de stratégies) - a tué 20% de mes stratégies restantes en moyenne. Cela me convient.

Troisième test OOS
- (Devrait éliminer environ 40% de la poignée de stratégies restantes) - TUE 100% DE MES STRATÉGIES À CHAQUE FOIS.

Je n'ai pas eu une seule stratégie qui ait passé le test final - ce qui, à ce stade, est assez frustrant. D'habitude, il me reste entre 3 et 12 stratégies jusqu'au test final qui les élimine toutes. Je voulais que tout soit identique afin d'avoir une plus grande confiance dans mes données avant de vous les présenter pour analyse.

Depuis l'échec, j'ai effectué des tests rigoureux sur des échantillons plus petits et des analyses manuelles pour essayer de trouver ce qui ne va pas et je pense que j'ai circonscrit le problème. Outre le fait que je suis 90% sûr que le constructeur OOS jette un coup d'œil aux données (IDK comment), je pense que j'ai un problème avec mes blocs de construction.

Mes paramètres de construction sont très standard et les écarts ne produisent pas de résultats différents. Mes paramètres génétiques produisent en moyenne 0,11% de stratégies acceptées, ce qui me semble correct. Les données et les options de trading sont toutes extrêmement standard, de même que le money management, le test de précision supérieure et les classements. La section des blocs de construction, cependant, peut produire des variations sauvages sur l'efficacité des stratégies construites acceptées, et lorsqu'il s'agit du test final OOS, je remarque que je reçois des idées de stratégies fallacieuses qui ont survécu à d'autres tests de robustesse. J'obtiens des choses comme "Go long when the LWMA[1] > High[1]", ce qui, à mon avis, ne devrait jamais se produire ( ?).

Si quelqu'un est passé par là et a réussi à construire des stratégies robustes avec le nouveau système, j'accepterais volontiers vos commentaires. De plus, si quelqu'un dispose d'un fichier de configuration du constructeur qui lui permet de faire passer la ligne d'arrivée aux stratégies lors des tests manuels / matriciels, j'apprécierais beaucoup votre aide / le fichier, pour voir les différences.

J'ai joint le fichier de construction que j'utilise pour votre commodité.

Pièces jointes :
Vous devez être connecté pour visualiser les fichiers joints.

0