READ-ONLY

Das Forum ist jetzt ein schreibgeschütztes Archiv.

Für Fehlerberichte und Fragen zur Plattform → [email protected]

Unsere Community lebt auf Discord und YouTube - komm zu uns!

Wie robust ist robust genug?

31 Antworten

_Cujo

Kunde, bbp_participant, Gemeinschaft, 97 Antworten.

Profil besuchen

vor 10 Jahren #115074

Welche Einstellungen verwenden Sie bei Monte-Carlo-Robustheitstests? Mir ist klar, dass man nie zu vorsichtig sein kann, und es geht um Geld, und ich muss sicher sein, also möchte ich die Robustheitstests nicht zu sehr einschränken, aber...

 

Ich begann mit dem oberen Bild. Jede getestete Strategie schlug nicht nur fehl, sondern war sehr, sehr, sehr schlecht. Das brachte mich zum Nachdenken, vielleicht sind meine Einstellungen (oberes Bild) zu streng. Mäßig erfolgreiche Strategien, die dieselben IS-Daten für das Monte-Carlo-Verfahren verwenden, würden nicht nur zur Zerstörung des Kontos, sondern zur völligen Auslöschung führen.

 

Wenn man alles zusammenzählt, gibt es zum Beispiel eine 60% Chance, dass etwas passiert, wie 20% Parameteränderung, oder 20% Preisänderung, usw...logisch, das fühlt sich sehr schwer an.

 

Wo ich angefangen habe

6jtN7Fe.png

 

Ich habe einige Experimente, zunächst denken - wenn ich eine Reihe von Strategien, auf dem gleichen IS, laufen sie durch die Monte-Carlo-Simulation, und optimieren Sie es so die robusteste Netto-Gewinn war ~10% jede Seite, möglicherweise über richtig. Aber das fühlte sich ein bisschen zu risikooptimiert an, weil ich mit meinen Robustheitseinstellungen ein bestimmtes Ergebnis anstrebte, was sich falsch anfühlte (und sowieso sehr schwierig war).

 

Dann dachte ich - ich weiß, ich werde einfach die Hälfte alles, was immer noch eine 30% Chance etwas passiert, wie ein Handel übersprungen wird oder Parameter ändern, etc... was mich mit diesem unten links...

 

Wo ich jetzt bin

E7kT8xy.png

 

 

Dann habe ich angefangen, daran zu zweifeln, also dachte ich, ich frage mal um Rat. Welche Einstellungen verwenden Sie, um die Robustheit der Monte-Carlo-Simulation zu testen? Vielleicht ist sogar Bild 2 zu schwer?

 

 

Wie viele Monte-Carlo-Simulationen durchgeführt werden sollen

Das hat mich wirklich zum Nachdenken darüber gebracht, wie viele Simulationen ich durchführen soll:

  • 5000 ist in etwa genug, 7500 ist besser und 10.000 ist zu viel, von eine Studie, die Studien über Monte-Carlo-Simulationen untersucht hat.
  • 500-1000 ist genug, wenn Sie Waffen testen, aber die Ergebnisse stabilisieren sich nach ~500. Ich denke, der Unterschied zwischen 98% tot und 95% tot ist irrelevant.
  • Mindestens 440 Malwenn Sie eine spezielle, professionelle Risikoanalysesoftware verwenden (Anmerkung: professioneller Risikoanalysator, nicht professioneller Händler).
  • Vieles deutet darauf hin, dass die Anzahl der Durchläufe von der Standardabweichung der Daten abhängt, mit denen man es durchführt.

Für die Anzahl der Durchläufe zur Bewertung des Handelssystems rät ambi broker zu 1000 (hier und hier), Vanguard do 5000 läuft, war die niedrigste Empfehlung, die ich gefunden habe 500aber der beste Rat schien zu sein, es um 4000 herum zu skalieren, je nachdem, wie viele Parameter in Ihrem System sind... wie viele haben Sie?

 

Ich habe meine Vertrauensstufe von 95% auf 98% geändert, wodurch ich mich sicherer fühle, aber ich frage mich immer noch, welche Einstellungen ich verwenden soll...?

0

mabi

Kunde, bbp_participant, Community, sq-ultimate, 252 Antworten.

Profil besuchen

vor 10 Jahren #136717

Wir sind nur mit Robustheitstests, um zu sehen, wenn die Strategie generiert ist Kurve angepasst, um das Rauschen auf dem Markt., Wenn es ist, brauchen Sie nicht einmal 500 läuft, da es sofort zeigen, wenn es Kurve mit Tropfen in Aktienkurven angepasst ist ... Wie auch immer, das ist mein Verständnis von Robusness Tests.

 

 

Allerdings u niedrigeren Zeitrahmen u mehr Lärm und höheres Risiko für eine Kurve angepasst Strategie...

0

mabi

Kunde, bbp_participant, Community, sq-ultimate, 252 Antworten.

Profil besuchen

vor 10 Jahren #136718

Kurz gesagt, der Curve Fit Test "Robustheit" ist nur ein schneller Weg, um schlechte Strategien zu entfernen. Der eigentliche Test ist der Walkforward-Test, wenn er nicht besteht, wird die Strategie gelöscht oder verbessert.

0

_Cujo

Kunde, bbp_participant, Gemeinschaft, 97 Antworten.

Profil besuchen

vor 10 Jahren #136722

Kurz gesagt, der Curve Fit Test "Robustheit" ist nur ein schneller Weg, um schlechte Strategien zu entfernen. Der eigentliche Test ist der Walkforward-Test, wenn er nicht besteht, wird die Strategie gelöscht oder verbessert.

 

Sie dienen natürlich unterschiedlichen Zwecken. Bei Monte Carlo geht es mehr um das Risiko, das Vertrauen in die Ergebnisse und die Prüfung der Robustheit durch Rauschen, Randomisierung usw.

 

Beim Walk Forward geht es eher darum, festzustellen, ob Parameter optimiert werden sollten (aber nicht, was die Optimierung ist), und dann auf OOS zu testen (was die Robustheit prüft).

 

Hier finden Sie eine Reihe von guten Artikeln über die 2, hier und hier (nicht unbedingt die Unterschiede, aber System Trader ist eine gute Website, ich denke, die meisten Leute hier kennen sie).

 

Aber abgesehen von den Unterschieden zwischen Walk forward und Monte-Carlo-Simulation, konzentrieren Sie sich auf die Monte-Carlo-Simulation... welche Einstellungen verwenden Sie in Monte Carlo im Vergleich zu den Bildern in der OP? Klingt, als hättest du eine Menge Ratschläge zu geben... 🙂

0

mabi

Kunde, bbp_participant, Community, sq-ultimate, 252 Antworten.

Profil besuchen

vor 10 Jahren #136727

Danke! Okey ich habe tatsächlich Kevin Davey freie Werkzeuge und sein Buch. Ich denke, ich muss es wieder lesen! (Das hat er mir schon vor 2 Wochen gesagt) Aber wenn wir eine Strategie entwickeln, suchen wir nach dem wahren Signal, ohne die Strategie an das Marktrauschen anzupassen und dafür benutzen wir Montecarlo. Wenn wir zu viele Indikatoren haben, wird die Strategie mit Sicherheit angepasst werden, also suche ich nur nach wirklich einfachen Indikatoren. Ein Weg, den ich gefunden habe, um dies mit SQ zu tun, besteht darin, nur 1-4 Jahre an Daten zu generieren und 15 Jahre aus der Stichprobe herauszunehmen. Ich finde dann, dass die einzigen, die tatsächlich eine okey-Kurve haben, sehr einfach und eigentlich robust sind.

 

 

(Ich kenne Kevin Davey nicht, aber er treibt sich in einem anderen Forum herum und ist sehr aktiv)

 

 https://futures.io/vendors-product-reviews/26335-kj-trading-systems-kevin-davey-ask-me-anything-ask-me-anything.html

 https://www.youtube.com/watch?v=kBW7-p2DMVU

0

eastpeace

Kunde, bbp_participant, Community, sq-ultimate, 298 Antworten.

Profil besuchen

vor 10 Jahren #136763

500 Simulationen würden SQ anhalten lassen. (831 Strategien im Testpool)

 

i7-4790, 16G Ram.

0

geektrader

Kunde, bbp_Teilnehmer, Community, 503 Antworten.

Profil besuchen

vor 10 Jahren #136858

Nö, tut es nicht, ich benutze immer 1000, auch bei vielen Strategien auf einmal im Re-Tester. Hält hier nichts, verbraucht auch kaum RAM, dauert nur sehr lange:) Aber SQ hat sich nie aufgehängt, es hat nur manchmal mehrere Tage gedauert;)


🚀 Erschließen Sie sich Ihren Vorteil bei der Entwicklung automatisierter Forex-Strategien 🚀

Historische Forex-Daten ab 1987, 28 Paare, M1, 99% Fehlerfrei, lebenslange kostenlose Updates

0

mabi

Kunde, bbp_participant, Community, sq-ultimate, 252 Antworten.

Profil besuchen

vor 10 Jahren #136859

1000 Tests bedeutet einfach, dass 950 von 1000 Tests innerhalb des akzeptablen Bereichs der Abweichung liegen müssen. Ich finde es manchmal schwierig zu bestimmen, welche Tests und wie groß die Änderungen sein müssen, um eine vernünftige Auswirkung auf die Leistung der Strategien zu haben, ohne sie völlig zu zerstören, je nach ihrer Komplexität. Dies wirft ein weiteres Problem auf, nämlich die Frage, wie man SQ einrichtet, um einen bestimmten Strategietyp zu finden, damit man weiß, dass die auf den Monecarlo-Test angewendeten Einstellungen die gewünschte Wirkung haben. Wenn man einfach alles im Builder auswählt und es laufen lässt, entsteht eine Vielzahl von verschiedenen Arten von Strategien, die nicht mit den gleichen Einstellungen getestet werden können und dann vor dem Test aufgeteilt werden sollten. Oder liege ich da falsch?

0

_Cujo

Kunde, bbp_participant, Gemeinschaft, 97 Antworten.

Profil besuchen

vor 10 Jahren #136919

Ich habe über Robustheit nachgedacht und mir einen Vortrag angehört Kevin Davey Podcast von System Trader SuccessIch denke, jeder hier kennt die beiden natürlich 🙂 .

 

Er erwähnte, er habe 5000 Monte-Carlo-Simulationen durchgeführt. Ich mache eher 50, manchmal 550, direkt nach der Generation als Teil des Ausmerzungsprozesses. Ich glaube, ich komme nur bei Strategien in die Nähe dieser Zahl, die ein paar grundlegende Robustheitstests und einen Walk-Forward bestanden haben, und ich interessiere mich immer mehr für sie. Sicherlich nicht, wenn ich tausende von Strategien aus der Datenbank lösche...

 

 

[media]https://www.youtube.com/watch?v=TpmDzRFIu0k[/media]

 

 

0

_Cujo

Kunde, bbp_participant, Gemeinschaft, 97 Antworten.

Profil besuchen

vor 10 Jahren #136920

Danke! Okey ich habe tatsächlich Kevin Davey freie Werkzeuge und sein Buch. Ich denke, ich muss es wieder lesen! (Das hat er mir schon vor 2 Wochen gesagt) Aber wenn wir eine Strategie entwickeln, suchen wir nach dem wahren Signal, ohne die Strategie an das Marktrauschen anzupassen und dafür benutzen wir Montecarlo. Wenn wir zu viele Indikatoren haben, wird die Strategie mit Sicherheit angepasst werden, also suche ich nur nach wirklich einfachen Indikatoren. Ein Weg, den ich gefunden habe, um dies mit SQ zu tun, besteht darin, nur 1-4 Jahre an Daten zu generieren und 15 Jahre aus der Stichprobe herauszunehmen. Ich finde dann, dass die einzigen, die tatsächlich eine okey-Kurve haben, sehr einfach und eigentlich robust sind.

 

 

(Ich kenne Kevin Davey nicht, aber er treibt sich in einem anderen Forum herum und ist sehr aktiv)

 

 https://futures.io/vendors-product-reviews/26335-kj-trading-systems-kevin-davey-ask-me-anything-ask-me-anything.html

 https://www.youtube.com/watch?v=kBW7-p2DMVU

 

JA, Kevin ist wirklich ein gutes Vorbild. Ich habe sein Buch gelesen und es immer wieder gelesen. Er ist sehr aktiv in Foren und ...naja, ein gutes Modell, lehrt viel 🙂 Ich kenne ihn auch nicht, aber er kommt sehr zugänglich rüber. Ich schätze, er hat auch viele, viele seiner Bücher verkauft.

0

Statistik

Abonnent, bbp_participant, Gemeinschaft, 31 Antworten.

Profil besuchen

vor 10 Jahren #137119

Wie zuverlässig ist der Robust-Test?

Die ursprüngliche Strategie schlägt fehl, aber der Robust-Test zeigt sehr gute Ergebnisse.

Sehen Sie sich den Schnappschuss der Konfiguration an.

 

http://s33.postimg.org/9gc31fw5r/Robust_test_failure_settings.png

Kann jemand etwas dazu sagen?

Danke.

0

mabi

Kunde, bbp_participant, Community, sq-ultimate, 252 Antworten.

Profil besuchen

vor 10 Jahren #137120

@ Statistik,

 

Beim Robustheitstest wird versucht, verschiedene Marktbedingungen zu simulieren, indem die Daten geändert werden. Es scheint, dass Ihre Strategie unter anderen Marktbedingungen besser abschneiden würde als unter den Bedingungen, unter denen Sie sie entwickelt haben.

0

Statistik

Abonnent, bbp_participant, Gemeinschaft, 31 Antworten.

Profil besuchen

vor 10 Jahren #137121

@ Statistik, Robustheitstest versucht, verschiedene Marktbedingungen zu simulieren, indem er die Daten ändert. Es scheint, dass Ihre Strategie unter anderen Marktbedingungen besser abschneiden würde als unter den Bedingungen, unter denen Sie sie entwickelt haben.

Danke @Mabi, für die schnelle Antwort. Ich habe eine Reihe von Strategien generiert und sie funktionieren unter ANDEREN Bedingungen besser als unter den ursprünglichen Daten.

Das habe ich noch nie gesehen, bevor ich zu Dukas Copy Data wechselte.

Strategie sind auf M15 generiert, Handel auf Bar öffnen schnell, aber wenn tun Retest verwenden Real Tick.

Es macht nicht viel Sinn, wie das geschieht.

Ich war in der Regel mit M1 kommerziellen Daten, und überprüft manuell über eine Million von Strategien, aber nie passieren sehen solche Diskrepanz vor dem Wechsel auf Dukas Copy Tick Daten.

Könnt ihr euch vorstellen, dass das mit Dukas Copy-Tick-Daten passiert?

Ich danke Ihnen.

 

0

Statistik

Abonnent, bbp_participant, Gemeinschaft, 31 Antworten.

Profil besuchen

vor 10 Jahren #137125

500 Simulationen würden SQ anhalten lassen. (831 Strategien im Testpool) i7-4790, 16G ram.

Hallo Kumpel, gerade getestet 1000 Tests auf 100 Strategien, bekam eine 35% CPU siehe den Screenshot.

Es hat also nichts mit deiner SQ zu tun, du musst einfach höhere Specs für Severs verwenden.

Einstellungen:

 

 

0

_Cujo

Kunde, bbp_participant, Gemeinschaft, 97 Antworten.

Profil besuchen

vor 10 Jahren #137126

Ich habe auch keine Probleme, 1.000 oder 5.000 Monte-Carlo-Simulationen mit Strategien durchzuführen. 

0

Statistik

Abonnent, bbp_participant, Gemeinschaft, 31 Antworten.

Profil besuchen

vor 10 Jahren #137127

Ich habe auch keine Probleme, 1.000 oder 5.000 Monte-Carlo-Simulationen mit Strategien durchzuführen.

Führen Sie einfach 1000 Tests mit 100 Strategien durch, was über 30 Minuten dauert! Aber es ist in Ordnung, für die Zwecke der Prüfung.

Es ist besser, zunächst die fehlgeschlagenen Strategien bei den 20/100/300-Tests auszuschließen.
Auf diese Weise müssen Sie nicht alle fehlgeschlagenen Strategien für jeweils 5 Minuten ausführen.

 

0

Ansicht von 15 Antworten - 1 bis 15 (von insgesamt 31)

1 2 3 →