Walk-Forward-Optimierung vs. Robustheit

Ich möchte einen Thread über WFO im Allgemeinen erstellen und eine Diskussion darüber führen, wie nützlich andere Quants hier es finden oder nicht.

Ich bin der Meinung, dass dies überhaupt nicht notwendig ist und nicht dazu beiträgt, die Robustheit einer bestimmten Strategie zu bestimmen. So wie WFO strukturiert ist, wird eine bestimmte Strategie wiederholt über mehrere Zeiträume von Marktdaten optimiert und dann an einem kleinen Teil von OOS-Daten getestet. Das Gesamtkonzept besteht darin, dass es eher den Live-Handel simuliert und testet, wie Strategien bei der Anpassung an unterschiedliche Marktbedingungen abschneiden. Aber ist das wirklich so?

Wenn die Parameter einer bestimmten Strategie wiederholt optimiert werden, dann ist meiner Meinung nach alles, was das WFO tut, die Prüfung der Robustheit dieser spezifischen Parameter, wie sie während dieses Zeitraums in den Marktdaten auftreten. Mit anderen Worten, es stützt sich auf eine ständige Optimierung, um die Robustheit einer Strategie zu bestimmen, und ich glaube, dass die ständige Optimierung von Strategien von vornherein eine fehlerhafte Prämisse ist. Ich habe inzwischen Hunderttausende von Strategien getestet und bin zu dem Schluss gekommen, dass man jedes Mal, wenn man die Parameter in großem Umfang ändert, mit einer völlig anderen Strategie arbeitet. Ich spreche hier nicht von einer geringfügigen Änderung der Parameter, denn das können Sie mit Monte-Carlo-Simulationen testen. Wenn Sie eine Strategie ständig für einen viel kleineren Zeitraum optimieren, können sich die Parameter so stark ändern, dass die Strategie zwar für diesen Zeitraum optimiert ist, aber auf lange Sicht versagt. Da Sie über einen kleinen Zeitraum optimieren, können Sie außerdem nicht sagen, wann eine bestimmte Optimierung fehlschlägt, denn jede Optimierung kann sich drastisch von der letzten unterscheiden, so dass Sie am Ende neue Parameter haben, die im letzten Jahr gut waren, aber auf den Live-Märkten versagen, weil Sie mit einer anderen Strategie handeln als bei der letzten Optimierung. Und wenn Sie die endgültige Strategie, die das WFO besteht, nicht ständig optimieren, dann macht es auch keinen Sinn, sich anzusehen, was das WFO Ihnen überhaupt sagt, denn es ist kein Hinweis auf die Leistung einer Strategie, deren Parameter Sie nicht ändern.

Ich will damit sagen, dass es für mich keinen Sinn macht, Strategien ständig für aktuelle Marktbedingungen zu optimieren. Jedes Mal, wenn man das tut, arbeitet man mit einer anderen Strategie, die vielleicht nur in dem kleinen Zeitrahmen funktioniert hat, für den sie optimiert wurde, und man weiß nicht, wie drastisch die Optimierung die Parameter angesichts neuer Marktdaten beeinflussen kann. Ich halte es für viel sinnvoller, Strategien zu finden, die OOS-Daten überleben, und sie einmal zu optimieren, um die Leistung an den gesamten Datensatz anzupassen. Wenn die Strategie OOS und Monte-Carlo-Simulationen überlebt, werden durch die einmalige Optimierung die besten Parameter gefunden, die die beste Leistung über den gesamten Datensatz beibehalten haben, und man muss sich keine Sorgen um eine Überanpassung machen, da sie zu diesem Zeitpunkt bereits OOS überlebt hat. Sie sollten auch nicht ständig zu Ihrer Strategie zurückkehren und sie erneut optimieren müssen, was die Natur der Strategie völlig verändern kann. Stattdessen wird die Optimierung einmal durchgeführt, und Sie können sich auf eine zuverlässige Leistung verlassen, indem Sie die endgültigen Parameter sichern.

Aber mein Ziel ist es nicht, faul zu sein. Natürlich bedeutet dies weniger Arbeit für die Entwicklung von Strategien zu tun. Dadurch, dass ich WFO aus meinem Arbeitsablauf herausgenommen habe, ist der Prozess, bis ich eine endgültige Strategie habe, die ich als robust betrachte, wesentlich schneller geworden, und man muss nicht mehr 10-100 verschiedene Strategien, die man vielleicht betreibt, neu optimieren. Aber ich würde WFO nicht aus praktischen Gründen oder aus Faulheit aus meinem Arbeitsablauf streichen wollen. Wenn es wirklich vorteilhafter ist, es für den Robustheitsprozess zu verwenden, würde ich den Zeitaufwand für eine bessere Strategie, die zuverlässiger ist, in Kauf nehmen. Es ist wichtiger, dass kleine Unachtsamkeiten an den Märkten kein Geld kosten. Bislang habe ich jedoch keinen legitimen Grund oder Beweis dafür gefunden, warum es besser ist, eine bestimmte Strategie ständig zu optimieren.

Deshalb möchte ich die Frage an alle anderen stellen, die WFO nutzen. Finden Sie, dass es von Vorteil ist, es zu verwenden? Wenn ja, warum glauben Sie, dass die ständige Optimierung von Strategien vorteilhafter ist als die Nichtoptimierung? Ich habe mich schwer getan, einen Grund dafür zu finden, und würde mich über eine Rückmeldung von anderen freuen, die definitiv anderer Meinung sind als ich, denn so wie ich es verstehe, ist WFO genau aus diesem Grund eher ein optionaler Test.

Wenn Sie die Parameter in großem Umfang ändern, arbeiten Sie jedes Mal mit einer völlig anderen Strategie, wenn Sie das tun.

Dieser Gedanke ist mir schon oft durch den Kopf gegangen. An welchem Punkt ziehen wir die Grenze zwischen Optimierung und zufälligem Ausprobieren völlig anderer Strategien? In meinem eigenen EA habe ich optimierbare Parameter, die ganze Aspekte der Strategie völlig verändern, und ich betrachte deren Optimierung eher als ein zufälliges Ausprobieren verschiedener Strategien. Das ist einer der Gründe, warum ich denke, dass es wichtig ist, genau zu wissen, was jede Variable tatsächlich tut, bevor man sie optimiert, damit wir beurteilen können, ob sie überhaupt optimiert werden sollte und wie stark wir sie ändern können, ohne dass sie zu einer anderen Strategie wird.

Nach meiner begrenzten Erfahrung und all den Handelsbüchern, die ein Kapitel über Walk-Forward enthalten, würde ich sagen, dass WF höchstwahrscheinlich einen gewissen Wert haben kann, wenn man es richtig macht und darauf achtet, nicht zu viel Data-Mining zu betreiben und darauf zu achten, dass man nicht, wie Sie sagen, "mit einer völlig anderen Strategie endet." Eine WF kann mehr schaden als nützen, wenn sie nicht richtig durchgeführt wird. Insbesondere mit der SQX-WF-Matrix kann eine WF mit bestimmten Parametern manchmal gut aussehen, wenn wir den WF-Prozess selbst überoptimiert haben.

Es ist ziemlich selten für mich, dass eine Strategie so gut oder besser in seiner OOS eines WF als es in seiner OOS während der Strategieentwicklung Phase tat, aber wenn es tut, habe ich ein wenig mehr Vertrauen in die WF. Natürlich werde ich bei Bedarf reoptimieren, wie Sie sagten, es macht keinen Sinn, es nicht zu tun, ja, es ist ein Schmerz, und ich habe spezielle Anpassungen an meinem mt4-Code vorgenommen, um den Schmerz zu lindern.

Ich bin mir nicht sicher, ob ich mir die Mühe machen würde, ihn als Robustheitstest zu verwenden, denn wie Sie sagten, kann der MC-Test etwas Ähnliches leisten.

Ich stimme mit Ihrem gesamten Beitrag überein, er ist sehr gut geschrieben und wirft einige große Fragen auf, die wir beide teilen, aber bei mir läuten absolut die Alarmglocken:

Ich halte es für viel sinnvoller, Strategien zu finden, die OOS-Daten überleben, und sie einmal zu optimieren, um die Leistung an den gesamten Datensatz anzupassen.

Bei der abschließenden Optimierung besteht die Gefahr einer Überanpassung! Ich würde sie nicht optimieren, nachdem Sie bereits alle anderen Tests durchgeführt haben. Das ist nichts anderes als ein Walk Forward mit einer großen In-Sample, die Sie noch nicht Out-of-Sample getestet haben. Ich würde zumindest einen verankerten WF versuchen, bevor ich das tue.

Das Konzept muss sein, wenn eine Strategie kann Walk Forward auf ungesehenen Daten optimiert werden und indem Sie dies dann verbessern die Leistung erheblich, dann ist es eine von Marktbedingungen anpassungsfähig Strategie, die höchstwahrscheinlich auf verschiedenen Märkten Bedingungen angepasst werden kann, wenn vor kurzem optimiert. Ich meine, als Walk Forward entwickelt wurde, mussten sie die Strategie anpassen, da sie nur eine hatten, an der sie 2 Jahre lang gearbeitet haben, und diese auf so vielen Märkten wie möglich funktionieren sollte. Ich teste das gerade, ich habe etwa 400 Strategien, die auf Demo laufen, die auf Unseen-Daten optimiert wurden, und sie sollen im Dezember neu optimiert werden, und ursprünglich haben sie alle >80 Prozent Gewinnperioden auf Unseen-Daten, was in der Praxis bedeuten sollte, dass bis Juni nächsten Jahres, wenn die zweite Optimierung ansteht, zumindest 90% eine profitable Periode gehabt haben sollte. Wenn das wahr ist, werde ich es wahrscheinlich verwenden, andernfalls werde ich es wegwerfen, was das wahrscheinlichste Szenario ist.

Alle dachten, so weit ich sehe beste Leistung von Strategien, die einfach auf aktuelle Daten optimiert sind, aber immer noch durchgeführt große auf ungesehene Daten und das ist viel einfacher zu tun. Howe ever dies scheint eine bestimmte % der insgesamt sofortige Gesamtverlierer zu schaffen, so dass sie zunächst ausgebrütet werden müssen. Aber die verbleibenden haben gute Leistung alle gedacht, in meinem Test dabei waren sie von einem Typ, der vor kurzem gut durchgeführt haben, wie auch immer Blick zurück 6 Monate so Dinge wie Art der Strategie und die Art der allgemeinen Leistung auf den letzten Markt muss auch berücksichtigt werden und im Vergleich mit der Optimized zu deter-main die Wirksamkeit der Durchführung und Umsetzung dieser Operationen für Strategien mit echtem Geld verwendet. Allerdings habe ich festgestellt, dass es fast unmöglich ist, eine Strategie zu machen, die in einer Verlustperiode funktioniert, indem man sie optimiert. Das Einzige, was zu passieren scheint, ist eine leichte Leistungsverbesserung im Laufe der Zeit, wenn sie bereits Gewinne machen, wenn sie nicht optimiert sind.

Für den Robustheitstest ist es meiner Meinung nach am besten, Strategien zu haben, die auf vielen Instrumenten und Zeitrahmen funktionieren und die auf SQx leicht zu finden sind. Wie kann eine Strategie kurvenangepasst oder schlecht sein, wenn sie auf ungesehenen Daten auf X verschiedenen Märkten funktioniert. Es wird natürlich funktionieren, vielleicht nicht die nächsten 6 Monate, aber später wird es sicher sein, oder der Markt würde aufhören, zufällig zu sein, was nicht passieren wird.

bentra schrieb:

Bei der abschließenden Optimierung besteht die Gefahr einer Überanpassung! Ich würde es nicht optimieren, nachdem Sie bereits alle anderen Tests durchgeführt haben. Das ist nichts anderes als ein Walk Forward mit einer großen In-Sample, die Sie noch nicht Out-of-Sample getestet haben. Ich würde zumindest einen verankerten WF versuchen, bevor ich das tue.

Dem kann ich nicht zustimmen. Die endgültige Optimierung, nachdem alles getestet wurde, beschränkt sich in der Regel auf die geringfügige Änderung einiger weniger Parameter. Zum Beispiel das Verschieben eines Stop-Loss von 3,4x ATR auf 2,8x ATR oder das Verschieben des Ausstiegs nach Balken von 25 auf 40. Es ist für mich unlogisch, dass diese Änderungen eine Strategie plötzlich "overfit" machen würden. Overfit-Strategien sind Strategien, die nur auf den Daten funktionieren, auf denen sie trainiert wurden. Eine Optimierung des gesamten Datensatzes ist nicht dasselbe wie eine Umschulung. Die Strategie hat immer noch auf früheren OOS-Daten überlebt. Eine geringfügige Optimierung der Strategie bedeutet nicht, dass sie auf diesen OOS-Daten neu trainiert wird, da sie im ursprünglichen Trainingsdatensatz noch als ungesehen betrachtet werden sollte.

mabi schrieb:

Für den Robustheitstest ist es meiner Meinung nach am besten, Strategien zu haben, die auf vielen Instrumenten und Zeitrahmen funktionieren und die auf SQx leicht zu finden sind. Wie kann eine Strategie kurvenangepasst oder schlecht sein, wenn sie auf ungesehenen Daten auf X verschiedenen Märkten funktioniert. Es wird natürlich funktionieren, vielleicht nicht die nächsten 6 Monate, aber später wird es sicher sein, oder der Markt würde aufhören, zufällig zu sein, was nicht passieren wird.

Daran habe ich ursprünglich auch gedacht. Meine Sorge war jedoch, wie unterschiedlich andere Märkte zuweilen sein können. Für mich ist das noch mehr eine Grauzone als WFO, und ich möchte noch mehr über Strategien recherchieren, die auf anderen Märkten funktionieren und einen echten Robustheitstest darstellen. Soweit ich weiß, muss man Märkte testen, die ähnlich sind. Ein offensichtliches Beispiel ist, dass man die Ergebnisse einer Strategie nicht mit denen von EUR/USD und USD/JPY vergleichen kann, da sie sich fast entgegengesetzt bewegen. Man müsste etwa eine Strategie für EUR/USD mit der für GBP/USD vergleichen, und wenn man USD/JPY testet, dann mit EUR/JPY und so weiter.

mabi schrieb:

Alles dachte, so weit ich sehe beste Leistung von Strategien, die einfach auf aktuelle Daten optimiert sind, aber immer noch durchgeführt große auf ungesehene Daten und das ist viel einfacher zu tun.

Ich bin neugierig darauf, weitere Nachforschungen anzustellen und weitere Meinungen dazu einzuholen. Ich habe in der Vergangenheit nie auf aktuellere Daten trainiert und sie gegen OOS getestet. Ich würde das Gegenteil tun, d.h. ich würde mit Daten aus der Vergangenheit trainieren und die jüngsten Daten als OOS verwenden, um zu beweisen, dass die Strategie auch unter den heutigen Marktbedingungen funktioniert. Das Beste aus beiden Welten wäre es, mehrere IS-Perioden sowie mehrere OOS zu haben, aber ich warte darauf, dass diese Funktion implementiert wird 😉 .

Eine geringfügige Änderung der Strategie bedeutet nicht, dass sie auf diesen OOS-Daten neu trainiert wird, da sie immer noch als ungesehen aus dem ursprünglichen Trainingsdatensatz betrachtet werden sollten.

Jede Optimierung ist bis zu einem gewissen Grad eine Form der Anpassung. Wenn Sie die OOS für die Optimierung verwenden, wird sie per Definition als gesehen und nicht mehr als OOS betrachtet. Soweit ich weiß, sind kleine Optimierungen weniger schädlich und eher hilfreich, aber die ganze Idee des Vorwärtsgehens ist es, zu versuchen und zu überprüfen, wie sehr die Optimierung/der optimierte Teil hilft oder schadet. Sie könnten etwas weniger Daten verwenden oder mehr Daten erhalten und stattdessen einen "Walk Forward" nach "minor tweek" durchführen. Was ist der Unterschied zwischen diesen drei Dingen in Ihrem Beispiel der Verwendung einer "gesamten Datenstichprobe"?
- "kleine Korrekturen" an 16 Jahren Ihrer gesamten Daten
-zunächst mehr Daten zu sammeln und dann 16 von 25 Jahren für invasive Arten zu verwenden und die restlichen Jahre durch "geringfügige Anpassungen" weiterzuentwickeln
14 von 16 Jahren nutzen und die verbleibenden 2 OOS-Jahre durch "geringfügige Korrekturen" weiterführen? (Das wäre besser als nichts und würde Ihnen Vertrauen in Ihre "kleine Optimierungsphase" geben).

Ein offensichtliches Beispiel: Sie können die Ergebnisse einer Strategie für EUR/USD und USD/JPY nicht miteinander vergleichen, da sie sich fast entgegengesetzt bewegen. Man müsste etwa eine Strategie für EUR/USD mit der für GBP/USD vergleichen, und wenn man USD/JPY testet, mit EUR/JPY und so weiter.

Wenn Ihre Strategie symmetrisch ist, können Sie natürlich die Ergebnisse von EURUSD und USDJPY vergleichen. Wenn Ihre Strategie nicht symmetrisch ist, dann macht Ihre Aussage Sinn. Ich denke, für den Kontext, wenn wir über Cross-Market-Tests sprechen, ist es hilfreich, den Zeitrahmen zu spezifizieren und auch, ob wir über eine symmetrische Strategie sprechen oder nicht. Ich finde zum Beispiel, dass größere Zeitrahmen (H4 / D1) besser als symmetrische und marktübergreifende Strategien geeignet sind, während kleinere Zeitrahmen besser asymmetrisch sind und eher auf ein einzelnes Paar spezialisiert zu sein scheinen. Ich finde auch, dass GOLD, USDJPY, EURUSD und GBPUSD ein solider Satz von Kreuztests für symmetrische Strategien mit größeren Zeitrahmen sind. Aber ein guter Datensatz für eine asymmetrische Strategie mit kleinerem Zeitrahmen wie EURUSD, EURJPY und GBPUSD scheint für eine EURUSD-Strategie am besten geeignet. (Ein zusätzlicher xxxUSD und ein zusätzlicher EURxxx) Ich hatte eigentlich eine Anfrage gestellt, damit wir das Kreuz "umdrehen" können, so dass wir ein Cross-Check-Set wie USDJPY, EURJPY, USDGBP als logisches Cross-Set für eine asymmetrische USDJPY-Strategie haben könnten. Ich habe das bis jetzt ganz vergessen. (https://roadmap.strategyquant.com/tasks/sq4_3319)

bentra schrieb:

Was ist der Unterschied zwischen diesen drei Möglichkeiten: - "geringfügige Korrekturen" an 16 Jahren Ihrer gesamten Daten - zuerst mehr Daten sammeln und dann 16 Jahre von 25 Jahren für IS verwenden und den Rest durch "geringfügige Korrekturen" weiterverfolgen - 14 von 16 Jahren verwenden und die verbleibenden 2 OOS-Jahre durch "geringfügige Korrekturen" weiterverfolgen? (könnte besser sein als gar nichts und Ihnen Vertrauen in Ihre "kleine Optimierungsphase" geben).

Nun, WFO testet Optimierungsstrategien mehrfach. Ich tue das nicht. Der Unterschied besteht also darin, dass die Durchführung dieses Tests mir nicht die endgültigen Daten liefert, die ich brauche, um eine Strategie produktionsreif zu machen, da ich nicht plane, sie mehr als einmal zu optimieren.

bentra schrieb:

Wenn Ihre Strategie symmetrisch ist, können Sie natürlich die Ergebnisse von EURUSD und USDJPY vergleichen. Wenn Ihre Strategie nicht symmetrisch ist, dann macht Ihre Aussage Sinn. Ich denke, für den Kontext, wenn wir über marktübergreifende Tests sprechen, wäre es hilfreich, den Zeitrahmen zu spezifizieren und auch, ob wir über asymmetrische Strategien sprechen oder nicht.

Früher habe ich auf symmetrische Strategien geschworen, bis mich die Daten eines Besseren belehrten. Jetzt verwende ich nur noch Short-Only- und Long-Only-Strategien für einen bestimmten Markt. Ich führe ein einseitiges Training pro Seite und Markt durch. Das Endergebnis sind zwei verschiedene Strategien, die jeweils nur in eine Richtung mit völlig unterschiedlichen Regeln handeln. Manche Leute wie Sie schwören auf Symmetrie. Jedem das Seine. Was die TF betrifft, so ist sie wirklich egal, solange sie nicht 5 % oder weniger beträgt. Wenn es jemandem gelungen ist, eine Strategie mit 5 m oder weniger im Live-Handel zum Laufen zu bringen, dann ziehe ich meinen Hut vor ihm.

bis mich die Daten eines Besseren belehrten. Jetzt verwende ich nur noch Short-Only- und Long-Only-Strategien

Das überrascht nicht, wenn man bedenkt, wie mangelhaft die Symmetrie in SQX noch ist.

Ich kann sehen, wie Sie denken, dass ich Symmetrie von all meinen jüngsten Aktivitäten liebe, aber eigentlich sind die meisten meiner Live-Strats nicht.