Bewertung der Handelsleistung von Strategien

Ein häufiges Problem für einen Händler ist es, zu wissen, wann seine Strategie den Vorteil verloren hat, oder kurz gesagt, wann es eine Situation gibt, die nicht zu den heutigen Strategien passt. Strategien, die durch Data Mining generiert wurden, können recht schnell einen Leistungsabfall erfahren, und diese Schnipsel können bei der Analyse solcher Situationen helfen. Diese Folge ist die Einleitung zu einer Reihe von Artikeln, in denen ich neue WHAT-IF-Snippets vorstelle, die uns bei der Bewältigung dieses Problems helfen sollen. In den folgenden Episoden werden wir auch Snippets vorstellen, die auf der Logik der statistischen Qualitätskontrolle basieren, und schließlich werden wir eine Studie durchführen, in der wir vergleichen, ob diese Snippets das Risikoprofil von Strategien statistisch gesehen verringern.

Im heutigen Teil habe ich ein Snippet vorbereitet, das es dem Strategieentwickler ermöglicht, den maximalen Drawdown in der In-Sample-Periode (der Trainingsperiode) zu messen und dann die Strategie zu beenden, wenn sie den prozentualen Wert dieses Drawdowns in der Out-of-Sample-Periode erreicht.

.

Ich habe zwei Versionen der WHAT-IF-Analyse vorbereitet

 

1. die Logik von Training/Test

e WHAT-IF-Snippet können Sie den prozentualen Schwellenwert der prozentualen Absenkung in der Probe festlegen. Sie können zum Beispiel 50% der IS DD oder 150% der IS DD wählen. Schließlich schaltet sich die Strategie während des Zeitraums außerhalb der Stichprobe aus, wenn sie den in der DD-Stichprobe gemessenen prozentualen Drawdown erreicht.

2. Training/Validierung/Test-Logik

Dieses WHAT-IF-Snippet funktioniert mit Trainings-/Validierungstestlogik. Diese Art der Analyse basiert auf der Hold-Out-Methode. Bei der Hold-Out-Methode für die Modellauswahl wird der Datensatz in drei verschiedene Sätze aufgeteilt - Trainings-, Validierungs- und Testdatensatz.

Quelle: https://vitalflux.com/hold-out-method-for-training-machine-learning-model/

 

Das What If Snippet hat zwei Mods.

 

  1. Der maximale Drawdown wird im Trainingsteil der Daten gemessen, und die Strategie stellt den Handel im Validierungs- und Testteil der Daten nach Erreichen des maximalen Trainingsdrawdowns ein.
  2. Das WHAT-IF-Snippet bestimmt den maximalen Drawdown im Validierungsteil der Daten und stoppt den Handel im Testteil der Daten nach Erreichen des im Validierungsdatenteil gemessenen prozentualen Drawdowns.

 

In Strategy Quant X können Sie im Abschnitt "Daten" das Training, die Validierung und den Test einstellen.

 

Weitere Informationen über die Verwendung und Einstellung von Schulungen/Validierungen/Tests finden Sie unter hier.

 

Werfen wir einen Blick auf die Verwendung dieser Schnipsel in der Praxis:

 

Training/Testing What-IF Snippet

 

In der obigen Abbildung sehen wir einen einfachen RSI-Strategie-Backtest, der in eine In-Sample-Periode und eine Out-of-Sample-Periode unterteilt ist. Wir können sehen, dass die Strategie den maximalen Drawdown in der Out-of-Sample-Periode erreicht.

 

Nachdem wir das WHAT-IF-Snippet verwendet haben, können wir sehen, was passiert, wenn die Strategie den Handel nach Erreichen von 50% des maximalen Drawdowns aus dem Musterteil der Daten verlässt. Die Strategie in Out of sample beendet den Handel vorzeitig. Unten in der Datenbank können wir sehen, wie sich die Statistiken der einzelnen Strategien verändert haben. Der Drawdown bei What If Out Of Sample ist geringer.

 

Schulung/Validierung/Prüfung WHAT-IF-Schnipsel

 

Snippet arbeitet in zwei Modi:

Modus = 1

Funktioniert unter der Annahme, dass der Strategiehandel ausgeschaltet wird, wenn der prozentuale Wert des maximalen Drawdowns aus dem Trainingszeitraum erreicht ist. Diese Logik wird sowohl in der Validierungs- als auch in der Testphase angewendet.

Modus = 2  

Funktioniert unter der Annahme, dass der Strategiehandel ausgeschaltet wird, wenn der prozentuale Wert des maximalen Drawdowns im Validierungszeitraum gemessen wird. Diese Logik wird im Testzeitraum angewendet.

 

 

Grundlegender Backtest

In der folgenden Abbildung ist der anfängliche Backtest der Strategie in Training/Validation/Testing unterteilt.

 

 

Modus = 1

Nach Anwendung des WHAT-IF-Snippets sehen wir, dass die Strategie 50% ihres Drawdowns, gemessen in der Trainingsperiode, nicht erreicht hat. 50% des Drawdowns wurde nur im Testteil der Daten erreicht, wo der Handel gestoppt wurde.

 

Modus = 2

In diesem Modus habe ich im Validierungsteil der Daten einen Drawdown von 100% eingestellt. Im Testteil erreichte die Strategie recht schnell einen Drawdown von 100% und stellte den Handel ein.

 

Diese "WHAT-IF"-Schnipsel sind eine Einführung in das Thema. Das Ziel ist es, den gesamten Arbeitsablauf auszuarbeiten. Was die Implementierung in Plattformen angeht, → kann die obige Lösung in MT4/MT5 und auch in Tradestion/Multicharts implementiert werden. Im Hinblick auf die Modularität ist die beste Plattform jedoch Metatrader 5.

Am Ende des Blogs würde ich gerne eine Diskussion über Ideen eröffnen, die in die Snippets integriert werden könnten. Wenn Sie Ideen haben, posten Sie sie bitte in der Diskussion unter dem Artikel oder direkt an [email protected]

 

Beide Was wäre wenn-Snippets können Sie herunterladen hier.

 

clonex / Ivan Hudec

Ivan Hudec – “Clonex” im Forum

Ich bin seit 15 Jahren als Trader tätig und arbeite seit 2014 mit StrategyQuant X. Derzeit mache ich drei Dinge: Ich entwickle automatisierte Strategien und teste sie unter realen Bedingungen, ich erweitere SQX selbst um benutzerdefinierte Indikatoren, Snippets und Python-Tools für maschinelles Lernen und quantitative Forschung, und ich helfe anderen Tradern, schneller ans Ziel zu kommen – ohne die jahrelangen, kostspieligen Fehler, die ich auf meinem Weg gemacht habe.
Die meisten Retail-Strategien sehen im Backtest großartig aus, versagen aber im Live-Handel. Bei meiner Arbeit geht es genau umgekehrt: um Strategien, die ehrlich, validiert und robust genug sind, um ihnen echtes Geld anzuvertrauen. Über diesen Prozess – das Gute, das Hässliche und das Überanpassen, über das niemand spricht – schreibe ich auf meiner Website algotrading.space.
Wenn Sie sich näher mit Validierung, der Entwicklung benutzerdefinierter SQX-Lösungen oder dem Aufbau eines echten Wettbewerbsvorteils durch Daten und Code befassen möchten, dann finden Sie hier alle Informationen dazu.  www.algotrading.space

11 Kommentare
Älteste
Neueste Meistbewertet
Bienenhändler
2. 3. 2022 10:01 Uhr

Hallo Clonex,

Vielen Dank für den Bericht und die Schnipsel. Haben Sie in Erwägung gezogen, eine Methode zur Anpassung einer Verteilung wie der Beta-Verteilung zu verwenden und dann die statistischen Eigenschaften zu nutzen, um den Handel zu stoppen, wenn eine Abweichung über dem zulässigen/gewählten Schwellenwert liegt? Tim Masters spricht darüber in seinen Büchern.

Danke
Bienenhändler

Bienenhändler
Antwort auf  clonex / Ivan Hudec
2. 3. 2022 16:51 Uhr

Welche SQC-Methoden ziehen Sie für Ihre nächste Forschung in Betracht?

Emmanuel
11. 4. 2022 6:03 Uhr

Ausgezeichnet !!!!!! Vielen Dank an Clonex für diese großartige Arbeit !!!!!

hannahis
14. 6. 2022 7:52 Uhr

"Ein häufiges Problem für einen Händler ist es, zu wissen, wann seine Strategie den Vorteil verloren hat, oder kurz gesagt, wann eine Situation eintritt, die nicht zu den heutigen Strategien passt. Strategien, die durch Data Mining generiert wurden, können recht schnell einen Leistungsabfall erfahren..." Ein endloser Kreislauf von Versuchen, die nicht so recht gelingen wollen... Hat sich schon einmal jemand hingesetzt und darüber nachgedacht, warum Strategien oft ihren Vorteil verlieren (insbesondere bei Data-Mining-Strategien, die nicht auf einer soliden Handelstheorie beruhen)? Wenn man sich nicht hinsetzt und wirklich intensiv nachdenkt, werden wir immer dem Wind hinterherjagen und... Weiterlesen "

Zuletzt bearbeitet am 4 Jahre vor von hannahis
hannahis
Antwort auf  hannahis
14. 6. 2022 8:11 Uhr

Sie werden keine robusten Strategien mehr suchen oder finden müssen. Sie werden die Zutaten für robuste Strategien kennen und mit deren Entwicklung beginnen (ohne die Notwendigkeit, weiter zu suchen, weil Sie wissen, wie man mit den Marktmachern zusammenspielt, was der Schlüssel zur Entwicklung robuster Strategien ist). Software erkennt keine Marktmanipulation, da sie nur die Daten, nicht aber die Absicht hinter den Daten (Marktmanipulation) betrachtet. Wenn man also nur auf (historische) Daten schaut, ohne die Marktmanipulation zu verstehen, weiß die Software nicht, worauf sie achten muss und welche Funktionen wichtig sind usw.

Adam Kundrát
Antwort auf  hannahis
8. 8. 2022 8:06 Uhr

Interessanter Gedankengang und höchstwahrscheinlich richtig in Bezug auf die Tatsache, dass die Market Maker grundsätzlich andere Handelsabsichten haben als die normalen Händler. Ich bin mir nicht sicher, ob Sie die Aktivitäten der Market Maker mit der Marktmanipulation gleichsetzen, aber ich glaube ja. Die Frage ist dann, ob die Manipulation eine absichtliche Aktivität ist oder eher eine Aktivität, die aus der Existenz der Market Maker resultiert? Entweder das eine oder das andere, und in Anbetracht Ihrer Überlegungen lauten die Fragen: (1) Können überhaupt profitable Strategien gefunden werden?... Weiterlesen "

Adam Kundrát
8. 8. 2022 8:20 am

Hallo Clonex, vielen Dank für Ihren Artikel. Ich bin mir nicht sicher, ob ich noch die volle Bedeutung deines Zusatzes erfassen kann, aber verstehe ich es richtig, dass das Ergebnis deines Tests im Wesentlichen den höchsten DD im In-Sample-Datensatz mit dem aktuellen definierten Wert des DD einer Handelsstrategie auf dem Live-Konto vergleicht und den Handel mit der Strategie stoppt, wenn der definierte Wert überschritten wird? Z.B. In-Sample DD = $1.000, vordefinierter Wert = 130% der In-Sample DD = $1.300. Wenn die Strategie den vordefinierten Wert der DD ($1.300) auf dem Live-Konto überschreitet, schließt MT4/MT5 alle Trades... Weiterlesen "

SteveChou
9. 3. 2023 4:06 am

Dies ist eine gute Idee lassen Händler zu wissen, wie lange wird mit ihrer Strategie fehlgeschlagen sein, nachdem sie erstellen.
Aber, ich habe einen Vorschlag, vielleicht kann man diese Bewertung verbessern.
Es kann die Referenz-DD vom ursprünglichen Strategieergebnis zum Monte-Carlo-Ergebnis 95% (oder auch %) ändern.
Denn wir wissen, dass das MC-Ergebnis das mögliche Ergebnis einer Strategie in der Zukunft vorhersagen kann.
Wenn also das Referenzergebnis an das MC-Ergebnis angepasst werden kann, wird es vielleicht besser sein.
Das ist nur ein Gedanke.

Lesen Sie weiter