Eine simulierte Vorwärtsprüfungsmethode

Hiermit möchte ich eine Validierungsmethode vorschlagen, die 'simulierter Vorwärtstest'. (Dies ist kein WF oder WFM, WF/WFM ist ein anderes Thema, dies ist auch kein OOS-Test, wie er bei der Strategieerstellung verwendet wird)

Der simulierte Vorwärtstest ist im Grunde genommen ein "walk forward"-ähnlicher Test Ihres "Total Strategy Design Workflows/Methode".

In den letzten Monaten habe ich versucht, mit Hilfe des SQ-X-Moduls "Benutzerdefinierte Projekte" einen vollständig automatisierten Workflow zu entwickeln, und ich habe sehr interessante Ergebnisse erzielt (die ich in einem anderen Thema veröffentlichen werde). Mein kleiner Durchbruch basierte auf der Beobachtung, dass die meisten Trader und sogar erfahrene Trader, die Online-Kurse geben, einfach davon ausgehen, dass sie mit ihrer Strategievalidierungsmethode aufgrund ihrer Erfahrung und ihrer früheren Ergebnisse richtig liegen. Gegen diese Annahme ist nichts einzuwenden, aber sie kann für neue Trader oder Menschen, die versuchen, ihre eigenen Methoden zur Strategieentwicklung zu entwickeln, tödlich sein.

Was Sie in diesem Forum und an allen anderen Orten sehen, ist das Folgende:

1. Alle Händler haben ihre eigenen Ideen oder Methoden für die Entwicklung von Strategien, und sie verwenden diese Methoden, um ihre neuen Systeme zu entwickeln.

2. In 90% der Fälle erstellen neue Händler und führen ihre Systeme auf Demo-Konten (oder kleinen Live-Konten) aus, um zu sehen, ob ihre Strategien profitabel sind oder nicht.

3. Dies führt zu einer "Generieren & Hoffen"-Methodik.

Meiner Meinung nach sollte der richtige Ansatz wie folgt aussehen:

1. Zunächst entwickeln oder erlernen Sie einen neuen Arbeitsablauf für die Strategieentwicklung (eine neue Systementwicklungsmethode, die die Entwicklung/Testung/Validierung von Strategien und die Strategieauswahl umfasst).

2. Um zu testen, ob Ihre Methode funktioniert, gehen Sie in der Zeit zurück und tun so, als lebten Sie in der Vergangenheit, z. B. :2014. Dies ist Ihr Bezugspunkt.

3. Dann entwickeln Sie eine ausreichende (signifikante) Anzahl von Strategien mit Ihrem Arbeitsablauf unter Verwendung von Daten 2014 verboten, um jede Art von "Data Mining Bias" zu vermeiden.

4. Dann testen Sie ALLE Strategien, die Ihren Arbeitsablauf und Ihre Strategieauswahl für einen simulierten Zeitraum (Ihre simulierte Zukunft) >2014 durchlaufen haben, und überprüfen Sie, wie viele der ausgewählten Strategien für Sie funktioniert haben. Sie tun dies, ohne zu schummeln oder sich selbst etwas vorzumachen, d. h. Sie verwenden ALLE Strategien, die Ihren Workflow erfolgreich durchlaufen haben. Sie ziehen Ihre Schlussfolgerungen auf der Grundlage verschiedener Kriterien, die für Sie wichtig sind, wie z.B.: Max DD, Net Profit, Red/DD, Stagnation etc....und notieren Sie den prozentualen Anteil der Effektivität Ihres Workflows, z.B.: 65% der ausgewählten Strategien waren in der simulierten Zukunft profitabel (oder haben die Max. erwartete DD nicht überschritten).

5. Sie wiederholen den gesamten Prozess, indem Sie einen anderen Bezugspunkt in der Vergangenheit wählen, z. B.: 2016. Und Sie beginnen von vorne, indem Sie neue Strategien erstellen, testen und auswählen. Dann testen Sie ALLE ausgewählten Strategien in einem simulierten Zeitraum >2016.

Sie können diesen Prozess viele Male wiederholen, indem Sie Ihren gesamten Arbeitsablauf anhand historischer Daten "vorwärts laufen lassen", um zu sehen, ob Ihre Methode zur Strategieerstellung in einem simulierten Vorwärtszeitraum wirklich robuste Strategien hervorbringt.

Ein Beispiel für Zeitfenster, wie sie in einem typischen Arbeitsablauf verwendet werden:

- Bezugspunkt (in der Vergangenheit) = 2014.12.31 (Sie dürfen keine Daten > 2015.01.01 verwenden, bis Sie 30 Strategien generiert haben, die Ihren Workflow und Ihre Auswahlmethode für den Live-Handel bestanden haben, dies kann auch Methoden zur Portfolioerstellung umfassen)

- Ihr erster IS/OSS für die Strategieerstellung ist z.B.: IS: 2008.01.01...2011.06.01 und Ihr erstes OOS ist 2011.06.02...2014.12.31. 

- Ihr zweites OOS2 für die Anpassungsprüfung lautet z. B.: 2003.01.01...2007.12.31

- Alle anderen Validierungstests (Spread, Skipping Trades, MC, Cross Market etc.) werden mit Daten <=2014.12.31 durchgeführt.

- Sie wählen 30 Strategien aus und testen sie ALLE auf Daten >2015.01.01

Wenn Sie mit Ihrem Arbeitsablauf und Ihren Ergebnissen zufrieden sind, können Sie in die Gegenwart zurückkehren und neue Strategien entwickeln/validieren und auswählen und sich sicher sein, dass die ausgewählten Systeme eine große Chance haben, in der Zukunft profitabel zu sein.

Ich wollte dies nur mitteilen, weil dieser Ansatz zu meinem ersten kleinen Durchbruch mit meinem automatisierten Arbeitsablauf 100% geführt hat.

Fazit: Hören Sie auf, sich selbst etwas vorzumachen, hören Sie auf, Strategien zu entwickeln, die auf ungetesteten Methoden beruhen, und hören Sie auf zu hoffen, dass diese in Zukunft gut für Sie funktionieren werden...

Alle Kommentare sind willkommen 🙂

Gr

Chris

 

 

 

 

 

 

 

 

 

 

 

Hallo Chris, danke für die Einblicke, wie ich dir schon persönlich gesagt habe, ist das ein interessanter (und sinnvoller) Ansatz.

Frage: Führen Sie den simulierten Vorwärtstest für alle Strategien durch, die Sie generieren, und handeln Sie NUR dann live, wenn die Strategien diesen Test bestanden haben, oder haben Sie ihn bereits eine beträchtliche Anzahl von Malen mit Ihrem Workflow durchgeführt, bis es Ihnen gelungen ist, Ihren Workflow auf ein zufriedenstellendes Niveau einzustellen (z. B. 70% der endgültigen Strategien bestehen den SFT), und von diesem Zeitpunkt an verwenden Sie Ihren Workflow einfach für alle Daten bis heute und sind von seiner Rentabilität überzeugt?

 

Herzliche Grüße,

Ilja

Ja, das klingt nach einem interessanten Ansatz. Bitte korrigieren Sie mich, wenn ich falsch liege; ich verstehe, dass Sie in zwei Schritten arbeiten:

Schritt 1: IS + OOS. Mir fällt auf, dass Sie IS 3,5 Jahre und OOS 9,5 Jahre, aufgeteilt in zwei Teile, verwenden. Wow! Das ist eine ganze Menge. Ich habe von "vertrauenswürdigen" Gurus den Ratschlag von 50 IS + 50 OOS gelesen. Von anderen "vertrauenswürdigen" Leuten habe ich gelesen, dass es überhaupt keine OOS gibt, nur IS und starke Robustheitstests. Nun, ich sehe Sie auf 75% OOS. Wie auch immer, Sie haben 30 gute Strategien mit Ihren Kriterien gefunden. Gehen Sie nun zu Schritt 2 über

Schritt 2: OOS 4 Jahre; 2015 bis jetzt.

Wenn ich Sie richtig verstanden habe. Wie viele dieser 30 Strategien überleben die zweite Stufe, wenn ich fragen darf?

Enric nur eine Bemerkung, wenn mit OOS während der Generierung, das ist im Wesentlichen ein IS, für die bloße Tatsache, die wir durchlaufen Millionen (oder zehn Millionen oder Hunderte von Millionen in meinem Fall) von Strategien, um diejenigen, die eine profitable OOS hat, Landung der Strategie in der Datenbank zu finden. In diesem Beispiel sind es also eher 7 Jahre IS und 9 OOS. Immer noch keine häufige Kombination 🙂

 

Ilja

Ilja schrieb:

Hallo Chris, danke für die Einblicke, wie ich dir schon persönlich gesagt habe, ist das ein interessanter (und sinnvoller) Ansatz. Frage: Führen Sie den simulierten Vorwärtstest für alle Strategien durch, die Sie generieren, und handeln Sie NUR dann live, wenn die Strategien diesen Test bestanden haben, oder haben Sie ihn mit Ihrem Workflow bereits eine beträchtliche Anzahl von Malen durchgeführt, bis Sie es geschafft haben, Ihren Workflow auf ein zufriedenstellendes Niveau einzustellen (z. B. 70% der endgültigen Strategien haben den SFT bestanden), und von diesem Zeitpunkt an verwenden Sie Ihren Workflow einfach für alle Daten bis heute und sind von seiner Rentabilität überzeugt? Mit freundlichen Grüßen, Ilya

Ich verwende SFT nur auf "Workflow-Ebene", d.h. jedes Mal, wenn ich einen neuen Referenzpunkt zum Testen meines Workflows auswähle, z.B. 2014, 2015, 2016 oder heute, generiere ich mehrere neue Strategien von Grund auf mit genau demselben Workflow/derselben Methode. Wenn ich sehe, dass die Mehrheit der Strategien, die mit einer bestimmten Methode/Workflow generiert wurden, in der simulierten Vorwärtsperiode profitabel waren (unabhängig vom gewählten Referenzpunkt), dann weiß ich, dass ich meiner Methode vertrauen kann, und das gibt mir die Gewissheit, dass die heute generierten Strategien die Chance haben, in der Zukunft profitabel zu sein. Das Ziel von SFT ist es also, Ihre Methode zu testen, nicht Ihre Strategien.

Enric schrieb:

Ja, das klingt nach einem interessanten Ansatz. Bitte korrigieren Sie mich, wenn ich falsch liege; ich verstehe, dass Sie in zwei Schritten arbeiten: Schritt 1: IS + OOS. Mir fällt auf, dass Sie IS 3,5 Jahre und OOS 9,5 Jahre, aufgeteilt in zwei Teile, verwenden. Wow! Das ist eine ganze Menge. Ich habe von "vertrauenswürdigen" Gurus den Ratschlag von 50 IS + 50 OOS gelesen. Von anderen "vertrauenswürdigen" Leuten habe ich gelesen, dass es überhaupt keine OOS gibt, nur IS und starke Robustheitstests. Nun, ich sehe Sie auf 75% OOS. Wie auch immer, Sie haben 30 gute Strategien mit Ihren Kriterien gefunden. Jetzt gehen Sie zu Schritt 2 Schritt 2: OOS 4 Jahre; 2015 bis jetzt. Wenn ich Sie richtig verstanden habe. Wie viele von diesen 30 Strategien überleben den zweiten Schritt, wenn ich fragen darf?

Anmerkung Schritt 1: das IS/OOS 50/50 Verhältnis ist nur während der Strategieerstellung im Builder. Ja, hiermit habe ich die Standardlehren der SQ-Gurus befolgt. Aber beachten Sie auch, dass aufgrund vieler Iterationen mit denselben Bausteinen und derselben Strategiegenerierungseinstellung Ihr erstes OOS zu IS wird. Deshalb sollte es immer eine zweite OOS-Periode geben, um die vom Builder generierten Strategien zu validieren. Meiner Meinung nach ist dies einer der aussagekräftigsten Tests, und aus meiner Erfahrung heraus sehe ich, dass 95% der generierten Strategien an diesem Schritt scheitern werden.

Hinweis Schritt 2: Bitte bezeichnen Sie diesen Zeitraum nicht als OOS (ich weiß, dass es OOS ist, aber das verwirrt die Leute nur), es ist eine Art simulierte Zukunft, eine simulierte Zukunft ist eine viel bessere Bezeichnung. Wenn ich meinen automatisierten Arbeitsablauf als Beispiel nehme und annehme, dass keine Fehler meine Ergebnisse beeinträchtigen und ich keine dummen Fehler gemacht habe, dann erhalte ich jetzt 100% Effektivität in den ersten zwei Jahren des simulierten Zukunftszeitraums. Das bedeutet, dass 100% der Strategien, die meinen Workflow durchlaufen, in dieser simulierten Zukunft profitabel sind. Nach 2 Jahren sehe ich einen starken Rückgang der Effektivität der Strategien. Das bedeutet auch, dass ich alle 2 Jahre neue Strategien entwickeln muss. Aber ich möchte die Diskussion über meinen automatisierten Workflow für später aufheben...

 

 

 

Ja. Wie Sie sagten, wird die OOS-Periode, sobald sie Teil des Bauprozesses ist, zur IS. Das ist das Hauptargument gegen die Verwendung von OOS; es ist besser, nur IS zu verwenden, weil es am Ende des Tages dasselbe ist. Ich bin neugierig auf das Verhalten der Strategien während der "Vorwärtssimulation", wie Coesio sie zu nennen pflegt. Vor allem bin ich von diesem Ansatz nicht überzeugt, denn es sieht für mich so aus, als würde das OOS immer mehr wachsen, so dass der Effekt so ist, als würde man den genetischen Algorithmus durch einen Zufallsgenerator ersetzen, aber es ist ja auch eine Kurvenanpassungsmethode, nicht wahr?

Enric schrieb:

schließlich sieht es für mich so aus, als würde die OOS immer mehr wachsen

Wie ich sehe, sind Sie in einem wichtigen Punkt immer noch verwirrt. In SFT liegt die simulierte Forward-Periode, die Sie als zusätzliches "OOS" bezeichnen, außerhalb des Zeitfensters für die Strategieauswahl. Es handelt sich um eine Simulation der realen Strategieleistung und wird NICHT zum Auswählen/Testen von Strategien verwendet, sondern um zu beweisen, dass Ihr Workflow in der Lage ist, profitable Handelssysteme zu erstellen. Es hat nichts mit dem Testen/Auswählen von Strategien zu tun und kann daher nicht als zusätzliches OOS angesehen werden.

Ok, ich glaube, ich habe es verstanden. Für mich ist das ein Out of sample data (=OOS), aber das ist nur eine Frage der Definition, keine große Sache

Aber nur, wenn Sie die Daten aus dem Jahr 2050 auch als OOS-Daten bezeichnen, dann ja, dann sind es nach Ihrer Definition auch OOS 😉 .

Ich habe eine kleine Übersicht erstellt, um sie zu verdeutlichen:

Strategien werden unter Verwendung von A und B erstellt, getestet und ausgewählt, und die Ergebnisse werden unter Verwendung von Periode C getestet. (Periode C ist nicht "OOS", da sie nicht für die Generierung von Strategien verwendet wird und Auswahl). Nach der C-Periode beginnt der Prozess von vorne, neue Strategien werden generiert und unter Verwendung der neuen A- und B-Perioden ausgewählt und während der neuen C-Perioden getestet... usw... usw...

Hallo coesio. Zunächst einmal vielen Dank für deine Großzügigkeit, diesen Beitrag zu teilen. Zweifellos ist es ein wertvoller Ansatz und definitiv einen Versuch wert

Enric schrieb:

Hallo coesio. Zunächst einmal vielen Dank für deine Großzügigkeit, diesen Beitrag zu teilen. Zweifellos ist es ein wertvoller Ansatz und definitiv einen Versuch wert

Zu schade, dass niemand hier und nirgendwo sonst diese Art von Dingen teilt...

Kaufen Sie auf jeden Fall... schauen Sie sich dieses Thema an, bei dem ich dies wirklich in die Praxis umgesetzt habe... mal sehen, was die Ergebnisse sein werden:

https://strategyquant.com/forum/topic/100-automated-and-100-accurate-sq-workflow-test-case/

 

Vielen Dank, Chris.

Das ist eine starke Idee, die ich auch zum Aufbau und Testen meiner Strategien verwende.

Ich bin gerade auf diesen Thread gestoßen. Da es schon 2 Jahre her ist, frage ich mich, ob Sie uns über die Live-Ergebnisse auf dem Laufenden halten können?

Es läuft ganz gut, aber 2 Jahre im Algo-Trading, entspricht (aus meiner Sicht) nur 150 Trades 🙂 = kaum genug, um dieses Ergebnis als statistisch signifikant zu sehen...

Meine Tests in diesem Zeitraum haben mir Gewinne von etwa >+150% eingebracht...bis jetzt.

Manche würden sagen, das sei sehr interessant.

Allerdings verändert sich die Welt so schnell, dass 150% Gewinn gar nicht so beeindruckend erscheint ;)...deshalb hat Algo-Trading für mich im Moment die geringste Priorität.

Ich erwäge, meine Arbeit, einschließlich meines Arbeitsablaufs, einem begrenzten Personenkreis zugänglich zu machen.

Sie können mich jederzeit kontaktieren, wenn Sie interessiert sind.

Du weißt wahrscheinlich, wo du mich findest...

Gr

Chris