Robustheitstests - funktionieren sie wirklich?

Das folgende Verfahren könnte durchgeführt werden, um zu zeigen, ob "Robustheitstests" wirklich funktionieren.

1. Erstellen Sie 1000 Strategien mit EURUSD H1, wobei Sie den Zeitraum 2018-2023 als "In Sample"-Daten verwenden und 2024 als "Unseen Data" belassen.
2. Sobald Sie die 1000 Strategien mit einer schönen Equity-Kurve, einem guten Gewinnfaktor und einer akzeptablen Fitness erstellt haben, testen Sie sie in der "Unseen"-Periode.

Nehmen wir an, dass 30% der ursprünglichen Strategien, d.h. dreihundert, einen Gewinn ergeben, wenn sie nur im Jahr 2024 getestet werden. Das bedeutet, dass ich bei einer zufälligen Auswahl einer Strategie unter den Tausend eine Wahrscheinlichkeit von 30% hätte, das Jahr 2024 mit einem Gewinn zu beenden.

3. Testen Sie die 1000 ursprünglichen Strategien mit einem "Robustheitstest", z. B. der "Walk Forward Matrix", im "In Sample"-Zeitraum 2018-2023.

Nehmen wir an, dass 10% dieser Strategien, also einhundert, den Test bestehen.

4. Testen Sie nun diese hundert Strategien in der "ungesehenen" Periode, 2024.

Wenn der "Robustheitstest" gut funktioniert hat, sollte er die besten Strategien auswählen, und der Prozentsatz der profitablen Strategien sollte größer sein als der 30%, der ohne den "Robustheitstest" erzielt wurde.

Ich habe dieses Verfahren viele Male mit verschiedenen Vermögenswerten, in verschiedenen Zeiträumen, unter Änderung der Parameter und unter Verwendung aller Arten von "Robustheitstests" durchgeführt, aber das Ergebnis war immer dasselbe: Der "Robustheitstest" war nicht in der Lage, die Strategien auszuwählen, die am wahrscheinlichsten in "ungesehenen" Zeiträumen profitabel waren.

Ich habe diesen Beitrag geschrieben, um mich mit anderen Händlern vergleichen zu können, um zu verstehen, ob jemand Beweise dafür hat, dass die "Robustheitstests" wirklich für etwas nützlich sein können und auf welche Weise.

Wenn du mit den Toos von SQX nicht zufrieden bist probier mal die Tools von Thomas Nickel aus. Er schreibt:

Die Anfangsphase von SQX war wirklich problematisch - überall gab es Fehler. Mittlerweile hat sich das deutlich verbessert, aber es war ein langer Weg.
Ich programmiere in Java, habe früher auch mal in C und C++ gearbeitet. Assembler liegt schon eine Weile zurück; heutzutage benutzt man das kaum noch.
Kennst du schon meine drei Programme? Das Monitortool installiert und überwacht SQX-generierte EAs, die Toolbox generiert Workflows, und der Metrikanalyser enthält eine KI auf Basis von Weka.
Diese Hilfstools helfen dabei, SQX-Roboter zu analysieren und zu installieren. Sie sind als Freeware verfügbar.
Ich habe auch mal darüber nachgedacht, die Software zu verkaufen oder Schulungen anzubieten, um anderen zu zeigen, wie man profitable Strategien erstellt.
Es gibt viele Leute, die das versuchen, aber meistens funktioniert es nicht. Prorentable Strategien sind schwer zu finden - fast niemand hat welche, die wirklich gut laufen.
Das Problem liegt oft darin, dass viele Strategien einfach 'curve-fitted' sind - das heißt, sie funktionieren nur auf den historischen Daten und brechen in der Praxis zusammen.
Ich habe das selbst durchgemacht und festgestellt, dass solche Systeme nicht funktionieren.
Man muss den gesamten Workflow betrachten und alles simulieren. Dafür habe ich die Toolbox entwickelt, und seitdem zeigt sie mir meistens, dass die Workflows nicht funktionieren.
Bisher habe ich nur einen Workflow gefunden, der einigermaßen gut ist: den GBPJPY H1 Workflow aus dem SQX-Forum.

Ich bin noch zu neu und kann das nicht kommentieren. Thomas nutzt das SQX jedoch schon länger als 10 Jahre.

PS: Downloadlink ist im PDF-File.

Die Anfangsphase von SQX war wirklich problematisch - es gab überall Bugs. Inzwischen haben sich die Dinge erheblich verbessert, aber es war ein langer Weg.

Ich programmiere in Java, aber ich habe auch in C und C++ gearbeitet. Assembler ist schon eine Weile her; es wird heute kaum noch benutzt.

Kennen Sie schon meine drei Programme? Das Monitor-Tool installiert und überwacht die von SQX generierten EAs, die Toolbox generiert Workflows und der Metrics Analyzer enthält eine auf Weka basierende KI.

Diese Hilfsprogramme helfen bei der Analyse und Installation von SQX-Robotern. Sie sind als Freeware erhältlich.

Ich habe auch darüber nachgedacht, die Software zu verkaufen oder Schulungen anzubieten, um anderen zu zeigen, wie sie profitable Strategien entwickeln können.

Es gibt viele Leute, die das versuchen, aber meistens funktioniert es nicht. Proragfähige Strategien sind schwer zu finden - fast niemand hat welche, die wirklich gut funktionieren.

Das Problem ist oft, dass viele Strategien einfach nur "kurvenangepasst" sind, d. h. sie funktionieren nur bei historischen Daten und versagen in der Praxis.

Ich habe das selbst schon erlebt und festgestellt, dass solche Systeme nicht funktionieren.

Man muss sich den gesamten Arbeitsablauf ansehen und alles simulieren. Deshalb habe ich die Toolbox entwickelt, und seitdem zeigt sie mir meistens, dass die Arbeitsabläufe nicht funktionieren.

Bislang habe ich nur einen einigermaßen guten Workflow gefunden: den GBPJPY H1 Workflow aus dem SQX-Forum.

Okay, danke für die Antwort. Ich werde die von Ihnen übermittelten Unterlagen sorgfältig prüfen. Lassen Sie uns in Kontakt bleiben!

meine Informationen über "Robustheit", lesen Sie sie hier:

https://dnyl.space/tag/robustness/

Hallo Drunkshingha, danke für deinen Beitrag.

Ich konnte das von mir angesprochene Thema unter Ihrem Link nicht finden, ist das richtig?

Meiner Erfahrung nach sind Robustheitstests wie die von Montecarlo, Walk Forward Matrix usw. nicht in der Lage, Strategien auszuwählen, die in der Zukunft mit größerer Wahrscheinlichkeit profitabel sein werden.

Ich frage die Händler, ob sie Beweise dafür haben, dass sie funktionieren.

Strategyquant erfüllt seine Aufgabe: Es findet Strategien, die in der Vergangenheit profitabel waren, aber die meisten von ihnen werden nicht mit ungesehenen Daten funktionieren. Wir müssen die Strategien auswählen, die in der Zukunft rentabel sein werden. Ich habe noch kein Tool gefunden, das dies leisten kann. Nach meiner Erfahrung funktionieren klassische Robustheitstests nicht.

Ich habe begonnen, die Beiträge von Thomas Nickel zu lesen, die Sie in diesem Forum veröffentlicht haben. Er hat ein neues Tool zur Auswahl von Strategien entwickelt, die von Strategyquant generiert werden. Die Idee ist ziemlich gut, aber ich brauche Zeit, um seine Methode zu testen.

Ich bin auch dabei, eine Methode zu entwickeln, und wenn sie funktioniert, werde ich es Sie wissen lassen.

Wenn jemand an diesem Thema interessiert ist, bitte ich um Ihre Ideen!

Ich denke, Sie müssen Robustheitstests als ein Werkzeug betrachten, das Sie bei Strategien einsetzen, die eine grundlegende Backtesting-Suite bestehen. Dieses Tool zeigt Ihnen die Eigenschaften Ihres Systems für die Live-Bewertung.

Ich unterteile meine Daten in 3 Chunks, und jeder Chunk muss eine statistisch aussagekräftige Menge von Trades zur Auswertung liefern.

Normalerweise bedeutet das, dass Sie mehr als 10 Jahre historischer Daten benötigen. Nehmen wir an, wir haben 2013 - 2017 als Chunk 1, 2017 - 2021 als Chunk 2 und 2021 - 2025 als Chunk 3. Sie trainieren Ihr System auf der Hälfte von Chunk 2 und werten es auf der anderen Hälfte aus. Sie arbeiten also ausschließlich mit Daten aus den Jahren 2017 bis 2021. Diese Strategie muss eine Reihe von grundlegenden Filtern bestehen. Wir gehen davon aus, dass eine Strategie, die einen konsistenten Gewinnfaktor von 1,75 hat, höchstwahrscheinlich einen PF nahe 1,75 über diesen Bereich von Daten haben wird.

Aus diesem kleinen Test wissen wir, dass wir, wenn wir eine ausreichend große Menge akzeptabler Strategien haben, irgendwo in dieser Menge hoffentlich eine kleinere Teilmenge von Strategien haben, die robust genug zum Handeln sind. Wie können wir diese finden? Nun, aus der Perspektive der Chunk-2-Daten sind die Chunks 1 und 3 "ungesehene" Daten. Testen wir also unsere neu gefundenen Strategien auf Chunk 1 und sehen wir, was wir erhalten.

Intuitiv sollte eine robuste Strategie gut auf Chunk 1 handeln. Ich habe festgestellt, überall von 10 - 50% meiner Strategien wird akzeptabel auf Chunk 1 durchführen. So jetzt haben wir zumindest den Anfang von etwas.

Als Nächstes testen Sie die erfolgreichen Strategien in einer Reihe verschiedener Zeitrahmen und Wertpapiere. Achten Sie darauf, Ihre Strategie streng zu testen, aber nicht so streng, dass sie keine Chance hat, zu bestehen. Dies erfordert ein gewisses Maß an Diskretion und Marktkenntnis. Wählen Sie z. B. nicht den VIX als zweites Wertpapier, um eine Strategie auf dem ES zu validieren. Lassen Sie bei den Zeitrahmen die gleiche Vorsicht walten. Wenn Sie eine 1-Stunden-TF-Strategie evaluieren, sollten Sie sie nicht auf einem 1-Meter-Zeitrahmen validieren. Auf dem 1m-Zeitrahmen gibt es viel mehr Rauschen, und Strategien, die dort handeln, brauchen andere Eigenschaften. Ich persönlich glaube nicht, dass es für den Einzelhandel möglich ist, in einem so kurzen Zeitrahmen zu handeln. Ich würde mir nicht einmal die Mühe machen, Strategien unter 15m TF abzubauen.

Wenn Sie eine Strategie gefunden haben, die diese Tests besteht, sollten Sie sich die verschiedenen Monte-Carlo-Tests ansehen. Nutzen Sie diese, um zu verstehen, wie Ihre Strategie unter verschiedenen Marktbedingungen funktionieren sollte. Prüfen Sie, wie sie sich bei einer Reihe von Slippages oder ausgelassenen Geschäften verhält. Sehen Sie sich die verschiedenen Equity-Kurven an, die der Parametertest anzeigt.

WENN du es schaffst, alle diese Kriterien zu erfüllen, DANN kannst du deine Strategie anhand des letzten Datenpakets bewerten. WENN Ihre Strategie bei den verbleibenden Daten gut abschneidet, dann haben Sie jetzt vielleicht etwas. Es müssen noch einige Tests durchgeführt werden, aber es ist möglich, dass Sie jetzt mit einer Strategie arbeiten, die robust genug ist, um live zu handeln.

Ich habe festgestellt, dass viele Leute, mich eingeschlossen, eine etwas unrealistische Vorstellung davon haben, wie sich eine Strategie bei Live-Daten verhalten sollte. Wir wollen sofort Geld verdienen, aber wenn wir unsere Backtests sorgfältig lesen, stellen wir fest, dass das nicht wirklich der Fall ist. Eine gute Strategie kann eine Stagnationsperiode von 180 Tagen oder mehr haben (das ist eine lange Zeit, um zu beurteilen, ob man sich in diesem "Loch" befindet). Ich habe herausgefunden, dass es durchaus akzeptable Strategien gibt, die einen flachen Handel aufweisen und jedes Quartal oder so ein paar gute Gewinne erzielen. Das bedeutet, dass Sie vielleicht 3 oder 4 Verluste in Folge beim Handel haben, der sehr gut in eine gute Vertrauensspanne dessen fällt, was Ihre Strategie tun sollte.

Hier ist also, was meiner Meinung nach gut funktioniert. Beurteilen Sie Ihren Backtest und Ihre Robustheitstests ehrlich. Geben Sie keine Strategie ab, die Sie persönlich nicht handeln könnten. Für mich bedeutet das eine Gewinnrate von 50%, ret/dd > 8, PF > 1,5, Risiko < 2% des Kontos. Schauen Sie sich an, was der Backtest Ihnen sagt. Wenn er sagt, dass Sie 6 Verluste in Folge haben könnten, gehen Sie davon aus, dass diese Verluste maximal sein könnten. Beachten Sie, dass es sich bei 6 Verlusten in Folge um eine statistische Zahl handelt und nicht um ein reales Maximum. Sie könnten auch 7 oder 8 haben. Was sollten Sie tun, wenn Sie in Ihrem Bewertungszeitraum 7 Verluste haben? Sollten Sie den Stecker ziehen? Haben Sie einen Plan. Der Markt ist unberechenbar.

Versuchen Sie, verschiedene Teile Ihrer Aktienkurve mit dem Wissen zu bewerten, wie der Markt damals war. Wie haben Sie beim Covid-Crash abgeschnitten? Vielleicht könnten Sie eine Reihe von Statistiken für den "normalen" Markthandel und eine zweite Reihe für außergewöhnliche Marktbedingungen erstellen. In welcher Art von Markt befinden Sie sich jetzt? Ist er sehr volatil? Bei sehr volatilen Märkten wird Ihr Stop-Loss viel häufiger erreicht, und Sie müssen wissen, ob das akzeptabel ist, oder ob Ihre Strategie versagt.

Machen Sie sich klar, dass 6 Verluste in Folge * 2% eine Menge Geld für Sie sein könnten. Können Sie das verkraften? Wenn nicht, müssen Sie Ihre Systeme anpassen, um Ihr Risiko in eine Bandbreite zu bringen, mit der Sie zurechtkommen. Das könnte bedeuten, dass Sie einige Wertpapiere nicht handeln können. Ich habe festgestellt, dass viele Einzelhändler $5000 zusammenkratzen und sich auf den Weg machen, um mit ES zu handeln, ohne zu bedenken, dass ES $2000 - $5000 an SL benötigt, um sich für einen Handel zu bewegen, selbst auf einem kürzeren Zeitrahmen. Viele Algos profitieren vom Survivorship Bias, und Sie wollen einen größeren Stoploss, als die Mathematik Ihnen vorgibt, um diesen Vorteil zu nutzen. Erkennen Sie die Grenzen Ihres Eigenkapitals und versuchen Sie nicht, mit Wertpapieren zu handeln, mit denen Sie nichts anfangen können. Für mich käme der Handel mit Minis nur in Frage, wenn ich mindestens $100k USD hätte, weil ich persönliche Erfahrungen habe. Wenn Sie das nicht haben, sollten Sie die Micros in Betracht ziehen.

Ich habe nebenbei Strategien entwickelt und betreibe seit 4 Jahren diskretionären Handel. Ich unterstütze meine Familie mit meinem diskretionären Handel. Ich benutze SQx erst seit ein paar Monaten, aber ich habe schon viel gelernt. Einige der Strategien, die ich in der Vergangenheit bewertet habe, habe ich abgeschaltet, weil sie mehr Geld verloren haben, als ich wollte. Gelegentlich kehrte ich zurück, um festzustellen, dass dieselben Strategien sich bewährt hatten und später eine beträchtliche Menge Geld einbrachten. Wenn ich ehrlich bewertet und verstanden hätte, was der Backtest mir sagte, hätte ich sie vielleicht länger handeln lassen und wäre dann im Gewinn gewesen.

Der letzte Teil der Bewertung, der Teil mit Live-Daten und echtem Geld, ist immer der schwierigste. Es ist wichtig, sich ein Bild zu machen, oder eine Karte von dem, was Ihre Strategie innerhalb eines bestimmten Zeitraums tun sollte. Scheuen Sie sich nicht, den Gewinn vorzeitig abzuziehen, sondern lassen Sie das System handeln und sich sagen, wo es ausgestiegen wäre. Ich habe festgestellt, dass ich als diskretionärer Händler viel besser darin bin, den Markt intuitiv einzuschätzen und Gewinne frühzeitig abzuziehen, aber ich muss mir die Equity-Kurve ansehen, die das System erzeugt hätte, und nicht die Equity-Kurve, die ich bekommen habe.

Ich tue dies als Teil des Bewertungszeitraums, damit ich ein wenig mehr Vertrauen habe, dass ich das Eigenkapital, das ich habe, bewahren kann, wenn ich eine Verluststrategie bewerte. Nachdem ich Vertrauen in das System gefasst habe, lasse ich es laufen, denn diskretionärer Handel ist zeitaufwändig, und der Sinn von Algos ist für mich, mehr Zeit zu gewinnen. Wenn Sie also Probleme haben, robuste Algos zu finden, liegt es vielleicht nicht an den Algo-Tests, an denen Sie arbeiten müssen, sondern an Ihrer Interpretation der Backtest-Daten. Ich hörte einen guten Algo-Händler in einem Podcast sagen, dass der Handel mit Algos keine emotionsfreie Erfahrung ist. Der einzige wirkliche Unterschied zwischen dem Handel mit Algos und dem diskretionären Handel ist, dass Sie mehr Vertrauen in Ihre Backtest-Daten haben. Ich glaube, was er wirklich meinte, war, dass man mehr Daten zur Verfügung hat. Aber das bedeutet, dass wir sie effektiv nutzen müssen, wenn wir Live-Systeme evaluieren.

Ich hoffe, das hilft.

Letztendlich erhöht die Robustheit nur die Chance auf eine erfolgreiche Strategie.

Dinge, über die man nachdenken sollte:

1. Was möchte ich erreichen und welche Tests würden dazu passen.

Sie wollen stabile Parameter finden? Vielleicht durch sequentielle Optimierung, SPP oder sogar Walk Forward.

Wenn Sie den schlimmsten Drawdown finden wollen, dann vielleicht in Monte Carlo.

Wenn Sie in Ihren Backtest-Daten nach Mustern und Tierarten suchen, können Sie vielleicht Was-wäre-wenn-Simulationen verwenden.

Wenn Sie sehen möchten, wie Ihr Backtest bei unbekannten Daten abschneidet, können Sie einen Backtest auf zusätzlichen Märkten durchführen.

**Der Punkt ist: Beim Handel ist alles eine Möglichkeit. Es ist unsere Aufgabe, die Chancen zu unseren Gunsten zu nutzen und die Performance zu überwachen.

2. Sobald Sie Ihre Backtest-Daten und den Robustheitstest haben, fragen Sie sich Folgendes... Scheint Ihr Backtest normal?

- Gibt es nur Kauf-/Verkaufsgeschäfte? z.B. 0% Handelssymmetrie.

-Was ist der größte Verlust/Gewinn?

-Erwarte ich viel oder wenig Handel?

**Niemand erwähnt dies, aber aus einer bestimmten Perspektive ist Ihr menschlicher Filter an sich ein Robustheitstest.

Ich hoffe, das hilft 🙂 .