Gefälschter Backtest IS OOS, Überanpassung

SQ erzeugt eine "gute" Strategie mit gutem IS und OOS

aber es stellt sich heraus, dass SQ in die OOS hineinschaut und die Kurve an sie anpasst

warum ist OOS dann so unecht?

Wie kann man SQ daran hindern, in OOS zu spähen?

Versuchen Sie, eine Strategie auf IS zu erstellen und kein OOS zu haben. Testen Sie dann nach der Erstellung eine Stichprobe.

Meiner Meinung nach kommt man nie um eine Art von Kurvenanpassung herum. Das ist alles, was wir als Trader haben. Wir erstellen Modelle und verifizieren sie anhand der Historie. Selbst wenn Sie später zusätzliche Daten verwenden, um die Strategie zu überprüfen (Daten, die nie in SQ verwendet wurden), passen Sie die Strategie auch an diese Daten an. Wenn die Strategie mit diesen Daten nicht funktioniert, werden Sie sie wahrscheinlich nicht verwenden, aber Sie werden es tun, wenn die Strategie zu diesen Daten "passt" 🙂 .

das ist eine schlechte Idee

manuelle ineffiziente Arbeit

stoppen Sie einfach SQ, um in die Zukunft zu schauen OOS und ehrlich sein mit Backtests und wenn OOS ist nicht gut, dann lassen Sie es und gehen Sie weiter

Ich habe mir immer die gleiche Frage gestellt: Wenn Sie Daten aus einem OOS-Bereich auswählen, wird die SQ dann aktiv Strategien mit den IS-Ergebnissen mischen, um eine bessere Übereinstimmung mit OOS zu erzielen? Oder werden nur die Strategien verworfen, die bei IS die beste Anpassung erhalten und bei OOS die ausgewählten Mindestkriterien nicht erfüllen?

Ich vermute, dass SQ auf die erste Weise funktioniert. Wenn Sie also OOS wählen, wird der Bauprozess durch dieses OOS beeinflusst, weil es die Strategien zum besten OOS zwingt, anstatt nur auf der Basis des IS-Zeitraums zu bauen. Das ist meine Vermutung. Wenn ich also richtig liege, wäre es besser, nur mit IS zu bauen und einen zweiten Durchlauf für den Datenbereich zu machen, der Ihr OOS sein würde.

wenn Sie nur IS machen

Dann müssen Sie eine manuelle Arbeit durch die Prüfung OOS und alle diese Strategien werden nicht 99,99%

Welchen Sinn haben dann die Automatisierung und diese Software?

Nun, Sie können jederzeit ein benutzerdefiniertes Projekt erstellen, um es zu automatisieren. Das habe ich getan.

Ich meine damit, dass ich es getan habe, denn seit einigen Wochen baue ich ohne OOS. Alle Daten, die ich habe, gehen an IS. Nicht schlecht, meine Erkenntnisse so weit

Die ausschließliche Verwendung von IS ohne einige robuste Tests und die Verwendung von Genetik ist ein erster Weg, um zu verlieren

Ich habe viele und viele Ansätze getestet und ja, ich kann Meinungen tolerieren, dass man keine OOS-Tests braucht, aber ohne diese Prüfung auf nie gesehene Daten Ihres Modells (Workflow) haben Sie keine Ahnung, wie robust Ihr Modell für die Zukunft ist

Ich habe auch viele Ansätze getestet. Ich bin nach Jahren zu dem Schluss gekommen, dass OOS keinen Mehrwert für den Prozess bringt.

Es tut auch nicht weh, also wenn Sie es nur für den Fall benutzen wollen, sollte es in Ordnung sein, nehme ich an.

Ich habe das gleiche Problem... wenn ich OOS im Builder verwende, scheint der genetische Algorithmus auf die IS+OOS-Fitness zu schauen, um neue Strategien zu generieren...

Wenn ich z.B. OOS im Builder mit Kriterien wie ret/DD(IS) > 2 und keine Kriterien für OOS verwende und 100 Strategien generieren lasse, haben sie alle ein gutes OOS.

Aber wenn ich nur IS mit den gleichen Kriterien und nach, erneut testen meine 100 Strategien auf OOS, 99% sind overfit und Absturz in der OOS-Bereich.

Also, für mich ist OOS im Builder absolut nutzlos :/

hankeys schrieb:

Nur IS zu verwenden, ohne einige Robustnests zu testen und Genetik zu verwenden, ist ein erster Weg, wie man anfängt zu verlieren. Ich habe viele und viele Ansätze getestet und ja, ich kann Meinungen tolerieren, dass man keine OOS-Tests braucht, aber ohne diese Prüfung auf nie gesehene Daten Ihres Modells (Workflow) haben Sie keine Ahnung, wie robust Ihr Modell für die Zukunft ist

Warum mögen Sie die Genetik nicht?

Sie glauben nicht an die Evolution und die natürliche Auslese?

nur zufällig?

Oh Scheiße... tut mir leid... ich habe einen großen Fehler gemacht...

nach der Überprüfung, SQX builder sieht nur IS Fitness. die Ergebnisse sind genau das gleiche, wenn ich OOS während des Bauprozesses oder nach verwenden. sorry.

Auf der anderen Seite gibt es ein großes Problem.

Wenn Sie Strategien mit aktiviertem "Backtest auf zusätzlichem Markt" erstellen, löscht der Builder die IS- und OOS-Fitness und betrachtet nur die IS+OOS-Fitness.

Wenn wir also zusätzliche Märkte im Builder verwenden, werden die OOS zu unechten OOS und der Builder übererfüllt die Strategien.

Wenn Sie, wie ich, die vorhergehende Generation als Ausgangspopulation verwenden, wird der gesamte Prozess unterbrochen und Ihr OOS-Bereich aufgehoben.

Hallo Charles,

Ich glaube, Sie liegen falsch. Nachdem ich Sie gelesen hatte, war ich besorgt, weil ich mehrere Crosschecks in meinem Bauprozess verwende und ich auf keinen Fall möchte, dass der Optimierungsprozess die zusätzlichen Märkte einschließt. Also habe ich das SQ-Handbuch genommen. Laut Handbuch wird "die Strategie nur auf dem In Sample Teil der Daten entwickelt". Die genetische Evolution ist also der Optimierungsprozess. Es würde nur auf IS funktionieren - zumindest hoffe ich das!

Ich habe eine ganze Reihe von Portfolios für M5 H1 und H4 in MT4 erstellt und teste sie gerade.

Die Strategien in den Portfolios reichen von stark auf Robustheit getesteten Strategien mit WFM, MC usw. bis hin zu überhaupt keinem OOS.

Mein Portfolio mit der mit Abstand besten Performance ist mein H4-Portfolio, das aus 96 Strategien für 12 Devisenpaare und Gold (insgesamt 13 Paare) besteht.

Ironischerweise handelt es sich dabei um das Portfolio, das ich aus Strategien erstellt habe, die nur mit der Builder-Aufgabe unter Verwendung der genetischen Evolution ohne OOS erstellt wurden. Keine dieser Strategien ist auf Robustheit getestet. Alles, was ich tat, war sie mit lächerlich hohen Spreads und die maximale Daten zur Verfügung zu bauen.

Ich wollte dieses Experiment durchführen, weil ich dachte, wenn ich eine wirklich gute Equity-Kurve für jede Strategie erhalten kann, mit Spreads, die ich höchstwahrscheinlich nie im realen Handel sehen werde, über einen sehr langen Zeitraum, auf einem hohen Zeitrahmen, wo es wahrscheinlich viel weniger Rauschen gibt, dass, obwohl diese "Kurve angepasst" ist, sie weiterhin in einer großen Reihe von unterschiedlichen Marktbedingungen für ein Paar durchgeführt haben muss.

Scheint sehr gut zu funktionieren 🙂

Ehrlich gesagt, ein ziemlich interessanter Ansatz. Wir sind bis zu einem gewissen Grad an die Kurve angepasst - warum sollten wir das nicht nutzen und es einfach schwieriger machen? Und wie lange hat es gedauert, bis Sie so viele Strategien erreicht haben? Nur so aus Neugierde / zum Vergleich(?)