Was ist der Zusammenhang zwischen In-Probe und Out-of-Probe

Ist es wichtig, ob ich die Proportionen ändere oder nicht?

Ist die Strategie auf IN SAMPLE oder IS+OOS aufgebaut?

Hallo Jerry, die Strategien sind auf IN SAMPLE aufgebaut. Also sollte der IS auch größer sein als OOS.

Ich bin mit dieser einfachen Formel nicht einverstanden - IS sollte größer sein als OOS. Meiner Meinung nach ist es besser, Strategien auf wenigen Daten aufzubauen, Entscheidungen durch das gesamte Datenverhalten zu treffen (hohe Volatilität, niedrige Volatilität, Chop) und nur auf wenigen Monaten (Jahren) zu generieren und alles andere als OOS zu machen

auf diese Weise erhalten Sie mehr verschiedene Strings, die für die meisten Zustände eines Marktes bereit sein können

Ich stimme mit hankeys überein: Je kleiner Ihr IS ist, desto weniger ist die Strategie overfit und desto mehr Strategien können Sie in kürzerer Zeit erstellen. Filtern Sie nach großen Daten, generieren Sie auf kleinen.

 

 

hankeys schrieb:

Ich bin mit dieser einfachen Formel nicht einverstanden - IS sollte größer sein als OOS. Meiner Meinung nach ist es besser, Strategien auf wenigen Daten aufzubauen, Entscheidungen über das gesamte Datenverhalten zu treffen (hohe Volatilität, niedrige Volatilität, Chop) und nur einige Monate (Jahre) zu generieren und alles andere als OOS zu machen. Auf diese Weise erhalten Sie mehr verschiedene Strategien, die für die meisten Zustände eines Marktes bereit sein können

Ilja schrieb:

Ich stimme mit hankeys überein: Je kleiner Ihr IS ist, desto weniger ist die Strategie overfit und desto mehr Strategien können Sie in kürzerer Zeit erstellen. Filtern Sie nach großen Daten, generieren Sie auf kleinen.

Vielen Dank an Sie beide, das ist ein guter Punkt. Aber wie verhält sich SQX, wenn wir nach Strategien suchen, die nach dem Zufallsprinzip erstellt wurden? SQX macht keinen Unterschied zwischen IS und OOS?

Danke, Leute

Jetzt weiß ich, dass es im "Benutzerhandbuch" steht: In Sample - es wird während der genetischen Entwicklung verwendet; Out of Sample - dieser Teil der Daten wird zur Überprüfung verwendet.

Wenn ich IS auf 0 setze, findet keine Evolution statt, die Fitness bleibt bei 0,06. Ich denke, bei der Evolution geht es darum, den Fitnesswert der Strategie zu verbessern.

Ich bin mir nicht sicher, ob es theoretisch richtig ist, Strategien mit kleinen IS und großen OOS zu entwickeln.

Ich denke, es macht keinen Unterschied, ob die Überanpassung bei IS oder OOS stattfindet.

Geht es beim Backtesting nicht um Overfitting? Die Geschichte wird sich wiederholen, so etwas?

 

Ich werde Ihnen meine Sicht der Dinge schildern:

- In erster Linie geht es bei der genetischen Evolution darum, die Fitness einer Strategie zu verbessern, indem man versucht, ihre Parameter bei jedem Durchlauf leicht zu verändern und zu sehen, ob sie sich verbessert oder nicht.

- Die Erstellung der Strategie ("Training des Modells") erfolgt auf der In der Probe Zeitraum, unabhängig davon, ob man die genetische oder die zufällige Evolution nutzt.

- Die Verwendung von Zeiträumen außerhalb der Stichprobe ist bei beiden Generierungsarten sinnvoll, und ich werde erklären, warum.

Genetische Entwicklung

Das ist das Offensichtliche: Wenn Sie dieselbe Strategie mit Feinabstimmungen und Permutationen "recyceln", bis sie Ihren Filtern (oder Ihrem Fitness-Minimum) genügt, ist diese Strategie höchstwahrscheinlich Überarbeitung für diesen Datensatz. Daher ist es sinnvoll, die Strategie einmal "out of the box" auf einem vorher unbekannten Datensatz laufen zu lassen, um sicherzustellen, dass sie gut funktioniert, ohne perfekt angepasst zu sein. Dies kann mit dem OOS-Schieberegler während des Erstellungsprozesses erfolgen.

- Im Wesentlichen kann hier eine einzelne Strategie laufen 200 Mal an den IS-Daten, bis sie Ihren Anforderungen entsprechen, und dann erst 1 Mal auf OOS-Daten, um sicherzustellen, dass sie Ihren Leistungsanforderungen entsprechen, damit Sie den Vorteil dieser OOS-Periode erkennen können und wie sehr Sie das Risiko einer Überanpassung verringern.

Zufällige Evolution

Hier, im Gegensatz zu genetische evo, eine einzelne Strategie läuft nur 1 Mal auf IS-Daten, und dann 1 Mal auf OS-Daten, und dann werden Ihre Filter überprüft. Mit bloßem Auge scheint es also keinen Unterschied zwischen IS und OOS zu geben, denn bevor die Strategie in Ihrer Datenbank landet, wird der gesamte Zeitraum durchsucht.

ABER: Vergessen Sie nicht, dass eine Strategie, die Ihren IS-Anforderungen nicht genügt, nicht auf dem OOS getestet werden kann (es sei denn, Ihre Filter beziehen sich nur auf den gesamten Datensatz, und dann gilt das oben Gesagte, d. h. die gesamten Daten sind IS, ob Sie sie nun teilen oder nicht).

Da wir bei der Zufallsgenerierung einen geringeren Prozentsatz an Strategien erhalten, die wir an die Datenbank weitergeben können (da wir nur eine zufällige Mischung von Parametern eingeben und sehen, ob sie funktioniert), ist dies eine eigene Art von Überanpassung, auch wenn wir sie nicht wie bei der genetischen Evo wiederverwenden, da wir die Strategien einfach im Hyperdrive wechseln, bis sie in unserem Datensatz "gut sitzen". Hier ist es also sinnvoll, Folgendes zu verwenden ein ungesehener Satz von Daten für OOSdie nicht Teil des Generierungsprozesses sind, zum Beispiel die letzten 6 Monate oder ein Jahr, die wird nur der Strategie im Retester offenbart. Auf diese Weise haben wir mehr Vertrauen, dass unsere zufällig erstellte Strategie nicht "zufällig" perfekt auf unseren Gebäudedatensatz passt.

 

Und das ist nur die Spitze des Eisbergs, um Overfitting zu vermeiden. Robustheitstests und Walk-Forward sind die wahren MVPs, um das zu vermeiden. Aber OOS-Perioden sind für mich ein wesentlicher Bestandteil des Erstellungs- und Wiederholungsprüfungsprozesses, und ich reserviere immer mindestens eine OOS-Periode für die Erstellung und eine weitere, neuere, völlig ungesehene, für die Wiederholungsprüfung.

Prost