SQ über Nacht laufen lassen, am nächsten Tag nicht mehr ansprechbar.
8 Antworten
drayzen
vor 8 Jahren #235070
Ich bin mir nicht sicher, was das Problem ist, hoffentlich kann jemand helfen.
Ich habe SQ über Nacht laufen lassen und bin zurückgekommen, um festzustellen, dass es extrem unempfindlich ist.
In den ersten paar Stunden, in denen ich es ein paar Mal überprüfte, lief es gut, und die CPU-Auslastung schwankte zwischen 85-100%, je nachdem, ob es gerade eine Generierung oder einen Robustheitstest durchführte.
Dies ist meine Befehlszeile:
D:\StrategyQuant\StrategyQuant64.exe -J-server -J-Xmx13g -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC
Das System ist ein Ryzen 1800X mit 16GB unter Win 10.
Im Anhang finden Sie die Einstellungsdatei und eine Bildschirmaufnahme vor dem Herunterfahren.
Die CPU-Auslastung schien bei ~0% zu liegen, und SQ wechselte etwa alle 20-30 Sekunden zwischen unempfänglich und aktiv.
Bevor ich das Programm verließ, hatte es ~500 Strategien erstellt, als ich am nächsten Tag zurückkam, hatte es nur ~750 erreicht.
Wie auf dem Screenshot zu sehen ist, waren die letzten Aufträge, die bearbeitet wurden, lächerlich lang, nämlich über 2 Stunden!
Ich vermute, dass es vielleicht etwas mit einer fehlerhaften Speicherverwaltung zu tun hat, da das Histogramm im Verhältnis zu den 13 GB, die es zugewiesen hatte, ziemlich voll aussieht...?
Ich bin es irgendwie leid, Probleme mit dieser Software zu haben. Ich wollte diesen Job so einstellen, dass er die 28 Haupt- und Kreuzzeichen im Zusätzliche Daten für die Prüfungaber jetzt festgestellt, dass es nur 6 zusätzliche Tests gibt 🙁.
... der Außerirdische kümmert sich nicht um die Meinung der Menschen ...
0
drayzen
vor 8 Jahren #235075
Außerdem habe ich eine 120 MB große Protokolldatei gefunden. Ich bin mir nicht sicher, ob das für SQ übermäßig groß ist, aber für ein Protokoll scheint es ziemlich groß zu sein.
Ich sehe da ein paar Java-Fehler, aber das sagt mir nichts. ?:/
Ich hoffe irgendwie, dass das nicht normal ist, wenn ich vorhabe, SQ ständig laufen zu lassen, würde das meinen Festplattenspeicher in Kürze auffressen...
... der Außerirdische kümmert sich nicht um die Meinung der Menschen ...
0
Tomas Matejka
vor 8 Jahren #235089
Hallo,
Sie können versuchen, die Belastung während der Robustheitstests zu verringern. Sie können die Anzahl der Gesamttests auf 30 verringern und die "Spreiztests" deaktivieren. Wenn Sie den Schlupf erhöhen, um dies zu ermöglichen, verringert sich auch die Zahl der durchzuführenden Tests. Treten Stabilitätsprobleme auf, wenn die Robustheitsprüfung überhaupt nicht verwendet wird?
0
drayzen
vor 8 Jahren #235127
Hallo Tomas,
Ich habe es nur mit den von Ihnen vorgeschlagenen Änderungen versucht, 30 Simulationen, und ich habe Spread und Slippage deaktiviert, um sicherzugehen. Ein bisschen enttäuschend, da ich die variable Streuung verwenden wollte.
Ich konnte sehen, dass die Speicherauslastung und die Erstellungszeiten wieder zu wünschen übrig ließen, also stoppte ich den Lauf manuell.

Jedenfalls dachte ich mir, dass es an der benutzerdefinierten Befehlszeile liegen könnte, also habe ich sie auf das hier zurückgeschnitten:
D:\StrategyQuant\StrategyQuant64.exe -J-Xmx12g
Außerdem habe ich den Speicherplatz um 1 GB von 13 auf 12 reduziert, um etwas mehr Spielraum zu haben.
Leider hat das nicht geholfen, und eine weitere nächtliche Sitzung endete mit einem "out of memory"-Fehler, den ich zum ersten Mal gesehen habe.

Ich war also neugierig, was mit der Erinnerung passiert war:

Der Höchststand scheint bei 12,56 GB zu liegen, wobei 12,73 GB gebunden sind. Da ich 16 GB und sonst nichts laufen habe, muss der Fehler in SQ durch die 12 GB-Zuweisung ausgelöst worden sein. Ist das normal? Sollte es nicht auf die Festplatte ausgelagert werden, wenn der RAM voll ist?
Was die Strategien anbelangt, so hatte sie nur 2.297 in der Letzte Generation Registerkarte, nichts in Datenbank.
Ich habe auch die beiden letzten .log-Dateien beigefügt.
... der Außerirdische kümmert sich nicht um die Meinung der Menschen ...
0
drayzen
vor 8 Jahren #235193
Hallo Tomas,
Ich habe einen weiteren Test mit deaktiviertem RT gestartet, um zu sehen, was passieren würde. Zwar konnte die Erzeugung der ersten Population abgeschlossen werden, aber der zugewiesene Speicher von 12 GB ist wieder voll und es scheint, dass ständig kleiner Datenverkehr zur Festplatte stattfindet. Da es sich um eine SSD handelt, ist das besorgniserregend, da es die Festplatte vorzeitig abtöten wird.
Es ist auch so ziemlich eine Zeitverschwendung, dies jetzt zu tun, da es fast 30 Minuten dauert, um jede Strategie zu erstellen, lächerlich!

Wenn ich mir den Speicher noch einmal ansehe, gibt es eine Menge Seitenfehler, ist das normal?

Ich habe SQ jetzt seit 5 Monaten und es hat nichts gebracht, außer dass es mich höllisch frustriert, wenn ich versuche, es zum Laufen zu bringen...
Dies ist ein moderner Hochleistungs-PC, also weiß ich nicht, warum er nicht einfach das tun kann, was er soll.
... der Außerirdische kümmert sich nicht um die Meinung der Menschen ...
0
.
vor 8 Jahren #235198
Verwenden Sie keine zu große Ausgangspopulation - 10000 ist unsinnig. 100 wird gut sein
Bauen Sie keine zu große Datenbank auf - nur 1000+ Basisstrategien in der Datenbank - stoppen und neu testen
Verwenden Sie keine MC-Tests im Bauprozess, es ist nutzlos - gebaut grundlegende Packung von Strategien, und testen Sie sie erneut (eine andere OOS, ganze Backtest, höher / niedriger TF, einem anderen Markt) - Filter sie
und nur das, was übrig bleibt, durch MC-Tests laufen
Sie wollen ein profitabler Algotrader werden? Wir haben Anfang 2014 begonnen, die StrateQuant-Software zu nutzen. Mittlerweile haben wir ein sehr großes Knowhow für die Erstellung von EAs für alle möglichen Arten von Märkten. Wir teilen dieses Knowhow, Apps, Tools und auch alle fertigen Strategien mit echten Tradern. Wenn Sie sich uns anschließen möchten, füllen Sie bitte das FORMEL.
0
.
vor 8 Jahren #235199
Schicken Sie uns Ihr Setfile, denn auch bei der Einstellung können Sie viele Probleme haben - Sie müssen wissen, wie Sie alles entsprechend dem Markt und der TF, die Sie bauen wollen, einstellen.
Sie wollen ein profitabler Algotrader werden? Wir haben Anfang 2014 begonnen, die StrateQuant-Software zu nutzen. Mittlerweile haben wir ein sehr großes Knowhow für die Erstellung von EAs für alle möglichen Arten von Märkten. Wir teilen dieses Knowhow, Apps, Tools und auch alle fertigen Strategien mit echten Tradern. Wenn Sie sich uns anschließen möchten, füllen Sie bitte das FORMEL.
0
Tomas Matejka
vor 8 Jahren #235228
Hallo,
RT muss nicht im ersten Schritt verwendet werden. Nachdem die Strategien generiert und gefiltert wurden, können Sie RT-Tests durchführen. Wie bereits erwähnt, ist es sinnlos, CPU-Leistung für RT-Tests von Verluststrategien zu verwenden. Sie haben auch nicht erwähnt, ob Sie mit Tick- oder Minutendaten oder sogar mit einem ausgewählten Zeitrahmen testen. Ich verwende nur gelegentlich Tick-Daten. Die meisten meiner Strategien sind einfach genug, so dass Tick-Daten nicht benötigt werden. Bitte fügen Sie Ihre Einstellungen gezippt
0
drayzen
vor 8 Jahren #235435
Verwenden Sie keine zu große Grundgesamtheit - 10000 ist Unsinn. 100 wird gut sein nicht zu groß erste Datenbank gebaut - nur 1000+ grundlegende Strategien in der Datenbank - stoppen und Retest verwenden Sie nicht MC-Tests in Gebäude-Prozess, seine nutzlos - gebaut grundlegende Packung von Strategien, und testen Sie sie (eine andere OOS, ganze Backtest, höher / niedriger TF, einem anderen Markt) - filtern sie und nur, was durch MC-Tests laufen links
Hallo Hankeys,
Vielen Dank für Ihre Vorschläge, ich habe seitdem ein paar weitere Tests durchgeführt und es scheint, dass ich meine Erwartungen an das, was ich mit SQ machen kann, drastisch zurückschrauben muss. Es scheint, dass es inhärente Probleme entweder mit der Kodierung oder mit Java gibt, die die Fähigkeit einschränken, mit vielen Daten im Speicher zu arbeiten, oder vielleicht ist es nur Windows ... Vielleicht wäre eine in C kodierte Version für Linux ein besserer Weg...?
Die Suche in den Foren sah ich einen anderen Benutzer mit 128 GB RAM mit Problemen. Ich hatte gedacht, dass immer die gleiche Menge an RAM mit einem Threadripper könnte mir ermöglichen, zu tun, was ich will, aber es scheint nicht. Bei der Recherche über diese Software und in Anbetracht des Preises war meine Erwartung, dass die einzigen begrenzenden Faktoren Zeit und Rechenressourcen sein würden.
Wie auch immer, ich habe einige verschiedene Einstellungen mit M1-Daten ausprobiert und die Speichernutzung ist viel besser, obwohl ich derzeit keine weiteren Paare teste. Das einzige Problem ist, dass ich jetzt anscheinend den SQ total kaputt gemacht habe! xD
Einstellungsdatei im Anhang.

Ich sehe, wo du sagst, dass 10.000 unsinnig ist, aber ich werde erklären, was ich mir dabei gedacht habe, dann erscheint es dir vielleicht weniger lächerlich 🙂 .
Meine ursprüngliche Idee war es, alle 28 Haupt- und Kreuzpaare zu testen, um Strategien zu entwickeln, die sich gegen den Markt als Ganzes verhalten und nicht gegen ein bestimmtes Paar. Ich habe manuell EAs erstellt, die sich auf den CFP-Indikator von Simeon Semenych beziehen (https://www.mql5.com/en/users/semsemfx/publications), die mich zu diesem Ansatz gebracht haben.
In Bezug auf SQ bevorzuge ich also einen Brute-Force-Ansatz und versuche, es so einzurichten, dass es ständig mit ziemlich engen Einstellungen läuft und auch RT- und Portfoliodaten für die Entlassung verwendet, so dass es nur einigermaßen gut funktionierende Strategien beim ersten Versuch speichert. Ich wollte x28 Paare für zusätzliche Tests eingeben, musste dann aber feststellen, dass es auf x6 beschränkt ist.
Ich ziehe es vor, die Rechenleistung auf das Problem zu werfen, anstatt ständig verschiedene Einstellungen zu testen und zu wiederholen, in der Hoffnung, etwas zu finden, das funktioniert - das scheint ein Wunschtraum zu sein.
- Um kurz vom Thema abzuweichen, wo wir gerade von Wunschträumen sprechen, habe ich diesen Blogbeitrag gesehen (https://quant.blog/success-story-a-perfect-forex-portfolio/) und frage mich, ob Sie jemanden gesehen haben, der tatsächlich ein solches Portfolio erstellt hat? Der Blog behauptet, dass die Live-Ergebnisse des Benutzers in der Nähe dieser Equity-Kurve sind, aber angesichts der Myfxbook Link ist gebrochen, ich habe zu nennen BS.
Ich weiß, dass dies nicht mit dem Ansatz übereinstimmt, den viele andere verwenden, aber ich finde es ehrlich gesagt verwirrend, wenn ich lese, dass andere bestimmte Einstellungen für bestimmte Szenarien verwenden. Ich meine, letztlich sehe ich SQ als einen anwendungsspezifischen Zufallszahlengenerator, der versucht, Muster zu erzeugen, die ein gewünschtes Ergebnis liefern, wenn sie gegen die Zufallsdaten von Währungspaaren laufen. Ich denke, dass es einige Einstellungen gibt, die die Grenzen des Betriebs diktieren, wie z.B. Min/Max-Indikator-Einstellungen, aber letztendlich kommt es mir so vor, dass, wenn man mit spezifischen Einstellungen optimiert, es nur eine Form der Kurvenanpassung ist, ich meine, von dem Punkt an, an dem eine Strategie erstellt wird, funktioniert sie entweder oder nicht. Ich denke auch, dass, wenn der Ansatz erfordert viele verschiedene Tests mit verschiedenen Einstellungen, dass inhärent auch reduziert die Chance auf positive Ergebnisse aufgrund von Wiederholungen oder verpasste Konfigurationen zu finden.
Angesichts all dessen wollte ich im Grunde, dass das System kontinuierlich läuft und der Datenbank im Laufe der Zeit bessere und bessere Strategien hinzufügt. Ich würde dann regelmäßig alle diese Strategien durch QA Portfolio Master oder vielleicht Portfoliolizer laufen lassen, um optimale Portfolios zu finden.
Bei diesem aktuellen Fehler ist mir völlig schleierhaft, warum es nach 14.999 Versuchen einfach aufgegeben hat.
Danke, Al 🙂
... der Außerirdische kümmert sich nicht um die Meinung der Menschen ...
0
Ansicht von 8 Antworten - 1 bis 8 (von insgesamt 8)