WFO stürzt ständig ab SQ 90% der Zeit

Selbst wenn ich mehr als 8 GB freien RAM habe, kann die Walk Forward Optimization nicht verwendet werden. Wenn ich sie aufrufe, stürzt SQ in 90% der Fälle ab. Tatsächlich funktioniert es nur, wenn die Optimierung etwa 100 Durchläufe benötigt. Die Speicherverwaltung ist extrem schlecht. Das Löschen von Strategien der letzten Generation oder das Klicken auf Speicherbereinigung durchführen bringt absolut nichts.

Wenn ich SQ nach einem Absturz neu starte, bietet es immer an, die letzten Strategien wiederherzustellen (auch die, die ich unter Letzte Generation gelöscht habe). Wenn ich auf Ja klicke, werden immer die Strategien der letzten Generation geladen und niemals das Walk Forward Ergebnis! Denn die Ergebnisdatei ist immer beschädigt.

Es tut mir leid, dass dieses Problem aufgetreten ist. Es wird in der neuen Version 4 komplett neu geschrieben werden und wir werden dafür sorgen, dass es viel besser funktioniert.

Hallo meine Systeme laufen in letzter Zeit mit SQ3.8 sehr stabil.

Ich habe 32 GB Speicher.

Ich habe die Speichergröße für jede SQ auf 11 GB erhöht.

Sie können mindestens zwei SQ auf einem Rechner ausführen.

thomas

Selbst wenn ich mehr als 8 GB freien RAM habe, kann die Walk Forward Optimization nicht verwendet werden. Wenn ich sie aufrufe, stürzt SQ in 90% der Fälle ab. Tatsächlich funktioniert es nur, wenn die Optimierung etwa 100 Durchläufe benötigt. Die Speicherverwaltung ist extrem schlecht. Wenn ich SQ nach einem Absturz neu starte, bietet es immer an, die letzten Strategien wiederherzustellen (auch die, die ich unter Letzte Generation gelöscht habe). Wenn ich auf Ja klicke, werden immer die Strategien der letzten Generation geladen und niemals das Walk Forward-Ergebnis! Denn die Ergebnisdatei ist immer beschädigt.

Ich habe mehrere Maschinen mit 32core /32GB RAM, nie fehlgeschlagen, aber ja, manchmal ist es reaktiv, aber es ist etwa 30-60 Sekunden, aber nur, wenn ich es zu stoppen, wie es brauchen, um alles, was im Speicher zu blinken, ich denke, auf niedrige spec wird es 5-10 Minuten damit Sie das Gefühl, es zerdrückt. laufen 4x SQs für Generation, aber sie verwenden nicht alle Kerne, aber wenn ich WFO es verwendet alle 32 Kerne.

" Speicherbereinigung durchführen" hat in der Tat keine Auswirkung, siehe den Screenshot unten:

Auf dem Bild ist 24gb, aber ich habe es auf 32 erhöht, da ich dachte, dass Cleanup funktionieren wird, also ist es jetzt mit 32GB.

Wie Sie sehen, hat diese Funktion keine Auswirkung, auch wenn ich die Generierung pausiert oder gestoppt habe.

Mark, Sie wissen wahrscheinlich schon die Antwort, bitte teilen Sie sie mit, wenn wir auf die SQ4 warten müssen, ist das in Ordnung.

Ich möchte sehen, alle dedizierten Kerne verwendet werden (es ist Windows Server 2012) . vielleicht gibt es ein anderes Thema zu diesem. in den Einstellungen Alle 32 Kerne sind angekreuzt.

Danke

Ich habe getestet an

Windows 10 (8core/16GB) - mit 4x SQs - stürzt nie ab

Windows 10 (32cores/ 32GB) mit 8xSQs - stürzt nie ab

Windows 2008 Server ( (8cores/32GB) mit 1SQ (aus irgendeinem Grund verwendet es alle CPUs 100% ) - stürzt nie ab

Windows 2012 Server (32cores/32GB) läuft zwischen 8 - 15 von SQs hatte noch nie irgendwelche Probleme und läuft nur auf 10% CPU, sondern weil es alle 32GB ram verwendet (müssen es auf 48GB zu erhöhen)

ist es normalerweise.

mx55333,

SQ hat keine Probleme, es ist vollständig von meiner Seite aus getestet, so MarkNach meinen Tests funktioniert SQ wie erwartet, keine Abstürze, und ich bin ein sehr intensiver Nutzer.

Es gibt nur ein Problem: Es werden nicht alle 32 Kerne genutzt. Aber ich denke, es könnte sein, weil der Festplatte Queuing, ich werde es zu sehen, aber wenn Mark bereits die Antwort weiß, bitte teilen. Also Mark, wenn Sie SQ4 auf jedem OS, Speicher/CPU testen müssen, lassen Sie mich bitte wissen, ich werde gerne Beta-Tester sein 🙂 .

Hallo Mark,

Gute Nachrichten, ich habe meine ESX-Server optimiert. Server und Maschinen kämpfen jetzt nicht mehr um CPU-Zeit.

Die Maschinen sind Xeion E5-2630 v3 2.4GHz 16 Core (2x Sockel mit je 8Cores was 16 Threads pro Sockel ergibt = 32 Threads insgesamt)

Ich habe jedoch eine bessere Leistung, wenn ich nur echte Kerne ohne Threads verwende.

Meine Fragen an Sie Mark, wenn SQ ist in der Lage, Threads zu verwenden oder es verwendet nur Cores?

Ich habe noch nicht mit ausgeschaltetem Hyperthreading getestet, werde das aber am Wochenende nachholen und entsprechend meiner Erkenntnisse antworten.

SQ wird nur 25% der gegebenen Cores verwenden, so dass effektiv 4 Intanzen 16 echte Cores laden können.

Ich glaube, dass SQ nur maximal 4 echte Kerne verwenden kann. Können Sie bitte bestätigen, dass es nicht für mehr als 4 Kerne optimiert ist?

Und zweitens muss ich wissen, ob es Hyperthreading verwendet oder nicht, ich werde es selbst überprüfen, aber ich glaube, Sie haben die Antwort bereits.

Dies ist der Schnappschuss von 4 Instanzen, die Xeon E5-2630 laden

Dieser Test ist nicht sehr genau, da ich andere Maschinen auf dem gleichen ESX-Server laufen habe, und eine andere mit nur zwei SQ-Instanzen, andere Maschinen sind meist idel wie Domain Controller und andere Bits.

Selbst wenn ich mehr als 8 GB freien RAM habe, kann die Walk Forward Optimization nicht verwendet werden. Wenn ich sie aufrufe, stürzt SQ in 90% der Fälle ab. Tatsächlich funktioniert es nur, wenn die Optimierung etwa 100 Durchläufe benötigt. Die Speicherverwaltung ist extrem schlecht. Das Löschen von Strategien der letzten Generation oder das Klicken auf Speicherbereinigung durchführen bringt absolut nichts.

 

Wenn ich SQ nach einem Absturz neu starte, bietet es immer an, die letzten Strategien wiederherzustellen (auch die, die ich unter Letzte Generation gelöscht habe). Wenn ich auf Ja klicke, werden immer die Strategien der letzten Generation geladen und niemals das Walk Forward Ergebnis! Denn die Ergebnisdatei ist immer beschädigt.

Ich habe mehr Tests durchgeführt, da ich bestätigen kann, dass SQ einfriert, egal ob ich 16 Kerne oder 4 Kerne mit 96GB oder 8GB verwende und nur eine Instanz ausführe. Es funktioniert nicht gut mit Retest-Strategien. nach dem Test kann ich nicht mehr als 1000-1500 Strategien löschen. Sagen wir, ich habe 20000 Strategien generiert und nach dem Retest möchte ich 15000 von ihnen löschen, ich würde etwa 30 Mal brauchen, um sie zu löschen, es wird nicht alle 15000 von ihnen löschen, die CPU / Speichernutzung ist die gleiche für eine Stunde, so kann ich getrost sagen, es friert ein. So in diesem Moment kann es nicht mit großen Arrays von Strategien arbeiten, ist maximal 10k, die bequem funktioniert.

Wenn jedoch Mark kann jetzt sagen, dass wir den Berichtsteil entfernen und von 1MB auf 78KB gehen sollen, das könnte helfen, damit wir von GB auf MBs gehen können. (denn in Wirklichkeit brauchen wir nur eine Strategie ohne Berichte, wenn wir mit ihnen weiterarbeiten wollen)

Wenn ich nur ein Skript schreiben könnte, um es vom Backend aus zu machen, wäre es perfekt.

Mark,

Ich schlage eine Funktion vor:

Wenn wir speichern .STR kann klein sein Checkbox (keine Berichte), auf diese Weise Größe wird klein sein und ich denke, SQ3 wird es besser zu behandeln und es wird nicht nehmen 100s GBs von Speicherplatz, wenn Sie es zu weiteren Tests nehmen wollen.

Ich stimme also zu mit mx55333Ich bin noch nicht so weit mit der Optimierung, kann also nicht viel dazu sagen, aber ich kann bestätigen, dass SQ3 mit mehr als 10k-Strategien nicht sehr gut umgehen kann. Wenn Mark irgendwelche Tests durchführen möchte, lassen Sie es mich wissen.

Vielen Dank für Ihre Vorschläge. Ich werde den Thread an Mark weiterleiten, damit er dies berücksichtigen kann.