READ-ONLY

Das Forum ist jetzt ein schreibgeschütztes Archiv.

Für Fehlerberichte und Fragen zur Plattform → [email protected]

Unsere Community lebt auf Discord und YouTube - komm zu uns!

Optimale Instanzen von SQ3 pro Kern und Skripte für deren Verwaltung

21 Antworten

Schwellenwert

Kunde, bbp_Teilnehmer, Community, 722 Antworten.

Profil besuchen

vor 10 Jahren #115144

Was ist die optimale # von SQ3-Instanzen, die Sie pro Kern ausführen?

Ich verwende 1 SQ-Instanz pro Kern, und da es multithreaded ist, verwende ich 2 Threads pro SQ auf meinen alten Dell Poweredges.

Gibt es Programme oder Skripte, um mehrere Instanzen von Software zu verwalten? Mein neuer Server hat 32 Kerne, das sind 32 Instanzen von SQ3, vielleicht 16, die ich wahrscheinlich installieren und darauf laufen lassen werde, um eine optimale Geschwindigkeit bei der Strategieerstellung zu erreichen. Das ist eine Menge Arbeit, die Einstellungen zu ändern und alles, wenn ich will, dass sie alle genau das Gleiche tun.

0

mikeyc

Kunde, bbp_Teilnehmer, Community, 856 Antworten.

Profil besuchen

vor 10 Jahren #137094

SQ ist multithreaded, können Sie bitte erklären, warum Sie das tun? Vielleicht habe ich irgendwo in einer Diskussion etwas übersehen....

0

Schwellenwert

Kunde, bbp_Teilnehmer, Community, 722 Antworten.

Profil besuchen

vor 10 Jahren #137097

Sie erhalten viel schnellere Ergebnisse, wenn Sie mehrere Instanzen ausführen. SQ3 nutzt Multithreading/Cores sehr ineffizient, selbst mit dem Zulu-Hack.

1 SQ pro Kern mit 2 Threads scheint optimal zu sein, vielleicht sogar 1 SQ pro Thread.

0

_Cujo

Kunde, bbp_participant, Gemeinschaft, 97 Antworten.

Profil besuchen

vor 10 Jahren #137102

Ich lasse gerade 4 Instanzen von SQ auf diesem Rechner laufen (den Screenshot habe ich vor einer Weile gemacht, dann wurde ich abgelenkt, aber jetzt läuft er noch). Mit dem Zulu-Hack und dem Kommandozeilen-Zeug aus dem Thread von Geektrader.

 

Er ist nicht superschnell oder so, aber er funktioniert gut. Ich habe Anfang des Monats den Rechner gewechselt, eigentlich ein Downgrade, da der letzte Rechner zu viel war.

 

edq11x7.png

0

Statistik

Abonnent, bbp_participant, Gemeinschaft, 31 Antworten.

Profil besuchen

vor 10 Jahren #137325

Was ist die optimale # von SQ3-Instanzen, die Sie pro Kern ausführen?

Ich verwende 1 SQ-Instanz pro Kern, und da es multithreaded ist, verwende ich 2 Threads pro SQ auf meinen alten Dell Poweredges.

Gibt es Programme oder Skripte, um mehrere Instanzen von Software zu verwalten? Mein neuer Server hat 32 Kerne, das sind 32 Instanzen von SQ3, vielleicht 16, die ich wahrscheinlich installieren und darauf laufen lassen werde, um eine optimale Geschwindigkeit bei der Strategieerstellung zu erreichen. Das ist eine Menge Arbeit, die Einstellungen zu ändern und alles, wenn ich will, dass sie alle genau das Gleiche tun.

 

Ich glaube, Sie haben 16 echte Kerne / 32 Threads. Ich habe die gleiche Maschine (zwei Sockel Xeon E5-2630), SQ kann nicht mehr als 4 reale Kerne verwenden, daher können Sie 16 reale Kerne verwenden und 4 SQ-Instanzen laufen und es wird es 98% laden, aber Sie müssen Festplatte optimieren (SSD-PCI-X in RAID0 wird tun)

Selbst wenn Sie 32 auf SQ aktivieren, wird es keinen Unterschied zu 4 Threads machen. Ich habe ausgiebig auf verschiedenen Maschinen getestet und dies ist die optimale Leistung, wenn Sie mehr Instanzen laufen lassen, werden sie um CPU-Zeit kämpfen und lange Warteschlangen bilden. Aber ich habe die Anzahl der Strategien nicht überprüft, ich spreche nur von CPU-Last und Warteschlangen. Wenn Sie für mich die tatsächliche Generierungsgeschwindigkeit X Strategien/Minute überprüfen können. Ich denke, es könnte sich lohnen, die CPU-Warteschlange zu verwerfen.

Wenn Sie diesen Test durchführen, wäre das hilfreich, damit ich dasselbe tun kann:

Test #1 Führen Sie 1-2-3-4-x SQ-Instanzen aus, um die CPU 100% zu belasten, und messen Sie, wie viele Generationen erzeugt wurden (verwenden Sie in diesem Fall Random, im Durchschnitt wird es die gleiche Größe der Strategien sein).

Test #2 Führen Sie 1-2-3-4-x + 1-2-3-4 weitere Instanzen von SQ aus und messen Sie, wie viele Strategien erzeugt werden.

 

Ich hoffe, dass Sie auf diesem Rechner Server 2012 oder zumindest Windows 10 einsetzen.

Auf diese Weise können wir herausfinden, was das Optimum ist. Ich habe keine Hacks angewandt, weil es nicht nötig ist, dass alle echten Kerne voll ausgelastet sind.

Ich werde Ihre Ergebnisse abwarten und dann meine eigenen veröffentlichen.

======

 

 

_Cujo

Mit Cloud ist eine Verschwendung von Geld, das sie nie geben Sie echte Kerne, aber crapy vCPU, die wie 4-10 mal langsamer ist. dann echte Kerne. Gehen Sie einfach für dedizierte Server oder kaufen Sie eine anständige E5 Maschine.

0

mentaledge

Kunde, bbp_participant, community, sq-ultimate, 21 Antworten.

Profil besuchen

vor 10 Jahren #137331

Die Ausführung mehrerer Instanzen führt zu einer gewissen Parallelisierung des Arbeitsablaufs, was nützlich ist, wenn ich Dinge in kleinere Bausteine aufteilen möchte.

Ich bin ein neuer zu SQ und was mich verwirrt ist, dass trotz der Anzahl der Kerne oder Maschine selbst die "CPU beschäftigt" nicht über 50% gehen.

Übersehe ich etwas, das SQ daran hindert, alle verfügbaren Ressourcen zu nutzen?

0

Statistik

Abonnent, bbp_participant, Gemeinschaft, 31 Antworten.

Profil besuchen

vor 10 Jahren #137332

Die Ausführung mehrerer Instanzen führt zu einer gewissen Parallelisierung des Arbeitsablaufs, was nützlich ist, wenn ich Dinge in kleinere Bausteine aufteilen möchte.

Ich bin ein neuer zu SQ und was mich verwirrt ist, dass trotz der Anzahl der Kerne oder Maschine selbst die "CPU beschäftigt" nicht über 50% gehen.

Übersehe ich etwas, das SQ daran hindert, alle verfügbaren Ressourcen zu nutzen?

Bitte lesen Sie meine vorherige Antwort auf Maschine mit 16 echten Kernen. 1x Instanz verwendet nur 25% alle 16 Kerne (trotz der Konfiguration, um 16 Kerne / oder 32Threads zu verwenden), daher entscheide ich es ist 4x Kerne. Ich verwende eine andere Maschine mit 4 Kernen und es das gleiche SET verwendet 98% CPU. Ich denke, Sq3 verwendet nur max 4x echte Kerne und 7GB ram ( nicht 6GB wie erwähnt wurde, aber 7GB (6,8GB) ), Der Server hat 38GHz Prozessorleistung (Threading wird nie gezählt, es kommt als Bonus), und sie sind ALLE nur mit 4 Instanzen verwendet, aber ich benutze 6, nur um sicherzustellen, dass ich alle Saft aus ihm heraus zu quetschen, trotz der CPU-Warteschlange.

0

mentaledge

Kunde, bbp_participant, community, sq-ultimate, 21 Antworten.

Profil besuchen

vor 10 Jahren #137333

Ja, das habe ich verstanden, was ich meinte ist, dass ich auch bei 4x Kernen die gleiche geringe Last sehe. Das ist für die Generierungsphase.

0

geektrader

Kunde, bbp_Teilnehmer, Community, 503 Antworten.

Profil besuchen

vor 10 Jahren #137337

Ich habe herausgefunden, dass 1,5 Threads pro Instanz optimal sind (theoretische Berechnung), ich habe vor einem Jahr lange überlegt, was das Optimum ist. Da der Wert 1,5 Threads ist, bleibe ich bei 1 Thread pro Instanz, auch weil der Speicher verdoppelt wird, wenn man von 1 auf 2 Threads wechselt, aber die CPU-Nutzung nicht wirklich verdoppelt wird (nur ~1,6). Daher ist 1 Thread pro Instanz das Optimum für mich. Der Start erfolgt über eine .bat-Datei, die SQ in X Verzeichnisse kopiert und dann alle startet (man muss dies über die "START blah.exe"-Befehlszeile von Windows aus der .bat-Datei heraus tun, sonst wird die .bat-Datei nach dem Start der ersten SQ-Instanz beendet).

 

Beispiel: 4 Instanzen (Verwendung von komprimierten Verzeichnissen über NTFS, falls verfügbar, Bereinigung der Temp/Protokolle von SQ vor dem Kopieren, damit sie nicht kopiert werden, Starten aller Instanzen mit NIEDRIGER Priorität, damit ich andere Arbeit erledigen kann und die SQ-Instanzen nur die CPU-Menge verwenden, die derzeit durch meine tägliche normale Arbeit ungenutzt ist, Verwendung von exclusion.txt, um das Kopieren meines /strategies/-Verzeichnisses zu vermeiden, da dieses riesig ist und nicht für jede Instanz kopiert werden muss, da ich es einfach vom SQ-Hauptverzeichnis aus jeder Instanz laden kann):

@echo off
rmdir "C:\Program Dateien\StrategyQuant\temp" /S /Q
rmdir "C:\Program Dateien\StrategyQuant\log" /S /Q

rmdir "c:\temp\strategyquant-temp" /S /Q
mkdir "c:\temp\strategy-quant-temp"
mkdir "c:\temp\strategyquant-temp\1"
mkdir "c:\temp\strategyquant-temp\2"
mkdir "c:\temp\strategyquant-temp\3"
mkdir "c:\temp\strategyquant-temp\4"

kompakt /c /s: "c:\temp\strategyquant-temp\1"
kompakt /c /s: "c:\temp\strategyquant-temp\2"
kompakt /c /s: "c:\temp\strategy-quant-temp\3"
kompakt /c /s: "c:\temp\strategy-quant-temp\4"

c:


xcopy "C:\Program Files\StrategyQuant" "c:\temp\strategyquant-temp\1" /E /Y /EXCLUDE:exclusion.txt

CD "c:\temp\strategy-quant-temp\1"
start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC


xcopy "C:\Program Files\StrategyQuant" "c:\temp\strategyquant-temp\2" /E /Y /EXCLUDE:exclusion.txt

CD "c:\temp\strategy-quant-temp\2"
start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC


xcopy "C:\Program Files\StrategyQuant" "c:\temp\strategyquant-temp\3" /E /Y /EXCLUDE:exclusion.txt

CD "c:\temp\strategy-quant-temp\3"
start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC


xcopy "C:\Program Files\StrategyQuant" "c:\temp\strategyquant-temp\4" /E /Y /EXCLUDE:exclusion.txt

CD "c:\temp\strategy-quant-temp\4"
start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC

exclusion.txt enthält nur:

Strategien

wodurch das Verzeichnis /strategies wie erwähnt ausgeschlossen wird.

 

Natürlich müssen Sie auch die Menge des für jede Instanz verwendeten Arbeitsspeichers an den Speicher Ihres Systems anpassen. Und die Batch-Datei kann leicht an den benötigten Stellen erweitert werden, um mehr oder weniger Instanzen zu verwenden. Ich habe Batch-Dateien für 2 bis 21 Instanzen.


🚀 Erschließen Sie sich Ihren Vorteil bei der Entwicklung automatisierter Forex-Strategien 🚀

Historische Forex-Daten ab 1987, 28 Paare, M1, 99% Fehlerfrei, lebenslange kostenlose Updates

0

Schwellenwert

Kunde, bbp_Teilnehmer, Community, 722 Antworten.

Profil besuchen

vor 10 Jahren #137338

Ich glaube, Sie haben 16 echte Kerne / 32 Threads. Ich habe die gleiche Maschine (zwei Sockel Xeon E5-2630), SQ kann nicht mehr als 4 reale Kerne verwenden, daher können Sie 16 reale Kerne verwenden und 4 SQ-Instanzen laufen und es wird es 98% laden, aber Sie müssen Festplatte optimieren (SSD-PCI-X in RAID0 wird tun)

Selbst wenn Sie 32 auf SQ aktivieren, wird es keinen Unterschied zu 4 Threads machen. Ich habe ausgiebig auf verschiedenen Maschinen getestet und dies ist die optimale Leistung, wenn Sie mehr Instanzen laufen lassen, werden sie um CPU-Zeit kämpfen und lange Warteschlangen bilden. Aber ich habe die Anzahl der Strategien nicht überprüft, ich spreche nur von CPU-Last und Warteschlangen. Wenn Sie für mich die tatsächliche Generierungsgeschwindigkeit X Strategien/Minute überprüfen können. Ich denke, es könnte sich lohnen, die CPU-Warteschlange zu verwerfen.

Wenn Sie diesen Test durchführen, wäre das hilfreich, damit ich dasselbe tun kann:

Test #1 Führen Sie 1-2-3-4-x SQ-Instanzen aus, um die CPU 100% zu belasten, und messen Sie, wie viele Generationen erzeugt wurden (verwenden Sie in diesem Fall Random, im Durchschnitt wird es die gleiche Größe der Strategien sein).

Test #2 Führen Sie 1-2-3-4-x + 1-2-3-4 weitere Instanzen von SQ aus und messen Sie, wie viele Strategien erzeugt werden.

 

Ich hoffe, dass Sie auf diesem Rechner Server 2012 oder zumindest Windows 10 einsetzen.

Auf diese Weise können wir herausfinden, was das Optimum ist. Ich habe keine Hacks angewandt, weil es nicht nötig ist, dass alle echten Kerne voll ausgelastet sind.

Ich werde Ihre Ergebnisse abwarten und dann meine eigenen veröffentlichen.

======

 

 

_Cujo

Mit Cloud ist eine Verschwendung von Geld, das sie nie geben Sie echte Kerne, aber crapy vCPU, die wie 4-10 mal langsamer ist. dann echte Kerne. Gehen Sie einfach für dedizierte Server oder kaufen Sie eine anständige E5 Maschine.

Nein, ich habe einen r810 mit 4 Sockeln (4x x7560)= 32 Kerne, 64 Threads. 128GB RAM, Windows Server 2008 Enterprise. Windows 10 kann keine 4 Sockel verwenden, und ich mag das Betriebssystem nicht.

0

Schwellenwert

Kunde, bbp_Teilnehmer, Community, 722 Antworten.

Profil besuchen

vor 10 Jahren #137373

Es scheint, dass die Ausführung von SQ über eine bestimmte Anzahl von Threads hinaus sich negativ auf die Generierungsgeschwindigkeit auswirkt und diese verlangsamt.

Ich habe 1 SQ mit 64 Threads getestet, nur um zu sehen, was passiert: Die Generierungsgeschwindigkeiten steigen von den normalen 0,2s pro Strategie auf ca. 5-10s pro Strategie. Die CPU-Belastung bewegte sich um 1-3% Nutzung.

0

Statistik

Abonnent, bbp_participant, Gemeinschaft, 31 Antworten.

Profil besuchen

vor 10 Jahren #137379

Es scheint, dass die Ausführung von SQ über eine bestimmte Anzahl von Threads hinaus sich negativ auf die Generierungsgeschwindigkeit auswirkt und diese verlangsamt.

Ich habe 1 SQ mit 64 Threads getestet, nur um zu sehen, was passiert: Die Generierungsgeschwindigkeiten steigen von den normalen 0,2s pro Strategie auf ca. 5-10s pro Strategie. Die CPU-Belastung bewegte sich um 1-3% Nutzung.

Danke für den Test, er bestätigt mein Denken.

Der wahre Test wird sein:

1. Erstellen Sie einen Ordner mit 20000 Strategien

2. Klonen Sie es (um Änderungen von SQ zu vermeiden)

3. Laden (beginnen Sie mit Bingeing, um Probleme mit Speicher / Festplatte / CPU zu vermeiden) saubere Last

4. Test für 20 Jahre auf M1 durchführen - Rekordzeit

5. Alles reinigen, schließen

6. Gehen Sie zu Schritt #3, vergleichen Sie die Ergebnisse (wiederholen Sie #3 für jede Kombination, mit Threads, ohne Hyperthreading und nur Cores usw.)

Es steht auf meiner To-Do-Liste, aber wenn jemand diesen Test durchführen und die Ergebnisse zeigen kann, wäre das sehr hilfreich.

0

Schwellenwert

Kunde, bbp_Teilnehmer, Community, 722 Antworten.

Profil besuchen

vor 10 Jahren #137390

@echo off
rmdir "C:\Program Dateien\StrategyQuant\temp" /S /Q
rmdir "C:\Program Dateien\StrategyQuant\log" /S /Q

rmdir "c:\temp\strategyquant-temp" /S /Q
mkdir "c:\temp\strategy-quant-temp"
mkdir "c:\temp\strategyquant-temp\1"
mkdir "c:\temp\strategyquant-temp\2"
mkdir "c:\temp\strategyquant-temp\3"
mkdir "c:\temp\strategyquant-temp\4"

kompakt /c /s: "c:\temp\strategyquant-temp\1"
kompakt /c /s: "c:\temp\strategyquant-temp\2"
kompakt /c /s: "c:\temp\strategy-quant-temp\3"
kompakt /c /s: "c:\temp\strategy-quant-temp\4"

c:


xcopy "C:\Program Files\StrategyQuant" "c:\temp\strategyquant-temp\1" /E /Y /EXCLUDE:exclusion.txt

CD "c:\temp\strategy-quant-temp\1"
start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC


xcopy "C:\Program Files\StrategyQuant" "c:\temp\strategyquant-temp\2" /E /Y /EXCLUDE:exclusion.txt

CD "c:\temp\strategy-quant-temp\2"
start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC


xcopy "C:\Program Files\StrategyQuant" "c:\temp\strategyquant-temp\3" /E /Y /EXCLUDE:exclusion.txt

CD "c:\temp\strategy-quant-temp\3"
start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC


xcopy "C:\Program Files\StrategyQuant" "c:\temp\strategyquant-temp\4" /E /Y /EXCLUDE:exclusion.txt

CD "c:\temp\strategy-quant-temp\4"
start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC

Finden Sie, dass dies viel schneller ist als das Laden einer "Master"-Einstellungsdatei in jede einzelne Datei, oder bereitet es einfach weniger Kopfschmerzen?
Die Vermeidung von Kopfschmerzen ist es wahrscheinlich schon wert.

0

geektrader

Kunde, bbp_Teilnehmer, Community, 503 Antworten.

Profil besuchen

vor 10 Jahren #137394

Ja, ich möchte, dass alles richtig und für jede Instanz auf dem neuesten Stand ist, zumal ich nicht jede Woche die Daten von 28 Paaren auf X Instanzen aktualisieren möchte. Außerdem haben die Batchdateien eine vorkonfigurierte RAM-Zuteilung für mein System und die Anzahl der Instanzen, die jedes Mal ausgeführt werden. Ich weiß also, dass sie immer korrekt sind. Und ich lasse zum Beispiel oft 16 Instanzen gleichzeitig laufen, dann wird es sogar lästig, die Set-Datei in jede von ihnen zu laden. Mit einer SSD und eBoostr dauert das Starten aller Instanzen über die .bat-Dateien kaum 3 Minuten oder weniger.


🚀 Erschließen Sie sich Ihren Vorteil bei der Entwicklung automatisierter Forex-Strategien 🚀

Historische Forex-Daten ab 1987, 28 Paare, M1, 99% Fehlerfrei, lebenslange kostenlose Updates

0

Schwellenwert

Kunde, bbp_Teilnehmer, Community, 722 Antworten.

Profil besuchen

vor 10 Jahren #137397

Ich habe es gestern Abend ausprobiert, es ist definitiv besser.
Ich habe eine separate Kopie des "Master bin"-Ordners erstellt. Bevor ich den Stapel ausführte, löschte ich alle historischen Daten, die ich nicht verwenden wollte, aus dem bin-Ordner. Es wurden viel weniger Gigabyte kopiert.

0

Schwellenwert

Kunde, bbp_Teilnehmer, Community, 722 Antworten.

Profil besuchen

vor 10 Jahren #137398

Durchschnittliche Nutzung von etwa 80-85%. 32SQs mit je 2 Threads. 64SQs mit je 1 Thread wären zu viel Arbeit gewesen.

Datei: 32SQs.png32SQs.png

0

Ansicht von 15 Antworten - 1 bis 15 (von insgesamt 21)

1 2 →