Video Tutorial SQ Max Speed & Performance CPU,Ram,Disk & Extra 6k Strategy Quest Herausforderung

https://www.youtube.com/watch?v=l6oRsTNm0yc

// Dies ist der Link zum Video, schaut es euch an, hoffentlich gefällt es euch. JA ich bin arabisch und der Akzent folgt
Wenn du also ein Problem damit hast, "Es tut mir sehr leid, aber ich muss dich töten".

Ein großer Kredit geht an "GeekTrader", Dieses Video-Tutorial ist, um Ihnen beizubringen, wie man maximale Geschwindigkeit von SQ 3.
Optimierung von CPU, Rams und Festplatten/SSD's

Der ursprüngliche Beitrag ist wie 10 Seiten +, die etwas kompliziert für Anfänger hier scheint, so dass ich es erklärt
Schritt für Schritt in diesem Video und fügte weitere eigene Optimierungen hinzu (ich hoffe, es hilft Anfängern und sogar professionellen Nutzern von SQ).

Das Ende des Videos ist eine Aufforderung an die Leute, mehr beizutragen, indem sie einige gute Strategien herausfiltern und uns das Verfahren zeigen ... Ich bin sicher, dass jeder Profi eine andere Strategie wählen wird, die wir von den Beiträgen lernen können.

Links zum Video:

https://www.youtube.com/watch?v=l6oRsTNm0yc

* Strategien : https://drive.google.com/file/d/0B83k2vKtYK80UWNuWDZsenpQNzQ/view?usp=sharing

* Java Version 9 : http://cdn.azul.com/zulu-pre/bin/zulu…

* Das Skript für die Batch-Öffnung von SQ zu verwenden, erstellen Sie eine neue .bat-Datei und fügen Sie diese Zeile von Codes und drücken Sie
speichern. Sehen Sie sich das Video an, um zu erfahren, wie Sie die Parameter ändern können.

Dies ist ein neues Skript, wenn Sie jede Instanz umbenennen wollen, so dass Sie jede Instanz Job zu kennen. ( Wenn Sie diese Option nicht benötigen, verwenden Sie den obigen Code )
1- NumberOfSQInstances= "die Anzahl der Instanzen, die Sie ausführen möchten" Sagen wir "X" Instanzen
2- arrayline[1]=CrossMaStrategyInstance festlegen
arrayline[2]=RSIStrategyInstance einstellen
.... Fahren Sie fort, mehr zu deklarieren, um Ihre X-Instanzen anzupassen
Sagen wir, wir wollen 3 Instanzen, also füge ich eine weitere hinzu
arrayline[3]=anotherNewInstance

Der Code lautet:

Wie viele Strategien hatten Sie in der Datenbank?

Hallo Clonex

1295 Strategien in der Datenbank

AC1962

Hallo gentmat

Ich habe jetzt SQ für 2,5 Tage laufen, mit Ihrem empfohlenen Batch-Datei-Skript auf 1 GB RAM / Thread / SQ-Instanz eingestellt. Jede Instanz ist mit den empfohlenen Zulu 9.0.0.2.

Während sich die Geschwindigkeit der Strategieerstellung insgesamt deutlich verbessert hat, stelle ich fest, dass die Anzeige des Speicherverbrauchs für jede SQ-Instanz mit der Zeit rapide ansteigt, anscheinend im Verhältnis zur Menge der in der Datenbank gespeicherten Strategien. Siehe beigefügtes Bildschirmfoto von Speicherverbrauchsanzeige der SQ-Instanz mit der größten Anzahl von Strategien in der Datenbank (~1300). Es ist fast bis zum Skript Einstellung Grenze von 1Gb RAM.

In Ihrem Video weisen Sie darauf hin, dass Sie bei dieser Konfiguration erwarten würden, dass die Anzeige des SQ-Speicherverbrauchs relativ konstant bleibt und 500 MB über einen Zeitraum von etwa einer Woche nicht überschreitet. Können Sie mir erklären, warum nach nur 2,5 Tagen mein SQ Der Zähler für den Speicherverbrauch nähert sich bereits 1 Gb, wenn er auf 1 Thread eingestellt ist und die Zulu 9.0.0.2? Mein PC-Setup ist: Windows 10 home; 4-Core i7 CPU; 16Gb RAM.

Als ich früher 1x eine Instanz von SQ mit einer auf 8 eingestellten Threadanzahl laufen ließ, war die Geschwindigkeit der Strategieerstellung zwar langsamer, aber die Der Zähler für den Speicherverbrauch erreichte selbst nach 6 Tagen ununterbrochenem Betrieb von SQ kaum 3Gb.

Ich bin nur neugierig, denn um meine RAM-Zuweisung von 1 GB auf 2 GB pro SQ-Instanz zu erhöhen, müsste ich meinen gesamten installierten Arbeitsspeicher von 16 GB auf 24 GB oder 32 GB aufrüsten.

Für jede Auskunft, die Sie zu diesem Thema geben können, wären wir Ihnen sehr dankbar.

Danke
AC1962

Anzahl der Bevölkerung ? Wie viel ist es
Was benutzen Sie? Und Markteintritt!
Und sind Sie halten in Indikator der höchste niedrigste? Verwenden Sie einen dieser 4 Indikatoren?

Gesendet von meinem iPhone mit Tapatalk

Hallo gentmat

Siehe unten

Anzahl der Bevölkerung ? Wie viel ist es

Genetische Populationsgröße = 100

Was für ein Gerät benutzen Sie?

Zeitrahmen = H4

Und Markteintritt!

Eingabe an der Haltestelle

Und halten Sie im Indikator die höchste niedrigste?

Ja

Verwenden Sie einen dieser 4 Indikatoren?

Ja, alle 4: HIGHEST; LOSEST; HR; LR

Danke

AC1962

Hallo gentmat,

Wir sind Ihnen sehr dankbar, dass Sie uns Ihre Leistungsanalyse, hilfreiche Vorschläge, Leistungstipps und das großartige Skript für die Bat-Datei zum Erstellen mehrerer SQ-Sitzungen zur Verfügung gestellt haben. 

Bei meinen Systemen handelt es sich um maßgeschneiderte Lenovo D30-Workstations mit jeweils zwei Xeon E5-2670 mit 16 (32 virtuellen) Kernen und 128 GB RAM pro System. Ein System ist für die 24/7-Suche nach Strategien zuständig, das andere für die Analyse der Strategien, um sie zu einem Portfolio zu verfeinern. Früher musste ich 32 Kopien von SQ manuell aktualisieren, wenn ich eine Änderung vornehmen wollte. Jetzt ändere ich nur noch die Master-Kopie, führe die Batch-Datei aus und das Leben ist so viel einfacher!

Die SSDs auf meinen Systemen sind nur für Windows 10 und als solche relativ klein (240 GB). SQ und die anderen FX-Programme laufen auf einer 2TB-Festplatte, die problemlos die Originalinstallationen und 32 Kopien von SQ aufnehmen kann und immer noch weniger als 25% des Festplattenplatzes benötigt. Sie erwähnten die Verwendung von Supercache und ich möchte Ihnen eine Alternative vorschlagen. PrimoCache bietet eine 60-tägige kostenlose Testversion und einen Kaufpreis von $30. Die Einrichtung ist einfach und die Leistung ist hervorragend. (Ich stehe in keinerlei Verbindung zu den beiden Paketen.)

Ich hatte mich schon lange gefragt, ob es effizienter ist, die Zufallsgenerierung oder die genetische Evolution zu nutzen. Deshalb habe ich Ihr Skript verwendet und eine pseudowissenschaftliche Studie erstellt, um einige Daten zu erhalten. Ich habe zwei Batchdateien auf der Grundlage Ihres Skripts erstellt, um 10 Kopien mit genetischer Evolution und 10 Kopien mit zufälliger Auswahl zu erzeugen. Beide basierten auf den exakt gleichen Kursdaten, den gleichen Spread- und Slippage-Einstellungen, den gleichen Zeitspannen zwischen Lernen und Validierung und den gleichen Ranking-Bedingungen. (Alle Einzelheiten zu den Daten und der Rangfolge sind unten aufgeführt.) Beide Sätze von jeweils 10 Kopien liefen gleichzeitig für 24 bis 36 Stunden, dann wurden sie gestoppt und die erstellten Strategien gezählt und für die weitere Analyse gespeichert. Bei jedem der drei Tests enthielt die Summe aller 10 Genetic Evolution-Datenbanken mindestens das 200-fache der Anzahl von Strategien, die in den Random Generation-Datenbanken enthalten waren. Hier sind die zusammenfassenden Daten des letzten 24-Stunden-Tests:

Genetische Evolution:

Anzahl der Instanzen: 10

Mindestanzahl von Strategien in der Datenbank: 33

Maximale Anzahl von Strategien in der Datenbank: 129

Gesamtzahl der Strategien für alle zehn Instanzen: 582

Zufällige Auswahl:

Anzahl der Instanzen: 10

Mindestanzahl von Strategien in der Datenbank: 0

Maximale Anzahl von Strategien in der Datenbank: 2

Gesamtzahl der Strategien für alle zehn Instanzen: 2

Nun, eine Person, die drei Tests für verschiedene Zeiträume durchführt, ergibt natürlich keine gültige Studie. Daher möchte ich fragen, ob andere Nutzer die Zufallsgenerierung verwenden und wenn ja, ob sie in der Lage sind, Strategien schneller zu generieren? Gibt es weitere Vorteile der Zufallsgenerierung gegenüber der genetischen Evolution?

________________________________________

Im Folgenden sind die für diese Prüfung verwendeten Parameter aufgeführt:

Daten: EURUSD M5 Tick-Daten von Dukascopy

Backtest-Daten: 05.05.2003 bis 11.04.2012

In der Stichprobe 05.05.2003 bis 04.01.2010

Außerhalb der Stichprobe: 04.01.2010 bis 11.04.2012

Spanne: 2,0

Schlupf 3.0**

Test Präzision: M1

Ranking-Kriterien - lehnen Sie alles ab, was übereinstimmt:

In der Probe:

Profit-Faktor: < 1.3

Rendite/Development-Verhältnis: < 3.3

% Gewinnt: < 30%

Anzahl der Trades: < 300

Außerhalb der Stichprobe:

Profit-Faktor: < 1.3

Verhältnis Rendite/Defizit: < 1.1

% Gewinnt: < 30%

Anzahl der Trades: < 100

** Die erste robuste Prüfung war die Bestimmung der Empfindlichkeit gegenüber Slippage. Meine Annahme, die falsch sein kann, ist, dass, wenn die Strategie bereits mit 3 Pip Slippage durchgeführt, kann es nur ohne Slippage zu verbessern. Alle Kommentare und Hinweise sind willkommen.

Hallo Dave

Ich habe SuperCache zunächst auf meinen beiden Windows 10-PCs installiert. Auf einem PC hat es gut funktioniert, aber der 2. stürzt beim Neustart ständig ab. Überprüfen von SuperCache Unterstützung es scheint, dass dies ein bekanntes Problem ist. 3x Lösungen werden angeboten, aber die ersten beiden haben bei mir nicht funktioniert, und die dritte habe ich mich nicht getraut zu versuchen. Das Ergebnis war, dass ich den PC-Lieferanten einschalten musste und schließlich Windows 10 zurücksetzen musste, um das Problem zu lösen 🙁 und SuperCache zu entfernen. Nach der Suche im Internet fand ich auch PrimoCacheEs ist nicht nur viel billiger, sondern hat auch bessere Bewertungen, bietet einen viel besseren und aktuelleren Online-Support, hat ein aktives Forum, lässt sich sauber installieren, hat mehr Funktionen und ist trotzdem sehr einfach zu bedienen. Ich habe PrimoCache jetzt auf beiden PCs installiert und es funktioniert hervorragend.

Nach anfänglichen Tests verwende ich jetzt immer und ausschließlich die Genetische Evolution, weil die Evolutionsfunktion automatisch die Möglichkeit bietet, mehrere Strategieverbesserungen durchzuführen, sobald eine Strategie die Akzeptanzkriterien erfüllt. Wenn SQ eine Strategie findet, die in die Datenbank aufgenommen wird, erstellt Genetic Evolution oft auch eine Vielzahl von passablen Variationsstrategien auf der Grundlage der ersten Strategie. Ich würde meine Datenbank lieber mit 100 Variationen genetisch entwickelter Strategien gefüllt sehen als mit nur einer Zufallsstrategie. Das garantiert natürlich keine robuste Strategie, aber es verbessert die Chancen, eine zu finden, deutlich. Ihr Test scheint mein eigenes Ergebnis zu bestätigen.

Außerdem habe ich das Gefühl, dass die Verwendung der ausgezeichneten Batch-Datei von gentmat die Chance erhöht, eine gute Strategie zu finden, da oft 1 der mehreren SQ-Instanzen für einen Thread weitaus mehr potenziell brauchbare Strategien ausspuckt als die anderen Instanzen. Die Chancen stehen gut, dass dies nicht so leicht passieren würde, wenn ich nur eine SQ-Instanz für mehrere Threads verwenden würde. Nochmals vielen Dank, gentmat!

AC1962

Dies ist eine spezielle Anfrage nur verwenden, wenn benötigt . sonst verwenden Sie den allgemeinen Code, den ich in der ersten Seite gepostet hier ist der Code ( Um jede Instanz umbenennen ) . Jede sq3-Instanz wird so benannt, wie Sie es wünschen. Beispiel : CrossMaSq3Instance und so weiter .
Bitte ändern Sie NumberOfSQInstances=2 entsprechend Ihrem Bedarf

Sagen wir, ich möchte 10 Instanzen: Ich setze NumberOfSQInstances=10
dann muss ich 10 davon erstellen:
arrayline[1]=CrossMaStrategyInstance einstellen
arrayline[2]=RSIStrategyInstance einstellen
set arrayline[3]..
arrayline[4] einstellen...
set arrayline[5]..

... bis arrayline[10]..= sein Name, wie auch immer er lautete.

Der Code lautet wie folgt, speichern Sie ihn in einer .bat-Datei

@echo aus
setlocal enabledelayedexpansion

NumberOfSQInstances=2 festlegen
arrayline[1]=CrossMaStrategyInstance einstellen
arrayline[2]=RSIStrategyInstance einstellen

set MainSQLocation=C:\StrategyQuant
set TempSQLocation=C:\temp
set SQParameters=-J-server -J-Xmx1g -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC

rmdir "%MainSQLocation%\temp" /S /Q
rmdir "%MainSQLocation%\log" /S /Q
rmdir "%TempSQLocation%\strategyquant-temp" /S /Q
mkdir "%TempSQLocation%\strategyquant-temp"

FOR /L %%A IN (1,1,%AnzahlderSQInstanzen%) DO (
mkdir "%TTempSQLocation%\strategyquant-temp\!arrayline[%%A]!"
)
FOR /L %%A IN (1,1,%AnzahlderSQInstanzen%) DO (
compact /c /s: "%TTempSQLocation%\strategyquant-temp\!arrayline[%%A]!"
)

c:
FOR /L %%A IN (1,1,%AnzahlderSQInstanzen%) DO (
xcopy "%MainSQLocation%" "%TTempSQLocation%\strategyquant-temp\!arrayline[%%A]!" /E /Y
CD "%TempSQLocation%\strategyquant-temp\!arrayline[%%A]!"
umbenennen StrategyQuant64.exe !arrayline[%%A]!.exe
start /LOW !arrayline[%%A]!.exe %SQParameter%

)

Hallo gentmat

Großartig! Danke für die geänderte .bat-Datei Code. Das funktioniert sehr gut.

Sehr geschätzt

AC1962

 Ich glaube, wenn die Strategie auf gute Qualität Geschichte Daten Test verlassen, wird es nicht stabil, ich werde das Monte Carlo sicher nicht.

Hallo gentmat

Großartig! Danke für die geänderte .bat-Datei Code. Das funktioniert sehr gut.

Sehr geschätzt
AC1962

Es gab unbenutzte Variablen im Skript, die ich jetzt gelöscht habe.
Es war keine Zuneigung, aber ich habe es trotzdem gelöscht, um sauberer zu sein.

Gesendet von meinem iPhone mit Tapatalk

Ich benutzte 2 cpu e5 2670 System auf diese Weise laufen, aber es stürzte zwei Mal in weniger als 24 Stunden, es erzeugen Fehler-Datei wie diese

Kann mir jemand helfen, was ist die Ursache für das Problem?

Ich danke Ihnen.

Gesamtspeicher ist 32G, da es 32 logische Kerne hat, habe ich 30 und 28 Kopien gemacht, ist das durch nicht genug Speicher verursacht? aber jeder setzt die Grenze auf 1G, 

yourrodstaff,

Um es einfach auszudrücken, mit 32 Kernen (Threads?) ist 32 GB nicht genug Speicher für eine große Anzahl von gleichzeitig laufenden SQ-Kopien. Das erste Problem ist, dass zwei CPUs für insgesamt 32 Kerne nicht dasselbe sind wie eine einzelne 32-Kern-CPU. Eine einzelne E5-2670 v1 CPU wird von PassMark mit einer Punktzahl von 12.505 bewertet, während eine Dual-CPU E5-2670 v1 mit 18.472 bewertet wird. Bei der gemeinsamen Nutzung von Ressourcen - Arbeitsspeicher, Festplattenzugriff usw. - gibt es eine Menge Overhead und Ineffizienz. In diesem Fall ist ein Dual-CPU-System weniger als 150% von zwei unabhängigen E5-2670-Computern. Ich benutze zufällig zwei dieser Maschinen, und obwohl sie weniger leistungsfähig sind, waren sie die beste verfügbare CPU-Leistung für das Geld.

Diese inhärente Ineffizienz bei Nicht-CPU-Ressourcen wird noch verschärft, wenn nicht genügend Speicher vorhanden ist. Wenn Sie eine Vorstellung davon bekommen wollen, wie viel Speicher wirklich frei ist, booten Sie den Rechner, ohne etwas zu laden, und öffnen Sie den Task-Manager. Dieser zeigt Ihnen die Menge des verwendeten Speichers an. Der freie Speicher ist 100% - die Menge, die im Task-Manager angezeigt wird. Mein Single-CPU I7-4770 (den ich verwendet habe, bevor ich die E5-2670s gekauft habe) mit 16 GB zeigt beispielsweise 7% Speicherauslastung nach einem Neustart an. Das bedeutet, dass der maximal verfügbare Speicher 93% der 16 GB oder nicht mehr als 14,88 GB beträgt. Wenn Sie jeder Kopie von SQ 1 GB zuweisen, sollten Sie theoretisch maximal 14 Kopien ausführen können. In der Praxis habe ich 12 Kopien mit 1 Thread-Auslastung und 1 GB zugewiesenem Speicherplatz betrieben und musste etwa alle 1-2 Wochen mit Abstürzen leben.

Wenn Sie andere Programme wie Virenscanner oder Festplatten-Caching verwenden, verringert sich die Anzahl entsprechend. Wenn Sie Ihren Computer für andere Aufgaben verwenden, müssen Sie weniger Kopien zuweisen. Ein weiterer Faktor ist, dass die Speichernutzung nicht linear mit jeder Instanz ist. Für jede Kopie von SQ, die Sie öffnen, öffnet SQ etwa 50 zusätzliche Threads, die jeweils mehr Systemspeicher beanspruchen. Es gibt also keine exakte Formel, die ich kenne, um die maximale oder optimale Kombination zu finden, und sie alle müssen mit dem Betriebssystem, den CPUs, den Speicher-Controllern, den Festplatten-Controllern usw. koordiniert werden, was mehr Ressourcen erfordert. Stellen Sie sich das wie Kinder im Kindergarten vor, die Probleme sind exponentiell, nicht linear.

Für maximale Leistung müssen Sie ein Festplatten-Caching-Programm wie PrimoCache verwenden, da Ihr Computer sonst beim erneuten Einlesen der Daten ins Stocken gerät. Dieses Programm benötigt auch etwa 15 - 25% Ihres RAM, was weniger Instanzen bedeutet, aber die Leistungsverbesserung ist es wert. Meine Systeme kamen mit 20 - 25 Instanzen und einer maximalen CPU-Auslastung von 50% - 70% absolut ins Stocken, obwohl ich 128GB hatte. Als ich PrimoCache installierte und ihm 32 GB zuwies, konnte ich 40 Instanzen mit jeweils 2 GB laden, also insgesamt 80 GB Speicherverbrauch plus die 32 GB für den Cache, und der Engpass verlagerte sich auf die CPU-Auslastung, die jetzt 100% über alle Threads beträgt, im Gegensatz zum Festplattendurchsatz. Wenn man darüber nachdenkt, liest SQ bei jedem Test dieselben Daten, und wenn diese Daten im RAM statt auf einer HDD-Platte gespeichert werden können und einfach PrimoCache (oder ein anderes Cache-Programm) verwendet wird, erhöht sich die Leistung erheblich.

Ich verwende zwei Systeme mit 32 Threads (e5-2670 v1) und jeweils 128 GB, die beide PrimoCache mit 32 GB nutzen. Ein Computer wird 24/7 100% der Zeit verwendet, um Strategien zu generieren, und führt 40 oder mehr Instanzen von SQ (ein Thread pro Instanz) mit 2 GB für jede Instanz aus. Der zweite Computer dient mir als täglicher Computer, als Dateiserver, Backup-Server und Videoserver für alle Multimedia-Inhalte im Haus und führt immer noch 24-28 Instanzen von SQ mit 2 GB pro Kopie aus. Eine Sache - ich muss jeden Rechner alle ein bis zwei Wochen neu starten, da irgendwo ein Speicherleck vorhanden ist.

Ich hoffe, dass dies hilfreich ist.

Dave

Dave,

Vielen Dank für die sehr ausführliche Darstellung der Probleme und den Erfahrungsaustausch. 

Der Grund, warum ich das getan habe, ist, dass in den ersten 12 Stunden nach dem Start der Speicherzähler in jedem Job fast flach ist, er hielt etwa 700Mb und insgesamt 77% Speicherverbrauch und die CPU ist wie 100% geladen. So glaubte ich, es war ok, so zu halten, aber nach über Nacht stürzte es.   

 Also habe ich auf 14 Jobs mit jeweils 2gb reduziert, so dass die CPU jetzt bei 50% und der Speicher bei 40% liegt, was länger dauern sollte als das erste Setup, aber basierend auf deiner Erfahrung scheint es immer noch nicht genug zu sein. Ich habe jetzt insgesamt 64Gb Arbeitsspeicher, und ich werde Ihren Vorschlag bezüglich des Festplatten-Cache-Speichers ausprobieren.

Nochmals vielen Dank für Ihre Hilfe!

Ich werde Ihnen eine E-Mail schicken und versuchen, das zu beheben. Hinzufügen GB ist eine gute Idee für sicher in jedem Fall