Tutoriel vidéo SQ Max Speed & Performance CPU, Ram, Disk & Extra 6k Strategy Quest challenge

https://www.youtube.com/watch?v=l6oRsTNm0yc

// Voici le lien de la vidéo, regardez-la en espérant qu'elle vous plaira. OUI je suis arabe et l'accent suit
Si vous avez un problème avec ça, je suis vraiment désolé, mais je dois vous tuer.

Un grand merci à "GeekTrader", ce tutoriel vidéo a pour but de vous apprendre à maximiser la vitesse de SQ 3.
Réglage du processeur, des rampes et des disques durs / SSD

L'article original fait plus de 10 pages, ce qui semble un peu compliqué pour les débutants.
étape par étape dans cette vidéo + ajout de mes propres réglages (j'espère que cela aidera les débutants et même les utilisateurs professionnels de SQ).

La fin de la vidéo est une invitation à contribuer davantage en filtrant quelques bonnes stratégies et en nous montrant la procédure... Je suis sûr que chaque professionnel choisira une (des) stratégie(s) différente(s) que nous devons apprendre de ceux qui contribuent.

Liens de la vidéo :

https://www.youtube.com/watch?v=l6oRsTNm0yc

* Stratégies : https://drive.google.com/file/d/0B83k2vKtYK80UWNuWDZsenpQNzQ/view?usp=sharing

* Version 9 de Java : http://cdn.azul.com/zulu-pre/bin/zulu…

* Le scipt A utiliser pour l'ouverture par lot de SQ, Créer un nouveau fichier .bat et ajouter ces lignes de codes et appuyer sur
sauvegarder . Regardez la vidéo pour savoir comment régler les paramètres.

Il s'agit d'un nouveau script si vous souhaitez renommer chaque instance afin de connaître le travail de chacune d'entre elles ( si vous n'avez pas besoin de cette option, utilisez le code ci-dessus ).
1- NumberOfSQInstances= "à n'importe quel nombre d'instances que vous voulez exécuter" Disons "X" instances.
2- set arrayline[1]=CrossMaStrategyInstance
set arrayline[2]=RSIStrategyInstance
.... Continuez à en déclarer d'autres en fonction de vos instances X
Disons que nous voulons 3 instances, j'en ajouterai donc une de plus.
arrayline[3]=autreNouvelleInstance

Le code est le suivant :

Combien de stratégies avez-vous dans la banque de données ?

Bonjour Clonex

1295 stratégies dans la banque de données

AC1962

Bonjour gentmat

Cela fait maintenant 2,5 jours que je fais tourner SQ, en utilisant le script de fichier batch que vous recommandez, réglé sur 1Gb RAM / thread / instance SQ. Chaque instance est configurée avec les paramètres recommandés de Zulu 9.0.0.2.

Alors que la vitesse globale de création des stratégies est nettement améliorée, je remarque que le compteur de consommation de mémoire pour chaque instance de SQ augmente rapidement avec le temps, apparemment par rapport à la quantité de stratégies sauvegardées dans la banque de données. Voir la capture d'écran ci-jointe de compteur de consommation de mémoire de l'instance SQ avec la plus grande quantité de stratégies dans la banque de données (~1300). Elle atteint presque la limite de 1Gb RAM fixée par le script.

Dans votre vidéo, vous indiquez que pour cette configuration, vous vous attendez à ce que le compteur de consommation de mémoire de SQ reste raisonnablement stable, ne dépassant pas 500 Mo sur une période d'environ une semaine. Pouvez-vous m'expliquer pourquoi, après seulement 2,5 jours, mon SQ Le compteur de consommation de mémoire approche déjà les 1Gb, lorsqu'il est réglé sur 1 thread et que l'on utilise Zulu 9.0.0.2 ? La configuration de mon PC est la suivante : Windows 10 home ; 4-core i7 CPU ; 16Gb RAM.

Lorsque j'exécutais auparavant une instance de SQ avec un nombre de threads fixé à 8, même si la vitesse de création de la stratégie était plus lente, le paramètre Le compteur de consommation de mémoire a rarement approché les 3 Gb, même après 6 jours de fonctionnement continu de la SQ.

Je suis juste curieux, parce que pour augmenter mon allocation de RAM de 1Gb à 2Gb par instance SQ, je devrais augmenter ma RAM totale installée de 16Gb à 24Gb ou 32Gb.

Toute information que vous pourriez fournir à ce sujet serait très appréciée.

Remerciements
AC1962

Nombre d'habitants ? Quel est le nombre d'habitants ?
Qu'est-ce que vous utilisez ? Et l'entrée sur le marché !
Et gardez-vous dans l'indicateur le plus haut et le plus bas ? Utilisez-vous l'un ou l'autre de ces 4 indicateurs ?

Envoyé depuis mon iPhone avec Tapatalk

Bonjour gentmat

Voir ci-dessous

Nombre d'habitants ? Quel est le nombre d'habitants ?

Taille de la population génétique = 100

Qu'est-ce que vous utilisez ?

période = H4

Et l'entrée sur le marché !

Entrer à l'arrêt

Et tenez-vous compte de l'indicateur le plus élevé, le plus bas ?

Oui

Utilisez-vous l'un de ces 4 indicateurs ?

Oui, les 4 : PLUS HAUT ; MOINS HAUT ; HR ; LR

Remerciements

AC1962

Bonjour gentmat,

Nous vous remercions de nous avoir fait part de votre analyse des performances, de vos suggestions utiles, de vos conseils en matière de performances et de votre excellent script pour le fichier bat permettant de créer plusieurs sessions de SQ. 

Mes systèmes sont des stations de travail Lenovo D30 personnalisées, chacune équipée de deux Xeon E5-2670 avec 16 cœurs (32 virtuels) et 128 Go de mémoire vive. L'un est dédié à la recherche de stratégies 24/7 et l'autre est utilisé pour analyser les stratégies afin de les affiner dans un portefeuille. Auparavant, je mettais à jour manuellement 32 copies de SQ chaque fois que je voulais faire un changement. Maintenant, je modifie simplement la copie principale en exécutant le fichier batch et la vie est tellement plus facile !

Les disques SSD de mes systèmes sont réservés à Windows 10 et sont donc relativement petits (240 Go). SQ et les autres programmes FX fonctionnent sur un disque dur de 2TB qui peut facilement accueillir les installations originales et 32 copies de SQ et utilise toujours moins de 25% de l'espace disque. Vous avez mentionné l'utilisation de Supercache et j'aimerais vous suggérer une alternative. PrimoCache offre un essai gratuit de 60 jours et un prix d'achat de $30. L'installation est facile et les performances sont remarquables. (Je n'ai aucune affiliation avec l'un ou l'autre de ces logiciels).

Je me demandais depuis longtemps s'il était plus efficace d'utiliser la génération aléatoire ou l'évolution génétique. J'ai donc utilisé votre script et créé une étude pseudo-scientifique pour essayer d'obtenir quelques points de données. J'ai créé deux fichiers batch basés sur votre script pour générer 10 copies en utilisant l'évolution génétique et 10 copies en utilisant la sélection aléatoire. Les deux étaient basés sur les mêmes données de prix, les mêmes paramètres de spread et de slippage, les mêmes dates entre l'apprentissage et la validation et les mêmes conditions de classement. (Les deux séries de 10 copies ont fonctionné simultanément pendant 24 à 36 heures, puis elles ont été arrêtées et les stratégies créées ont été comptées et sauvegardées pour une analyse ultérieure. Pour chacun des trois tests, le total des 10 banques de données d'évolution génétique contenait au moins 200 fois le nombre de stratégies contenues dans les banques de données de génération aléatoire. Voici les données récapitulatives du dernier test de 24 heures :

L'évolution génétique :

Nombre d'instances : 10

Nombre minimum de stratégies dans la banque de données : 33

Nombre maximum de stratégies dans la banque de données : 129

Nombre total de stratégies pour les dix instances : 582

Sélection aléatoire :

Nombre d'instances : 10

Nombre minimum de stratégies dans la banque de données : 0

Nombre maximum de stratégies dans la banque de données : 2

Nombre total de stratégies pour les dix instances : 2

Il est évident qu'une seule personne effectuant trois tests sur des périodes différentes ne constitue pas une étude valable. J'aimerais donc savoir si d'autres utilisateurs ont recours à la génération aléatoire et, le cas échéant, s'ils sont en mesure de générer des stratégies plus rapidement. Y a-t-il d'autres avantages à utiliser la génération aléatoire plutôt que l'évolution génétique ?

________________________________________

Voici les paramètres utilisés pour ce test :

Données : EURUSD M5 données de Dukascopy

Dates du backtest : 05.05.2003 au 11.04.2012

Dans l'échantillon du 05.05.2003 au 04.01.2010

Hors échantillon : du 04.01.2010 au 11.04.2012

Répartition : 2.0

Dérapage 3.0**

Précision du test : M1

Critères de classement - rejeter tout ce qui correspond :

Dans l'échantillon :

1TP9Facteur d'adaptation : < 1.3

Ratio retour/diffusion : < 3.3

% gagne : < 30%

Nombre de transactions : < 300

Hors échantillon :

1TP9Facteur d'adaptation : < 1.3

Ratio retour/diffusion : < 1.1

% gagne : < 30%

Nombre de transactions : < 100

** Le premier test robuste a consisté à déterminer la sensibilité au slippage. Mon hypothèse, qui peut être incorrecte, est que si la stratégie est déjà performante avec un slippage de 3 pip, elle ne peut que s'améliorer sans slippage. Tous les commentaires et conseils sont les bienvenus.

Bonjour Dave

J'ai initialement installé SuperCache sur mes 2 PC sous Windows 10. Il a bien fonctionné sur l'un des PC, mais a provoqué le plantage continuel du 2ème au redémarrage. Vérification de SuperCache soutien Il semble qu'il s'agisse d'un problème connu. 3x solutions sont proposées mais les deux premières n'ont pas fonctionné pour moi, et la troisième je n'avais pas la confiance des informaticiens pour l'essayer. Le résultat net est que j'ai dû faire intervenir mon fournisseur de PC et j'ai fini par réinitialiser Windows 10 pour résoudre le problème 🙁 et supprimer SuperCache. Après avoir cherché sur le web, j'ai également trouvé PrimoCachequi est non seulement beaucoup moins cher, mais qui a de meilleures évaluations, offre une bien meilleure assistance en ligne, a un forum actif, s'installe proprement, a plus de fonctionnalités mais reste très facile à utiliser. PrimoCache est maintenant installé sur mes deux PC et fonctionne très bien.

Après un premier test, j'utilise désormais toujours et uniquement l'évolution génétique, car la fonction d'évolution fournit automatiquement un moyen d'améliorer plusieurs stratégies une fois qu'une stratégie satisfait aux critères d'acceptation. Souvent, lorsque SQ trouve une stratégie qui passe dans la banque de données, l'évolution génétique crée également une masse de stratégies de variation passables basées sur la première. Je préfère de loin voir ma banque de données remplie d'une centaine de variations de stratégies issues de l'évolution génétique, plutôt que d'une seule stratégie aléatoire. Cela ne garantit évidemment pas une stratégie robuste, mais améliore clairement les chances d'en trouver une. Votre test semble confirmer mes propres conclusions.

De plus, je pense que l'utilisation de l'excellent fichier batch de gentmat améliore les chances de tomber sur une bonne stratégie, car souvent 1x des multiples instances SQ à thread unique produira beaucoup plus de stratégies potentiellement viables que les autres instances. Il y a fort à parier que cela ne se produirait pas aussi facilement si j'utilisais 1x instance SQ pour plusieurs threads. Merci encore gentmat !

AC1962

Il s'agit d'une demande spéciale à n'utiliser qu'en cas de besoin, sinon utilisez le code générique que j'ai posté sur la première page, voici le code (pour renommer chaque instance). Chaque instance sq3 sera nommée comme vous le souhaitez . Exemple : CrossMaSq3Instance et ainsi de suite .
Veuillez modifier NumberOfSQInstances=2 en fonction de vos besoins.

Supposons que je veuille 10 instances : je mettrai NumberOfSQInstances=10
Je dois alors en créer 10 :
set arrayline[1]=CrossMaStrategyInstance
set arrayline[2]=RSIStrategyInstance
set arrayline[3]..
set arrayline[4]...
set arrayline[5]...

... jusqu'à ce que arrayline[10]..= son nom, quel qu'il soit .

Le code est le suivant : enregistrez-le dans un fichier .bat

@echo off
setlocal enabledelayedexpansion

set NumberOfSQInstances=2
set arrayline[1]=CrossMaStrategyInstance
set arrayline[2]=RSIStrategyInstance

set MainSQLocation=C:\NTP1T
set TempSQLocation=C:\Ntemp
set SQParameters=-J-server -J-Xmx1g -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC

rmdir "%MainSQLocation%\temp" /S /Q
rmdir "%MainSQLocation%\log" /S /Q
rmdir "%TempSQLocation%\strategyquant-temp" /S /Q
mkdir "%TempSQLocation%\strategyquant-temp"

FOR /L %%A IN (1,1,%NumberOfSQInstances%) DO (
mkdir "%TempSQLocation%\stratégiequant-temp\!arrayline[%%A] !"
)
FOR /L %%A IN (1,1,%NumberOfSQInstances%) DO (
compact /c /s : "%TempSQLocation%\stratégiequant-temp\!arrayline[%%A] !"
)

c :
FOR /L %%A IN (1,1,%NumberOfSQInstances%) DO (
xcopy "%MainSQLocation%" "%TempSQLocation%\strategyquant-temp\!arrayline[%%A] !" /E /Y
CD "%TempSQLocation%\stratégiequant-temp\!arrayline[%%A] !"
renommer StrategyQuant64.exe !arrayline[%%A] !.exe
start /LOW !arrayline[%%A] !.exe %SQParameters%

)

Bonjour gentmat

Très bien ! Merci pour la modification code du fichier .bat. Il fonctionne très bien.

Très apprécié

AC1962

 Je pense que si la stratégie repose sur des tests de données historiques de bonne qualité, elle ne sera pas stable, je vais échouer au monte carlo à coup sûr.

Bonjour gentmat

Très bien ! Merci pour la modification code du fichier .bat. Il fonctionne très bien.

Très apprécié
AC1962

Il y avait des variables inutilisées dans le script, je les ai supprimées.
Ce n'était pas de l'affection, mais je l'ai quand même supprimé pour être plus propre.

Envoyé depuis mon iPhone avec Tapatalk

J'ai utilisé un système à 2 cpu e5 2670 pour fonctionner de cette manière mais il s'est planté deux fois en moins de 24 heures, il a généré un fichier d'erreur comme celui-ci

Quelqu'un pourrait-il m'aider ? Quelle est la cause du problème ?

Nous vous remercions.

La mémoire totale est de 32G, puisqu'il y a 32 cœurs logiques, j'ai fait 30 et 28 copies, est-ce que c'est dû à un manque de mémoire ? mais chacun a fixé la limite à 1G, 

votrerodstaff,

Pour faire simple, avec 32 cœurs (threads ?) 32GB n'est pas une mémoire suffisante pour une grande quantité de copies de SQ fonctionnant en même temps. Le premier problème est qu'avoir deux CPU pour un total de 32 cœurs n'est pas la même chose qu'un seul CPU à 32 cœurs. Un seul processeur E5-2670 v1 est évalué par PassMark avec un score de 12 505 alors qu'un double processeur E5-2670 v1 est évalué à 18 472. Le partage des ressources (mémoire, accès au disque, etc.) entraîne de nombreux frais généraux et un manque d'efficacité. Dans ce cas, un système dual CPU est inférieur à 150% de deux ordinateurs E5-2670 indépendants. Il se trouve que j'ai utilisé deux de ces machines et, bien qu'elles soient moins puissantes, elles représentaient la meilleure puissance de traitement disponible pour le prix.

Cette inefficacité inhérente aux ressources autres que le CPU est exacerbée lorsque la mémoire est insuffisante. Si vous voulez avoir une idée de votre mémoire "libre" réelle, démarrez sans rien charger et ouvrez le gestionnaire de tâches. Vous verrez alors la quantité de mémoire utilisée. La mémoire libre est de 100% - la quantité affichée dans le gestionnaire de tâches. Par exemple, mon processeur unique I7-4770 (que j'utilisais avant d'acheter les E5-2670) avec 16 Go montre une utilisation de la mémoire de 7% après un nouveau démarrage. Cela signifie que la mémoire maximale dont je dispose est de 93% sur les 16 Go, soit pas plus de 14,88 Go. Si vous allouez 1 Go à chaque copie de SQ, le nombre maximum de copies que vous devriez théoriquement pouvoir exécuter est de 14. En réalité, j'avais l'habitude de faire tourner 12 copies avec une utilisation de 1 thread et 1 Go alloué et je vivais avec des plantages toutes les 1 à 2 semaines.

Si vous utilisez d'autres programmes tels que l'analyse antivirus ou la mise en cache du disque, le nombre de copies diminue en conséquence. Si vous utilisez votre ordinateur pour d'autres tâches, vous devez allouer moins de copies. Un autre facteur est que l'utilisation de la mémoire n'est pas linéaire avec chaque instance. Pour chaque copie de SQ que vous ouvrez, SQ ouvre environ 50 threads supplémentaires qui occupent chacun plus de mémoire système. Il n'y a donc pas de formule exacte que je connaisse pour trouver la combinaison maximale ou optimale et ils doivent tous se coordonner avec le système d'exploitation, les processeurs, les contrôleurs de mémoire, les contrôleurs de disque dur, etc. qui nécessitent plus de ressources. Les problèmes sont exponentiels et non linéaires.

Pour des performances maximales, vous devrez utiliser un programme de mise en cache du disque comme PrimoCache, sinon votre ordinateur s'enlisera dans la relecture des données. Ce programme nécessitera également environ 15 à 25% de votre RAM, ce qui signifie moins d'instances, mais l'amélioration des performances en vaut la peine. Mes systèmes s'enlisaient complètement avec 20 à 25 instances et une utilisation maximale du CPU de 50% - 70%, même si j'avais 128 Go. Lorsque j'ai installé PrimoCache et lui ai alloué 32 Go, j'ai pu charger 40 instances avec 2 Go alloués à chacune, pour un total de 80 Go de mémoire utilisée plus les 32 Go pour le cache, et le goulot d'étranglement s'est déplacé vers l'utilisation du CPU qui est maintenant de 100% pour tous les threads, par opposition au débit du disque dur. Si vous y réfléchissez, SQ lit les mêmes données pour chaque test et si ces données peuvent résider dans la RAM plutôt que sur un plateau de disque dur, l'utilisation de PrimoCache (ou de tout autre programme de cache) augmentera considérablement.

J'utilise deux systèmes à 32 threads (e5-2670 v1), chacun avec 128 Go, tous deux utilisant PrimoCache à 32 Go. Un ordinateur est utilisé 24 heures sur 24, 7 jours sur 7, 100% du temps pour générer des stratégies et exécuter 40 instances ou plus de SQ (un thread par instance) avec 2 Go alloués à chaque instance. Le second est mon ordinateur de tous les jours, le serveur de fichiers de la maison, le serveur de sauvegarde et le serveur vidéo pour tous les multimédias de la maison, et il exécute toujours 24 à 28 instances de SQ à raison de 2 Go par copie. Une chose est sûre : je dois redémarrer chaque machine toutes les semaines ou toutes les deux semaines, car il y a une fuite de mémoire quelque part.

J'espère que cela vous aidera.

Dave

Dave,

Merci beaucoup pour l'illustration très détaillée des problèmes et le partage des expériences. 

La raison pour laquelle j'ai fait cela est que dans les 12 premières heures après le début de l'exécution, le compteur de mémoire à l'intérieur de chaque tâche est presque plat, il gardait environ 700Mb et un total de 77% d'utilisation de la mémoire et le CPU est environ 100% chargé. Je pensais donc qu'il était possible de continuer ainsi, mais au bout d'une nuit, il s'est planté.   

 J'ai donc réduit le nombre de tâches à 14, chacune avec 2 Go alloués, ce qui fait que le CPU est maintenant à 50% et la mémoire à 40%, ce qui devrait durer plus longtemps que la première configuration, mais d'après votre expérience, il semble que ce ne soit pas encore assez. Je dispose maintenant d'une mémoire totale de 64 Go et je vais essayer votre suggestion concernant la mémoire cache du disque.

Encore une fois, j'apprécie votre aide !

Je vous enverrai un courriel pour essayer de résoudre ce problème. L'ajout de GB est une bonne idée en tout cas.