Instances optimales de SQ3 par cœur et scripts pour les gérer
21 réponses
Seuil
il y a 10 ans #115144
Quel est le nombre optimal de # d'instances SQ3 que vous exécutez par cœur ?
Je fais 1 instance SQ par cœur et c'est multithread, donc je fais 2 threads par SQ sur mes vieux Poweredges Dell.
Il y a des programmes ou des scripts qui permettent de gérer plusieurs instances de logiciels ? Mon nouveau serveur a 32 cœurs, soit 32 instances de SQ3, peut-être 16, que je vais probablement installer et faire tourner sur ce serveur pour une vitesse de génération de stratégie optimale. C'est beaucoup de travail de changer leurs paramètres et tout si je veux qu'ils fassent tous exactement la même chose.
0
mikeyc
il y a 10 ans #137094
SQ est multithread, pouvez-vous expliquer pourquoi vous faites cela ? J'ai peut-être oublié quelque chose dans une discussion quelque part....
0
Seuil
il y a 10 ans #137097
Vous obtiendrez des résultats bien plus rapides en utilisant plusieurs instances. SQ3 utilise le multithreading et les cœurs de manière très inefficace, même avec le hack de Zulu.
1 SQ par cœur en utilisant 2 threads semble être optimal, peut-être même 1 SQ par thread.
0
Cujo
il y a 10 ans #137102
Je fais tourner 4 instances de SQ en ce moment sur cette machine (j'ai pris la capture d'écran il y a un moment, puis j'ai été distrait, mais elle tourne toujours). Avec le hack Zulu et la ligne de commande du fil de Geektrader.
Il n'est pas super rapide, mais il fonctionne bien. J'ai changé de machine au début du mois, en rétrogradant en fait, car la dernière machine était trop gourmande.

0
statistique
il y a 10 ans #137325
Quel est le nombre optimal de # d'instances SQ3 que vous exécutez par cœur ?
Je fais 1 instance SQ par cœur et c'est multithread, donc je fais 2 threads par SQ sur mes vieux Poweredges Dell.
Il y a des programmes ou des scripts qui permettent de gérer plusieurs instances de logiciels ? Mon nouveau serveur a 32 cœurs, soit 32 instances de SQ3, peut-être 16, que je vais probablement installer et faire tourner sur ce serveur pour une vitesse de génération de stratégie optimale. C'est beaucoup de travail de changer leurs paramètres et tout si je veux qu'ils fassent tous exactement la même chose.
Je pense que vous avez 16 cœurs réels / 32 threads. J'ai la même machine (deux sockets Xeon E5-2630), SQ ne peut pas utiliser plus de 4 cœurs réels, donc vous pouvez utiliser 16 cœurs réels et exécuter 4 instances SQ et il chargera 98%, mais vous devez optimiser le disque (SSD-PCI-X en RAID0 fera l'affaire).
Même si vous activez 32 sur SQ, il n'y aura pas de différence avec 4 threads. J'ai effectué des tests approfondis sur différentes machines et ces performances sont optimales. Si vous exécutez plus d'instances, elles se battront pour le temps de l'unité centrale et la file d'attente sera longue. Mais je n'ai pas vérifié le nombre de stratégies, je ne parle que de la charge CPU et des files d'attente. Si vous pouvez vérifier pour moi la vitesse réelle de génération X stratégies/minute. Je pense qu'il peut être intéressant d'abandonner la file d'attente du CPU.
Si vous faites ce test, cela m'aidera à faire de même :
Test #1 Exécutez 1-2-3-4-x instances SQ pour charger l'unité centrale 100%, et mesurez le nombre de générations créées (utilisez Random dans ce cas, en moyenne il y aura la même taille de stratégies).
Test #2 Exécutez 1-2-3-4-x + 1-2-3-4 instances supplémentaires de SQ et mesurez le nombre de stratégies générées.
J'espère que vous utilisez Server 2012 sur cette machine ou au moins Windows 10.
De cette manière, nous pourrons déterminer ce qui est optimal. Je n'ai pas appliqué de hacks car il n'y en a pas besoin, tous les cœurs réels sont chargés au maximum.
J'attendrai vos résultats et j'afficherai les miens.
======
Cujo
L'utilisation du Cloud est une perte d'argent, ils ne vous donneront jamais de vrais cœurs, mais des vCPU merdiques qui sont 4 à 10 fois plus lents que les vrais cœurs. Il suffit d'opter pour un serveur dédié ou d'acheter une machine E5 décente.
0
bord de la mer
il y a 10 ans #137331
L'exécution de plusieurs instances permet de paralléliser le flux de travail, ce qui est utile lorsque je veux décomposer les choses en un ensemble plus petit de blocs de construction.
Je suis nouveau à SQ et ce qui m'intrigue, c'est que malgré le nombre de cœurs ou la machine elle-même, le "CPU busy" ne dépasse pas 50%.
Ai-je oublié quelque chose qui empêche la SQ d'utiliser toutes les ressources disponibles ?
0
statistique
il y a 10 ans #137332
L'exécution de plusieurs instances permet de paralléliser le flux de travail, ce qui est utile lorsque je veux décomposer les choses en un ensemble plus petit de blocs de construction.
Je suis nouveau à SQ et ce qui m'intrigue, c'est que malgré le nombre de cœurs ou la machine elle-même, le "CPU busy" ne dépasse pas 50%.
Ai-je oublié quelque chose qui empêche la SQ d'utiliser toutes les ressources disponibles ?
Veuillez lire ma réponse précédente sur la machine avec 16 cœurs réels. L'instance 1x utilise seulement 25% pour les 16 cœurs (malgré la configuration pour utiliser 16 cœurs et/ou 32Threads), c'est pourquoi je décide qu'il s'agit de 4x cœurs. J'utilise une autre machine avec 4 cœurs et le même SET utilise 98% CPU. Je pense que Sq3 n'utilise que 4x cœurs réels et 7GB de ram ( pas 6GB comme mentionné mais 7GB (6,8GB) ), le serveur a un processeur de 38GHz (le threading n'est jamais compté, il vient en bonus), et ils sont TOUS utilisés avec 4 instances, mais j'en utilise 6, juste pour m'assurer que j'en tire tout le jus, malgré la file d'attente du processeur.
0
bord de la mer
il y a 10 ans #137333
Oui, j'ai compris, ce que je voulais dire c'est que je vois la même faible charge même avec 4x cores. C'est pour la phase de génération.
0
geektrader
il y a 10 ans #137337
Mes conclusions sont que 1,5 threads par instance sont optimaux (calcul théorique), j'ai compris il y a un an quel était l'optimum. Puisque la valeur est de 1,5 threads, je m'en tiens à 1 thread par instance, aussi parce que la mémoire est doublée si l'on passe de 1 à 2 threads, mais l'utilisation du CPU n'est pas vraiment doublée (juste ~1,6). Par conséquent, 1 thread par instance est l'optimum pour moi. Le lancement se fait via un fichier .bat qui copie SQ dans X répertoires puis les lance tous (vous devez le faire via la ligne de commande "START blah.exe" de Windows à partir du fichier .bat, sinon le fichier .bat est quitté après le lancement de la première instance de SQ).
Exemple de 4 instances (en utilisant des répertoires compressés via NTFS si possible, en nettoyant les fichiers temp / logs de SQ avant la copie pour qu'ils ne soient pas copiés, en les démarrant tous avec une priorité BASSE pour que je puisse faire d'autres tâches et que les instances de SQ n'utilisent que la quantité de CPU qui est actuellement inutilisée par mon travail normal quotidien, en utilisant exclusion.txt pour éviter la copie de mon répertoire /strategies/ car il est énorme et n'a pas besoin d'être copié pour chaque instance puisque je peux simplement le charger depuis le répertoire principal de SQ depuis chaque instance) :
@echo off rmdir "C:\NTP9Tgram Files\NTP1T\Ntemp" /S /Q rmdir "C:\NTP9Tgram Files\NTP1T\Nlog" /S /Q rmdir "c:\temp\strategyquant-temp" /S /Q mkdir "c:\Temps\strategyquant-temp" /S /Q mkdir "c:\tempstrategyquant-temp\1" mkdir "c:\temp\strategyquant-temp\2" mkdir "c:\temp\strategyquant-temp\3" mkdir "c:\\N-tempstrategyquant-temp\N4" compact /c /s : "c:\N-tempstrategyquant-temp\N1" compact /c /s : "c:\N-tempstrategyquant-temp\N2" compact /c /s : "c:\N-tempstratégiequant-temp\N3" compact /c /s : "c:\N-tempstrategyquant-temp\N4" c : xcopy "C:\NTP9Tgram Files\NTP1T" "c:\Ntempstrategyquant-temp\N1" /E /Y /EXCLUDE:exclusion.txt CD "c:\temp\strategyquant-temp\1" start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC xcopy "C:\NTP9Tgram Files\NTP1T" "c:\Ntempstrategyquant-temp\N2" /E /Y /EXCLUDE:exclusion.txt CD "c:\temp\strategyquant-temp\2" start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC xcopy "C:\NTP9Tgram Files\NTP1T" "c:\Ntempstrategyquant-temp\N3" /E /Y /EXCLUDE:exclusion.txt CD "c:\temp\strategyquant-temp\3" start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC xcopy "C:\NTP9Tgram Files\NTP1T" "c:\Ntempstrategyquant-temp\N4" /E /Y /EXCLUDE:exclusion.txt CD "c:\temp\strategyquant-temp\4" start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC
exclusion.txt contient juste :
stratégies
ce qui exclura le répertoire /strategies comme indiqué.
Bien entendu, vous devez également ajuster la quantité de RAM utilisée pour chaque instance en fonction de la mémoire de votre système. Et le fichier batch peut être facilement étendu aux endroits nécessaires pour utiliser plus ou moins d'instances. J'ai des fichiers batch pour 2 à 21 instances.
0
Seuil
il y a 10 ans #137338
Je pense que vous avez 16 cœurs réels / 32 threads. J'ai la même machine (deux sockets Xeon E5-2630), SQ ne peut pas utiliser plus de 4 cœurs réels, donc vous pouvez utiliser 16 cœurs réels et exécuter 4 instances SQ et il chargera 98%, mais vous devez optimiser le disque (SSD-PCI-X en RAID0 fera l'affaire).
Même si vous activez 32 sur SQ, il n'y aura pas de différence avec 4 threads. J'ai effectué des tests approfondis sur différentes machines et ces performances sont optimales. Si vous exécutez plus d'instances, elles se battront pour le temps de l'unité centrale et la file d'attente sera longue. Mais je n'ai pas vérifié le nombre de stratégies, je ne parle que de la charge CPU et des files d'attente. Si vous pouvez vérifier pour moi la vitesse réelle de génération X stratégies/minute. Je pense qu'il peut être intéressant d'abandonner la file d'attente du CPU.
Si vous faites ce test, cela m'aidera à faire de même :
Test #1 Exécutez 1-2-3-4-x instances SQ pour charger l'unité centrale 100%, et mesurez le nombre de générations créées (utilisez Random dans ce cas, en moyenne il y aura la même taille de stratégies).
Test #2 Exécutez 1-2-3-4-x + 1-2-3-4 instances supplémentaires de SQ et mesurez le nombre de stratégies générées.
J'espère que vous utilisez Server 2012 sur cette machine ou au moins Windows 10.
De cette manière, nous pourrons déterminer ce qui est optimal. Je n'ai pas appliqué de hacks car il n'y en a pas besoin, tous les cœurs réels sont chargés au maximum.
J'attendrai vos résultats et j'afficherai les miens.
======
Cujo
L'utilisation du Cloud est une perte d'argent, ils ne vous donneront jamais de vrais cœurs, mais des vCPU merdiques qui sont 4 à 10 fois plus lents que les vrais cœurs. Il suffit d'opter pour un serveur dédié ou d'acheter une machine E5 décente.
Non, j'ai un r810 avec 4 sockets (4x x7560)= 32 cores, 64 threads. 128GB ram, Windows Server 2008 Enterprise. Windows 10 ne peut pas utiliser 4 sockets, et je n'aime pas l'OS.
0
Seuil
il y a 10 ans #137373
Il semble que l'exécution de SQ au-delà d'un certain nombre de threads ait un impact négatif sur les vitesses de génération et les ralentisse.
J'ai testé 1 SQ avec 64 threads pour voir ce qui se passait : La vitesse de génération passe de 0.2s par stratégie à ~5-10s par stratégie. La charge du processeur a oscillé autour de 1-3% d'utilisation.
0
statistique
il y a 10 ans #137379
Il semble que l'exécution de SQ au-delà d'un certain nombre de threads ait un impact négatif sur les vitesses de génération et les ralentisse.
J'ai testé 1 SQ avec 64 threads pour voir ce qui se passait : La vitesse de génération passe de 0.2s par stratégie à ~5-10s par stratégie. La charge du processeur a oscillé autour de 1-3% d'utilisation.
Merci pour le test, il confirme ma pensée.
Le véritable test consistera à :
1. Créer un dossier avec 20000 stratégies
2. Le cloner (pour éviter toute modification de la part de SQ)
3. Charge (commencez par le bingeing pour éviter tout problème de mémoire / disque / CPU) charge propre
4. Test de fonctionnement pendant 20 ans sur M1 - temps record
5. Nettoyer tout, fermer
6. Passez à l'étape #3, comparez les résultats (répétez #3 pour chaque combinaison, avec Threads, sans Hyper threading et seulement Cores etc.)
C'est dans ma liste de choses à faire, mais si quelqu'un peut faire ce test, et montrer les résultats, ce serait utile.
0
Seuil
il y a 10 ans #137390
@echo off rmdir "C:\NTP9Tgram Files\NTP1T\Ntemp" /S /Q rmdir "C:\NTP9Tgram Files\NTP1T\Nlog" /S /Q rmdir "c:\temp\strategyquant-temp" /S /Q mkdir "c:\Temps\strategyquant-temp" /S /Q mkdir "c:\tempstrategyquant-temp\1" mkdir "c:\temp\strategyquant-temp\2" mkdir "c:\temp\strategyquant-temp\3" mkdir "c:\\N-tempstrategyquant-temp\N4" compact /c /s : "c:\N-tempstrategyquant-temp\N1" compact /c /s : "c:\N-tempstrategyquant-temp\N2" compact /c /s : "c:\N-tempstratégiequant-temp\N3" compact /c /s : "c:\N-tempstrategyquant-temp\N4" c : xcopy "C:\NTP9Tgram Files\NTP1T" "c:\Ntempstrategyquant-temp\N1" /E /Y /EXCLUDE:exclusion.txt CD "c:\temp\strategyquant-temp\1" start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC xcopy "C:\NTP9Tgram Files\NTP1T" "c:\Ntempstrategyquant-temp\N2" /E /Y /EXCLUDE:exclusion.txt CD "c:\temp\strategyquant-temp\2" start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC xcopy "C:\NTP9Tgram Files\NTP1T" "c:\Ntempstrategyquant-temp\N3" /E /Y /EXCLUDE:exclusion.txt CD "c:\temp\strategyquant-temp\3" start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC xcopy "C:\NTP9Tgram Files\NTP1T" "c:\Ntempstrategyquant-temp\N4" /E /Y /EXCLUDE:exclusion.txt CD "c:\temp\strategyquant-temp\4" start /LOW StrategyQuant64.exe -J-server -J-Xmx2500m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC
Trouvez-vous que cette méthode est beaucoup plus rapide que le chargement d'un fichier de paramètres "maître" dans chacun d'entre eux ou qu'elle est tout simplement moins fastidieuse ?
Le fait d'éviter les maux de tête en vaut probablement la peine à lui seul.
0
geektrader
il y a 10 ans #137394
Oui, je veux que tout soit correct et à jour pour chaque instance, d'autant plus que je ne veux pas mettre à jour les données de 28 paires chaque semaine sur X instances. De plus, les fichiers batch ont préconfiguré l'allocation de RAM pour mon système et la quantité d'instances qui sont exécutées à chaque fois. Je sais donc qu'ils sont toujours corrects. Et je lance souvent 16 instances à la fois par exemple, alors il devient même fastidieux de charger le fichier de configuration dans chacune d'entre elles. Avec un SSD + eBoostr, tous les lancements via les fichiers .bat prennent à peine 3 minutes ou moins.
0
Seuil
il y a 10 ans #137397
Je l'ai testé hier soir, il est nettement meilleur.
J'ai créé une copie distincte du dossier "master bin". Avant d'exécuter le lot, j'ai supprimé du dossier bin toutes les données historiques que je n'utiliserais pas. Beaucoup moins de gigaoctets copiés.
0
Seuil
il y a 10 ans #137398
Utilisation moyenne d'environ 80-85%. 32SQs 2 threads chacun. 64SQs avec 1 thread chacun aurait été trop de travail.
0