Evoluzione genetica multipla in corso contemporaneamente

Salve,

 

Sto usando SQ per trovare strategie azionarie e vorrei eseguire più evoluzioni genetiche, una per ogni azione allo stesso tempo, è possibile?

 

Ad esempio, il mio computer esegue un'evoluzione genetica per Apple, un'altra per Intel, un'altra per Cisco e così via.

 

Per trovare la migliore strategia per ogni azione in modo indipendente e allo stesso tempo.

 

Saluti

Sì, dopo aver installato sq, copiare e incollare la cartella di installazione (duplicare) ed eseguire 2 istanze del programma. ogni istanza cambia le impostazioni dei dati, una apple e la seconda cisco e più istanze e più dati come il vostro pc può gestire.

Sì, esattamente così. Personalmente gestisco 22 istanze su un server con 64GB di RAM 🙂

lol geek qual è la tua cpu? dual xeon **** numero?

6-core 4930k @ 4.5GHz. Già 12 istanze lo caricherebbero completamente, ma con 22 non devo riavviare l'ottimizzazione genetica per alcune ore, dato che 22 istanze lo tengono occupato per 17 ore:)

@geektrader,

Ho lo stesso 4930K ma la mia cpu ha solo 3,8 GHZ non di più.

 

Domanda1:

Esegui l'overclock del tuo sistema e utilizzi il WaterCooling?

 

 

Se eseguo più di due istanze di SQ sulla stessa macchina, dopo un po' SQ si blocca.

 

Domanda2:

alcuni SQ si bloccano sul sistema o si bloccano?

 

Domanda3:

Quali impostazioni utilizzate per avviare l'SQ?

Ciao 🙂

 

1) Sì, lo overclocco a 4,5Ghz e uso un raffreddamento ad aria con un grosso dissipatore per CPU da 1200g. Le temperature vanno assolutamente bene sotto gli 80°C (il TJ Max di quella CPU è di 95°C).

 

2) No, nemmeno le 22 istanze di SQ si sono bloccate qui, nessuna di esse lo ha mai fatto. Le hai copiate in cartelle diverse, vero? E hai anche abbastanza spazio su HD e RAM? Altrimenti non funzionerà. Ho creato un file batch per automatizzare questa operazione.

 

3) La linea di lancio è "StrategyQuant64.exe -J-server -J-Xmx2600m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts" Ho 64 GB di RAM, quindi 22 x 2,6 GB = 57,2 GB di utilizzo massimo della RAM di tutte le istanze. Bisogna sempre fare attenzione affinché tutte le istanze non occupino mai più RAM di quanta se ne abbia in totale. Utilizzo queste 22 istanze SOLO per eseguire l'ottimizzazione genetica su 14 anni di dati M30 in modalità di simulazione tick. Per questo, 2,6 GB per istanza sono sufficienti. Per la generazione di strategie su 14 anni di dati M30, SQ ha bisogno di almeno 5000MB di RAM per istanza quando è impostata per l'utilizzo di un solo core della CPU nella finestra di dialogo delle impostazioni - altrimenti l'utilizzo della RAM aumenta pesantemente per istanza se si impostano più core. Quindi, in questo caso, sto usando solo 12 istanze (il che esaurisce anche la CPU, dato che il 4930k ha 6 core + 6 HT) e se ogni istanza usa tutti i 5 GB, l'uso totale della RAM è di 60 GB. Tuttavia, 12 istanze su quella CPU sono l'unico modo per non lasciare risorse inutilizzate, dato che SQ, almeno quando genera strategie, utilizza a malapena più di 1,5 core in media anche quando è impostato per utilizzare 12 core. Quindi lancio semplicemente queste 12 istanze, tutte impostate per utilizzare un solo core della CPU, e posso sfruttare al massimo il computer anche durante la generazione delle strategie, invece di perdere tempo perché SQ è così inefficace con il multi-threading durante la generazione delle strategie. Spero seriamente che in SQ 4 la cosa diventi molto più efficiente...

 

Come ho calcolato questi valori? Tutto per tentativi ed errori... ad esempio per la generazione di stratiges su M15, l'utilizzo della RAM sarà diverso. Quindi bisogna sperimentare....

 

Buona fortuna:)

Non ho mai avuto un arresto anomalo di SQ, né sulla mia vecchia build personalizzata AMD, né sul mio nuovo dell poweredge che utilizza xeon intel. Ho eseguito 4 istanze simultanee di SQ sul poweredge nell'ultima settimana con circa 20 milioni di gen casuali, senza problemi.
Ora ho un altro PowerEdge e intendo fare la stessa cosa. Ciascuno ha 8 thread, ~ 3,5GHZ, 32GB di ram. Esecuzione di zulu performance mod.

Geektrader bella configurazione e tutto ciò che hai spiegato riguardo alla cpu e all'HT è perfettamente corretto. 

 

tnickel Se l'applicazione schiaccia con 2 istanze, Queste sono le seguenti cose che si deve pensare fuori.

Illiminare punto per punto finché non si risolve l'errore o lasciare che un professionista lo verifichi per saperlo. 

 

1- Controllare la versione di Windows e ripristinare le impostazioni di fabbrica ("CLEAN WINDOWS")... Questa è la prima cosa che si può fare facilmente come eliminazione.

2- Dopo un'installazione pulita, aprire "Task manager" e tenerlo aperto per controllare l'uso della cpu quando è inattivo, l'uso della ram e l'uso del disco".

3- Iniziare a caricare la prima istanza e controllare il consumo (e incollare qui quello che si vede) 

 

Se questi 3 non funzionano, suggerirei vivamente di controllare la RAM come hardware, potrebbero causare problemi specialmente con le applicazioni finanziarie e la matematica pura, ecco perché le aziende sono solite andare per le schede madri xeon in quanto supportano le ram ECC che non fanno errori con i calcoli e così via. Ma credo che gli intel i7 con le normali ram e la scheda madre vadano abbastanza bene. 

Anche la scheda madre può influire sulla ram, ma è meglio controllare prima la ram.

 

Credo che Geektrader abbia una buona scheda madre, probabilmente una X99 deluxe o una rampage, che lo sta aiutando con la stabilità. 

ciao gentmat,

questo accade in più di due casi.

Se avvio solo due istanze, tutto funziona bene.

 

L'arresto anomalo si verifica su macchine diverse.

AMD Bulldozer (16 GB), I7-4790 (32 GB), I7-3930 (64 GB), I7-3770 (32 GB)

 

Credo che non si tratti di un difetto dell'hardware

Farò uno stresstest della ram e guarderò.

 

Il raffreddamento della CPU è buono, l'ho verificato.

 

Credo che ci sia un bug in SQ 3.8.1. SQ ha una perdita di memoria che causa il blocco.

 

Controllerò le impostazioni

“StrategyQuant64.exe -J-server -J-Xmx2600m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts"

 

Hm... è possibile che XEON sia più stabile?

 

Tommaso

Allora non si tratta di hardware.
1- Cambiare orancle java in Zulu, sostituire j64 con zulu (cancellare la cartella interna e sostituirla con zulu, perde appena).
2- Mettere windown 2008 o 2012 .
3- Xeon non è la cosa che influisce sulla stabilità, quello che ti ho detto è che le schede madri usate per gli xeon accettano le ram ECC, per questo le aziende usano gli xeon anche per piccole applicazioni finanziarie. ma dopo il 2014 l'architettura delle cpu è cambiata, ora si possono avere normali schede madri per i7 che accettano tali ram (freq. più bassa delle ram consumer da gioco ma più stabile).
4- Andare nelle opzioni e scegliere manualmente il numero di thread di ogni istanza, quindi se si dispone di 8 core, 16 thread e si hanno 2 istanze aperte, assegnare 4 thread per ogni istanza.

Strano, almeno posso dire che non ho avuto alcun crash né perdite di memoria con 3.8.1. Ho appena terminato un'altra esecuzione di 22 istanze sulla macchina #1 e 7 istanze sulla macchina #2, tutto bene.

Ciao geektrader,

22 * 8 fili = 176 Filo sulla macchina #1

e

7*8 fili=56 fili sulla macchina #2

 

o

 

22*1=22 fili sulla macchina #1

e 7 fili sulla macchina #1

 

???

 

 

Con zulu o oracle java?

 

Tommaso

In realtà 22 x 12 fili sulla macchina #1 e 7 x 8 sulla macchina #2, sì. Utilizzando Zulu.