Video Tutorial SQ Massima velocità e prestazioni CPU, Ram, disco e 6k extra Sfida di strategia

https://www.youtube.com/watch?v=l6oRsTNm0yc

// Questo è il link del video, guardatelo, speriamo che vi piaccia. SÌ sono arabo e l'accento segue
Mi ha fatto morire, quindi se hai un problema con questo "Mi dispiace molto ma devo ucciderti".

Un grande merito va a "GeekTrader", questo video tutorial è per insegnare come massimizzare la velocità di SQ 3.
Messa a punto di CPU, ram e dischi rigidi/SSD

Il post originale è di circa 10 pagine e sembra un po' complicato per i principianti, quindi l'ho spiegato io.
passo dopo passo in questo video e ho aggiunto altre modifiche personali (spero che sia d'aiuto ai principianti e anche agli utenti professionisti di SQ).

Alla fine del video si chiede alle persone di contribuire maggiormente filtrando alcune buone strategie e mostrandoci la procedura... Sono sicuro che ogni professionista sceglierà una o più strategie diverse che dobbiamo imparare dai contributi.

Link del video:

https://www.youtube.com/watch?v=l6oRsTNm0yc

* Strategie: https://drive.google.com/file/d/0B83k2vKtYK80UWNuWDZsenpQNzQ/view?usp=sharing

* Versione 9 di Java : http://cdn.azul.com/zulu-pre/bin/zulu…

* Per utilizzare l'apertura batch di SQ, creare un nuovo file .bat e aggiungere queste righe di codice e premere
salvare . Guardate il video per imparare a modificare i parametri.

Questo è un nuovo script se si vuole rinominare ogni istanza in modo da poter conoscere il lavoro di ciascuna istanza (se non si ha bisogno di questa opzione, utilizzare il codice precedente).
1- NumberOfSQInstances= "al numero di istanze che si desidera eseguire" Diciamo "X" istanze
2- impostare arrayline[1]=CrossMaStrategyInstance
impostare arrayline[2]=RSIStrategyInstance
.... Continuare a dichiararne altri per adattarli alle istanze X
Supponiamo di volere 3 istanze, quindi ne aggiungerò una in più
arrayline[3]=altraNuovaIstanza

Il codice è :

Quante strategie avete in banca dati?

Ciao Clonex

1295 strategie in banca dati

AC1962

Ciao gentmat

Ho eseguito SQ per 2,5 giorni, utilizzando lo script del file batch raccomandato impostato su 1Gb di RAM / thread / istanza SQ. Ogni istanza è impostata con le impostazioni raccomandate Zulu 9.0.0.2.

Mentre la velocità complessiva di creazione delle strategie è molto migliorata, ho notato che il contatore del consumo di memoria per ogni istanza di SQ aumenta rapidamente con il tempo, apparentemente in relazione alla quantità di strategie salvate nella banca dati. Vedere la schermata allegata di Il contatore del consumo di memoria dell'istanza SQ con la maggior quantità di strategie nel database (~1300). È quasi al limite dell'impostazione dello script di 1Gb di RAM.

Nel tuo video indichi che per questa configurazione ti aspetteresti che il contatore del consumo di memoria di SQ rimanga ragionevolmente piatto, non superando i 500Mb nell'arco di una settimana o poco più. Sei in grado di spiegarmi come mai, dopo soli 2,5 giorni, il mio SQ Il contatore del consumo di memoria si sta già avvicinando a 1Gb, quando è impostato su 1 thread e utilizza Zulu 9.0.0.2? La configurazione del mio PC è: Windows 10 home; CPU i7 a 4 core; 16 Gb di RAM.

Quando in precedenza eseguivo 1 istanza di SQ con il conteggio dei thread impostato su 8, anche se la velocità di creazione delle strategie era più lenta, l'errore Il misuratore del consumo di memoria si è raramente avvicinato a 3Gb anche dopo 6 giorni di funzionamento continuo di SQ.

Sono solo curioso, perché per aumentare la mia allocazione di RAM da 1Gb a 2Gb per istanza SQ dovrò aggiornare la mia RAM installata complessiva da 16Gb a 24Gb o 32Gb.

Qualsiasi informazione che possiate fornire su questo problema sarà molto apprezzata.

Grazie
AC1962

Numero di abitanti? Quanto è
Cosa stai usando? E l'ingresso nel mercato!
E stai tenendo nell'indicatore il massimo e il minimo? Stai usando uno di questi 4 indicatori?

Inviato dal mio iPhone utilizzando Tapatalk

Ciao gentmat

Vedi sotto

Numero di abitanti? Quanto è

Dimensione della popolazione genetica = 100

Cosa stai usando?

time-frame = H4

E l'ingresso nel mercato!

Entrare alla fermata

E state tenendo in considerazione il valore più alto e più basso?

Sì

Stai utilizzando uno di questi 4 indicatori?

Sì, tutti e 4: HIGHEST; LOSEST; HR; LR

Grazie

AC1962

Ciao gentmat,

La tua gentile condivisione dell'analisi delle prestazioni, i suggerimenti utili, i consigli sulle prestazioni e l'ottimo script per il file bat per creare più sessioni di SQ sono molto apprezzati. 

I miei sistemi sono workstation Lenovo D30 personalizzate, ciascuna con doppio Xeon E5-2670 con 16 (32 virtuali) core e 128 GB di RAM. Una è dedicata alla ricerca di strategie 24 ore su 24, 7 giorni su 7, mentre l'altra è utilizzata per analizzare le strategie e perfezionarle in un portafoglio. Prima aggiornavo manualmente 32 copie di SQ ogni volta che volevo apportare una modifica, ora basta modificare la copia master ed eseguire il file batch e la vita è molto più semplice!

Le unità SSD sui miei sistemi sono solo per Windows 10 e come tali sono relativamente piccole (240 GB). SQ e gli altri programmi FX vengono eseguiti su un disco rigido da 2 TB che ospita facilmente le installazioni originali e 32 copie di SQ, utilizzando comunque meno di 25% dello spazio del disco. Avete menzionato l'uso di Supercache e vorrei suggerirvi un'alternativa. PrimoCache offre una prova gratuita di 60 giorni e un prezzo di acquisto di $30. La configurazione è semplice e le prestazioni sono eccezionali. (Non ho alcuna affiliazione con nessuno dei due pacchetti).

Da tempo mi chiedevo se fosse più efficiente usare la generazione casuale o l'evoluzione genetica, così ho usato il tuo script e ho creato uno studio pseudo-scientifico per cercare di ottenere alcuni dati. Ho creato due file batch basati sul tuo script per generare 10 copie utilizzando l'evoluzione genetica e 10 copie utilizzando la selezione casuale. Entrambi si basavano esattamente sugli stessi dati di prezzo, sulle stesse impostazioni di spread e slippage, sugli stessi intervalli di date tra l'apprendimento e la convalida e sulle stesse condizioni di classificazione. (Entrambe le serie di 10 copie hanno funzionato contemporaneamente per 24-36 ore, dopodiché sono state interrotte e le strategie create sono state contate e salvate per ulteriori analisi. In ognuno dei tre test, il totale dei 10 database dell'Evoluzione Genetica conteneva almeno 200 volte il numero di strategie presenti nei database della Generazione Casuale. Ecco i dati riassuntivi dell'ultimo test di 24 ore:

Evoluzione genetica:

Numero di istanze: 10

Numero minimo di strategie nella banca dati: 33

Numero massimo di strategie nella banca dati: 129

Numero totale di strategie per tutte le dieci istanze: 582

Selezione casuale:

Numero di istanze: 10

Numero minimo di strategie nella banca dati: 0

Numero massimo di strategie nella banca dati: 2

Numero totale di strategie per tutte le dieci istanze: 2

Ora, una persona che esegue tre test per periodi di tempo diversi ovviamente non costituisce uno studio valido. Vorrei quindi chiedere se altri utenti utilizzano la Generazione casuale e, in caso affermativo, se sono in grado di generare strategie più velocemente. Ci sono altri vantaggi nell'utilizzare la Generazione casuale rispetto all'Evoluzione genetica?

________________________________________

Ecco i parametri utilizzati per questo test:

Dati: EURUSD M5 dati tick da Dukascopy

Date del backtest: Dal 05.05.2003 al 11.04.2012

Nel campione dal 05.05.2003 al 04.01.2010

Fuori campione: dal 04.01.2010 al 11.04.2012

Diffusione: 2.0

Scivolamento 3.0**

Precisione del test: M1

Criteri di classificazione - rifiuta tutto ciò che corrisponde:

Nel campione:

1TP9Fattore di adattamento: < 1.3

Rapporto rendimento/DD: < 3.3

% Vince: < 30%

Numero di compravendite: < 300

Fuori campione:

1TP9Fattore di adattamento: < 1.3

Rapporto rendimento/DD: < 1.1

% Vince: < 30%

Numero di compravendite: < 100

** Il primo test robusto è stato quello di determinare la sensibilità allo slippage. La mia ipotesi, che potrebbe essere errata, è che se la strategia ha già funzionato con uno slippage di 3 pip, può solo migliorare senza slippage. Tutti i commenti e le indicazioni sono benvenuti.

Ciao Dave

Inizialmente ho installato SuperCache su due PC Windows 10. Ha funzionato bene su un PC, ma ha causato un continuo crash del secondo al riavvio. Controllo di SuperCache supporto Sembra che questo sia un problema noto. Vengono offerte tre soluzioni, ma le prime due non hanno funzionato per me e la terza non avevo la sicurezza informatica per tentare. Il risultato è stato che ho dovuto rivolgermi al fornitore di PC e ho finito per resettare Windows 10 per risolvere il problema 🙁 e rimuovere SuperCache. Dopo aver cercato sul web ho trovato anche PrimoCacheche non solo è molto più economico, ma: ha una migliore valutazione delle recensioni; offre un supporto on-line molto più aggiornato; ha un forum attivo; si installa in modo pulito; ha più funzioni ma è comunque molto facile da usare. Ora ho installato PrimoCache su entrambi i miei PC e funziona benissimo.

Dopo i primi test, ora utilizzo sempre e solo l'Evoluzione genetica, perché la funzione di evoluzione fornisce automaticamente un proxy per l'esecuzione di miglioramenti multipli delle strategie una volta che una strategia supera i criteri di accettazione. Spesso, quando SQ trova una strategia che passa nella banca dati, l'Evoluzione Genetica crea anche una massa di strategie di variazione passabili basate sulla prima. Preferirei vedere la mia banca dati piena di 100 varianti di strategie evolute geneticamente, piuttosto che una sola strategia casuale. Ovviamente non garantisce una strategia robusta, ma migliora chiaramente le possibilità di azzeccarne una. Il tuo test sembra confermare le mie stesse conclusioni.

Inoltre, ritengo che l'utilizzo dell'eccellente file batch di gentmat migliori le possibilità di trovare una buona strategia, poiché spesso una sola istanza SQ a thread singolo sforna molte più strategie potenzialmente valide rispetto alle altre istanze. È probabile che questo non succeda così facilmente se utilizzo solo 1 istanza SQ per più thread. Grazie ancora gentmat!

AC1962

Questa è una richiesta speciale da usare solo se necessario, altrimenti usate il codice generico che ho postato nella prima pagina. Ecco il codice (per rinominare ogni istanza). Ogni istanza sq3 sarà denominata come si desidera. Esempio: CrossMaSq3Instance e così via.
Modificare NumberOfSQInstances=2 in base alle proprie esigenze.

Supponiamo che io voglia 10 istanze: metterò NumberOfSQInstances=10
Poi devo creare 10 di questi:
impostare arrayline[1]=StrategiaCrossMaIstanza
impostare arrayline[2]=RSIStrategyInstance
impostare arrayline[3]...
impostare arrayline[4]...
impostare arrayline[5]...

... fino a impostare arrayline[10]..= il suo nome, qualunque fosse.

Il codice è il seguente, salvato in un file .bat

@echo off
setlocal abilitato all'espansione ritardata

impostare NumberOfSQInstances=2
impostare arrayline[1]=StrategiaCrossMaIstanza
impostare arrayline[2]=RSIStrategyInstance

impostare Posizione principaleSQL=C:\StrategyQuant
impostare TempSQL=C:\temp
set SQParameters=-J-server -J-Xmx1g -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC

rmdir "%MainSQLocation%\temp" /S /Q
rmdir "%MainSQLocation%\log" /S /Q
rmdir "%TempSQLocation%\strategyquant-temp" /S /Q
mkdir "%TempSQLocation%\strategyquant-temp"

PER /L %%A IN (1,1,%NumberOfSQInstances%) FA (
mkdir "%TempSQLocation%\strategyquant-temp!arrayline[%%A]!"
)
PER /L %%A IN (1,1,%NumberOfSQInstances%) FA (
compact /c /s: "%TempSQLocation%\strategyquant-temp!arrayline[%%A]!"
)

c:
PER /L %%A IN (1,1,%NumberOfSQInstances%) FA (
xcopy "%MainSQLocation%" "%TempSQLocation%\strategyquant-temp\!arrayline[%%A]!" /E /Y
CD "%TempSQLocation%-strategyquant-temp!arrayline[%%A]!"
rinominare StrategyQuant64.exe !arrayline[%%A]!.exe
avvio /LOW !arrayline[%%A]!.exe %SQParametri%

)

Ciao gentmat

Ottimo! Grazie per la modifica Codice del file .bat. Funziona molto bene.

Molto apprezzato

AC1962

 credo che se la strategia si basa su un test di dati storici di buona qualità, non sarà stabile, fallirò sicuramente il monte carlo.

Ciao gentmat

Ottimo! Grazie per la modifica Codice del file .bat. Funziona molto bene.

Molto apprezzato
AC1962

C'erano variabili inutilizzate nello script, ora le ho eliminate.
Non era affetto ma l'ho cancellato comunque per essere più pulito.

Inviato dal mio iPhone utilizzando Tapatalk

Ho usato un sistema con 2 cpu e5 2670 per funzionare in questo modo ma è andato in crash due volte in meno di 24 ore, generando un file di errore come questo

qualcuno potrebbe aiutarmi a risolvere questo problema, qual è la causa del problema?

Grazie .

La memoria totale è di 32G, dato che ha 32 core logici, ho fatto 30 e 28 copie, questo è causato da una memoria insufficiente? ma ognuno ha impostato il limite a 1G, 

yourrodstaff,

In parole povere, con 32 core (thread?) 32 GB non sono sufficienti per una grande quantità di copie SQ in esecuzione contemporaneamente. Il primo problema è che avere due CPU per un totale di 32 core non è la stessa cosa di una singola CPU a 32 core. Una singola CPU E5-2670 v1 viene valutata da PassMark con un punteggio di 12.505, mentre una doppia CPU E5-2670 v1 ha un punteggio di 18.472. La condivisione delle risorse (memoria, accesso al disco, ecc.) comporta un notevole sovraccarico e inefficienza. In questo caso un sistema a doppia CPU è inferiore a 150% di due computer E5-2670 indipendenti. Mi è capitato di utilizzare due di queste macchine e, anche se sono meno potenti, erano la migliore potenza di elaborazione della CPU disponibile per il prezzo.

Questa inefficienza intrinseca con le risorse non CPU è esacerbata quando non c'è abbastanza memoria. Se si vuole avere un'idea di quale sia la memoria realmente "libera", è sufficiente avviare il sistema senza caricare nulla e aprire il task manager. Questo mostrerà la quantità di memoria utilizzata. La memoria libera è 100% - la quantità mostrata nel task manager. Ad esempio, la mia singola cpu I7-4770 (che usavo prima di acquistare gli E5-2670) con 16 GB mostra un utilizzo della memoria di 7% dopo un nuovo avvio. Ciò significa che la memoria massima disponibile è 93% dei 16 GB o non più di 14,88 GB. Se si alloca 1 GB per ogni copia di SQ, il numero massimo che in teoria si dovrebbe essere in grado di eseguire è di 14 copie. In realtà, ho eseguito 12 copie con un utilizzo di 1 thread e 1 GB allocato e sono andato incontro a crash ogni 1-2 settimane.

Se si utilizzano altri programmi come la scansione dei virus o la cache del disco, il numero diminuisce di conseguenza. Se si utilizza il computer per altre attività, è necessario allocare meno copie. Un altro fattore è che l'utilizzo della memoria non è lineare con ogni istanza. Per ogni copia di SQ aperta, SQ apre circa 50 thread aggiuntivi, ognuno dei quali occupa più memoria di sistema. Non esiste una formula esatta che io conosca per trovare la combinazione massima o ottimale e tutti devono coordinarsi con il sistema operativo, le CPU, i controller di memoria, i controller delle unità disco e così via, il che richiede più risorse. Pensate a questo come ai bambini dell'asilo: i problemi sono esponenziali, non lineari.

Per ottenere le massime prestazioni è necessario utilizzare un programma di caching del disco come PrimoCache, altrimenti il computer si impantanerà nella rilettura dei dati. Questo programma richiederà anche circa 15 - 25% di RAM, il che significa meno istanze, ma il miglioramento delle prestazioni ne vale la pena. I miei sistemi si impantanavano fino a diventare un vero e proprio baratro con 20-25 istanze e un utilizzo massimo della CPU di 50% - 70% anche se avevo 128GB. Quando ho installato PrimoCache e vi ho allocato 32 GB, sono stato in grado di caricare 40 istanze con 2 GB allocati a ciascuna, per un totale di 80 GB di utilizzo della memoria più i 32 GB per la cache e il collo di bottiglia è passato all'utilizzo della CPU, che ora è 100% su tutti i thread, anziché al throughput dell'HDD. Se ci pensate, SQ legge gli stessi dati per ogni test e se questi dati possono risiedere nella RAM invece che su un disco rigido e semplicemente usando PrimoCache (o qualsiasi altro programma di cache) aumenteranno notevolmente.

Utilizzo due sistemi a 32 (e5-2670 v1) thread, ciascuno con 128 GB, che utilizzano entrambi PrimoCache a 32 GB. Un computer viene utilizzato 24 ore su 24, 7 giorni su 7, 100% del tempo per generare strategie ed esegue 40 o più istanze di SQ (un thread per istanza) con 2 GB allocati a ciascuna istanza. Il secondo è il mio computer quotidiano, il file server di casa, il server di backup e il server video per tutti i contenuti multimediali della casa e continua a eseguire 24-28 istanze di SQ con 2 GB per copia. Una cosa: devo riavviare ogni macchina una volta ogni una o due settimane perché c'è una perdita di memoria da qualche parte.

Spero che questo sia d'aiuto.

Dave

Dave,

Grazie mille per l'illustrazione molto dettagliata dei problemi e per la condivisione delle esperienze. 

Il motivo per cui l'ho fatto è che nelle prime 12 ore dopo l'inizio dell'esecuzione il contatore della memoria all'interno di ogni lavoro è quasi piatto, stava mantenendo circa 700Mb e un utilizzo totale della memoria di 77%, mentre la CPU era carica di 100%. Quindi ho creduto che fosse giusto mantenere questo stato di cose, ma dopo una notte è andato in crash.   

 Ho quindi ridotto a 14 i lavori con 2gb allocati ciascuno, quindi la CPU è ora a 50% e la memoria a circa 40%, il che dovrebbe durare più a lungo rispetto alla prima configurazione, ma in base alla vostra esperienza sembra che non sia ancora sufficiente. Ora ho una memoria totale di 64 Gb e proverò anche il tuo suggerimento sulla memoria cache del disco.

Ancora una volta apprezzo il vostro aiuto!

Ti manderò un'email per cercare di risolvere il problema. L'aggiunta di GB è sicuramente una buona idea in ogni caso