Utilizzo massiccio della RAM (bug nella gestione della memoria?)

Ciao,

 

con il file di impostazioni allegato, che utilizza solo pattern di prezzo e costruisce su EURUSD M30 e inoltre GBPUSD M30 (entrambi dal 2001 al 2014 senza OOS) con la modalità "Selected timeframe only", sto ottenendo un consumo PESANTE di RAM fino a 11GB (il mio limite massimo che ho impostato per StrategyQuant tramite la linea di comando, altrimenti la mia RAM sarebbe piena). L'uso massiccio inizia all'improvviso, non so esattamente perché, di solito è dopo che ha fatto alcune generazioni genetiche che salta su pesantemente mentre non sto facendo nulla di speciale e guardo solo SQ.

 

Questo sembra accadere principalmente quando si costruiscono strategie utilizzando solo i modelli di prezzo. Quando si inseriscono tutti gli altri indicatori nel mix, il problema non si aggrava così rapidamente, ma comunque dopo qualche ora.

 

Non sono sicuro che si tratti di una falla nella gestione della memoria all'interno di StrateqyQuant, in quanto non riesco a capire perché l'utilizzo della RAM dovrebbe aumentare così tanto all'improvviso, mentre SQ non sta svolgendo alcun compito speciale e l'utilizzo della RAM era di circa 6 GB quando faceva la stessa cosa e la dimensione del mio database era limitata a 100.

 

In ogni caso, una volta raggiunto il massimo utilizzo della RAM, SQ diventa lento e impiega secoli per generare nuove strategie e l'interfaccia diventa estremamente lenta. A quel punto diventa praticamente inutilizzabile.

 

Si può fare qualcosa per migliorare l'impronta di memoria di SQ? Sto facendo qualcosa di sbagliato? Perché immagino che lo stesso problema esista anche per altre persone?

 

Grazie!

Capisco, ma sembra comunque che ci sia una perdita di memoria. Voglio dire che dovrei essere in grado di utilizzare tutti i core disponibili senza che l'utilizzo della RAM impazzisca in questo modo.

 

La dimensione della popolazione non può mai essere abbastanza alta per la diversità. Da precedenti esperienze con gli algoritmi genetici, uso sempre dimensioni superiori a 1000 per ottenere i migliori risultati. Se si ha tempo, è sempre meglio di più 🙂 Le generazioni sono impostate a 4000, ma di solito vengono interrotte comunque dopo un ristagno di fitness per 5 generazioni, quindi questo valore è solo teorico.

Lo esamineremo, stiamo ricostruendo completamente la piattaforma StrategyQuant per la nuova versione e stiamo prestando particolare attenzione alle prestazioni e ai possibili problemi di memoria.

 

Si spera quindi che si comporti molto meglio nella nuova versione.

E' davvero un piacere sentirlo, non vedo l'ora che arrivi SQ 4! 🙂

Per vostra informazione, ho notato che le perdite di memoria si verificano quando si interrompe e si riavvia la generazione della strategia, tramite il pulsante di arresto/avvio, se avvio e riparto da zero, la strategia funziona e basta, ma se si preme il pulsante di arresto, il problema inizia a verificarsi.

Sì, esattamente. Ogni volta che si termina un'operazione in corso da un po' di tempo (ad esempio la generazione di una strategia) e poi si avvia qualcos'altro, la memoria si "aggiunge". Come se la memoria del processo precedente che è stato eseguito non venisse più rilasciata. Per questo motivo riavvio SQ dopo ogni "grande operazione".

 

Ho anche scoperto che ogni volta che la dimensione della popolazione è superiore a 250, l'utilizzo della memoria aumenta PESANTEMENTE. Se uso solo una popolazione di 250, tutto va bene, ma non appena inizio a usarne 300 o più, l'uso della memoria quasi raddoppia. Un comportamento molto "strano".

 

Ho affrontato in parte questo problema con il mio tutorial sulla messa a punto di SQ, che ho postato qui nel forum, ma spero davvero che venga migliorato con SQ 4.

Sì, sarà migliorato nel nuovo SQ4, dovrebbe utilizzare meno memoria ed essere più veloce in generale.