Uso excessivo de RAM (bug de gerenciamento de memória?)

Hi,

 

Com o arquivo de configurações anexado, que usa apenas padrões de preços e se baseia no EURUSD M30 e, adicionalmente, no GBPUSD M30 (ambos de 2001 a 2014 sem OOS) com o modo "Selected timeframe only", estou obtendo um uso de RAM PESADO de até 11 GB (meu limite superior que defini para o StrategyQuant por meio da linha de comando, caso contrário minha RAM ficaria cheia). O uso elevado começa repentinamente, não sei exatamente por que, normalmente é depois de algumas gerações genéticas que ele aumenta muito enquanto não estou fazendo nada de especial e apenas assistindo ao SQ.

 

Isso parece acontecer PRINCIPALMENTE ao criar estratégias usando apenas padrões de preço. Quando se usam todos os outros indicadores, o problema não é tão grave tão rapidamente, mas ainda assim depois de algumas horas.

 

Não tenho certeza se isso é um vazamento de gerenciamento de memória dentro do StrateqyQuant, pois não consigo imaginar por que o uso de RAM aumentaria tanto de repente, enquanto o SQ não está realmente realizando nenhuma nova tarefa especial e o uso de RAM era de cerca de 6 GB o tempo todo, quando ele fazia a mesma coisa e o tamanho do meu banco de dados estava limitado a apenas 100.

 

De qualquer forma, quando o uso máximo de RAM é atingido, o SQ fica lento e demora muito para gerar novas estratégias, e a interface fica extremamente lenta. Basicamente, nesse ponto, ele se torna inutilizável.

 

Há algo que possa ser feito para melhorar o espaço de memória do SQ? Estou fazendo algo errado? Porque imagino que o mesmo problema exista para outras pessoas também?

 

Obrigado!

Entendo, mas, ainda assim, parece haver algum vazamento de memória. Quero dizer, eu deveria ser capaz de usar todos os núcleos disponíveis sem que o uso da RAM ficasse louco desse jeito.

 

O tamanho da população nunca pode ser alto o suficiente para a diversidade. Com base em experiências anteriores com algoritmos genéticos, sempre uso tamanhos acima de 1.000 para obter melhores resultados. Mais é sempre melhor se você tiver tempo 🙂 As gerações são definidas como 4000, mas geralmente são interrompidas de qualquer forma depois de uma estagnação do condicionamento físico por 5 gerações, portanto, esse valor é apenas teórico.

Vamos dar uma olhada nisso, pois estamos reconstruindo completamente a plataforma StrategyQuant para a nova versão e estamos prestando atenção especial ao desempenho e a possíveis problemas de memória.

 

Portanto, esperamos que ele se comporte muito melhor na nova versão.

É muito bom ouvir isso, estou realmente ansioso pelo SQ 4!

Para sua informação, notei que os vazamentos de memória ocorrem ao parar e depois reiniciar a geração de estratégias, por meio do botão parar/iniciar, se eu começar do zero, ele simplesmente funciona e funciona, mas se o botão parar for pressionado, isso começará a ocorrer.

Sim, exatamente. Sempre que você termina qualquer tipo de operação que está sendo executada há algum tempo (por exemplo, geração de estratégia) e, em seguida, inicia outra coisa, ela simplesmente "adiciona mais" à memória. Como se a memória do processo anterior que você executou nunca fosse liberada novamente. É por isso que reinicio o SQ após cada "grande tarefa".

 

Também descobri que sempre que o tamanho da população é maior que 250, o uso da memória aumenta MUITO. Se eu usar apenas um tamanho de população de 250, tudo estará bem, mas assim que eu começar a usar 300 ou mais, o uso da memória quase dobra. Comportamento muito "engraçado".

 

Em parte, resolvi esse problema com meu tutorial de ajuste do SQ, que publiquei aqui no fórum, mas realmente espero que ele seja aprimorado com o SQ 4.

Sim, ele será aprimorado no novo SQ4, deverá usar menos memória e ser mais rápido em geral