Evolução genética múltipla em execução ao mesmo tempo

Olá,

 

Estou usando o SQ para encontrar estratégias de ações e gostaria de executar várias evoluções genéticas, uma para cada ação ao mesmo tempo.

 

Por exemplo, se meu computador estiver executando uma evolução genética para a Apple, outra para a Intel, outra para a Cisco e assim por diante.

 

Encontrar a melhor estratégia para cada ação, independentemente e ao mesmo tempo.

 

Cumprimentos

Sim, depois de instalar o sq, copie e cole a pasta de instalação (duplicada) e execute duas instâncias do programa. Em cada instância, altere as configurações de dados, uma da apple e a outra da cisco, e mais instâncias e mais dados, conforme a capacidade de seu computador.

Sim, exatamente assim. Pessoalmente, executo 22 instâncias em um servidor com 64 GB de RAM 🙂

lol geek qual é a sua cpu? dual xeon **** number?

4930k de 6 núcleos a 4,5 GHz. 12 instâncias já o carregariam completamente, mas com 22, não preciso reiniciar a otimização genética durante todas as horas, pois 22 instâncias o mantêm ocupado por 17 horas:)

@geektrader,

Tenho o mesmo 4930K, mas minha CPU tem apenas 3,8 GHZ, não mais.

 

Pergunta1:

Você faz overclock em seu sistema e usa resfriamento a água?

 

 

Se eu executar mais de duas instâncias do SQ na mesma máquina, o SQ trava depois de um tempo.

 

Pergunta2:

Algum SQ trava no sistema ou congela?

 

Pergunta3:

Quais configurações você usa para iniciar o SQ?

Oi 🙂

 

1) Sim, eu faço overclock para 4,5 Ghz e uso resfriamento a ar com um cooler para CPU de 1200 g. As temperaturas estão absolutamente boas, abaixo de 80°C (o TJ Max dessa CPU é de 95°C).

 

2) Não, nem mesmo as 22 instâncias do SQ travam aqui, nenhuma delas jamais travou. Você as copia para pastas diferentes, certo? E você também tem espaço suficiente no HD e na RAM? Caso contrário, não funcionará. Criei um arquivo em lote para automatizar isso.

 

3) A linha de lançamento é "StrategyQuant64.exe -J-server -J-Xmx2600m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts" Tenho 64 GB de RAM, portanto, 22 x 2,6 GB = 57,2 GB de uso máximo de RAM de todas as instâncias. Você sempre precisa tomar cuidado para que todas as instâncias nunca usem mais RAM do que você tem no total, é claro. Eu uso SOMENTE essas 22 instâncias para executar a otimização genética em 14 anos de dados do M30 no modo de simulação de ticks. Para isso, 2,6 GB por instância são suficientes. Para a geração de estratégias em 14 anos de dados do M30, o SQ precisa de pelo menos 5.000 MB de RAM por instância quando configurado para usar apenas 1 núcleo de CPU na caixa de diálogo de configurações - caso contrário, o uso de RAM aumentará muito por instância se você configurá-lo para mais núcleos. Portanto, nesse caso, estou usando apenas 12 instâncias (o que também maximiza a CPU, pois o 4930k tem 6 núcleos + 6 HT) e, se cada instância usar os 5 GB completos, meu uso total de RAM será de 60 GB. No entanto, 12 instâncias nessa CPU são a única maneira de não deixar nenhum recurso sem uso, pois o SQ, pelo menos ao gerar estratégias, mal usa mais de 1,5 núcleos em média, mesmo quando está configurado para usar 12 núcleos. Portanto, estou simplesmente lançando essas 12 instâncias, todas configuradas para usar apenas 1 núcleo de CPU, e posso maximizar o computador totalmente durante a geração de estratégias, em vez de perder meu tempo porque o SQ é tão ineficaz com multi-threading ao gerar estratégias. Espero sinceramente que isso se torne muito mais eficiente no SQ 4...

 

Como descobri esses valores? Tudo por tentativa e erro... por exemplo, para gerar estratigas no M15, o uso da RAM será diferente. Portanto, você precisa experimentar....

 

Boa sorte para você:)

Nunca tive um travamento do SQ, nem em minha antiga compilação personalizada da AMD, nem em meu novo dell poweredge usando xeons da Intel. Estou executando 4 instâncias simultâneas do SQ no poweredge há uma semana com cerca de 20 milhões de genes aleatórios, sem problemas.
Agora tenho outro PowerEdge e planejo fazer a mesma coisa. Cada um tem 8 threads, ~ 3.5GHZ, 32GB de RAM. Executando o mod de desempenho zulu.

Geektrader: boa configuração e tudo o que você explicou sobre a CPU e a HT está perfeitamente correto. 

 

tníquel Se o aplicativo for esmagado por duas instâncias, você deverá pensar nos seguintes aspectos.

Ilimine cada ponto por ponto até corrigir o erro ou deixe que um profissional o verifique para saber. 

 

1- Verifique a versão do Windows e redefina o Windows para a configuração de fábrica (CLEAN WINDOWS)... Essa é a primeira coisa que você pode fazer facilmente como eliminação

2 - Após uma instalação limpa, abra o "Gerenciador de tarefas" e mantenha-o aberto para verificar o uso da CPU quando ocioso, o uso da RAM e o uso do disco "apenas ocioso

3- Comece a carregar a primeira instância e verifique o consumo (e cole aqui o que você vê) 

 

Se essas três falhas ocorrerem, sugiro que verifique a RAM como hardware, pois elas podem causar problemas, especialmente com aplicativos financeiros e matemática pura. É por isso que as empresas costumavam optar por placas-mãe xeon, pois elas suportam RAMs ECC que não cometem erros de cálculo e assim por diante. Mas acho que o intel i7 com RAMs normais e placa-mãe é muito bom. 

A placa-mãe também pode afetar a memória RAM, mas você deve verificar a memória RAM primeiro.

 

Acredito que o Geektrader tenha uma boa placa-mãe, provavelmente uma X99 deluxe ou uma rampage, que o está ajudando com a estabilidade. 

oi gentmat,

Isso acontece em mais de duas instâncias.

Se eu iniciar apenas duas instâncias, tudo funcionará bem.

 

A falha ocorre em máquinas diferentes.

AMD Bulldozer (16 GB), I7-4790 (32 GB), I7-3930 (64 GB), I7-3770 (32 GB)

 

Acho que isso não é um defeito de hardware

Vou fazer um teste de estresse de ram e dar uma olhada.

 

O resfriamento da CPU é bom, eu verifiquei isso.

 

Acho que há um bug no SQ 3.8.1. O SQ tem um vazamento de memória e esse vazamento causa o congelamento.

 

Vou verificar essas configurações

“StrategyQuant64.exe -J-server -J-Xmx2600m -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts"

 

Hm... é possível que o XEON seja mais estável?

 

thomas

Então, não se trata de hardware.
1- Altere o orancle java para Zulu, substitua o j64 pelo zulu (exclua a pasta interna e substitua pelo zulu, pois quase não há vazamento).
2- Coloque o windown 2008 ou 2012.
3- O Xeon não é o que afeta a estabilidade, o que eu disse a você é que as placas-mãe usadas para xeons aceitam rams ECC, por isso as empresas usaram xeons até mesmo para pequenos aplicativos financeiros. mas depois de 2014 a arquitetura da CPU mudou, agora você pode ter uma placa-mãe normal para i7 que aceita tais rams (frequência mais baixa do que as rams de consumo de jogos, mas mais estável).
4- Vá para as opções e escolha manualmente o número de threads de cada instância; portanto, se você tiver 8 núcleos, 16 threads e 2 instâncias abertas, atribua 4 threads para cada instância.

Estranho, pelo menos posso lhe dizer que não tenho nenhum travamento nem vazamento de memória no 3.8.1. Acabei de concluir outra execução de 22 instâncias na máquina #1 e 7 instâncias na máquina #2, tudo certo.

Olá geektrader,

22 * 8 linhas = 176 linhas na máquina #1

e

7*8 linhas=56 linhas na máquina #2

 

ou

 

22*1=22 linhas na máquina #1

e 7 threads na máquina #1

 

???

 

 

Com zulu ou oracle java?

 

thomas

Na verdade, 22 x 12 linhas na máquina #1 e 7 x 8 na máquina #2, sim. Usando o Zulu.