O WFO trava consistentemente o SQ 90% o tempo todo

Mesmo que eu tenha mais de 8 GB de RAM livre, o Walk Forward Optimization não pode ser usado. Se eu a invocar, o SQ falha em 90% das vezes. Na verdade, ele só funciona se a otimização exigir cerca de 100 execuções. O gerenciamento de memória é extremamente ruim. Limpar as estratégias de última geração ou clicar em Perform Memory Cleanup não faz absolutamente nada.

Após o travamento, quando reinicio o SQ, ele sempre oferece a restauração das últimas estratégias (mesmo as que eu excluí em Last Generation). Se eu clicar em Yes (Sim), ele sempre carrega as estratégias da Last Generation e nunca o resultado do Walk Forward! Porque o arquivo de resultado está sempre corrompido.

Sinto muito por esse problema, ele será totalmente reescrito na nova versão 4 e faremos com que funcione muito melhor.

Olá, meus sistemas funcionaram nos últimos tempos com o SQ3.8, muito estável.

Tenho 32 GB de memória.

Aumentei o tamanho da memória de cada SQ para 11 GB.

Você pode executar pelo menos dois SQ em uma máquina.

thomas

Mesmo que eu tenha mais de 8 GB de RAM livre, o Walk Forward Optimization não pode ser usado. Se eu a invocar, o SQ falha em 90% das vezes. Na verdade, ele só funciona se a otimização exigir cerca de 100 execuções. O gerenciamento de memória é extremamente ruim. Após o travamento, quando reinicio o SQ, ele sempre se oferece para restaurar as últimas estratégias (mesmo as que eu excluí em Last Generation). Se eu clicar em Yes (Sim), ele sempre carrega as estratégias da Last Generation e nunca o resultado do Walk Forward! Porque o arquivo de resultado está sempre corrompido.

Usei várias máquinas com 32 núcleos/32 GB de RAM, nunca falharam, mas sim, às vezes é reativo, mas é cerca de 30 a 60 segundos, mas somente quando eu o paro, pois ele precisa mostrar tudo o que está na memória, acho que em especificações baixas, será de 5 a 10 minutos, por isso você sente que ele esmaga.

" Perform Memory Clean-up" (Executar limpeza da memória) de fato não tem efeito, veja a captura de tela abaixo:

Na imagem, há 24 GB, mas eu aumentei para 32, pois achei que o Cleanup funcionaria, então agora ele está com 32 GB.

Como você pode ver, essa função não afeta nada, mesmo depois de eu ter pausado ou parado a geração.

Marca, você provavelmente já sabe a resposta, por favor, compartilhe. Se precisarmos esperar pelo SQ4, tudo bem.

Quero ver se todos os núcleos dedicados estão sendo usados (é o Windows Server 2012). talvez haja outro tópico sobre isso. nas configurações, todos os 32 núcleos estão marcados.

Obrigado

Testei em

Windows 10 (8core/16GB) - executando 4x SQs - nunca trava

Windows 10 (32 núcleos/ 32 GB) executando 8xSQs - nunca trava

Servidores Windows 2008 (8 núcleos/32 GB) executando o 1SQ (por algum motivo, ele usa todas as CPUs 100%) - nunca trava

Os servidores Windows 2012 (32 núcleos/32 GB) executam entre 8 e 15 dos SQs, nunca tiveram problemas e são executados apenas com CPU 10%, mas porque usam toda a RAM de 32 GB (é necessário aumentá-la para 48 GB)

geralmente é.

mx55333,

O SQ não apresenta problemas, foi totalmente testado por mim, portanto MarcarCom base em meus testes, o SQ funciona conforme o esperado, sem travamentos, e sou um usuário muito intenso.

Só há um problema: ele não usa todos os 32 núcleos. Mas acho que pode ser por causa do enfileiramento de discos, vou dar uma olhada nisso, mas se Marcar Se você já sabe a resposta, compartilhe-a. Então, Mark, se precisar testar o SQ4 em qualquer sistema operacional, memória/CPU, avise-me, ficarei feliz em ser um beta tester. 🙂

Olá Mark,

Boas notícias, otimizei meus servidores ESX. O servidor e as máquinas agora não estão disputando o tempo de CPU.

As máquinas são Xeion E5-2630 v3 2.4GHz 16 Core (2 soquetes com 8Cores cada, o que dá 16 Threads por soquete = 32 Threads no total)

No entanto, tenho um desempenho melhor se usar apenas núcleos reais sem threads.

Minhas perguntas a você, Mark, são se o SQ é capaz de usar threads ou se usa apenas núcleos?

Não testei com o Hyperthreading desligado, mas farei isso no fim de semana e responderei de acordo com minhas conclusões.

A SQ usará apenas 25% dos núcleos fornecidos, portanto, aproximadamente 4 instâncias poderão carregar 16 núcleos reais.

Acredito que o SQ só pode usar no máximo 4 núcleos reais. Você pode confirmar se ele não está otimizado para mais de 4 núcleos?

E, em segundo lugar, preciso saber se ele usa Hyperthreading ou não. Vou verificar isso pessoalmente, mas acredito que você já tenha a resposta.

Este é o instantâneo de 4 instâncias carregando o Xeon E5-2630

Esse teste não é muito preciso, pois tenho outras máquinas em execução no mesmo servidor ESX e outra com apenas duas instâncias do SQ; as outras máquinas são, em sua maioria, idel, como o controlador de domínio e outros bits.

Mesmo que eu tenha mais de 8 GB de RAM livre, o Walk Forward Optimization não pode ser usado. Se eu a invocar, o SQ falha em 90% das vezes. Na verdade, ele só funciona se a otimização exigir cerca de 100 execuções. O gerenciamento de memória é extremamente ruim. Limpar as estratégias de última geração ou clicar em Perform Memory Cleanup não faz absolutamente nada.

 

Após o travamento, quando reinicio o SQ, ele sempre oferece a restauração das últimas estratégias (mesmo as que eu excluí em Last Generation). Se eu clicar em Yes (Sim), ele sempre carrega as estratégias da Last Generation e nunca o resultado do Walk Forward! Porque o arquivo de resultado está sempre corrompido.

Fiz mais testes e posso confirmar que o SQ congela, não importa se uso 16 núcleos ou 4 núcleos com 96 GB ou 8 GB, executando apenas UMA instância. ele não funciona bem com estratégias de reteste. após o teste feito, não consigo excluir mais de 1.000 a 1.500 estratégias. Digamos que eu tenha gerado 20.000 estratégias e, após o reteste, queira excluir 15.000 delas, eu levaria cerca de 30 vezes para excluí-las, mas ele NÃO excluirá todas as 15.000. O uso de CPU/memória é o mesmo por uma hora, então posso dizer com segurança que ele congela. Portanto, no momento, ele não pode trabalhar com grandes conjuntos de estratégias; o máximo é 10 mil, o que funciona confortavelmente.

No entanto, se Marcar pode dizer agora para retirar a parte de relatórios e passar de 1MB para 78KB, isso pode ajudar para que possamos passar de GB para MBs. (já que, na realidade, só precisamos de estratégia sem relatórios se quisermos continuar trabalhando com eles)

Se eu pudesse criar um script para que ele fizesse isso no backend, seria perfeito.

Marca,

Sugiro um recurso:

Quando salvamos o .STR, a caixa de seleção pode ser pequena (sem relatórios). Dessa forma, o tamanho será pequeno e acho que o SQ3 lidará melhor com ele, além de não ocupar 100 GBs de armazenamento se você quiser levá-lo para testes adicionais.

Portanto, concordo com mx55333Como ainda não cheguei ao nível de otimização, não posso comentar muito sobre isso, mas confirmo que as estratégias com mais de 10.000 não são muito bem tratadas pelo SQ3. Se Mark quiser fazer algum teste, entre em contato comigo.

Obrigado por suas sugestões, encaminharei o tópico para Mark para que ele possa levar isso em consideração