SQ deixado em funcionamento durante a noite, sem resposta no dia seguinte.
8 respostas
drayzen
8 anos atrás #235070
Não tenho certeza de qual é o problema, espero que alguém possa ajudar.
Deixei o SQ em execução durante a noite e, quando voltei, ele não estava mais respondendo.
Ele estava funcionando bem nas primeiras horas, quando o verifiquei algumas vezes e o uso da CPU estava alternando entre 85-100%, dependendo se estava fazendo testes de geração ou de robustez.
Esta é minha linha de comando:
D:\StrategyQuant\StrategyQuant64.exe -J-server -J-Xmx13g -J-XX:+DisableExplicitGC -J-XX:+AggressiveOpts -J-XX:+UseSerialGC
O sistema é um Ryzen 1800X com 16 GB executando o Win 10.
Em anexo, o arquivo de configurações e uma captura de tela antes de desligá-lo.
O uso da CPU parecia estar em ~0% e o SQ alternava entre não responder e estar ativo a cada 20-30 segundos.
Antes de eu sair, ele havia criado cerca de 500 estratégias e, quando voltei no dia seguinte, só havia atingido cerca de 750.
Como pode ser visto na captura de tela, os últimos trabalhos processados foram ridiculamente longos, com mais de 2 horas!
Acho que talvez seja algo relacionado a um gerenciamento de memória defeituoso, pois o histograma parece bastante cheio em relação aos 13 GB que foram alocados...?
Estou ficando cansado de ter problemas com esse software. Eu queria definir esse trabalho para processar os 28 maiores e menores no Dados adicionais para testemas agora descobri que é difícil limitar-se a apenas 6 testes adicionais 🙁.
... o estrangeiro não se preocupa com as opiniões dos humanos ...
0
drayzen
8 anos atrás #235075
Também descobri que havia um arquivo .log de 120 MB, não tenho certeza se isso é excessivamente grande para o SQ, mas parece bastante grande para um registro.
Posso ver alguns erros de Java ali, mas não significa nada para mim. ?:/
Espero que isso não seja normal, pois se eu planeja deixar o SQ em execução constante, isso acabaria com o espaço do meu HD em pouco tempo...
... o estrangeiro não se preocupa com as opiniões dos humanos ...
0
Tomas Matejka
8 anos atrás #235089
Olá,
você pode tentar reduzir a carga durante o teste de robustez. Você pode diminuir o número de testes gerais para 30 e desativar o "teste de propagação". Se você aumentar a derrapagem para fornecer isso, também diminuirá o número de testes que devem ser feitos. Quando o teste de robustez não é usado, você tem problemas de estabilidade?
0
drayzen
8 anos atrás #235127
Oi, Tomás,
Tentei apenas com as alterações que você sugeriu, 30 simulações, e desabilitei o Spread e o Slippage para ter certeza. Um pouco decepcionante, pois eu queria usar o spread variável.
Percebi que ele estava começando a falhar novamente com o uso da memória e os tempos de criação estourando, então parei a execução manualmente.

De qualquer forma, achei que poderia ser a linha de comando personalizada, então a reduzi para isso:
D:\StrategyQuant\StrategyQuant64.exe -J-Xmx12g
Também reduzi em 1 GB, de 13 para 12, para ter um pouco mais de espaço livre.
Infelizmente, isso não ajudou e outra sessão noturna acabou com um erro de falta de memória, a primeira vez que vejo isso.

Então, fiquei curioso para ver o que havia acontecido com a memória:

Parece ter atingido o pico de 12,56 GB com 12,73 comprometidos. Como tenho 16 GB e nada mais em execução, o erro no SQ deve ter sido acionado pela alocação de 12 GB. Isso é normal? Ele não deveria mapear para o disco quando a RAM estiver cheia?
Em termos de estratégias, ela atingiu apenas 2.297 no Última geração nada na guia Banco de dados.
Também anexei os dois arquivos .log mais recentes.
... o estrangeiro não se preocupa com as opiniões dos humanos ...
0
drayzen
8 anos atrás #235193
Oi, Tomás,
Iniciei outro teste com o RT desativado para ver o que aconteceria. Embora ele tenha conseguido concluir a geração da população inicial, mais uma vez ele preencheu os 12 GB de memória alocada e parece estar fazendo um pequeno tráfego constante para o disco. Como se trata de um SSD, isso é preocupante, pois o disco será destruído prematuramente.
Também é praticamente uma perda de tempo executar isso agora, pois está levando quase 30 minutos para gerar cada estratégia, o que é ridículo!

Analisando a memória novamente, há muitas falhas de página. Isso é normal?

Tenho o SQ há 5 meses e ele não produziu nada, além de me deixar muito frustrado ao tentar fazê-lo funcionar...
Este é um PC moderno de alta potência, portanto, não sei por que ele não pode simplesmente fazer o que deve fazer.
... o estrangeiro não se preocupa com as opiniões dos humanos ...
0
hankeys
8 anos atrás #235198
não use uma população inicial muito grande - 10.000 é um absurdo. 100 será bom
não crie um banco de dados inicial muito grande - apenas mais de 1.000 estratégias básicas no banco de dados - pare e teste novamente
Não use testes MC no processo de construção, pois é inútil - construa um pacote básico de estratégias e teste-as novamente (outro OOS, backtest completo, TF mais alto/baixo, outro mercado) - filtre-as
e somente o que restar será submetido a testes de MC
Você quer ser um algotrader lucrativo? Começamos a usar o software StrateQuant no início de 2014. Atualmente, temos um grande know-how para criar EAs para todos os tipos possíveis de mercados. Compartilhamos esse know-how, aplicativos, ferramentas e também todas as estratégias finais com traders reais. Se você quiser se juntar a nós, preencha o formulário FORMULÁRIO.
0
hankeys
8 anos atrás #235199
Envie aqui seu setfile, pois também na configuração você pode ter muitos problemas - você precisa saber como configurar tudo de acordo com o mercado e o TF que deseja criar as strs
Você quer ser um algotrader lucrativo? Começamos a usar o software StrateQuant no início de 2014. Atualmente, temos um grande know-how para criar EAs para todos os tipos possíveis de mercados. Compartilhamos esse know-how, aplicativos, ferramentas e também todas as estratégias finais com traders reais. Se você quiser se juntar a nós, preencha o formulário FORMULÁRIO.
0
Tomas Matejka
8 anos atrás #235228
Olá,
O RT não precisa ser usado na etapa inicial. Depois que as estratégias forem geradas e filtradas, você poderá fazer o teste de RT. Como mencionado, não faz sentido usar a potência da CPU para testar estratégias perdedoras com RT. Além disso, você não mencionou se testa usando tick ou minuto ou mesmo o período de tempo selecionado. Eu uso dados de ticks apenas ocasionalmente. A maioria das minhas estratégias é simples o suficiente para que os dados de tick não sejam necessários. Anexe suas configurações compactadas
0
drayzen
8 anos atrás #235435
não use uma população inicial muito grande - 10000 é um absurdo. 100 será bom não construa um banco de dados inicial muito grande - apenas mais de 1.000 estratégias básicas no banco de dados - pare e teste novamente não use testes MC no processo de construção, é inútil - construa um pacote básico de estratégias e teste-as novamente (outro OOS, backtest completo, TF mais alto/baixo, outro mercado) - filtre-as e apenas o que restar passe pelos testes MC
Oi hankeys,
Obrigado por suas sugestões. Fiz mais alguns testes desde então e parece que preciso reduzir drasticamente minhas expectativas em relação ao que posso fazer com o SQ. Parece que há problemas inerentes à codificação ou ao Java que limitam sua capacidade de trabalhar com muitos dados na memória, ou talvez seja apenas o Windows... Talvez uma versão codificada em C para Linux seja o melhor caminho a seguir...?
Pesquisando nos fóruns, vi outro usuário com 128 GB de RAM tendo problemas. Eu estava pensando que obter a mesma quantidade de RAM com um Threadripper poderia me permitir fazer o que eu queria, mas parece que não. Ao pesquisar sobre esse software, e considerando o preço, minha expectativa era de que os únicos fatores limitantes seriam o tempo e os recursos de computação.
De qualquer forma, tentei algumas configurações diferentes com os dados M1 e o uso da memória está muito melhor, embora no momento não esteja testando nenhum par adicional. O único problema é que, agora, parece que eu quebrei totalmente o SQ! xD
Arquivo de configurações anexado.

Vejo que você diz que 10.000 é um absurdo, mas vou explicar o que eu estava pensando para que pareça menos ridículo para você.
Minha ideia inicial era testar todos os 28 pares principais e cruzados para criar estratégias que se comportassem em relação ao mercado como um todo, em vez de um par específico. Tenho criado manualmente EAs com referência ao indicador CFP de Simeon Semenych (https://www.mql5.com/en/users/semsemfx/publications) que me levou a essa abordagem.
Portanto, em termos de SQ, minha preferência é adotar uma abordagem de força bruta e tentar configurá-lo para que possa ser executado constantemente com configurações bastante restritas, usando também dados de RT e de portfólio para dispensa, de modo que ele salve apenas estratégias com desempenho razoavelmente bom na primeira tentativa. Eu queria colocar x28 pares para testes adicionais, mas descobri que ele é limitado a x6.
Minha preferência é usar a capacidade de computação para resolver o problema em vez de ficar testando e testando novamente diferentes configurações na esperança de encontrar algo que funcione, o que parece um sonho impossível.
- Saindo um pouco do assunto, por falar em sonhos, vi esta postagem no blog (https://quant.blog/success-story-a-perfect-forex-portfolio/) e gostaria de saber se você já viu alguém realmente criar um portfólio parecido com esse? O blog afirma que os resultados ao vivo do usuário estão próximos dessa curva de patrimônio, mas como o link do Myfxbook está quebrado, tenho que dizer que não é verdade.
Sei que isso não se alinha com a abordagem que muitos outros estão usando, mas sinceramente acho desconcertante quando leio outras pessoas falando sobre o uso de configurações específicas para cenários específicos. Quero dizer, em última análise, vejo o SQ como um gerador de números aleatórios específico do aplicativo que está tentando gerar padrões que produzam um resultado desejado quando executado contra os dados aleatórios de pares de moedas. Imagino que existam algumas configurações que ditam os limites da operação, como as configurações mínimas/máximas do indicador, por exemplo, mas, em última análise, me ocorre que, se você estiver otimizando usando configurações específicas, será apenas uma forma de ajuste de curva, ou seja, a partir do momento em que uma estratégia é criada, ela funciona ou não. Também acho que, se a abordagem exigir a execução de muitos testes diferentes com configurações diferentes, isso inerentemente também reduzirá a chance de encontrar resultados positivos devido à repetição ou a configurações perdidas.
Portanto, considerando tudo isso, eu queria que o sistema ficasse em execução, adicionando continuamente estratégias cada vez melhores ao banco de dados ao longo do tempo. Em seguida, eu pegaria todas elas regularmente e as executaria por meio do QA Portfolio Master, ou talvez do Portfoliolizer, para encontrar os portfólios ideais a serem executados.
Agora, com esse erro atual, estou totalmente perplexo com o fato de ele ter desistido após 14.999 tentativas.
obrigado, Al 🙂
... o estrangeiro não se preocupa com as opiniões dos humanos ...
0
Visualizando 8 respostas - 1 até 8 (de um total de 8)