SOMENTE LEITURA

O fórum agora é um arquivo somente para leitura.

Para relatórios de bugs e perguntas sobre a plataforma → [email protected]

Nossa comunidade vive no Discord e no YouTube - junte-se a nós!

JUNTE-SE A NÓS EM Discórdia YouTube

Quão robusto é robusto o suficiente?

31 respostas

Cujo

Cliente, bbp_participant, comunidade, 97 respostas.

Perfil da visita

10 anos atrás #115074

Quais configurações você usa no teste de robustez Monte Carlo? Sei que todo cuidado é pouco, que se trata de dinheiro e que é preciso ter certeza, portanto, não quero reduzir muito os testes de robustez, mas...

 

Comecei com a imagem superior. Todas as estratégias testadas não apenas falharam, mas foram muito, muito, muito ruins. Isso me fez pensar: talvez minhas configurações (imagem superior) sejam muito severas. Isso transformaria estratégias moderadamente bem-sucedidas, usando os mesmos dados de IS para o Monte Carlo, não apenas em destruição de conta, mas em obliteração total.

 

Somando tudo, por exemplo, há uma chance de 60% de que algo aconteça, como uma mudança de parâmetro de 20%, ou uma mudança de preço de 20%, etc... logicamente, isso parece muito pesado.

 

Onde comecei

6jtN7Fe.png

 

Fiz alguns experimentos, inicialmente pensando que, se eu pegasse várias estratégias, no mesmo SI, as executasse na Simulação Monte Carlo e as ajustasse de modo que o lucro líquido mais robusto fosse de ~10% em ambos os lados, possivelmente estaria certo. Mas isso me pareceu um pouco otimizado demais em relação ao risco, buscando um resultado específico com minhas configurações de robustez, o que me pareceu errado (e, de qualquer forma, era muito difícil).

 

Então pensei - já sei, vou deixar tudo pela metade, o que ainda deixa uma chance de 30% de que algo aconteça, como uma negociação ser ignorada ou uma mudança de parâmetro, etc., o que me deixou com isso abaixo...

 

Onde estou agora

E7kT8xy.png

 

 

Depois comecei a duvidar disso, então pensei em pedir conselhos. Quais configurações você usa para testar a robustez na Simulação de Monte Carlo? Talvez até a imagem 2 seja muito pesada?

 

 

Quantas simulações de Monte Carlo devem ser executadas

Isso realmente me fez pensar em quantas simulações executar:

  • 5.000 é mais ou menos suficiente, 7.500 é melhor e 10.000 é demais, de um estudo que analisou estudos sobre simulações de Monte Carlo.
  • 500-1000 é suficiente se estiver testando armas, mas os resultados se estabilizam após ~500. Acho que a diferença entre 98% mortos e 95% mortos é discutível.
  • Pelo menos 440 vezesSe você estiver usando um software dedicado e profissional de análise de risco (observação - analisador de risco profissional, não operador profissional).
  • Muitas leituras citaram que o número de vezes que você precisa executá-lo depende do desvio padrão dos dados em que você o está executando.

Quanto ao número de vezes que deve ser executado para avaliação do sistema de negociação, a corretora ambi aconselha 1000 (aqui e aqui), Vanguard do 5000 A recomendação mais baixa que encontrei foi 500mas a melhor recomendação parece ser dimensioná-lo em torno de 4.000, dependendo de quantos parâmetros em seu sistema... quantos você está executando?

 

Alterei meu nível de confiança de 95% para 98%, o que me deixou mais confiante, mas ainda estou em dúvida sobre quais configurações usar...?

0

Cujo

Cliente, bbp_participant, comunidade, 97 respostas.

Perfil da visita

10 anos atrás #137131

O Monte Carlo é executado sobre toda a série de dados selecionada ou apenas sobre o IS ou o OOS?

 

Por exemplo, se eu estiver testando em 2004 e 2005, com 50% IS/OOS, o Monte Carlo é executado em 2004 e 2005...? Você sabe?

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137132

O Monte Carlo é executado sobre toda a série de dados selecionada ou apenas sobre o IS ou o OOS?

 

Por exemplo, se eu estiver testando em 2004 e 2005, com 50% IS/OOS, o Monte Carlo é executado em 2004 e 2005...? Você sabe?

 

O manual do SQ é seu amigo! 🙂

Se você não ler o manual, poderá ler a página Robustness (Robustez); veja as capturas de tela: Os resultados na tabela são para dados completos (In Samlple + Out of Sample)

 

Tenho outro problema que será publicado na próxima postagem.

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137133

Veja só, o Monte Carlo é baseado no acaso, portanto, se você pressionar algumas vezes o RUN, obterá resultados absolutamente diferentes na seção MC. Isso está correto, mas não atende ao objetivo do teste.

é como uma loteria para as estratégias. pode-se ganhar apenas por acaso 🙂

Então, minha pergunta simples: quantas vezes devo pressionar RUN. rs?

Posso fazer com que todas as estratégias sejam aprovadas ou reprovadas apenas usando o botão RUN. hehe.

Veja a captura de tela.

 

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137139

Então, como posso confiar em algo que depende totalmente da SORTE?

Funciona como esperado, nenhuma pergunta é feita sobre isso, pois está claramente indicado nas descrições: Randomize this and this .

 

Randomizar significa Sorte 🙂

Mas depositamos toda a nossa confiança nessa SORTE para selecionar uma estratégia de trabalho.

 

Alguém que tenha diploma de ciências pode comentar?

 

Eu não deveria ter pressionado "START" duas vezes, pois sou apoiador do MC há mais de uma década.

Agora, estou totalmente perdido, pois fiz um pequeno teste com 5 estratégias, tornando-as lucrativas com a confiança de 100% e, nas próximas execuções, falhei completamente!

 

Mas é melhor tarde do que nunca, certo.

 

Agradecemos antecipadamente por seus comentários.

0

Patrick

Cliente, bbp_participant, comunidade, 422 respostas.

Perfil da visita

10 anos atrás #137140

O teste RT não depende da sorte.

 

1000 testes são estatisticamente "100% com certeza", mas, em geral, para filtragem bruta, 100 execuções são suficientes. 

 

Então, faça mais corridas e tudo ficará bem. É claro que quando você faz 10 corridas não é suficiente para ver todas as possibilidades - é por isso que é bom e depois é ruim

 

Quando você faz 100 execuções primeiro e depois de 1.000 execuções, o que passa por 100 na maioria das vezes passa por mil.

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137142

Obrigado Patrick, 1000 testes é o mesmo que executar 100 vezes com 10test 🙂

Portanto, esse tópico prova que o poder do Numbers é uma realidade e que qualquer pessoa que queira executar o 100test precisa lê-lo.

Executei 10 testes apenas para provar o ponto, mas deixe-me fazer 1.000 primeiro, pois isso também pode acontecer 🙂 pois mesmo 1.000 não cobrirão infinitas possibilidades, mas nos darão mais confiança na estratégia.

 

Voltarei com mais testes, pois quero encerrar o assunto hoje.

0

Patrick

Cliente, bbp_participant, comunidade, 422 respostas.

Perfil da visita

10 anos atrás #137143

Não, é diferente. 1000 testes não são 10×100 testes, em 10×100 testes alguns testes podem se repetir. Em 1000 testes, cada teste é diferente dos outros. nenhum teste se repete, ao contrário de 10×100 testes.

 

Você não precisa fazer 1.000 simulações, 100 são suficientes para ver os resultados mais prováveis da simulação. Podem ocorrer pequenos desvios - o importante é que a maioria das ações seja de ações em alta.

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137144

Testes em 10x

  Execução de testes de robustez na estratégia USDJPY-M15-14.40
Testando USDJPY-M15-14.40 ..... 6.219 s.
FEITO em 7,641 s.

 

Testes 100x

  Execução de testes de robustez na estratégia USDJPY-M15-14.40
Testando USDJPY-M15-14.40 ..... 55.067 s.
FEITO em 58,442 s.

 

Testes de 1000x

  Execução de testes de robustez na estratégia USDJPY-M15-14.40
Testando USDJPY-M15-14.40 ..... 542.407 s.
FEITO em 566,611 s.

 

Mais uma vez, obrigado, Patrick,

Agora, as perguntas sobre a velocidade do teste.

Estou testando em um servidor e usando apenas 32 núcleos por enquanto com 32 GB de RAM (aumentarei para 128 núcleos/128 GB). Durante este teste, a CPU não está sendo usada (6%), a RAM tem cerca de 6 GB (sobra bastante) e o disco não está sendo usado.

SQ configurado para usar todos os 32 núcleos, mas ele não os usa. No entanto, no WFO, todos os 32 núcleos são 80-90%.

Você poderia explicar, pois leva muito tempo para processar esses 100 testes, 10 testes levam 58 segundos, então 100 levarão cerca de 10 minutos. Acho que é melhor fazer a correlação primeiro e remover as estratégias repetidas e, em seguida, fazer a simulação de teste robusto. 

 

Por favor, informe.

Obrigado.

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137145

Adotei uma estratégia que não tem uma curva Equty significativa apenas para testar.

E execute todos os testes 10x / 100x / 1000x ,

Nesse caso, a diferença é muito pequena, e quase não há diferença entre os testes de 100x e 1000x

veja meus testes abaixo:

Tentarei encontrar algo melhor para ver se isso muda muito com a quantidade de testes, mas uso as configurações Robust conforme minha postagem anterior, acho que é um exagero, mas é isso que Mark / Partic colocam como padrão 🙂 lol

Obrigado por todos os comentários.

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137146

Todos os testes anteriores foram executados na Dukas Copy M15 com resolução M1

Agora é hora de executar os dados de ticks reais

Executando 100x testes, todos passaram! mas a estratégia Original falhou miseravelmente.

 

A estratégia foi gerada no M15 (somente no período selecionado) e não no M1/Tick, a robustez foi desativada durante a geração.

Algum comentário?

Obrigado.

0

Cujo

Cliente, bbp_participant, comunidade, 97 respostas.

Perfil da visita

10 anos atrás #137162

Sim, olhando para isso, acho que entre 100 e 1.000 testes, há pouca diferença, eles são semelhantes. 

 

No momento, estou executando 550 testes apenas porque (com base em algumas das leituras que destaquei na OP).

 

Observando seu estudo, acho que vou mudar isso para 100.

0

Tomas Matejka

Administrador, sq-ultimate, 2 respostas.

Perfil da visita

10 anos atrás #137169

Todos os testes anteriores foram executados na Dukas Copy M15 com resolução M1

Agora é hora de executar os dados de ticks reais

Executando 100x testes, todos passaram! mas a estratégia Original falhou miseravelmente.

 

Isso parece estranho. Verificaremos se há algum problema possível

Você poderia anexar também a estratégia USDJPY 15 min 14,40?

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137174

No momento, estou executando 550 testes apenas porque (com base em algumas das leituras que destaquei na OP).

Observando seu estudo, acho que vou mudar isso para 100.

Isso está correto. Ao analisar esses 1.000 testes, você desmarcaria a estratégia só porque UMA delas foi um pouco para o sul em 40 negociações? Isso significa apenas que a estratégia tem 0,1% de chances de ir por esse caminho. Na realidade, é menos, pois estabeleci condições muito rigorosas.

 

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137175

Isso parece estranho. Poderíamos anexar também a estratégia USDJPY 15 min 14.40?

Obrigado, Tomas,

Isso é absolutamente estranho, não consigo reproduzir os mesmos resultados, nada mudou, os mesmos dados, as mesmas configurações.

Acho que usei o mesmo PC, mas como já era tarde, posso ter cometido um erro. Hoje tudo está funcionando como esperado.

Mas, na captura de tela, você pode ver que tudo é igual, datas, pares.

Executar 100 testes com a mesma estratégia.

Isso é testado com a resolução M1 de 100 testes.

 

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137178

Desculpe, eu deveria ter escolhido um sistema de negociação melhor, mas esse não era o objetivo, eu queria ver como o MC afetava, e era estranho que alguns sistemas de negociação tivessem RT melhor do que o Equity Curve, isso era realmente muito estranho.

Portanto, a curva Euity não importa, mas se você quiser vê-la, essa não é uma estratégia muito boa,

Não tenho certeza do que aconteceu ontem, acho que testei no servidor Windows 2012 e desta vez estou testando no Windows 2008, deixe-me testar na mesma plataforma e assim saberemos o que aconteceu.

 

0

Visualizando 15 respostas - 16 até 30 (de um total de 31)

← 1 2 3 →