SOMENTE LEITURA

O fórum agora é um arquivo somente para leitura.

Para relatórios de bugs e perguntas sobre a plataforma → [email protected]

Nossa comunidade vive no Discord e no YouTube - junte-se a nós!

JUNTE-SE A NÓS EM Discórdia YouTube

Quão robusto é robusto o suficiente?

31 respostas

Cujo

Cliente, bbp_participant, comunidade, 97 respostas.

Perfil da visita

10 anos atrás #115074

Quais configurações você usa no teste de robustez Monte Carlo? Sei que todo cuidado é pouco, que se trata de dinheiro e que é preciso ter certeza, portanto, não quero reduzir muito os testes de robustez, mas...

 

Comecei com a imagem superior. Todas as estratégias testadas não apenas falharam, mas foram muito, muito, muito ruins. Isso me fez pensar: talvez minhas configurações (imagem superior) sejam muito severas. Isso transformaria estratégias moderadamente bem-sucedidas, usando os mesmos dados de IS para o Monte Carlo, não apenas em destruição de conta, mas em obliteração total.

 

Somando tudo, por exemplo, há uma chance de 60% de que algo aconteça, como uma mudança de parâmetro de 20%, ou uma mudança de preço de 20%, etc... logicamente, isso parece muito pesado.

 

Onde comecei

6jtN7Fe.png

 

Fiz alguns experimentos, inicialmente pensando que, se eu pegasse várias estratégias, no mesmo SI, as executasse na Simulação Monte Carlo e as ajustasse de modo que o lucro líquido mais robusto fosse de ~10% em ambos os lados, possivelmente estaria certo. Mas isso me pareceu um pouco otimizado demais em relação ao risco, buscando um resultado específico com minhas configurações de robustez, o que me pareceu errado (e, de qualquer forma, era muito difícil).

 

Então pensei - já sei, vou deixar tudo pela metade, o que ainda deixa uma chance de 30% de que algo aconteça, como uma negociação ser ignorada ou uma mudança de parâmetro, etc., o que me deixou com isso abaixo...

 

Onde estou agora

E7kT8xy.png

 

 

Depois comecei a duvidar disso, então pensei em pedir conselhos. Quais configurações você usa para testar a robustez na Simulação de Monte Carlo? Talvez até a imagem 2 seja muito pesada?

 

 

Quantas simulações de Monte Carlo devem ser executadas

Isso realmente me fez pensar em quantas simulações executar:

  • 5.000 é mais ou menos suficiente, 7.500 é melhor e 10.000 é demais, de um estudo que analisou estudos sobre simulações de Monte Carlo.
  • 500-1000 é suficiente se estiver testando armas, mas os resultados se estabilizam após ~500. Acho que a diferença entre 98% mortos e 95% mortos é discutível.
  • Pelo menos 440 vezesSe você estiver usando um software dedicado e profissional de análise de risco (observação - analisador de risco profissional, não operador profissional).
  • Muitas leituras citaram que o número de vezes que você precisa executá-lo depende do desvio padrão dos dados em que você o está executando.

Quanto ao número de vezes que deve ser executado para avaliação do sistema de negociação, a corretora ambi aconselha 1000 (aqui e aqui), Vanguard do 5000 A recomendação mais baixa que encontrei foi 500mas a melhor recomendação parece ser dimensioná-lo em torno de 4.000, dependendo de quantos parâmetros em seu sistema... quantos você está executando?

 

Alterei meu nível de confiança de 95% para 98%, o que me deixou mais confiante, mas ainda estou em dúvida sobre quais configurações usar...?

0

mabi

Cliente, bbp_participant, comunidade, sq-ultimate, 252 respostas.

Perfil da visita

10 anos atrás #136717

Estamos apenas usando testes de robustez para verificar se a estratégia gerada está ajustada à curva do ruído do mercado. Se estiver, você não precisará nem mesmo de 500 execuções, pois ela mostrará imediatamente se está ajustada à curva com quedas nas curvas do patrimônio líquido.

 

 

No entanto, se o período de tempo for menor, haverá mais ruído e maior risco para uma estratégia ajustada à curva.

0

mabi

Cliente, bbp_participant, comunidade, sq-ultimate, 252 respostas.

Perfil da visita

10 anos atrás #136718

Portanto, em resumo, o teste de ajuste da curva "Robustez" é apenas uma maneira rápida de remover estratégias ruins. O teste real é o teste walkforward; se ele não passar, exclua ou melhore a estratégia.

0

Cujo

Cliente, bbp_participant, comunidade, 97 respostas.

Perfil da visita

10 anos atrás #136722

Portanto, em resumo, o teste de ajuste da curva "Robustez" é apenas uma maneira rápida de remover estratégias ruins. O teste real é o teste walkforward; se ele não passar, exclua ou melhore a estratégia.

 

Eles têm finalidades diferentes, é claro. Monte Carlo tem mais a ver com risco, confiança nos resultados e teste de robustez por meio de ruído, randomização etc.

 

O Walk forward tem mais a ver com dizer se os parâmetros devem ser otimizados (mas não qual é a otimização) e, em seguida, testar o OOS (que testa a robustez).

 

Aqui está um conjunto de bons artigos sobre os 2, aqui e aqui (não necessariamente as diferenças, mas o system trader é um bom site, acho que a maioria das pessoas aqui o conhece).

 

Mas, deixando de lado as diferenças entre o Walk forward e a Simulação de Monte Carlos, concentrando-se na Simulação de Monte Carlo... quais configurações você está usando em Monte Carlo em comparação com as imagens no OP? Parece que você tem muitos conselhos a dar... 🙂

0

mabi

Cliente, bbp_participant, comunidade, sq-ultimate, 252 respostas.

Perfil da visita

10 anos atrás #136727

Obrigado! Ok, na verdade eu tenho as ferramentas gratuitas e o livro do Kevin Davey. Acho que tenho que lê-lo novamente! (Na verdade, ele me disse isso há duas semanas) No entanto, ao criar uma estratégia, estamos procurando o sinal verdadeiro sem adaptar a estratégia ao ruído do mercado e é para isso que usamos o Montecarlo. Se tivermos muitos indicadores, a estratégia certamente será adaptada, portanto, estou procurando apenas indicadores realmente simples. Uma maneira que encontrei para fazer isso com o SQ é gerar apenas de 1 a 4 anos de dados e deixar 15 anos fora da amostra. Assim, descobri que os únicos que de fato têm uma curva chave são muito simples e realmente robustos.

 

 

(Não conheço Kevin Davey, mas ele participa de outro fórum e é muito ativo)

 

 https://futures.io/vendors-product-reviews/26335-kj-trading-systems-kevin-davey-ask-me-anything-ask-me-anything.html

 https://www.youtube.com/watch?v=kBW7-p2DMVU

0

Eastpeace

Cliente, bbp_participant, comunidade, sq-ultimate, 298 respostas.

Perfil da visita

10 anos atrás #136763

500 simulações permitiriam que o SQ parasse. (831 estratégias no pool de teste)

 

i7-4790, 16G de RAM.

0

geektrader

Cliente, bbp_participant, comunidade, 503 respostas.

Perfil da visita

10 anos atrás #136858

Não, não usa, eu uso 1000 sempre, mesmo em várias estratégias ao mesmo tempo no Re-Tester. Não retém nada aqui, também não usa muita RAM, apenas leva muito tempo:) Mas o SQ nunca travou, apenas levou vários dias, às vezes;)


Desbloqueie sua vantagem no desenvolvimento automatizado de estratégias Forex 🚀

Dados históricos de Forex a partir de 1987, 28 pares, M1, 99% sem erros, atualizações gratuitas por toda a vida

0

mabi

Cliente, bbp_participant, comunidade, sq-ultimate, 252 respostas.

Perfil da visita

10 anos atrás #136859

1000 testes significa simplesmente que você está procurando 950 dos 1000 testes que devem estar dentro da faixa aceitável de desvio. Às vezes, acho difícil determinar quais testes e o tamanho da mudança a ser aplicada para ter um impacto razoável no desempenho das estratégias sem destruí-las totalmente, dependendo de sua complexidade. Isso traz à tona outra questão, que é como configurar o SQ para encontrar um determinado tipo de estratégia, de modo que você saiba que as configurações aplicadas ao teste Monecarlo estão tendo o efeito desejado. O simples fato de escolher tudo no construtor e deixá-lo funcionar produzirá uma grande variedade de tipos diferentes de estratégias e elas não poderão ser testadas com as mesmas configurações e deverão ser divididas antes do teste. Ou estou errado?

0

Cujo

Cliente, bbp_participant, comunidade, 97 respostas.

Perfil da visita

10 anos atrás #136919

Eu estava pensando em robustez e ouvindo novamente um Kevin Davey podcast de Sucesso do System TraderAcho que todos aqui conhecem os dois, é claro. 🙂

 

Ele mencionou que fez 5.000 simulações de Monte Carlo. Estou fazendo mais de 50, às vezes 550, logo após a geração como parte do processo de eliminação. Acho que só chego perto desse número em estratégias que passaram por alguns testes básicos de robustez e uma caminhada para frente, e estou ficando mais interessado nisso. Certamente não quando estou eliminando estratégias do banco de dados aos milhares...

 

 

[media]https://www.youtube.com/watch?v=TpmDzRFIu0k[/media]

 

 

0

Cujo

Cliente, bbp_participant, comunidade, 97 respostas.

Perfil da visita

10 anos atrás #136920

Obrigado! Ok, na verdade eu tenho as ferramentas gratuitas e o livro do Kevin Davey. Acho que tenho que lê-lo novamente! (Na verdade, ele me disse isso há duas semanas) No entanto, ao criar uma estratégia, estamos procurando o sinal verdadeiro sem adaptar a estratégia ao ruído do mercado e é para isso que usamos o Montecarlo. Se tivermos muitos indicadores, a estratégia certamente será adaptada, portanto, estou procurando apenas indicadores realmente simples. Uma maneira que encontrei para fazer isso com o SQ é gerar apenas de 1 a 4 anos de dados e deixar 15 anos fora da amostra. Assim, descobri que os únicos que de fato têm uma curva chave são muito simples e realmente robustos.

 

 

(Não conheço Kevin Davey, mas ele participa de outro fórum e é muito ativo)

 

 https://futures.io/vendors-product-reviews/26335-kj-trading-systems-kevin-davey-ask-me-anything-ask-me-anything.html

 https://www.youtube.com/watch?v=kBW7-p2DMVU

 

SIM, o Kevin é realmente um bom modelo. Li seu livro e o reli várias vezes. Ele é muito ativo nos fóruns e... bem, um bom modelo, ensina muito. 🙂 Eu também não o conheço, mas ele parece ser muito acessível. Acho que ele vendeu muitos, muitos de seus livros também.

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137119

Qual é a confiabilidade do teste Robust?

A estratégia original falha, mas o teste robusto mostra resultados muito bons.

Veja o instantâneo da configuração.

 

http://s33.postimg.org/9gc31fw5r/Robust_test_failure_settings.png

Alguém pode comentar?

Obrigado.

0

mabi

Cliente, bbp_participant, comunidade, sq-ultimate, 252 respostas.

Perfil da visita

10 anos atrás #137120

Estatísticas,

 

O teste de robustez tenta simular diferentes condições no mercado alterando seus dados. Parece que sua estratégia se sairia melhor em qualquer outra condição de mercado do que naquela em que você a criou.

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137121

O teste de robustez tenta simular diferentes condições no mercado alterando seus dados. Parece que sua estratégia se sairia melhor em qualquer outra condição de mercado do que naquela em que você a criou.

Obrigado, @Mabi, pela resposta rápida. Gerei várias estratégias e elas funcionam em OUTRAS condições melhor do que nos dados originais.

Nunca tinha visto isso antes de mudar para os dados de cópia da Dukas.

A estratégia é gerada em M15, a negociação é feita na barra aberta rapidamente, mas quando o reteste é feito com o Real Tick.

Não faz muito sentido como isso acontece.

Normalmente, eu usava os dados comerciais da M1 e revisava manualmente mais de um milhão de estratégias, mas nunca tinha visto essa discrepância antes de passar a usar os dados da Dukas Copy Tick.

Vocês veem isso acontecendo com os dados de ticks da Dukas Copy?

Obrigado.

 

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137125

500 simulações permitiriam que o SQ parasse. (831 estratégias no pool de teste) i7-4790, 16G ram.

Olá, amigo, acabei de fazer 1000 testes em 100 estratégias, obtive uma CPU 35%, veja a captura de tela.

Portanto, não tem nada a ver com você, SQ, apenas precisa usar Severs com especificações mais altas.

Configurações:

 

 

0

Cujo

Cliente, bbp_participant, comunidade, 97 respostas.

Perfil da visita

10 anos atrás #137126

Também não tenho problemas para executar 1.000 ou 5.000 simulações de Monte Carlo em estratégias. 

0

estatística

Assinante, bbp_participante, comunidade, 31 respostas.

Perfil da visita

10 anos atrás #137127

Também não tenho problemas para executar 1.000 ou 5.000 simulações de Monte Carlo em estratégias.

Basta executar 1.000 testes em 100 estratégias, o que leva muito tempo, mais de 30 minutos! Mas está tudo bem, para fins de teste.

É melhor descartar primeiro as estratégias que falharam nos testes 20/100/300.
Dessa forma, você não precisa executar todas as estratégias que falharam por 5 minutos cada.

 

0

Visualizando 15 respostas - 1 até 15 (de um total de 31)

1 2 3 →