Quão robusto é robusto o suficiente?
31 respostas
Cujo
10 anos atrás #115074
Quais configurações você usa no teste de robustez Monte Carlo? Sei que todo cuidado é pouco, que se trata de dinheiro e que é preciso ter certeza, portanto, não quero reduzir muito os testes de robustez, mas...
Comecei com a imagem superior. Todas as estratégias testadas não apenas falharam, mas foram muito, muito, muito ruins. Isso me fez pensar: talvez minhas configurações (imagem superior) sejam muito severas. Isso transformaria estratégias moderadamente bem-sucedidas, usando os mesmos dados de IS para o Monte Carlo, não apenas em destruição de conta, mas em obliteração total.
Somando tudo, por exemplo, há uma chance de 60% de que algo aconteça, como uma mudança de parâmetro de 20%, ou uma mudança de preço de 20%, etc... logicamente, isso parece muito pesado.
Onde comecei

Fiz alguns experimentos, inicialmente pensando que, se eu pegasse várias estratégias, no mesmo SI, as executasse na Simulação Monte Carlo e as ajustasse de modo que o lucro líquido mais robusto fosse de ~10% em ambos os lados, possivelmente estaria certo. Mas isso me pareceu um pouco otimizado demais em relação ao risco, buscando um resultado específico com minhas configurações de robustez, o que me pareceu errado (e, de qualquer forma, era muito difícil).
Então pensei - já sei, vou deixar tudo pela metade, o que ainda deixa uma chance de 30% de que algo aconteça, como uma negociação ser ignorada ou uma mudança de parâmetro, etc., o que me deixou com isso abaixo...
Onde estou agora

Depois comecei a duvidar disso, então pensei em pedir conselhos. Quais configurações você usa para testar a robustez na Simulação de Monte Carlo? Talvez até a imagem 2 seja muito pesada?
Quantas simulações de Monte Carlo devem ser executadas
Isso realmente me fez pensar em quantas simulações executar:
- 5.000 é mais ou menos suficiente, 7.500 é melhor e 10.000 é demais, de um estudo que analisou estudos sobre simulações de Monte Carlo.
- 500-1000 é suficiente se estiver testando armas, mas os resultados se estabilizam após ~500. Acho que a diferença entre 98% mortos e 95% mortos é discutível.
- Pelo menos 440 vezesSe você estiver usando um software dedicado e profissional de análise de risco (observação - analisador de risco profissional, não operador profissional).
- Muitas leituras citaram que o número de vezes que você precisa executá-lo depende do desvio padrão dos dados em que você o está executando.
Quanto ao número de vezes que deve ser executado para avaliação do sistema de negociação, a corretora ambi aconselha 1000 (aqui e aqui), Vanguard do 5000 A recomendação mais baixa que encontrei foi 500mas a melhor recomendação parece ser dimensioná-lo em torno de 4.000, dependendo de quantos parâmetros em seu sistema... quantos você está executando?
Alterei meu nível de confiança de 95% para 98%, o que me deixou mais confiante, mas ainda estou em dúvida sobre quais configurações usar...?
0
mabi
10 anos atrás #136717
Estamos apenas usando testes de robustez para verificar se a estratégia gerada está ajustada à curva do ruído do mercado. Se estiver, você não precisará nem mesmo de 500 execuções, pois ela mostrará imediatamente se está ajustada à curva com quedas nas curvas do patrimônio líquido.
No entanto, se o período de tempo for menor, haverá mais ruído e maior risco para uma estratégia ajustada à curva.
0
mabi
10 anos atrás #136718
Portanto, em resumo, o teste de ajuste da curva "Robustez" é apenas uma maneira rápida de remover estratégias ruins. O teste real é o teste walkforward; se ele não passar, exclua ou melhore a estratégia.
0
Cujo
10 anos atrás #136722
Portanto, em resumo, o teste de ajuste da curva "Robustez" é apenas uma maneira rápida de remover estratégias ruins. O teste real é o teste walkforward; se ele não passar, exclua ou melhore a estratégia.
Eles têm finalidades diferentes, é claro. Monte Carlo tem mais a ver com risco, confiança nos resultados e teste de robustez por meio de ruído, randomização etc.
O Walk forward tem mais a ver com dizer se os parâmetros devem ser otimizados (mas não qual é a otimização) e, em seguida, testar o OOS (que testa a robustez).
Aqui está um conjunto de bons artigos sobre os 2, aqui e aqui (não necessariamente as diferenças, mas o system trader é um bom site, acho que a maioria das pessoas aqui o conhece).
Mas, deixando de lado as diferenças entre o Walk forward e a Simulação de Monte Carlos, concentrando-se na Simulação de Monte Carlo... quais configurações você está usando em Monte Carlo em comparação com as imagens no OP? Parece que você tem muitos conselhos a dar... 🙂
0
mabi
10 anos atrás #136727
Obrigado! Ok, na verdade eu tenho as ferramentas gratuitas e o livro do Kevin Davey. Acho que tenho que lê-lo novamente! (Na verdade, ele me disse isso há duas semanas) No entanto, ao criar uma estratégia, estamos procurando o sinal verdadeiro sem adaptar a estratégia ao ruído do mercado e é para isso que usamos o Montecarlo. Se tivermos muitos indicadores, a estratégia certamente será adaptada, portanto, estou procurando apenas indicadores realmente simples. Uma maneira que encontrei para fazer isso com o SQ é gerar apenas de 1 a 4 anos de dados e deixar 15 anos fora da amostra. Assim, descobri que os únicos que de fato têm uma curva chave são muito simples e realmente robustos.
(Não conheço Kevin Davey, mas ele participa de outro fórum e é muito ativo)
https://www.youtube.com/watch?v=kBW7-p2DMVU
0
Eastpeace
10 anos atrás #136763
500 simulações permitiriam que o SQ parasse. (831 estratégias no pool de teste)
i7-4790, 16G de RAM.
0
geektrader
10 anos atrás #136858
Não, não usa, eu uso 1000 sempre, mesmo em várias estratégias ao mesmo tempo no Re-Tester. Não retém nada aqui, também não usa muita RAM, apenas leva muito tempo:) Mas o SQ nunca travou, apenas levou vários dias, às vezes;)
0
mabi
10 anos atrás #136859
1000 testes significa simplesmente que você está procurando 950 dos 1000 testes que devem estar dentro da faixa aceitável de desvio. Às vezes, acho difícil determinar quais testes e o tamanho da mudança a ser aplicada para ter um impacto razoável no desempenho das estratégias sem destruí-las totalmente, dependendo de sua complexidade. Isso traz à tona outra questão, que é como configurar o SQ para encontrar um determinado tipo de estratégia, de modo que você saiba que as configurações aplicadas ao teste Monecarlo estão tendo o efeito desejado. O simples fato de escolher tudo no construtor e deixá-lo funcionar produzirá uma grande variedade de tipos diferentes de estratégias e elas não poderão ser testadas com as mesmas configurações e deverão ser divididas antes do teste. Ou estou errado?
0
Cujo
10 anos atrás #136919
Eu estava pensando em robustez e ouvindo novamente um Kevin Davey podcast de Sucesso do System TraderAcho que todos aqui conhecem os dois, é claro. 🙂
Ele mencionou que fez 5.000 simulações de Monte Carlo. Estou fazendo mais de 50, às vezes 550, logo após a geração como parte do processo de eliminação. Acho que só chego perto desse número em estratégias que passaram por alguns testes básicos de robustez e uma caminhada para frente, e estou ficando mais interessado nisso. Certamente não quando estou eliminando estratégias do banco de dados aos milhares...
[media]https://www.youtube.com/watch?v=TpmDzRFIu0k[/media]
0
Cujo
10 anos atrás #136920
Obrigado! Ok, na verdade eu tenho as ferramentas gratuitas e o livro do Kevin Davey. Acho que tenho que lê-lo novamente! (Na verdade, ele me disse isso há duas semanas) No entanto, ao criar uma estratégia, estamos procurando o sinal verdadeiro sem adaptar a estratégia ao ruído do mercado e é para isso que usamos o Montecarlo. Se tivermos muitos indicadores, a estratégia certamente será adaptada, portanto, estou procurando apenas indicadores realmente simples. Uma maneira que encontrei para fazer isso com o SQ é gerar apenas de 1 a 4 anos de dados e deixar 15 anos fora da amostra. Assim, descobri que os únicos que de fato têm uma curva chave são muito simples e realmente robustos.
(Não conheço Kevin Davey, mas ele participa de outro fórum e é muito ativo)
https://www.youtube.com/watch?v=kBW7-p2DMVU
SIM, o Kevin é realmente um bom modelo. Li seu livro e o reli várias vezes. Ele é muito ativo nos fóruns e... bem, um bom modelo, ensina muito. 🙂 Eu também não o conheço, mas ele parece ser muito acessível. Acho que ele vendeu muitos, muitos de seus livros também.
0
estatística
10 anos atrás #137119
Qual é a confiabilidade do teste Robust?
A estratégia original falha, mas o teste robusto mostra resultados muito bons.
Veja o instantâneo da configuração.
http://s33.postimg.org/9gc31fw5r/Robust_test_failure_settings.png
Alguém pode comentar?
Obrigado.
0
mabi
10 anos atrás #137120
Estatísticas,
O teste de robustez tenta simular diferentes condições no mercado alterando seus dados. Parece que sua estratégia se sairia melhor em qualquer outra condição de mercado do que naquela em que você a criou.
0
estatística
10 anos atrás #137121
O teste de robustez tenta simular diferentes condições no mercado alterando seus dados. Parece que sua estratégia se sairia melhor em qualquer outra condição de mercado do que naquela em que você a criou.
Obrigado, @Mabi, pela resposta rápida. Gerei várias estratégias e elas funcionam em OUTRAS condições melhor do que nos dados originais.
Nunca tinha visto isso antes de mudar para os dados de cópia da Dukas.
A estratégia é gerada em M15, a negociação é feita na barra aberta rapidamente, mas quando o reteste é feito com o Real Tick.
Não faz muito sentido como isso acontece.
Normalmente, eu usava os dados comerciais da M1 e revisava manualmente mais de um milhão de estratégias, mas nunca tinha visto essa discrepância antes de passar a usar os dados da Dukas Copy Tick.
Vocês veem isso acontecendo com os dados de ticks da Dukas Copy?
Obrigado.
0
estatística
10 anos atrás #137125
500 simulações permitiriam que o SQ parasse. (831 estratégias no pool de teste) i7-4790, 16G ram.
Olá, amigo, acabei de fazer 1000 testes em 100 estratégias, obtive uma CPU 35%, veja a captura de tela.
Portanto, não tem nada a ver com você, SQ, apenas precisa usar Severs com especificações mais altas.
Configurações:
0
Cujo
10 anos atrás #137126
Também não tenho problemas para executar 1.000 ou 5.000 simulações de Monte Carlo em estratégias.
0
estatística
10 anos atrás #137127
Também não tenho problemas para executar 1.000 ou 5.000 simulações de Monte Carlo em estratégias.
Basta executar 1.000 testes em 100 estratégias, o que leva muito tempo, mais de 30 minutos! Mas está tudo bem, para fins de teste.
É melhor descartar primeiro as estratégias que falharam nos testes 20/100/300.
Dessa forma, você não precisa executar todas as estratégias que falharam por 5 minutos cada.
0