As simulações de Monte Carlo parecem não concluir nada sobre o desempenho futuro de uma estratégia

Acabamos de encontrar este interessante artigo de Daniel hoje: http://mechanicalforex.com/2016/05/do-monte-carlo-simulations-say-anything-about-system-robustness.html

 

Achado muito interessante e em conclusão com minhas descobertas até agora.... Há cerca de 8 anos eu tenho executado sistemas ao vivo (não apenas do SQ) que já foram simulados antes em Monte Carlo e ainda não encontrei nenhuma conclusão até agora sobre essas estratégias que tiveram maus resultados de simulação Monte Carlo antes de entrar ao vivo fizeram pior do que as que tiveram ótimos resultados de simulação Monte Carlo. Daniel descreve-o muito bem, as simulações de Monte Carlo tendem a preferir estratégias que funcionam bem apenas com dados suaves e podem fazer com que você se torne rentável estratégias ao vivo que funcionam apenas com preços precisos e que ainda assim fariam muito bem para o futuro (como Daniel o descreve com a empresa que está comprando para sempre depois de 2 novos máximos, etc.). Portanto, na verdade, as simulações de Monte Carlo podem fazer você descartar estratégias realmente boas que teriam feito um bom avanço e, portanto, funcionariam contraproducentes para nós.

 

Alguém mais com uma base sólida de comércio ao vivo tem alguma outra conclusão sobre a estabilidade de Monte Carlo versus comércio ao vivo até agora? Seria ótimo ouvir...

@Treshold: essa estratégia que você mencionou, eu a utilizo exatamente assim há 1,5 ano 🙂 Acho que todos nós a encontramos exatamente assim, pois é uma das mais comuns (break out). De qualquer forma, este é apreciado pelo MC pelo fato de ser baseado em fugas. Ele também passa em todos os testes aqui, mesmo com dados distorcidos (chance de 70%, variação de 30% ATR, 400 testes). O motivo, no entanto, é o seguinte: trata-se de uma estratégia de rompimento baseada em rompimentos bastante grandes e grandes valores finais, e também se refere aos últimos 300 máximos ou mínimos, de modo que alguma distorção nos dados, mesmo as mais pesadas, ou a variação dos parâmetros ainda permitem que ela seja aprovada no MC, pois os rompimentos ocorrem mesmo em dados muito distorcidos. Esse tipo de estratégia também é favorecido pelo MC.

 

No entanto, tenho uma estratégia que criei há cerca de 6 anos (não na SQ, é claro) que de fato se refere ao Open[85] e a outros valores muito específicos no tempo. Ela também usa uma boa quantidade de parâmetros, na verdade, uma grande quantidade que todos nós chamaríamos de ajuste de curva. No entanto, essa estratégia tem um bom desempenho há 6 anos! Eu a codifiquei no SQ há algum tempo e executei o MC, qualquer tipo de teste (além do spread e da derrapagem) fez com que ela parecesse TERRÍVEL - esse tipo de estratégia que você colocaria imediatamente na lixeira. No entanto, ela se saiu melhor do que a maioria das estratégias que já criei e que tinham um ótimo MC. Portanto, sim, como já mencionei na postagem inicial, as estratégias que não passam no MC também podem ser muito lucrativas no futuro, portanto, o MC não diz nada sobre o desempenho futuro ou a estabilidade, caso contrário, essa estratégia de 6 anos já deveria ter fracassado. Isso também é o que o Daniel conclui e é por isso que postei este post, pois queria saber o que os outros acharam disso.

 

Na verdade, também não é muito difícil simular isso. Podemos fazer isso da seguinte maneira:

 

1) Crie uma estratégia com base nos dados de 1989 a 2000

2) Execute o MC nessa estratégia também de 1989 a 2000 e observe os resultados (MC bom ou ruim?)

3) Agora, execute a estratégia nos dados de 2000 a 2016 e anote os resultados também (teve bom desempenho ou não?)

4) Anote esses resultados no Excel e faça isso para pelo menos 100 estratégias para obter uma relevância estatística significativa.

5) Veja se é possível estabelecer alguma relação entre um bom (pseudo) desempenho de OOS de 2000 a 2016 e os resultados da simulação MC nos dados de 1989 a 2000 (boa MC = bons resultados de pseudo OOS em >50% dos casos?)

 

Acho que, de fato, é melhor não iniciar mais esses tópicos aqui. E, na verdade, mantive a maior parte do material que encontrei ultimamente sobre a criação de estratégias mais bem-sucedidas e como acelerar ainda mais o SQ fora daqui, pois não é a primeira vez que há flamejamento em vez de uma boa discussão em torno dessas postagens. Parece que é apenas uma minoria aqui que deseja realmente discutir tópicos importantes sobre como obter lucro em negociações automatizadas, além do habitual "isso deve funcionar assim, mas não tenho provas nem ideia se realmente funciona, coloquei em prática e falhei novamente, droga..." e, em vez disso, andamos em círculos para sempre sem ganhar dinheiro. Agora eu entendo perfeitamente o valor de uma comunidade fechada em que todos pagaram para fazer parte dela - você tem discussões de ótima qualidade em vez de discussões estúpidas, porque todos colocaram dinheiro na mesa para isso e realmente querem ter sucesso e aprender alguma coisa. É uma comunidade livre de desperdiçadores de tempo, como temos muitos aqui, infelizmente.

 

P.S.: Acabei de receber a resposta (infelizmente compreensível) de Daniels. Obrigado a alguns dos usuários daqui que não estão interessados em uma discussão significativa, mas que preferem insultar e atacar neste tópico:

 

“Olá, Geektrader,

Obrigado por me informar, vou ficar de olho nisso! No entanto, não sou um grande fã de flaming, portanto, vou me abster de entrar na discussão mencionada acima. Mais uma vez, obrigado por comentar,

Com os melhores cumprimentos,

Daniel"

Geek. Apenas relaxar. Temos aqui uma boa discussão, incluindo suas postagens e as de outros. Este tópico é excelente. Portanto, abra a janela e vamos começar esses testes juntos. Neste momento, só posso concordar, com base em minha própria pesquisa, que para mim algumas configurações de estratégia (estratégias TF de 1 dia e 4 horas) não podem passar pelos meus testes de MC. As descobertas de Daniels são um bom ponto de partida para a pesquisa. E, sem qualquer discussão, ele está administrando um dos melhores blogs 😉 🙂 .

Já trabalhei em uma empresa de comércio real, é preciso ter uma pele grossa para sobreviver nesses ambientes: 

Geek. Apenas relaxar. Temos aqui uma boa discussão, incluindo suas postagens e as de outros. Este tópico é excelente. Portanto, abra a janela e vamos começar esses testes juntos. Neste momento, só posso concordar, com base em minha própria pesquisa, que para mim algumas configurações de estratégia (estratégias TF de 1 dia e 4 horas) não podem passar pelos meus testes de MC. As descobertas de Daniels são um bom ponto de partida para a pesquisa. E, sem qualquer discussão, ele está administrando um dos melhores blogs 😉 🙂 .

 

Atualizei minha postagem anterior sobre esse assunto com a resposta de Daniels, que decidiu não entrar aqui também graças aos flamers. Não se trata de relaxar, eu relaxo muito bem, simplesmente não tenho tempo a perder com flamers como notch ou mikeyc, simplesmente não valem um único minuto do meu tempo. Ou temos uma discussão fundamental e significativa sobre como podemos testar as coisas, em vez de presumir qualquer coisa e sem flamingar, ou eu simplesmente continuo fazendo a pesquisa por conta própria, como tenho feito ultimamente, em vez de publicá-la aqui, já que sempre acabo perdendo tempo com flamers e pessimistas que não têm nenhum tipo de prova nem testaram nada, mas têm tempo para postar comentários infantis. Desculpe, mas não tenho mais 19 ou 20 anos como esses caras parecem ter e sei que o tempo de vida é nosso maior valor e presente. As pessoas que não entendem isso estão "fora da minha lista" em um piscar de olhos.

Hoje em dia, ao comprar o asirkuy mmbrshp, preciso preparar os dados e, em seguida, farei esses testes com minhas estratégias atuais e publicarei os resultados aqui.

 

É ótimo ouvir isso, Clonex. Suponho que suas estratégias atuais tenham sido criadas com base em 15 anos de dados de 2000 a 2016 ou algo nesse intervalo? Se for esse o caso, será ainda mais fácil para você, pois poderá fazer o contrário:

 

1) Execute simulações de MC para essas estratégias em seu conjunto de dados atual de 2000 a 2016 e anote os resultados, se bons ou ruins, de MC

2) Execute as estratégias nos novos dados do Asirikuy de 1989 a 2000 e veja se eles têm um bom desempenho de pseudo OOS e anote isso também.

3) Veja se há alguma correlação entre o bom MC de 2000 a 2016 e o bom pseudo OOS de 1989 a 2000.

 

Estou realmente ansioso por isso!

É ótimo ouvir isso, Clonex. Suponho que suas estratégias atuais tenham sido criadas com base em 15 anos de dados de 2000 a 2016 ou algo nesse intervalo? Se for esse o caso, será ainda mais fácil para você, pois poderá fazer o contrário:

 

1) Execute simulações de MC para essas estratégias em seu conjunto de dados atual de 2000 a 2016 e anote os resultados, se bons ou ruins, de MC

2) Execute as estratégias nos novos dados do Asirikuy de 1989 a 2000 e veja se eles têm um bom desempenho de pseudo OOS e anote isso também.

3) Veja se há alguma correlação entre o bom MC de 2000 a 2016 e o bom pseudo OOS de 1989 a 2000.

 

Estou realmente ansioso por isso!

Vou fazer isso e lhe contarei 😉

1) Crie uma estratégia com base nos dados de 1989 a 2000

2) Execute o MC nessa estratégia também de 1989 a 2000 e observe os resultados (MC bom ou ruim?)

3) Agora, execute a estratégia nos dados de 2000 a 2016 e anote os resultados também (teve bom desempenho ou não?)

4) Anote esses resultados no Excel e faça isso para pelo menos 100 estratégias para obter uma relevância estatística significativa.

5) Veja se é possível estabelecer alguma relação entre um bom (pseudo) desempenho de OOS de 2000 a 2016 e os resultados da simulação MC nos dados de 1989 a 2000 (boa MC = bons resultados de pseudo OOS em >50% dos casos?)

Novamente

 

MC é para medir RISCO.

Seu teste de fundo poderia dizer 4% DD.
Monte Carlo sim mostrará que um 7% DD é possível. É a isto que você ajusta seu tamanho comercial.
 mas o verdadeiro objetivo de Monte Carlo é encontrar prováveis drawdowns.
 

 

Concordo que isso é inútil para testes de robustez, porque, em minha opinião, não é para testes de robustez. É para dimensionamento de posiçãoe para projetar uma futura faixa de equidade.

Concordo que o MC serve para ajustar seu risco, não para comprovar a robustez.^ Acho que outros testes são muito melhores para a robustez do que o MC.

MC é para isso.
Você cria um sistema que faz backtests de 10% DD com 1% de risco por negociação.
Você o monta 10.000 vezes. Você encontra 95% de confiança 20% DD.
You really can only tolerate 10%DDs and that’s why you chose this system.
O que a simulação Monte Carlo está mostrando é que você deve reduzir seu risco para 0,5% por negociação para manter um nível de confiança de 95% de que permanecerá dentro de um DD de 10%.

É para isso que a maioria dos profissionais usa o MC. Não teste de robustez, mas parece ser consenso que é um bom teste de robustez... mas não é. Eu tendo a concordar com isso.

Hoje em dia, ao comprar o asirkuy mmbrshp, preciso preparar os dados e, em seguida, farei esses testes com minhas estratégias atuais e publicarei os resultados aqui.

Acho que esse foi o primeiro gif postado nos fóruns da SQ.
Muitas coisas boas estão por vir.

Esse é um tópico realmente interessante, mas às vezes também muito pessoal.

 

devemos discutir o mérito, não as pessoas envolvidas. 

 

Geektrader, você publicou alguns artigos interessantes recentemente que trazem outra opinião e contradizem a minha.

 

Apesar do teste de Daniels, ainda acho importante testar a estratégia em diferentes símbolos/timeframes, pois isso dá uma indicação de que a estratégia está ajustada à curva de determinados dados.

Também continuo acreditando que o Monte Carlo é uma boa ferramenta para estimar o risco e a faixa de desempenho que podemos esperar.

 

Planejamos usar o bootstrapping no SQ4 como teste de robustez adicional, só preciso implementá-lo.

 

A propósito, também fui membro do Asirikuy há algum tempo e achei os artigos do Daniels muito interessantes.

Ótima discussão, pessoal!

 

Para mim, o MC serve para determinar meu risco, como outros já disseram neste tópico. Na verdade, não uso o MC no SQ a não ser para ver 1) o que é o 95% WC em termos de estratégia original e 2) apenas uma indicação visual das execuções do MC de que elas não estão "muito espalhadas".Por exemplo, meus OOS em contas de demonstração/ao vivo estão alinhados com meu pior caso de DD.  

 

Como @threshold disse, eu também concordo com ele e o utilizo para determinar o tamanho da posição e o risco,

 

Desde que comecei a usar o SQ, sempre achei que o MC no SQ foi erroneamente chamado de testes de robustez e deveria ser mais parecido com "WC/DD e análise de risco"

 

Já declarei várias vezes neste fórum que também sou membro do Daniels, Asirikuy, há vários anos, e valorizo as informações que ele tem a oferecer. Ainda não li essa postagem do blog (não me atualizei com meus feeds de notícias esta semana), então darei uma olhada no fim de semana.

 

Para mim, os testes de robustez são a capacidade de negociar com lucro em muitas circunstâncias diferentes, ou seja, pares diferentes, condições de mercado, dados de corretores diferentes. Ultimamente, o K.I.S.S. tem sido meu lema na geração de estratégias. Apenas executo minha mineração com o uso dos indicadores mais simples; o tempo dirá se eles se revelam mais robustos.

 

Isso nos leva de volta à discussão que tivemos em um tópico anterior, no qual eu tendia a concordar com você @geektrader que o que estamos vendo nos últimos anos com o aumento da geração de sistemas inteligentes, GA, NN e assim por diante. Acho que, para nós, comerciantes de varejo, a dinâmica do mercado cambial pode ter mudado e questiono a validade dos dados históricos em determinados períodos de tempo, porque ferramentas como a SQ dependem totalmente do histórico para produzir e testar estratégias robustas.

 

No entanto, acredito que serão tendências, pois os mercados são movidos por fundamentos e políticas governamentais, ou seja, um país terá uma meta de taxa de juros que deseja atingir para controlar outros fundamentos econômicos, como gastos, exportações, etc. Assim, o fluxo de dinheiro no mercado cambial entrará ou sairá do país, dependendo dessas políticas. Então, será que aplicativos como o SQ e o Asirikuys Kantu funcionarão no futuro? Mais uma vez, só o tempo dirá, mas, mais uma vez, ainda tendo a ser positivo nessa frente, já que a cada segundo do dia novos dados de mercado estão sendo gerados, será que esses sistemas acabarão se adaptando?

 

Também em termos de robustez, tendo a acreditar que, nesse mercado (forex) em que o câmbio é descentralizado, a corretora e suas artimanhas têm muito a ver com as coisas, especialmente para a maioria de nós que somos traders de varejo. O que vi em duas corretoras diferentes em suas contas de varejo premium (pepperstone e Go Markets Australia) é que o desempenho da estratégia parece ser afetado proporcionalmente ao montante de capital que tenho na conta, ou seja, quanto mais tenho na conta, pior é o desempenho das minhas estratégias, enquanto a conta com menos parece ter um desempenho muito bom. Também verifiquei transferindo a maior parte do $ da conta alta para minha conta menor na outra corretora, de modo que ela se tornou minha conta maior, e eis que essa conta começou a ter um desempenho ruim, enquanto minha conta agora pequena começou a ter o desempenho esperado, ambas as contas executam as mesmas estratégias nos mesmos níveis de risco. Estou pensando em abrir mais contas e distribuir meu capital entre elas em contas menores, certificando-me de manter o $ abaixo de 5K para ver se o desempenho geral do meu portfólio melhora.

 

Por fim, acho que, para melhorar o desempenho/robustez, as estratégias precisam ser negociadas sob o controle de um gerenciador de negociação que fará shadow trade e determinará o dimensionamento final do contrato de forma dinâmica com base no desempenho da estratégia em condições reais, Assim, ele efetivamente colocará uma estratégia de baixo desempenho off-line automaticamente quando ela começar a falhar, mas, ao contrário disso, deverá colocá-la novamente on-line quando as condições do mercado voltarem a se alinhar com seus fundamentos subjacentes e até mesmo aumentar o tamanho do contrato se o desempenho da estratégia começar a aumentar, de modo que a estratégia ainda seja efetivamente negociada em segundo plano. Acho que apresentei uma solicitação de recurso para isso no fórum relevante aqui.

 

Espero sinceramente que ninguém pare de contribuir com este fórum da comunidade. Tenho certeza de que todos nós podemos ser adultos em relação às discussões que temos, de modo que possamos contribuir positivamente para ajudar uns aos outros.

 

Para mim, a jornada ainda está em andamento!

 

Stephen

Quando vejo coisas como essa:

Só sei que negociar e encontrar estratégias simples e robustas não é tão complicado assim. Os analistas gostam de ser extravagantes, especialmente aqueles que trabalharam em bancos... No final, todos eles voltam à simplicidade. Ernie Chan escreveu alguns livros sobre esse assunto, nos quais ele se aprofunda muito em algoritmos. Ele programou HFTs de IA para bancos (acho que para o Goldman Sachs) e, quando começou a negociar seu próprio dinheiro, voltou a usar modelos simplistas e testes de robustez. Alguns desses documentos em pdf realmente vão além do que é realmente necessário para encontrar uma estratégia robusta que faça dinheiro. Não é tão complicado assim.

Como generalização, poucas coisas nas negociações são verdadeiras o tempo todo, mas podem ser quase sempre verdadeiras.

Meus sistemas ADX de fabricação própria que tiram proveito de um real O padrão que acontece em QUALQUER mercado e os ativos falham no Monte Carlo porque eles têm apenas cerca de 80 negociações de dados históricos por par. É um evento raro que só acontece em cada par talvez de 3 a 5 vezes por ano e, ainda assim, é incrivelmente confiável em QUALQUER mercado. Eles são a coisa mais bem-sucedida que sustenta meu portfólio. Portanto, com base em minha experiência direta, isso me ensinou a confiar menos no MC.
Algumas estratégias perfeitas geradas por curvas de patrimônio líquido que tiram proveito de um padrão inexistente (basta comprar a curva de distância X de stop ajustada aos desvios históricos do par de moedas) são aprovadas pelo MC com louvor e quebram assim que entram em operação. Com base em minha experiência direta, isso me ensinou a confiar menos no MC.

Não estou dizendo que é completamente inútil e também não estou confiando 100% na MCA. Não é tão fácil assim fazer uma estratégia de Monte Carlo e ela ser vencedora. Se isso fosse verdade, ninguém neste fórum estaria mais reclamando e todos seriam extremamente bem-sucedidos, inclusive você.
Nada é 100% confiável nas negociações. É claro que talvez possa ser outro filtro, mas, acima de tudo, serve para dimensionar o risco.
Eu só uso o WFM exatamente para o que você está usando o MC (parâmetros variáveis/conjuntos de dados), mas o WFM realmente tem critérios que eu posso definir para aprovação/reprovação. O MC na SQ não tem.

Boa conversa,

De acordo com minha experiência, um dos melhores testes de robustez é:

¢ 1 ~ 2 Timeframes acima/abaixo do Timeframe atual,

Os parâmetros dos indicadores devem funcionar na faixa de 10~25% e mudar da mesma forma que os parâmetros originais atuais,

 

tipo de MC...,

Em um software alternativo ao SQ, descobri que eles têm diferentes cronogramas incorporados aos testes de MC, o que pode melhorar o fluxo de trabalho com o SQ4 🙂 .

 

Tenha um ótimo fim de semana!

 

Também em termos de robustez, tendo a acreditar que, nesse mercado (forex) em que o câmbio é descentralizado, a corretora e suas artimanhas têm muito a ver com as coisas, especialmente para a maioria de nós que somos traders de varejo. O que vi em duas corretoras diferentes em suas contas de varejo premium (pepperstone e Go Markets Australia) é que o desempenho da estratégia parece ser afetado proporcionalmente ao montante de capital que tenho na conta, ou seja, quanto mais tenho na conta, pior é o desempenho das minhas estratégias, enquanto a conta com menos parece ter um desempenho muito bom. Também verifiquei transferindo a maior parte do $ da conta alta para minha conta menor na outra corretora, de modo que ela se tornou minha conta maior, e eis que essa conta começou a ter um desempenho ruim, enquanto minha conta agora pequena começou a ter o desempenho esperado, ambas as contas executam as mesmas estratégias nos mesmos níveis de risco. Estou pensando em abrir mais contas e distribuir meu capital entre elas em contas menores, certificando-me de manter o $ abaixo de 5K para ver se o desempenho geral do meu portfólio melhora.

 

 

Oi Steven,

 

Por que o desempenho é pior em contas maiores? É por causa da derrapagem? Essa é a única coisa que deveria fazer diferença no lucro entre duas corretoras diferentes, não é? (o spread é diferente, é claro, mas isso não deve ter o impacto sobre o qual você escreveu)

 

Patrick