testes múltiplos
36 respostas
krzysiaczek99
11 anos atrás #114121
Hi,
É bem conhecido que a metodologia utilizada na estratégia quant introduz falsas descobertas das estratégias.
http://eranraviv.com/multiple-testing/
http://www.financial-math.org/
ver também David H. Bailey, Jonathan M. Borwein, Marcos Lopez de Prado e Qiji Jim Zhu, "Pseudo-mathematics and financial charlatanism": Os efeitos do backktest sobre o encaixe no desempenho fora da amostra". Avisos da American Mathematical Society, maio de 2014, pg. 458-471
Você pode introduzir a medida de probabilidade de sobreajustamento ??
Krzysztof
0
krzysiaczek99
11 anos atrás #132929
Em geral, descobri que os resultados do backtest do SQ e os resultados do MT4 estão alinhados. Se não estiverem, suspeito que você não esteja fazendo o backtest no MT4 corretamente. Para que o MT4 faça o backtest corretamente, é necessário o suporte de terceiros, como o Tick Data Suite da Birt.
Parece que você já tomou uma decisão: o SQ e o analisador EA não são os produtos ideais para você no momento. Talvez algumas versões futuras se alinhem com o que você está procurando.
Boa sorte em suas negociações.
Esqueci-me de uma coisa. É claro que não levar em conta o viés devido a testes múltiplos contamina toda a análise de robustez, pois os dados de entrada (estratégia escolhida) têm um viés, portanto, isso também é um obstáculo ao show.....
O backtester do MT4 está OK, o que não está OK são as funções internas incorporadas do MQL, como iMAOnArray, iRSI e outras. Tive o mesmo problema de incompatibilidade entre o MT4 e o MATLAB, mas quando substituí essas funções por funções MQL personalizadas, tudo ficou bem.
Pessoalmente, acho que o SQ e o EA são ótimas ferramentas, pois mesmo com o que escrevi, eles estão à frente da concorrência devido, por exemplo, à possibilidade de extensão personalizada, mas com certeza precisam de mais trabalho.
Krzysztof
0
Marca Fric
11 anos atrás #133207
Krysztof, já li esses artigos há algum tempo e quero incorporar algumas das coisas mencionadas no novo SQ 4.
Mas o mais importante é que estamos desenvolvendo o novo SQ 4 como um sistema mais aberto e extensível, de modo que será possível para você, como usuário, adicionar funções como essas ao programa com mais ou menos programação.
Quanto às diferenças entre o SQ e o MT4, esse é um tema interminável e, geralmente, o problema está em dados diferentes ou configurações de teste diferentes. Pequenas diferenças nos dados ou nas configurações podem ter um impacto negativo nos resultados - apenas uma ou duas negociações perdidas podem fazer uma diferença muito grande.
Quando executado com os mesmos dados e configurações, o teste no SQ é praticamente equivalente ao do NT4, exceto por pequenos erros de arredondamento, que às vezes podem criar uma grande diferença em algumas estratégias.
Mas o que eu acho importante perceber é que, se a estratégia tiver backtests diferentes no SQ e no mT4, isso também pode significar que ela não é boa o suficiente, pois cada teste é apenas uma aproximação.
Sua negociação real será novamente diferente de qualquer backtest e uma boa estratégia deve ser capaz de funcionar também em um ambiente alterado.
Simplesmente jogue fora essa estratégia e procure outras.
Marcar
EstratégiaQuant arquiteto
0
krzysiaczek99
11 anos atrás #133226
Krysztof, já li esses artigos há algum tempo e quero incorporar algumas das coisas mencionadas no novo SQ 4.
Mas o mais importante é que estamos desenvolvendo o novo SQ 4 como um sistema mais aberto e extensível, de modo que será possível para você, como usuário, adicionar funções como essas ao programa com mais ou menos programação.
Quanto às diferenças entre o SQ e o MT4, esse é um tema interminável e, geralmente, o problema está em dados diferentes ou configurações de teste diferentes. Pequenas diferenças nos dados ou nas configurações podem ter um impacto negativo nos resultados - apenas uma ou duas negociações perdidas podem fazer uma diferença muito grande.
Quando executado com os mesmos dados e configurações, o teste no SQ é praticamente equivalente ao do NT4, exceto por pequenos erros de arredondamento, que às vezes podem criar uma grande diferença em algumas estratégias.
Mas o que eu acho importante perceber é que, se a estratégia tiver backtests diferentes no SQ e no mT4, isso também pode significar que ela não é boa o suficiente, pois cada teste é apenas uma aproximação.
Sua negociação real será novamente diferente de qualquer backtest e uma boa estratégia deve ser capaz de funcionar também em um ambiente alterado.Simplesmente jogue fora essa estratégia e procure outras.
De onde vêm esses erros de arredondamento? Se você usar os mesmos dados e os mesmos tipos de variáveis (double, float) e a mesma precisão no arredondamento, não haverá erros. Trabalho com teste de software há 25 anos, portanto, é difícil de acreditar para mim......Você sabe exatamente ou apenas suspeita?
Krzysztof
0
Marca Fric
11 anos atrás #133237
De onde vêm esses erros de arredondamento? Se você usar os mesmos dados e os mesmos tipos de variáveis (double, float) e a mesma precisão no arredondamento, não haverá erros. Trabalho com teste de software há 25 anos, portanto, é difícil de acreditar para mim......Você sabe exatamente ou apenas suspeita?
Eu sei exatamente, há duas diferenças:
1. O SQ está em Java, enquanto o MT4 provavelmente está em C. Há pequenas diferenças nas funções de arredondamento (ou nas configurações que elas usam) entre as funções em Java e em C
2. você não considera que o MT4 poderia trabalhar com todas as negociações não arredondadas e arredondar apenas a soma resultante. Mas no relatório que o controle de qualidade carrega, as negociações já estão arredondadas, portanto, há uma pequena diferença na soma final.
Marcar
EstratégiaQuant arquiteto
0
krzysiaczek99
11 anos atrás #133244
Eu sei exatamente, há duas diferenças:
1. O SQ está em Java, enquanto o MT4 provavelmente está em C. Há pequenas diferenças nas funções de arredondamento (ou nas configurações que elas usam) entre as funções em Java e em C
2. você não considera que o MT4 poderia trabalhar com todas as negociações não arredondadas e arredondar apenas a soma resultante. Mas no relatório que o controle de qualidade carrega, as negociações já estão arredondadas, portanto, há uma pequena diferença na soma final.
Ticket Horário de abertura Tipo Tamanho Item Preço S / L T / P Horário de fechamento Preço Comissão Impostos Swap Profit 461143512015.08.24 01:28:12sell 0.01 eurusd 1.13764 1.15767 1.11767 2015.08.24 02:36:001.14471 -0.08 0.00 0.00 0.00 -7.07.
Por curiosidade, verifiquei. Aqui está o exemplo. Preço de abertura 1,13764, preço de fechamento 1,14471, tamanho do lote 0,01, portanto, lucro = (1,13764-1,14471)*10000*0,01 = -7,07, ou seja, exatamente o que está escrito no relatório. Se você usar os mesmos dados e a mesma técnica, obterá exatamente os mesmos resultados
Se a soma final for arredondada, você poderá obter apenas pequenas diferenças, mas as diferenças entre o MT4 e o SQ às vezes são enormes. Acho que o Richard enviou esse exemplo ao Tomas há cerca de duas semanas, mas até agora não houve resposta. Se as diferenças forem enormes, isso significa que o backtester do SQ não é confiável.
Krzysztof
0
krzysiaczek99
11 anos atrás #133245
Não consigo publicar um novo tópico na seção QA, pois recebo o erro "página não encontrada". Você pode consertar isso?
Krzysztof
0
Marca Fric
11 anos atrás #133247
Se a soma final for arredondada, você poderá obter apenas pequenas diferenças, mas as diferenças entre o MT4 e o SQ às vezes são enormes. Acho que o Richard enviou esse exemplo ao Tomas há cerca de duas semanas, mas até agora não houve resposta. Se as diferenças forem enormes, isso significa que o backtester do SQ não é confiável.
Você está misturando duas coisas diferentes. Grandes diferenças entre o SQ e o MT4 podem ser causadas por diferenças nos dados ou nas configurações, e não por arredondamento.
O arredondamento pode causar diferenças apenas em centavos.
Se as diferenças forem enormes, isso significa que o backtester do SQ não é confiável.
Isso é um mal-entendido sobre como funciona o backtesting. O backtesting tanto no MT4 quanto no SQ é apenas uma aproximação. Você não pode dizer que o backtesting no MT4 é melhor do que no SQ, só porque produz resultados diferentes para alguma estratégia.
O que você pode dizer é que essa estratégia exata provavelmente tem algumas propriedades inerentes que dificultam o backtest, portanto, nenhum backtest será confiável.
Se você pegar a mesma estratégia e fizer o backtest em outro programa, obterá novamente resultados diferentes - esse é um problema da estratégia, não do backtester.
É realmente uma perda de tempo trabalhar com estratégias que têm resultados muito diferentes entre o MT4 e o SQ - considere-as como elas são - estratégias que não podem ser testadas de forma confiável e que devem ser evitadas.
Marcar
EstratégiaQuant arquiteto
0
krzysiaczek99
11 anos atrás #133249
Uau
O backtesting no MT4 e no SQ é apenas uma aproximação
Não posso acreditar nisso. Tenho um sistema de IA com MATLAB e MT4 e o backtesting do MATLAB corresponde quase ao pip, portanto não é uma aproximação de forma alguma !!!!
A grande incompatibilidade pode ocorrer se sua implementação interna de indicadores for diferente dos indicadores do MT4 e, depois, no código gerado, você os mapear para os indicadores e funções do MT4. Um exemplo disso é o iRSI, que é implementado de forma diferente do Wilder RSI. Então, o gerador de código do MT4 mapeia os indicadores para os indicadores incorporados no MT4 ou para as funções personalizadas?
Krzysztof
0
Marca Fric
11 anos atrás #133251
O EA gerado pelo SQ usa indicadores padrão do MT4, e o cálculo dos indicadores no SQ deve corresponder aos do MT4, pois reimplementamos todos eles em Java.
Mas você está certo de que pode haver um bug (embora improvável) ou apenas um erro de arredondamento em algumas das implementações de indicadores no SQ que pode causar valores de indicador ligeiramente diferentes -> sinais de entrada/saída diferentes -> resultados de estratégia diferentes.
Mas é por isso que eu digo que o backtesting é sempre uma aproximação.
Se você tiver uma estratégia com bom desempenho em um backtest e, ao usar dados ou implementação de indicadores ligeiramente diferentes (não uma lógica diferente, apenas erros de arredondamento), toda a estratégia falhar, ela não será uma estratégia confiável.
Isso significa que a estratégia é ajustada à curva da combinação específica de dados/indicadores.
Você deve usar testes de robustez para reconhecer essas estratégias vulneráveis a mudanças nos dados ou indicadores.
Somente depois que sua estratégia funcionar bem também no teste de robustez, você poderá ter mais certeza de que ela é confiável e não está ajustada à curva.
Não quero defender as diferenças entre o MT4 e o SQ, pois os resultados em ambos os programas devem ser iguais ou semelhantes na maioria dos casos. Mas quando não são, isso geralmente significa algo diferente de um erro no SQ.
Marcar
EstratégiaQuant arquiteto
0
krzysiaczek99
11 anos atrás #133276
Marc,
Não há aproximação no design de software - há apenas bugs !!!!
O motivo dessas incompatibilidades é a implementação diferente de indicadores básicos no MT4 e no SQ. Basta seguir minhas postagens (fajst_k) neste fórum
http://www.forex-tsd.com/metatrader-4/8221-rsi-moving-average-30.html#post671448
até a postagem 325
Sei disso porque tive uma incompatibilidade entre o MATLAB e o MT4 e, quando substituí certas funções incorporadas no MT4 por funções personalizadas, obtive uma correspondência.
A análise de robustez não garante a triagem da estratégia cujo backtest não corresponde ao MT4. Se uma estratégia "boa" for apresentada a novos dados durante a negociação, ela poderá tomar um rumo diferente e funções "ruins" do MT4 poderão ser chamadas. Além disso, nesse caso, você joga fora a estratégia apenas por causa de bugs, e essa estratégia pode ser valiosa. Basta alterar o gerador de código do MT4 e substituir as funções "ruins" do MT4 (iRSI, IMA, IMAoNArray e sei lá mais o quê) por funções personalizadas.
Ainda não consigo publicar um novo tópico na seção QA do fórum, pois recebo a mensagem "página não encontrada". Você pode consertar isso?
Krzysztof
0
Marca Fric
11 anos atrás #133292
Meu objetivo é que os indicadores no SQ e no MT4 sejam compatíveis e que tenhamos testes para todos os indicadores implementados.
Eles coincidem com diferenças muito pequenas ocasionais na quarta casa decimal, causadas por erros de arredondamento e implementação ligeiramente diferente das funções matemáticas em Java.
Não conheço nenhum erro no SQ em que o indicador teria valores muito diferentes dos valores computados pelo MT4.
Ainda não consigo publicar um novo tópico na seção QA do fórum, pois recebo a mensagem "página não encontrada". Você pode consertar isso?
Não consigo descobrir o que está errado. Você poderia me enviar o URL exato que está tentando abrir?
Marcar
EstratégiaQuant arquiteto
0
krzysiaczek99
11 anos atrás #133298
Após tentar criar um novo tópico na seção Quant Analyzer, estou recebendo o erro "página não encontrada". Veja a captura de tela.
Krzysztof
0
krzysiaczek99
11 anos atrás #133299
Meu objetivo é que os indicadores no SQ e no MT4 sejam compatíveis e que tenhamos testes para todos os indicadores implementados.
Eles coincidem com diferenças muito pequenas ocasionais na quarta casa decimal, causadas por erros de arredondamento e implementação ligeiramente diferente das funções matemáticas em Java.
Você tem um arquivo de registro desses testes? Você pode apresentá-lo no fórum?
Krzysztof
0
Marca Fric
11 anos atrás #133303
Você tem um arquivo de registro desses testes? Você pode apresentá-lo no fórum?
O que exatamente você quer? Você quer verificar se é como eu digo ou o quê?
Esses são testes JUnit padrão, que retornam OK quando todos os testes são aprovados. Não tenho um arquivo de registro para isso.
Marcar
EstratégiaQuant arquiteto
0
krzysiaczek99
11 anos atrás #133310
O que exatamente você quer? Você quer verificar se é como eu digo ou o quê?
Esses são testes JUnit padrão, que retornam OK quando todos os testes são aprovados. Não tenho um arquivo de registro para isso.
Você deve alimentar os seus indicadores com o sinal de teste e, em seguida, com o mesmo sinal para, por exemplo, os indicadores integrados do MT4. Em seguida, você deve comparar os resultados de saída. A única discrepância permitida deve ser um erro de arredondamento muito pequeno. Esse teste deve ser repetido para diferentes combinações e valores de parâmetros de entrada, pois você não conhece a implementação das funções incorporadas no MT4 e não pode garantir que elas se comportem adequadamente. E, é claro, esse teste deve ser feito com indicadores de todas as plataformas de negociação para as quais o SQ gera código de estratégia. Você já fez esse teste? Se sim, forneça um arquivo de registro pelo menos para o MT4.
Krzysztof
0