Tipos de testes de robustez no SQX

Na amostra / Fora da amostra

Os testes In-Sample (IS) e Out-of-Sample (OOS) são conceitos essenciais no desenvolvimento, teste e validação de estratégias de negociação. Eles ajudam a avaliar a robustez das estratégias e garantem que elas não se ajustem excessivamente a um conjunto de dados específico. A seguir, apresentamos uma explicação detalhada dos testes In-Sample e Out-of-Sample:

Definição de dados IS e OOS:

Dados na amostra (IS): Os dados IS são a parte dos dados históricos usados para desenvolver e otimizar a estratégia de negociação. Durante o processo de desenvolvimento da estratégia, vários parâmetros, regras e indicadores são ajustados e aperfeiçoados para obter o melhor desempenho possível nos dados IS.

Dados fora da amostra (OOS): Os dados OOS são uma parte separada e invisível dos dados históricos reservados para testar e validar a estratégia de negociação. Os dados OOS não são usados no processo de desenvolvimento ou otimização para garantir que o desempenho da estratégia nesses dados seja uma avaliação imparcial de sua eficácia e robustez.

O principal objetivo do uso de dados IS e OOS é avaliar a robustez e a generalização das estratégias de negociação. Ao avaliar o desempenho da estratégia nos dados IS e OOS, os usuários podem identificar possíveis ajustes excessivos e garantir que a estratégia não seja excessivamente otimizada para um conjunto de dados específico. Uma estratégia com bom desempenho nos dados IS e OOS tem maior probabilidade de ser resiliente e adaptável às mudanças nas condições do mercado.

No contexto do desenvolvimento e teste de estratégias de negociação, os dados históricos são divididos em segmentos IS e OOS. A estratégia é desenvolvida e otimizada usando os dados IS, e seu desempenho é então validado usando os dados OOS. Os usuários podem comparar as métricas de desempenho de ambos os conjuntos de dados para avaliar a robustez da estratégia e evitar o overfitting.

Benefícios dos testes na amostra e fora da amostra:

1. Teste de robustez: Ao comparar o desempenho da estratégia nos dados IS e OOS, os usuários podem avaliar sua robustez e generalização. Uma estratégia com bom desempenho em ambos os conjuntos de dados tem menos probabilidade de ser superajustada e mais probabilidade de ter bom desempenho em negociações ao vivo.

2. Validação de conceitos de estratégia: Se uma estratégia de negociação tiver um bom desempenho em dados OOS, isso proporciona confiança adicional de que a ideia de negociação subjacente é sólida e não apenas o resultado de ajuste de curva ou chance aleatória.

3. Prevenção de sobreajuste: O uso de dados OOS ajuda a evitar o ajuste excessivo, pois força a estratégia a provar sua eficácia em um conjunto de dados não visto. Isso garante que a estratégia não seja excessivamente otimizada para um conjunto de dados específico e possa se adaptar às mudanças nas condições do mercado.

Testes de Monte Carlo

Os testes de Monte Carlo são parte integrante das ferramentas de teste de robustez do StrategyQuant X, permitindo que os usuários avaliem a estabilidade e a confiabilidade de suas estratégias de negociação em vários cenários aleatórios. Ao realizar simulações de Monte Carlo, os usuários podem obter informações sobre a gama potencial de resultados de suas estratégias e avaliar sua resistência a eventos e condições inesperados do mercado. A seguir, uma explicação detalhada dos testes de Monte Carlo no StrategyQuant X:

O que são testes de Monte Carlo: 

Os testes de Monte Carlo são um método estatístico que envolve a simulação de um grande número de cenários aleatórios para avaliar o desempenho de uma estratégia de negociação. Esses testes geram variações aleatórias em fatores como ordem de negociação, slippage de negociação, capital inicial e dimensionamento de posição para analisar o desempenho da estratégia sob diferentes condições. Ao examinar os resultados dessas simulações, os usuários podem avaliar a estabilidade e a confiabilidade de suas estratégias de negociação.

O principal objetivo dos testes de Monte Carlo é avaliar a robustez e a adaptabilidade das estratégias de negociação. Ao analisar o desempenho da estratégia em vários cenários aleatórios, os usuários podem obter insights sobre sua possível gama de resultados e identificar possíveis pontos fracos ou vulnerabilidades. Essas informações ajudam os usuários a entender os riscos associados às suas estratégias e a tomar decisões informadas sobre a possibilidade de implementá-las em ambientes de negociação ao vivo.

No StrategyQuant X, você pode usar dois tipos de testes de Monte Carlo:

Manipulação de comércio Monte Carlo

Essa verificação cruzada executa simulações em que, em cada simulação, as negociações existentes são manipuladas - elas são reordenadas, algumas são omitidas, etc.
Essa função é muito rápida, pois não requer backtests, mas trabalha com as negociações existentes do backtest principal.
A ideia por trás disso é verificar o quanto a curva da estratégia depende da ordem das negociações e o que acontece se algumas negociações não forem executadas.

Você pode realizar essas manipulações comerciais em qualquer simulação:

• Randomizar a ordem de comércio - Esse é o teste mais simples, em que a ordem das negociações é embaralhada aleatoriamente. Isso não altera o lucro líquido, mas é muito útil para estudar as diferentes variações de rebaixamento que podem resultar das diferentes ordens de negociações.
• Pular negociações aleatoriamente - pular negociações aleatoriamente com uma certa probabilidade. Na negociação real, você pode perder uma negociação devido a um erro na plataforma ou na Internet, ou simplesmente porque parou de negociar por algum tempo. Esse teste lhe dá uma ideia de como seria a curva de ações se algumas negociações fossem ignoradas aleatoriamente.

Métodos de reteste Monte Carlo

Esse é outro tipo de simulação de Monte Carlo. Nesse caso, são simuladas alterações aleatórias nas propriedades que exigem um novo teste da estratégia - por exemplo, alterações no spread, no slippage, nos parâmetros da estratégia ou nos dados históricos.

Como é necessário um backtest completo para cada simulação, essa verificação cruzada pode levar muito tempo.
Por exemplo, se o backtest com os dados principais levou 0,5 segundo e você deseja executar 100 simulações nessa verificação cruzada, pode presumir que levará 100 x 0,5 = 50 segundos para cada estratégia em que for aplicado.

Testaremos os seguintes tipos de Métodos de reteste Monte Carlo

• Randomizar parâmetros de estratégia - Cada estratégia usa parâmetros, como o período de um indicador ou uma constante, para comparação. Esse teste verifica a sensibilidade da estratégia a uma pequena alteração no valor do parâmetro. A probabilidade de alteração é a probabilidade de um parâmetro alterar seu valor. Máx. Parameter Change é a porcentagem máxima em que o parâmetro altera seu valor. Por exemplo, se você definir Max. Parameter Change como 10%, um parâmetro com o valor 60 poderá ser alterado aleatoriamente para um intervalo de 54 a 66 (+- 10% de seu valor original de 60).
• Randomizar dados históricos - Um caso muito comum de ajuste de curva é quando a estratégia depende muito dos dados do histórico. Essa opção verifica o comportamento da estratégia quando os dados do histórico são alterados.

Índices OOS/IS

Representa a proporção de métricas no período fora da amostra em relação às métricas no período da amostra

O índice OOS / IS expressa o grau de deterioração da estratégia no período fora da amostra em comparação com o período dentro da amostra

A deterioração da estratégia refere-se à deterioração do desempenho de uma estratégia de negociação quando ela é aplicada a novos dados que ainda não foram vistos. Essa deterioração geralmente ocorre quando uma estratégia que foi otimizada e ajustada para dados dentro da amostra (IS) é testada em dados fora da amostra (OOS). A deterioração pode se dever ao ajuste excessivo da estratégia aos dados IS ou às mudanças nas condições de mercado às quais a estratégia não consegue se adaptar.

As métricas fora da amostra (OOS) e dentro da amostra (IS) são conceitos críticos no desenvolvimento, teste e validação de estratégias de negociação. Essas métricas ajudam a avaliar a robustez das estratégias e garantem que elas não se ajustem excessivamente a um determinado conjunto de dados.

O principal objetivo do uso de índices OOS/IS é avaliar a robustez e a generalização das estratégias de negociação. Ao avaliar o desempenho da estratégia nos dados IS e OOS, você pode identificar possíveis ajustes excessivos e garantir que a estratégia não seja excessivamente otimizada para um determinado conjunto de dados. Uma estratégia com bom desempenho tanto em IS quanto em OOS provavelmente será mais resiliente e adaptável às mudanças nas condições do mercado.

Testes em vários mercados (testes em mercados adicionais)

O teste de múltiplos mercados é um recurso essencial do StrategyQuant X que permite avaliar o desempenho e a adaptabilidade de suas estratégias de negociação para diferentes instrumentos financeiros ou condições de mercado. Essa abordagem de teste tem como objetivo identificar estratégias que não sejam eficazes apenas em um único mercado, mas que também tenham bom desempenho em diferentes ambientes de mercado, reduzindo o risco de ajuste excessivo e aumentando a probabilidade de um desempenho de negociação bem-sucedido.

O principal objetivo do teste multimercado é determinar a robustez e a flexibilidade de uma estratégia de negociação. Uma estratégia com bom desempenho em vários mercados provavelmente será mais resiliente e adaptável às condições de mercado em constante mudança, pois provou ser eficaz em uma variedade de circunstâncias. Testar vários mercados ajuda os usuários a identificar estratégias que não são excessivamente otimizadas para um determinado mercado. Isso reduz o risco de adaptação excessiva e aumenta as chances de sucesso em negociações ao vivo.

O teste de vários mercados é quando você testa suas estratégias de negociação em diferentes instrumentos financeiros, como ações, pares de moedas, commodities e índices. Com o StrategyQuant X, você pode selecionar vários instrumentos e executar backtests em cada instrumento para avaliar o desempenho da estratégia. Em seguida, você poderá analisar os resultados, comparar as métricas de desempenho de diferentes mercados e identificar as estratégias que apresentam desempenho consistente e adaptabilidade.

Ao testar estratégias em vários mercados, os usuários podem identificar sistemas mais robustos e menos propensos à adaptação excessiva. Uma estratégia com bom desempenho em vários mercados provavelmente será mais resistente às mudanças nas condições do mercado. Os testes em vários mercados ajudam os usuários a criar um portfólio diversificado, identificando estratégias com bom desempenho em diferentes instrumentos. Essa diversificação pode ajudar a reduzir o risco geral do portfólio e melhorar o desempenho de longo prazo.

Quando um conceito de estratégia tem um bom desempenho em vários mercados, ele oferece uma garantia adicional de que a ideia de negociação subjacente é sólida e não apenas o resultado de um ajuste de curva ou do acaso.