La estrategia de ajuste de curvas a los datos históricos sobre los que se construyó es el mayor peligro de las estrategias generadas mediante cualquier proceso de aprendizaje automático.
Después de desarrollar una nueva estrategia, debe asegurarse de que sea sólida, lo que aumentará la probabilidad de que funcione también en el futuro.

¿Qué es la robustez?
Es simplemente la propiedad de la estrategia de poder hacer frente a condiciones cambiantes.
- En primer lugar, la estrategia debe funcionar con datos desconocidos (si las características del mercado no han cambiado), con o sin reoptimización periódica de los parámetros.
- No debería romperse si se pierden algunas operaciones.
- Una estrategia robusta no debe ser demasiado sensible a los parámetros de entrada: debe funcionar incluso si se cambian ligeramente los valores de los parámetros de entrada, como el periodo del indicador o alguna constante.

Cómo comprobar la solidez de las estrategias

1. Utilizar los periodos Dentro de la muestra y Fuera de la muestra

la prueba más básica de robustez es probar la estrategia con datos fuera de la muestra. Si ejecuta la evolución genética, la estrategia sólo evoluciona en la parte de datos de la muestra. La parte fuera de la muestra es "desconocida" para la estrategia, por lo que puede utilizarse para determinar si la estrategia funciona también en una parte desconocida de los datos.

La parte azul de cada gráfico son los datos fuera de la muestra (desconocidos)., Podemos ver que la estrategia de la izquierda funciona bien también en esta parte, mientras que la estrategia de la derecha falla en los datos desconocidos - es casi seguro que se ajuste a la curva.

2. Probar la estrategia en varios símbolos y/o plazos

segunda prueba de robustez es muy sin embargo - que significa probar la misma estrategia en diferentes símbolo (s) y / o otro plazo (s). Estrategia robusta idealmente debería funcionar en múltiples símbolos/marcos de tiempo.

En realidad, como cada mercado tiene sus propias características, volatilidad diaria, etc., no será fácil encontrar una estrategia que tenga el mismo rendimiento perfecto en múltiples símbolos utilizando un solo conjunto de ajustes.
Podemos darnos por satisfechos si la estrategia funciona en otros mercados con al menos cierto grado de rentabilidad, o sólo con ligeras pérdidas.

StrategyQuant le permite especificar símbolos adicionales para construir/probar las estrategias en la sección Datos adicionales. Incluso puede probar la estrategia en el mismo símbolo con diferente marco de tiempo.

(haga clic en la imagen para verla ampliada)

En los dos gráficos anteriores se puede ver la prueba de la estrategia en EURUSD (línea verde), GBPUSD (línea cian) y la cartera de ambos (línea azul).
Mientras que en el gráfico de la izquierda la estrategia funciona bien en ambas divisas, en el gráfico de la derecha se puede ver que el rendimiento en GBPUSD es malo. Es probable que esta estrategia no sea lo suficientemente robusta.

3. Utilice la herramienta Pruebas de robustez de StrategyQuant

StrategyQuant le permite activar las Pruebas de Robustez. La herramienta de Pruebas de Robustez simplemente prueba repetidamente la estrategia con diferentes cambios aleatorios en los parámetros de entrada y los datos realizando una simulación Monte Carlo.

La idea que subyace a estas pruebas de robustez es verificar el rendimiento de la estrategia cuando se producen pequeños cambios en las entradas, los datos históricos u otros componentes de la estrategia.

Puedes simular distintas propiedades:

- Orden aleatorio de las operaciones - esta es la prueba más simple, baraja aleatoriamente el orden de las operaciones. Esto no cambia el Beneficio Neto resultante, pero es muy útil para examinar las diferentes variaciones de Drawdown que pueden ser el resultado de un orden diferente de las operaciones.

- Saltar operaciones al azar - omitirá operaciones aleatoriamente con una probabilidad determinada. En el trading real, a menudo se puede perder una operación debido a un fallo de la plataforma o de Internet, o simplemente porque se ha dejado de operar durante algún tiempo. Esta prueba le dará una idea de cómo podría ser la curva de equidad si algunas operaciones se omiten aleatoriamente.

- Barra de salida aleatoria - esto probará el comportamiento de la estrategia cuando la prueba comience en una barra de inicio diferente. Es obvio que una buena estrategia no puede ser sensible a qué barra se inicia la prueba.

- Parámetros de estrategia aleatorios - Toda estrategia utiliza parámetros, como el periodo de un indicador o la constante que se utiliza en la comparación. Esta prueba comprueba la sensibilidad de la estrategia a un pequeño cambio del valor del parámetro. Probabilidad de cambio es la probabilidad de que cualquier parámetro cambie su valor. Max cambio de parámetro es el porcentaje máximo al que el parámetro cambia su valor. Por ejemplo, si establece Cambio máximo de parámetro en 10%, entonces un parámetro con valor 60 puede cambiarse aleatoriamente a un rango de 54 - 66 (+- 10% de su valor original de 60).

- Datos históricos aleatorios - Un caso muy común de ajuste de curvas es cuando la estrategia depende demasiado de los datos históricos. Esta opción comprueba el comportamiento de la estrategia ante un cambio en los datos históricos.
La Probabilidad de cambio establece para cada barra la probabilidad de que cambie el precio de apertura, máximo, mínimo o cierre. El cambio de precio máximo es un valor porcentual del cambio en relación al ATR (Average True Range).
Así que si por ejemplo el precio de cierre es elegido al azar para ser cambiado, el valor ATR es de 10 pips, y el cambio de precio máximo es 20%, entonces el precio puede cambiar en +- 2 pips

Interpretación de los resultados
Las pruebas de robustez muestran los resultados como un conjunto de gráficos de equidad para cada prueba Y una tabla que muestra los resultados de la simulación Monte Carlo.

En este ejemplo hemos realizado 10 simulaciones, con cambios aleatorios en los parámetros de la estrategia, datos históricos y operaciones omitidas al azar.
Podemos ver cuál sería la equidad para cada una de estas simulaciones y la tabla de la izquierda nos proporciona la valiosa información sobre las propiedades de la estrategia durante estas simulaciones.

¿Qué significan estos valores?
La primera fila muestra los valores de Beneficio Neto, Reducción Máxima %, etc. de la estrategia original para su comparación.
El resto de las filas muestran valores con distintos niveles de confianza.
Estas cifras son el resultado del análisis Monte Carlo aplicado a nuestras 10 simulaciones aleatorias.

Por ejemplo, los valores con un nivel de confianza de 80% significan que existe una probabilidad de 20% de que el Beneficio Neto, la Reducción, etc. sean peores que los valores del nivel de confianza.
Los valores con un nivel de confianza de 90% significan que existe una probabilidad de 10% de que el Beneficio Neto, la Reducción, etc. sean peores que los valores del nivel de confianza.
Los valores con un nivel de confianza de 95% significan que sólo hay una probabilidad de 5% de que el Beneficio Neto, la Reducción, etc. sean peores que estos valores.

Así que la simulación Monte Carlo de nuestra estrategia nos muestra que omitiendo 10% de operaciones aleatorias y pequeños cambios aleatorios en los parámetros de entrada y en los datos, nuestro Beneficio Neto puede disminuir de $ 6990 a $ 3943, y el Drawdown Máximo puede aumentar de 6,97% a 11,36%.
Esto significa que sólo hay 5% de posibilidades de que el Beneficio Neto sea inferior a $ 3943. Si nos fijamos en los niveles de confianza más altos, podemos ver que ninguna de nuestras pruebas tuvo resultados peores que $ 3943, por lo que la estrategia parece ser relativamente robusta a los cambios a los que la expusimos.

Dado que las pruebas de robustez se generan aleatoriamente, los gráficos de renta variable y los valores de la tabla diferirán ligeramente cada vez que vuelva a probar la estrategia. Además, cuantas más simulaciones realice, mayor será la significación estadística de esta prueba.

4. Utilizar la matriz Walk-Forward como prueba de robustez

El cuarto tipo de comprobación de robustez es la prueba mediante la matriz Walk-Forward. Si la estrategia pasa esta prueba significa que con la ayuda de la reoptimización de parámetros es adaptable a una amplia gama de condiciones de mercado.

En estos enlaces encontrará artículos detallados sobre Optimización Walk-Forward y Matriz Walk-Forward.