Análisis de pruebas de robustez seleccionadas en StrategyQuant X en Forex

Introducción

Las pruebas de robustez son un componente importante de las herramientas StrategyQuant X que ayudan a los usuarios a evaluar la estabilidad, fiabilidad y adaptabilidad de sus estrategias de negociación en distintas condiciones de mercado e incertidumbres potenciales. .

 

El principal objetivo de las pruebas de robustez es evaluar el rendimiento de una estrategia de negociación en diferentes condiciones de mercado, escenarios y ajustes de parámetros.

StrategyQuant contiene varias herramientas específicas para evaluar la solidez de las estrategias. En este artículo analizamos la eficacia de las herramientas seleccionadas. Esta evaluación garantiza que la estrategia no esté sobreoptimizada para unos datos determinados y que pueda adaptarse a las condiciones cambiantes del mercado, aumentando así la probabilidad de éxito de la negociación.

 

Un ejemplo de estrategia robusta y no robusta

Podemos ver que la estrategia de la izquierda también funciona bien en esta parte, mientras que la estrategia de la derecha falla en los datos desconocidos, ya que es casi seguro que se ajusten a la curva.jasne

 

Objetivo de la investigación

El objetivo del estudio es examinar la eficacia de varios tipos de pruebas de robustez en StrategyQuant X in. 

Los resultados de este estudio deben abordar los siguientes puntos clave:

  1. Comparación de resultados: compara los resultados de las estrategias de negociación que se han sometido a diferentes pruebas de robustez en StrategyQuant X, destacando la eficacia de cada prueba para identificar estrategias robustas.
  2. Prevención del sobreajuste: mide la eficacia de cada prueba de robustez para minimizar el sobreajuste, garantizando que las estrategias funcionen bien tanto con los datos de la muestra como con los de fuera de ella.
  3. Rendimiento en operaciones reales: se investiga la correlación entre las estrategias que superan cada prueba de robustez y su rendimiento real en entornos de operaciones reales, lo que proporciona información sobre el valor práctico de estas pruebas.
  4. Adaptabilidad a los cambios del mercado: evaluar la capacidad de cada prueba de robustez para identificar estrategias de negociación que puedan adaptarse a las condiciones cambiantes del mercado y mantener su rendimiento a lo largo del tiempo.
  5. Recomendaciones para las combinaciones de pruebas: ofrecer recomendaciones sobre la combinación óptima de pruebas de robustez para maximizar la identificación de estrategias comerciales resistentes y adaptables, manteniendo al mismo tiempo la eficiencia y la practicidad.

 

En conclusión, el estudio debe evaluar a fondo la eficacia de los distintos tipos de pruebas de robustez en StrategyQuant X y proporcionar información sobre sus puntos fuertes y débiles y sus aplicaciones prácticas. 

Los resultados ayudarán a los operadores e inversores a comprender mejor el valor de cada prueba y a tomar decisiones informadas a la hora de desarrollar y validar sus operaciones.

 

Resultados

El resultado del análisis es que la La prueba más eficaz de la solidez de la estrategia en las condiciones elegidas parece consistir en probarla en varios mercados.. Al probar la estrategia en varios mercados, nos referimos a seleccionar estrategias según los valores medios más altos de las métricas de estrategia dadas en varios mercados. De media, mejoran el rendimiento de la estrategia en 14%. En StrategyQuant es muy fácil comprobar la solidez de una estrategia en varios mercados utilizando el método Comprobación cruzada de Mercados Adicionales.  

La segunda mejor comprobación de robustez es la aleatorización Monte Carlo de los datos históricos. En las páginas siguientes puede leer los resultados detallados de nuestro análisis y la metodología que hemos utilizado en el mismo. El análisis está pensado para ser útil a los usuarios del programa StrategyQuant X.

 

Puede obtener más información sobre todas las pruebas de robustez de Strategy Quant X en nuestra documentación

 

 

En el análisis, utilizamos las siguientes configuraciones y tipos de pruebas de robustez:

 

 

Tenga en cuenta que este resultado sólo es válido para la configuración de compilación y prueba que puede ver a continuación: forex, marco temporal 4H, conjunto de símbolos y configuración de compilación exacta.

Es un trabajo para el futuro -que planeamos hacer como continuación de esta serie- verificar si este resultado se mantiene también para otros activos, otros plazos y otras configuraciones de construcción.

Introducción al análisis

En la siguiente parte, he preparado para ti un estudio en el que he trabajado durante 2 meses. Desarrollé docenas de páginas de código Python para ello. Es un gran proyecto en el que hay que trabajar con enormes conjuntos de datos, realizar operaciones numéricas, analizar los datos e interpretarlos después. El objetivo era averiguar cómo una determinada prueba de robustez puede ayudar a seleccionar estrategias que tengan más probabilidades de producir resultados robustos en el futuro. El documento sigue la lógica del procedimiento en el análisis.

En primer lugar, cargamos 5 conjuntos de datos con clasificaciones generales de estrategias de palo para cada prueba de robustez. Por conjunto de datos entendemos 100 000 estrategias seleccionadas a partir de una clasificación muy general.

Repetiré este procedimiento en diferentes periodos de tiempo

 

  • 2003 - 2017 + 2 Años Verdadero Fuera de Muestra ( 1.1.2017 - 31.12.2018)
  • 2004 - 2018 + 2 Años Verdadero Fuera de Muestra ( 1.1.2018 - 31.12.2019)
  • 2005 - 2019 + 2 Años Verdadero Fuera de Muestra ( 1.1.2019 - 31.12.2020)
  • 2006 - 2020 + 2 Años Verdadero Fuera de Muestra ( 1.1.2020 - 31.12.2021)
  • 2007 - 2021 + 2 Años Verdadero Fuera de Muestra ( 1.1.2021 - 31.12.2022)

 

Cada conjunto de datos tenía un ajuste de IS = 30% y OOS 70%, el verdadero fuera de muestra era de 2 años.

Ejemplo en la imagen de abajo: El conjunto de datos 2003-2017 finaliza el 31.12.2016 y tiene un período fuera de muestra real de 2 años, del 1.1.2017 al 31.12.2018. 

 

En otras palabras, simularemos la generación de estrategias con el final de la generación en 2017, 2018, 2019, 2020, 2021. Después de cada ventana temporal, las estrategias seguirán en el llamado verdadero fuera de muestra. ( + 2 años )

En primer lugar, generamos conjuntos de datos sin pruebas de robustez y, a continuación, aplicamos a cada conjunto de datos pruebas seleccionadas sobre periodos fuera de la muestra.

Para cada periodo fuera de muestra, selecciono las estrategias en el top 1% de valores con la métrica de estrategia de prueba de robustez dada , encuentro el rendimiento de estas estrategias en el periodo fuera de muestra, y comparo su rendimiento con todas las estrategias en el periodo fuera de muestra. Obtengo los datos para cada período de tiempo y luego sé cómo una determinada comprobación de robustez ayudaría en promedio

Al final del artículo encontrará una tabla en la que describo qué pruebas funcionan mejor... y viceversa, lo cual no he confirmado en absoluto. Puede utilizar esta tabla cuando cree su propia estrategia. Las pruebas que han sido confirmadas definitivamente deben ser incluidas en su flujo de trabajo.

Empecemos...

 

Configuración del constructor y descripción del conjunto de datos

Datasets

En primer lugar, generamos 5 conjuntos de datos. Por conjunto de datos entendemos 100 000 estrategias seleccionadas a partir de una clasificación muy general.

Filtré las estrategias generadas por SQX en función de estos criterios básicos:

 

Repetiré este procedimiento en diferentes periodos de tiempo

  • 2003 - 2017 + 2 Años Verdadero Fuera de Muestra
  • 2004 - 2018 + 2 Años Verdadero Fuera de Muestra
  • 2005 - 2019 + 2 Años Verdadero Fuera de Muestra
  • 2006 - 2020 + 2 Años Verdadero Fuera de Muestra
  • 2007 - 2021 + 2 Años Verdadero Fuera de Muestra

 

Cada conjunto de datos tenía un ajuste de IS = 30% y OOS 70%, el verdadero fuera de muestra era de 2 años.

 

Builder config - configuración del tipo de estrategia

He generado un tipo simple de estrategias para un marco de tiempo de 4 horas. La estrategia sólo podía entrar por Enter At market. Establecí tanto el stop loss como el profit target en base a ATR. Utilicé sólo indicadores integrados y sólo condiciones. Estrategias estrategias podrían tener un máximo de dos condiciones de entrada.. 

Elegimos el marco temporal de 4 horas, pero mi experiencia es que los marcos temporales, los mercados y las configuraciones individuales pueden tener su idiosincrasia, por lo que no es posible extraer conclusiones generales tras un único análisis. El objetivo del estudio era mostrar tendencias al utilizar pruebas de robustez con el fin de preparar el flujo de trabajo para análisis posteriores y plantear cuestiones para el debate.

Crear y limpiar un conjunto de datos tan grande (5* 100 000) requiere mucho tiempo y esfuerzo. Creé las estrategias en 2 estaciones de trabajo AMD Threadripper 2950 con 32 procesadores. Tardé unos 12 días en crear la estrategia con un proyecto personalizado.

Spreads, Swaps se fijan según el broker Darwinex, todos los spreads se incrementan en 0,5 pip o se redondean hacia arriba. Por cada operación se cobra una comisión de 2,2 USD.

 

 

Evaluación de la calidad de las estrategias generadas cuando no se utilizaron pruebas de robustez

Veamos las características de cada uno de los conjuntos de datos.En la siguiente figura, podemos ver las características cualitativas de cada conjunto de datos de estrategias creadas para un periodo determinado.

 

En el columna verde tenemos los valores de las métricas de estrategia obtenidas en el periodo fuera de muestra

 

  • Nº Strats - el número de estrategias en un conjunto de datos determinado
  • No hay bloques únicos - número de estrategias con bloques de entrada únicos
  • Profit Factor Avg. - factor de beneficio medio de las 100 000 estrategias en el periodo fuera de la muestra
  • Ret DD/Ratio Promedio - la Ret DD/Ratio media de las 100 000 estrategias en el periodo fuera de muestra
  • Avg. Comercio - media del Avgerage Trade de las 100 000 estrategias en el periodo fuera de muestra
  • Ratio de pago Promedio - media del ratio de pago de las 100 000 estrategias en el periodo fuera de la muestra
  • Avg. Horas en el comercio - el número medio de horas de posición abierta de 100 000 estrategias en el periodo fuera de muestra
  • Operaciones medias por mes - media Avg. Operaciones por mes de las 100 000 estrategias en el periodo fuera de la muestra

 

En la columna azul tenemos los valores de las estrategias en el verdadero fuera de muestra periodo 

 

  • Profit Factor Avg. - media del factor Profit de las 100 000 estrategias en el período real fuera de la muestra
  • Comercio medio - media del comercio medio de las 100 000 estrategias en el período real fuera de la muestra
  • Ratio Ret/DD Promedio - la media de Ret DD/Ratio de las 100 000 estrategias en verdadero fuera de muestra 
  • Ratio de pago Promedio - media del coeficiente de pago de las 100 000 estrategias en el período real fuera de la muestra
  • Avg. Horas en el comercio   el número medio de horas de posición abierta de 100 000 estrategias en período real fuera de muestra
  • Operaciones Operaciones por mes  - media de Avg. Operaciones por mes de las 100 000 estrategias en el período real fuera de la muestra

 

Como podemos ver en el gráfico anterior, las estrategias pierden su rendimiento en los verdaderos periodos fuera de muestra. Observemos la inestabilidad del rendimiento de las estrategias en sus verdaderos periodos fuera de la muestra.

 

Hay años en los que la media del Factor Profit de las estrategias en verdadero fuera de muestra está por encima de 1 y hay años ( 2018 / 2019 / 2020 ) por debajo de 1. Es decir , las estrategias de media están perdiendo . Del mismo modo valores inestables y bajos se observan en el caso de Avg. Trade y Ret/DD Ratio. 

Payout Ratio , Avg. Horas negociadas y Promedio de operaciones al mes son relativamente similares en la muestra y en la muestra real. Operaciones al mes son relativamente similares fuera y dentro de la muestra. 

 

En la figura siguiente, vemos en el recuadro verde el cambio absoluto ( delta ) entre el fuera de muestra y el verdadero fuera de muestra de estas métricas de estrategia: 

  • 1TP9Factor de ajuste ( link)
  • Ratio Ret/DD ( link)
  • Avg. Comercio( enlace)
  • Ratio de retribución ( link)

En la parte izquierda (marco verde) vemos el delta (diferencia) de las métricas seleccionadas entre su fuera de muestra y su verdadero fuera de muestra.

 

En la parte derecha (marco azul) podemos ver el coeficiente de correlación de Sheppard en el caso de Profit Factor, Payout Ratio, Avg.Trade, Ret/ DD Ratio entre los valores de estos indicadores en fuera de muestra y en verdadero fuera de muestra. Podemos ver que las correlaciones para Profit Factor, Avg. Trade, Ret/ DD Ratio son bastante bajas e inestables. En otras palabras, los valores bajos indican un valor predictivo bajo entre fuera de la muestra y fuera de la muestra real.

 

Los análisis de otros conjuntos de datos y otros tipos de estrategias muestran un rendimiento diferente de las estrategias con y sin bloques de acción del precio. Ahora dividiré el conjunto de datos de estrategias 5*100 000 en conjuntos de datos 

  • Estrategias con SÓLO bloques de acción del precio sin indicadores
  • Estrategias con bloques de indicadores y acción de precios

 

Echemos otro vistazo al conjunto de datos base particionado

 

Estrategia de conjunto de datos con indicadores + bloques de acción de precios

 

 

En las imágenes de abajo podemos ver las mismas estadísticas que arriba pero mostradas para estrategias en las que puede haber bloques indicador + acción del precio. La estructura de los datos mostrados es exactamente la misma que en el análisis del conjunto de datos anterior.

 

Estrategia de conjunto de datos sólo con bloques de acción de precios

En las siguientes imágenes podemos ver las características básicas del conjunto de datos Sólo con bloques de acción de precios.

 

Breve comparación de los dos conjuntos de datos

Mi hipótesis se basa en un análisis similar sobre índices y parte del supuesto de que las estrategias con SÓLO bloques precio-acción obtienen mejores resultados tanto fuera de muestra como fuera de muestra real. Resulta que en este análisis no se cumplió la hipótesis y se mantiene el mejor rendimiento de las estrategias con indicadores y bloques precio-acción. Obsérvese que para fuera de muestra, el rendimiento es mejor para las estrategias con SÓLO bloques de acción sobre el precio, y para verdadero fuera de muestra, el rendimiento es peor para las estrategias con sólo bloques de acción sobre el precio. Aunque podemos encontrar algunas diferencias, no son muy significativas ni consistentes.

 

Evaluación de la calidad de las estrategias generadas cuando se han utilizado pruebas de robustez

El conjunto de datos de referencia consta de estrategias que cumplen los requisitos básicos de fuera de muestra, y no realizamos pruebas de robustez. La siguiente pregunta es si podemos lograr resultados estadísticamente mejores entre los verdaderos fuera de muestra con las estrategias seleccionadas en comparación con el conjunto de datos de referencia de verdaderos fuera de muestra (sin pruebas de robustez, sólo con las clasificaciones básicas mencionadas anteriormente) realizando las pruebas de robustez seleccionadas.

 

Descripción del procedimiento de evaluación de la eficacia de las pruebas de robustez

El proceso de análisis

  1. Realizar una prueba de robustez específica para los periodos fuera de la muestra en cada conjunto de datos.
  2. Selección de los 11 valoresTP12T superiores de una prueba de robustez determinada en función de su valor en la métrica de estrategia en la muestra fuera de la muestra.
  3. Mida el factor Avg. 1TP9Factor de ajuste de una selección dada sobre verdaderos fuera de muestra
  4. Compare el factor Avg. Factor Profit de una selección dada en verdaderos fuera de muestra con el Factor Avg. Profit en todo el conjunto de datos reales fuera de muestra
  5. Dado que disponemos de un total de 5 conjuntos de datos en diferentes periodos de tiempo, calculamos la media de los resultados y trazamos el delta del percentil medio entre los valores del conjunto de datos de referencia (sin utilizar la prueba de robustez) y el conjunto de datos en el que utilizamos la prueba de robustez.

 

Nota. No excluí los valores atípicos del análisis.

 

Métricas de estrategia

Supervisaremos el rendimiento de las pruebas de robustez en estas métricas:

  • 1TP9Factor de ajuste
  • Ratio Ret/DD
  • Avg. Comercio

 

Pruebas de robustez utilizadas

Analizaremos las siguientes pruebas de robustez

 

  • Ratio OOS/IS
  • Métodos de repetición de Monte Carlo: Selección aleatoria de los datos históricos de OHLC
  • Métodos Monte Carlo Retest: Selección aleatoria de los parámetros de la estrategia - periodos
  • Monte Carlo Aleatorizar Operaciones Manipulación : Orden de Operaciones Aleatorias 
  • Métodos Ratio Monte Carlo Retest : Métodos de Retest de Monte Carlo: Aleatorizar los parámetros de la estrategia - Períodos frente a métricas fuera de muestra 
  • Métodos Ratio Monte Carlo Retest : Métricas : Datos históricos OHLC aleatorios frente a métricas fuera de muestra 
  • Ratio Monte Carlo Aleatorizar Operaciones Manipulación : Orden de operaciones aleatorias frente a métricas fuera de muestra 
  • Promedio de indicadores estratégicos en otros mercados

 

Nota: Monte Carlo Randomize Strategy Parameters sólo se aplicará a estrategias con indicadores y bloques de acción de precios. No aplicamos esta prueba a estrategias con sólo bloques de acción de precios porque aleatorizamos SÓLO los periodos de los indicadores dados

 

Descripción de los ajustes

 

Veamos brevemente cómo hemos establecido las pruebas de robustez individuales.

 

Ratio de métricas OOS/IS

 

La relación entre las métricas fuera de la muestra y las métricas dentro de la muestra.

 

Media de las métricas de los mercados adicionales

Realizamos pruebas retrospectivas de los mercados utilizando la parte de los datos fuera de muestra para cada conjunto de datos. Muestra el valor medio de una métrica determinada a partir de pruebas retrospectivas en todos los mercados adicionales. 

Puede descargar estos fragmentos de nuestro servidor de intercambio aquí.

Hemos probado estos mercados:

  • GBPJPY
  • EURJPY
  • GBPUSD
  • USDJPY

 

Métodos Monte Carlo Retest: Aleatorizar los datos históricos de OHLC

Hemos utilizado Randomize OHLC history data , que se añadió en la versión 136. La configuración se puede ver en la imagen de abajo.

 

Métodos Monte Carlo Retest: Aleatorizar parámetros de estrategia - Períodos

Para la prueba de parámetros de estrategia aleatorios utilicé un fragmento modificado en el que sólo se aleatorizaron los periodos de los parámetros. 

 

 

Monte Carlo Aleatorizar Operaciones Manipulación : Orden de Operaciones Aleatorias 

Resultados de OOS reales para el 1% de estrategias que alcanzaron los mejores valores de la prueba de robustez ( percentil 99 ) 

En la siguiente figura vemos las métricas de robustez ordenadas por Factor Avg. Profit Factor in true out of sample vs. Avg.Profit Factor All in true out of sample en el conjunto de datos con no se ha aplicado ninguna prueba de robustez.

 

En las columnas azul y blanca vemos la comparación en cada periodo en el que generamos el conjunto de datos.

 

Nota explicativa del cuadro

  • Ratio OOSIS: Ratio OOS/IS
  • MCRHD: - Métodos Monte Carlo Retest: Aleatorizar los datos históricos de OHLC
  • MCRSP: - Métodos Monte Carlo Retest: Aleatorizar parámetros de estrategia - Periodos
  • MCRTO: - Manipulación aleatoria de operaciones Monte Carlo : Orden aleatoria de operaciones  
  • MCRHD Ratio Monte Carlo Aleatorio Datos históricos frente a métricas fuera de muestra
  • Ratio MCRHD: Ratio Monte Carlo Retest methods: Datos históricos de OHLC aleatorios frente a métricas fuera de muestra
  • Ratio MCRSP: Ratio de los parámetros de la estrategia de aleatorización de Monte Carlo frente a las métricas fuera de muestra.
  • Ratio MCRTO: Ratio Monte Carlo Randomize Trades Manipulación : Orden aleatoria de operaciones frente a métricas fuera de muestra
  • MM( OOS ) - Media de la métrica de estrategia en mercados adicionales 

 

Cómo evaluar la tabla anterior

La primera columna del marco azul de la izquierda muestra el año 2017. Profit Factor Avg. representa el factor de beneficio medio de 1% (percentil 99) de las estrategias seleccionadas tras la prueba de robustez. Profit Factor All Avg. representa el factor de beneficio medio de todas las estrategias en un determinado verdadero fuera de muestra.

Así pues, seleccionamos las estrategias según la prueba de robustez en el fuera de muestra, pero comparamos los resultados de estas estrategias en el verdadero fuera de muestra. El delta es el cambio absoluto en los valores medios.

En los recuadros azules encontrará todos los periodos de tiempo (conjuntos de datos) en los que hemos realizado el estudio, y en la última columna roja verá el cambio porcentual de la media de las estrategias seleccionadas en función de la prueba de robustez y de todo el conjunto de datos.

 

Interpretación de los resultados

Entre las tres métricas examinadas, el rendimiento multimercado de las estrategias ocupa el primer lugar.

  • MM (OOS): AddMAvg.TradeAvg (Cartera) + 15,24%
  • MM (OOS): AddMReturnDDRatioAvg (Cartera) + 9,62%
  • MM (OOS): AddMAvg.TradeAvg (Cartera) +8,24%

 

La cuarta prueba de robustez eficiente es la selección de estrategias 1% según MCRHD: Avg. Trade (MC retest, Conf. level 95%), que aumenta el rendimiento en 7,8% de media.

Los otros dos son 1. TV: Avg. Trade (OOS), 1. TV: Profit Factor (OOS). Si seleccionáramos 1% de las estratagemas según estas métricas de estrategia, el factor de beneficio en OOS aumentaría unos 6% de media. Las métricas OOS/IS también funcionan bastante bien.

 

Una vez más, aplico pruebas de robustez SÓLO a las estrategias filtradas en el proceso de construcción utilizando los siguientes criterios. 

  • 1TP9Factor de ajuste ( IS ) > 1,3
  • Promedio Operaciones al año ( IS ) > = 15
  • Promedio Operaciones por año ( OOS ) > = 15
  • Beneficio neto ( OOS ) > 0

 

Al tratarse de estrategias en las que no hemos aplicado un filtrado avanzado, no hemos simulado un flujo de trabajo fundamental. Por tanto, tómense los resultados como una indicación de la tendencia.

 

La mejora del rendimiento de las métricas básicas en OOS también se debe a que al crear los conjuntos de datos sólo utilizamos clasificaciones básicas. En otras palabras, los criterios que utilizamos se fijaron para generar el mayor número de estrategias rentables lo más rápidamente posible. En la próxima parte, abriremos la posibilidad de simular las clasificaciones actuales y aplicar pruebas de robustez a estas estrategias.

 

En la siguiente imagen adjunto una versión simplificada del gráfico anterior.

Tipo de prueba de robustez Mejora media % del factor Profit en el período Fuera de Muestreo Verdadero frente al factor Profit en el período Fuera de Muestreo
Rendimiento multimercado 12.11
Métodos Monte Carlo Retest: Aleatorizar los datos históricos de OHLC 4.71
Proporción de métricas fuera de la muestra frente a métricas dentro de la muestra 4.61
Métricas fuera de la muestra (Media del factor Profit, Avg.Trade, Factor Profit ) 4.61
Relación de los métodos Monte Carlo Retest: Datos históricos OHLC aleatorios frente a métricas fuera de muestra 3.59
Monte Carlo Aleatorizar operaciones Manipulación : Orden de Operaciones Aleatorias 3.44
Ratio de Manipulación de Operaciones Aleatorias Monte Carlo : Orden de Operaciones Aleatorias vs. Métricas Fuera de Muestra 2.13
Métodos Monte Carlo Retest: Aleatorizar parámetros de estrategia - Períodos -6.06
Relación entre los parámetros de la estrategia de aleatorización de Monte Carlo y las métricas fuera de muestra -9.09

 

En la figura anterior, vemos la mejora media del factor prfot para un determinado tipo de robustez. El resultado es la primera de las tres métricas utilizadas para evaluar las pruebas de robustez (Promedio del factor Profit, Avg.Trade, Profit Factor )

 

Rendimiento multimercado ( OOS ) daría una mejora media de 12% en el factor de beneficio de la estrategia en el verdadero periodo fuera de muestra. El segundo mejor prueba de robustez es la Método Monte Carlo Retest: Aleatorizar los datos históricos de OHLC se traduciría, por término medio, en una mejora de 4,7% del factor de beneficio de la estrategia en su verdadero periodo fuera de la muestra.

 

Ideas, mejoras y pasos futuros

En el análisis anterior, utilizamos métricas básicas para la selección de estrategias. ¿Existen métricas de estrategia con mayor valor predictivo? Este problema puede aclararse mediante diferentes métodos. Aprendamos algunos métodos de aprendizaje automático con problemas de extracción de características. La lógica básica es que medimos la relación entre las métricas de estrategia en fuera de muestra y la relación entre la dependencia de variables en verdadero fuera de muestra.

 

Coeficiente máximo de información

Se trata de un método no paramétrico para evaluar las relaciones lineales y no lineales entre variables. En el gráfico siguiente, vemos la relación entre las variables seleccionadas (columna de la izquierda de la muestra y el 1TP9Factor de ajuste en la muestra real en cada uno de los conjuntos de datos. Se trata de cálculos muy preliminares, pero obsérvese que ni el factor Profti, ni Avg.Trade ni el ratio Ret/ DD se encuentran en las primeras posiciones. A partir de esta información, podemos concluir que hay mejores métricas de estrategia para predecir el rendimiento futuro de las startups que no están en la muestra.

 

Ampliaremos el análisis dado en varios pasos

 

  • Podríamos analizar los bloques de entrada y su borde medio a lo largo de los periodos. De este modo, se podrían seleccionar bloques que sean eficientes, que mantengan un rendimiento estable.
  • La selección en caso de ratios OOS /IS puede hacerse mejor que con el método del percentil
  • Podemos intentar encontrar mejores métricas de estrategia para seleccionar estrategias con bordes más altos.
  • Podemos simular el flujo de trabajo seleccionado y aplicar pruebas de robustez a las estrategias obtenidas a partir de él ( por ejemplo, elegimos estrategias con factor de beneficio OOS / factor de beneficio IS > 0,9 , factor de beneficio IS > 1,3 y les aplicamos pruebas de robustez )
  • Podemos analizar combinaciones de estas pruebas de robustez.
  • El estándar para este tipo de análisis es la validación cruzada. En la siguiente parte realizaremos una validación cruzada dentro de un conjunto de datos, pero también sobre otros conjuntos de datos. (Por ejemplo, probaremos un conjunto de datos generado sobre EUR USD en USD/JPY). 
  • Podemos utilizar un ajuste más estricto en las pruebas de robustez
  • Podemos utilizar más mercados para la prueba multimercado. En este análisis hemos utilizado 5 mercados
  • Ajustaremos más estrictamente las pruebas individuales de Monte Carlo. Los parámetros de la estrategia de aleatorización de Monte Carlo pueden ajustarse por separado de forma más estricta.  
  • Podemos utilizar técnicas más rigurosas para cuantificar la ventaja de las pruebas de robustez
  • Podremos añadir al análisis valores seleccionados de los indicadores Optimización Profiles y Mediana SPP, Optimización Secuencial. Tras el lanzamiento de la versión 138, añadiremos el análisis de eficiencia de la WFO.
  • He utilizado una configuración de IS 30% y OOS 70% seguida de True OS 2 años. Aquí hay espacio para la experimentación. Podemos utilizar otros ajustes de IS y OOS para aplicar pruebas de robustez en períodos de muestra. Hay muchas posibilidades.

 

¿Hacia dónde nos dirigiremos en posteriores análisis tras la publicación de la versión final 137?

  • Podríamos analizar todos los indicadores externos y las reglas de carácter basadas en ellos. En los últimos años hemos añadido varios indicadores y fragmentos de alta calidad cuyo valor predictivo es significativamente superior al de los indicadores incorporados en SQX
  • Es posible probar diferentes longitudes de True Of Sample, diferentes configuraciones de entrada y salida y diferentes marcos temporales. Elegí 2 años de True Of Sample para tener una muestra estadísticamente significativa más alta en el análisis.

 

Conclusión y recomendación

En la parte introductoria, sugerimos que la prueba más eficaz del marco temporal de 4 horas en EURUSD es probar una estrategia multimercado: la solidez multimercado. Hemos descubierto que algunas métricas de la estrategia pueden tener un valor predictivo mayor que otras. Hemos descubierto que aleatorizar los datos históricos también puede dar lugar a mejoras interesantes. 

Volveré sobre este conjunto de datos en un artículo en octubre, donde intentaremos aplicar algunas de las mejoras mencionadas al final del artículo. A continuación, realizaremos un conjunto de datos similar en noviembre y diciembre con las mejoras y nos centraremos en las estrategias y el marco temporal horario de los índices.

 Todas las sugerencias y críticas constructivas son bienvenidas.

 

Suscríbase a
Notificar a
0 Comentarios
Feedbacks de Inline
Ver todos los comentarios

Seguir leyendo

Lanzamiento de StrategyQuant X 137

Nos complace anunciar que la nueva versión StrategyQuant X Build 137 acaba de ser lanzada. Contiene una gran cantidad de correcciones de errores y algunas mejoras importantes, incluyendo: Final Stockpicker motor - que ...

Mark Fric

16. 8. 2023

Noticias