Tipos de pruebas de robustez en SQX

En la muestra / Fuera de la muestra

Las pruebas dentro de la muestra (IS) y fuera de la muestra (OOS) son conceptos esenciales en el desarrollo, las pruebas y la validación de estrategias de negociación. Ayudan a evaluar la solidez de las estrategias y a garantizar que no se ajustan en exceso a un conjunto de datos específico. A continuación se ofrece una amplia explicación de las pruebas dentro y fuera de la muestra:

Definición de datos IS y OOS:

Datos en la muestra (IS): Los datos IS son la porción de datos históricos utilizados para desarrollar y optimizar la estrategia de negociación. Durante el proceso de desarrollo de la estrategia, se ajustan y afinan diversos parámetros, reglas e indicadores para lograr el mejor rendimiento posible con los datos IS.

Datos fuera de muestra (OOS): Los datos OOS son una parte separada e invisible de los datos históricos reservados para probar y validar la estrategia de negociación. Los datos OOS no se utilizan en el proceso de desarrollo u optimización para garantizar que el rendimiento de la estrategia con estos datos sea una evaluación imparcial de su eficacia y solidez..

El objetivo principal de utilizar datos IS y OOS es evaluar la solidez y la generalizabilidad de las estrategias de negociación. Al evaluar el rendimiento de la estrategia tanto con datos IS como OOS, los usuarios pueden identificar posibles sobreajustes y asegurarse de que la estrategia no está excesivamente optimizada para un conjunto de datos específico. Una estrategia que funcione bien tanto con datos IS como OOS tiene más probabilidades de ser resistente y adaptable a las condiciones cambiantes del mercado.

En el contexto del desarrollo y la comprobación de estrategias de negociación, los datos históricos se dividen en segmentos IS y OOS. La estrategia se desarrolla y optimiza utilizando los datos IS, y su rendimiento se valida a continuación utilizando los datos OOS. Los usuarios pueden comparar las métricas de rendimiento de ambos conjuntos de datos para evaluar la solidez de la estrategia y evitar el sobreajuste.

Ventajas de las pruebas en la muestra y fuera de la muestra:

1. Pruebas de solidez: Al comparar el rendimiento de la estrategia en datos IS y OOS, los usuarios pueden evaluar su solidez y generalizabilidad. Una estrategia que funcione bien en ambos conjuntos de datos tiene menos probabilidades de estar sobreajustada y más probabilidades de funcionar bien en operaciones reales.

2. Validación de conceptos estratégicos: Si una estrategia de negociación funciona bien con datos OOS, proporciona una confianza adicional en que la idea de negociación subyacente es sólida y no sólo el resultado del ajuste de curvas o del azar.

3. Prevención del sobreajuste: El uso de datos OOS ayuda a prevenir el sobreajuste, ya que obliga a la estrategia a probar su eficacia en un conjunto de datos no visto. Esto garantiza que la estrategia no esté excesivamente optimizada para un conjunto de datos específico y pueda adaptarse a las condiciones cambiantes del mercado.

Pruebas Monte Carlo

Las pruebas de Monte Carlo forman parte integrante de las herramientas de prueba de robustez de StrategyQuant X, y permiten a los usuarios evaluar la estabilidad y fiabilidad de sus estrategias de negociación en distintos escenarios aleatorios. Mediante la realización de simulaciones de Monte Carlo, los usuarios pueden obtener información sobre la gama potencial de resultados de sus estrategias y evaluar su resistencia ante acontecimientos y condiciones inesperados del mercado. A continuación se ofrece una amplia explicación de las pruebas de Monte Carlo en StrategyQuant X:

¿Qué son las pruebas Monte Carlo? 

Las pruebas de Monte Carlo son un método estadístico que consiste en simular un gran número de escenarios aleatorios para evaluar el rendimiento de una estrategia de negociación. Estas pruebas generan variaciones aleatorias en factores como la orden de operación, el deslizamiento de la operación, el capital inicial y el tamaño de la posición para analizar el rendimiento de la estrategia en diferentes condiciones. Examinando los resultados de estas simulaciones, los usuarios pueden evaluar la estabilidad y fiabilidad de sus estrategias de negociación.

El objetivo principal de las pruebas de Montecarlo es evaluar la solidez y adaptabilidad de las estrategias de negociación. Analizando el rendimiento de la estrategia en varios escenarios aleatorios, los usuarios pueden conocer mejor su gama potencial de resultados e identificar posibles puntos débiles o vulnerables. Esta información ayuda a los usuarios a comprender los riesgos asociados a sus estrategias y a tomar decisiones informadas sobre si desplegarlas en entornos de negociación reales.

En StrategyQuant X puede utilizar dos tipos de pruebas Monte Carlo:

Manipulación comercial Monte Carlo

Esta comprobación cruzada ejecuta simulaciones en las que se manipulan las operaciones existentes: se barajan de nuevo, se omiten algunas, etc.
Esta función es muy rápida, ya que no requiere backtests, sino que trabaja con las operaciones existentes del backtest principal.
La idea es comprobar cuánto depende la curva de la estrategia del orden de las operaciones y qué ocurre si algunas operaciones no se ejecutan.

Puede realizar estas manipulaciones comerciales en cualquier simulación:

• Orden aleatorio de las operaciones - Ésta es la prueba más sencilla, en la que se baraja aleatoriamente el orden de las operaciones. Esto no cambia el beneficio neto, pero es muy útil para estudiar las diferentes variaciones de reducción que pueden resultar del diferente orden de las operaciones.
• Saltar operaciones aleatoriamente - saltarse operaciones aleatoriamente con cierta probabilidad. En el trading real, puedes perderte una operación debido a un error de la plataforma o de Internet, o simplemente porque dejas de operar durante algún tiempo. Esta prueba le da una idea de cómo podría ser la curva de valores si algunas operaciones se omitieran aleatoriamente.

Métodos de repetición de Monte Carlo

Se trata de otro tipo de simulación Monte Carlo. En este caso, se simulan cambios aleatorios en las propiedades que requieren volver a probar la estrategia, por ejemplo, cambios en el diferencial, el deslizamiento, los parámetros de la estrategia o los datos históricos.

Dado que cada simulación requiere un backtest completo, esta comprobación cruzada puede llevar mucho tiempo.
Por ejemplo, si el backtest con los datos principales tardó 0,5 segundos y desea realizar 100 simulaciones en esta comprobación cruzada, puede suponer que tardará 100 x 0,5 = 50 segundos en cada estrategia en la que se aplique.

Probaremos los siguientes tipos de Métodos de repetición de Monte Carlo

• Aleatorizar los parámetros de la estrategia - cada estrategia utiliza parámetros, como el periodo de un indicador o una constante, para la comparación. Esta prueba comprueba lo sensible que es la estrategia a un pequeño cambio en el valor del parámetro. La probabilidad de cambio es la probabilidad de que un parámetro cambie su valor. Max. Cambio de Parámetro es el porcentaje máximo en el que el parámetro cambia su valor. Por ejemplo, si se fija el Máx. Cambio de Parámetro a 10%, un parámetro con el valor 60 puede ser cambiado aleatoriamente a un rango de 54 - 66 (+- 10% de su valor original de 60).
• Datos históricos aleatorios - Un caso muy común de ajuste de curvas es cuando la estrategia depende demasiado de los datos históricos. Esta opción comprueba el comportamiento de la estrategia cuando se cambian los datos históricos.

Ratios OOS/IS

Representa la relación entre las métricas del periodo fuera de la muestra y las métricas del periodo dentro de la muestra.

El ratio OOS / IS expresa el grado de deterioro de la estrategia en el periodo fuera de la muestra en comparación con el periodo dentro de la muestra

El deterioro de la estrategia se refiere al deterioro del rendimiento de una estrategia de negociación cuando se aplica a nuevos datos que aún no se han visto. Este deterioro suele producirse cuando una estrategia que se ha optimizado y ajustado para los datos dentro de la muestra (IS) se prueba con datos fuera de la muestra (OOS). El deterioro puede deberse a un ajuste excesivo de la estrategia a los datos IS o a unas condiciones de mercado cambiantes a las que la estrategia no puede adaptarse.

Las métricas fuera de muestra (OOS) y dentro de muestra (IS) son conceptos críticos en el desarrollo, prueba y validación de estrategias de negociación. Estas métricas ayudan a evaluar la solidez de las estrategias y a garantizar que no se ajustan en exceso a un conjunto de datos concreto.

El principal objetivo de utilizar ratios OOS / IS es evaluar la solidez y generalizabilidad de las estrategias de negociación. Al evaluar el rendimiento de la estrategia tanto en datos IS como OOS, puede identificar posibles sobreajustes y asegurarse de que la estrategia no está excesivamente optimizada para un conjunto de datos concreto. Es probable que una estrategia que funcione bien tanto con datos IS como OOS sea más resistente y adaptable a las condiciones cambiantes del mercado.

Pruebas multimercado ( Pruebas en mercados adicionales )

La prueba multimercado es una función esencial de StrategyQuant X que le permite evaluar el rendimiento y la adaptabilidad de sus estrategias de negociación a diferentes instrumentos financieros o condiciones de mercado. El objetivo de este método de prueba es identificar estrategias que no sólo sean eficaces en un único mercado, sino que también funcionen bien en distintos entornos de mercado, reduciendo el riesgo de sobreajuste y aumentando la probabilidad de éxito de las operaciones.

El principal objetivo de la prueba multimercado es determinar la solidez y flexibilidad de una estrategia de negociación. Es probable que una estrategia que funcione bien en varios mercados sea más resistente y adaptable a las condiciones cambiantes del mercado, ya que ha demostrado su eficacia en diversas circunstancias. Probar múltiples mercados ayuda a los usuarios a identificar estrategias que no están excesivamente optimizadas para un mercado concreto. Esto reduce el riesgo de sobreadaptación y mejora las posibilidades de éxito en la negociación real.

Las pruebas multimercado consisten en probar sus estrategias de negociación en diferentes instrumentos financieros, como acciones, pares de divisas, materias primas e índices. Con StrategyQuant X, puede seleccionar varios instrumentos y ejecutar pruebas retrospectivas en cada uno de ellos para evaluar el rendimiento de la estrategia. A continuación, podrá analizar los resultados, comparar las métricas de rendimiento de diferentes mercados e identificar las estrategias que muestran un rendimiento y una adaptabilidad constantes.

Al probar estrategias en varios mercados, los usuarios pueden identificar sistemas más sólidos y menos propensos a la sobreadaptación. Es probable que una estrategia que funcione bien en varios mercados sea más resistente a las condiciones cambiantes del mercado. Las pruebas multimercado ayudan a los usuarios a construir una cartera diversificada identificando estrategias que funcionan bien en distintos instrumentos. Esta diversificación puede ayudar a reducir el riesgo global de la cartera y mejorar el rendimiento a largo plazo.

Cuando un concepto de estrategia funciona bien en varios mercados, ofrece una garantía adicional de que la idea de negociación subyacente es sólida y no sólo el resultado de un ajuste de curvas o de la casualidad.