Pruebas de robustez, ¿funcionan realmente?

El siguiente procedimiento podría realizarse para demostrar si las "Pruebas de robustez" funcionan realmente.

1. Construir 1000 estrategias con EURUSD H1, utilizando el periodo 2018-2023 como datos "En Muestra" y dejando 2024 como "Datos No Vistos".
2. Una vez que haya construido las 1000 estrategias, con una bonita curva de equidad, un buen factor de beneficio y una aptitud aceptable, pruébelas en el periodo "No visto".

Digamos que 30% de las estrategias iniciales, es decir, trescientas, dan beneficios si se prueban sólo en 2024. Esto significa que si hubiera elegido una estrategia al azar entre las mil, habría tenido una probabilidad 30% de terminar 2024 con beneficios.

3. Probar las 1000 estrategias iniciales con un "Test de Robustez", la "Matriz Walk Forward" por ejemplo, en el periodo "En Muestra", 2018-2023.

Digamos que 10% de estas estrategias, cien, pasan la prueba.

4. Ahora ponga a prueba estas cien estrategias en el periodo "no visto", 2024.

Si la "Prueba de robustez" ha funcionado bien, debería seleccionar las mejores estrategias, y el porcentaje de las rentables debería ser mayor que el 30% obtenido sin utilizar la "Prueba de robustez".

He realizado este procedimiento muchas veces con diferentes activos, en diferentes periodos de tiempo, cambiando parámetros y utilizando todo tipo de "Test de robustez", pero el resultado era siempre el mismo: el "Test de robustez" no era capaz de seleccionar las estrategias que tenían más probabilidades de ser rentables en periodos "No vistos".

Escribí este post para poder compararme con otros traders, para entender si alguien tiene pruebas de que las "Pruebas de robustez" pueden ser realmente útiles para algo y de qué manera.

Si no está satisfecho con las herramientas de SQX, pruebe las herramientas de Thomas Nickel. Er schreibt:

La fase inicial de SQX fue muy problemática, todo eran fallos. Mittlerweile hat sich das deutlich verbessert, aber es war ein langer Weg.
Programo en Java, aunque antes trabajaba en C y C++. Assembler liegt schon eine Weile zurück; heutzutage benutzt man das kaum noch.
¿Conoce mis tres programas Pro? La herramienta de monitorización instala y utiliza EAs generados por SQX, la caja de herramientas genera flujos de trabajo y el analizador de datos incluye un KI basado en Weka.
Estas herramientas ayudan a analizar e instalar los robots SQX. Están disponibles como Freeware.
Ich habe auch mal darüber nachgedacht, die Software zu verkaufen oder Schulungen anzubieten, um anderen zu zeigen, wie man profitable Strategien erstellt.
Hay muchas personas que lo intentan, pero en la mayoría de los casos no funciona. Profitable Strategien sind schwer zu finden - fast niemand hat welche, die wirklich gut laufen.
El Problem se refiere a menudo al hecho de que muchas estrategias se ajustan a las curvas, es decir, que sólo funcionan con datos históricos y no se aplican en la práctica.
Ich habe das selbst durchgemacht und festgestellt, dass solche Systeme nicht funktionieren.
El usuario debe comprobar el flujo de trabajo completo y simularlo todo. Por lo tanto, he desarrollado la caja de herramientas, y ahora me doy cuenta de que los flujos de trabajo no funcionan.
Hasta ahora sólo he creado un flujo de trabajo, pero es muy bueno: el flujo de trabajo GBPJPY H1 del foro SQX.

Ich bin noch zu neu und kann das nicht kommentieren. Thomas nutzt das SQX jedoch schon länger als 10 Jahre.

PS: Downloadlink ist im PDF-File.

La fase inicial de SQX fue realmente problemática: había bugs por todas partes. Entretanto, las cosas han mejorado considerablemente, pero ha sido un largo camino.

Programo en Java, pero también solía trabajar en C y C++. Ensamblador fue hace tiempo; hoy en día apenas se usa.

¿Conoce ya mis tres programas? La herramienta de monitorización instala y monitoriza los EAs generados por SQX, la caja de herramientas genera flujos de trabajo y el analizador de métricas contiene una IA basada en Weka.

Estas herramientas auxiliares ayudan a analizar e instalar robots SQX. Están disponibles como software gratuito.

También he pensado en vender el software u ofrecer formación para mostrar a otros cómo crear estrategias rentables.

Hay mucha gente que lo intenta, pero la mayoría de las veces no funciona. 1TP9Las estrategias rentables son difíciles de encontrar, casi nadie tiene ninguna que funcione realmente bien.

El problema suele ser que muchas estrategias están simplemente "ajustadas a la curva", es decir, sólo funcionan con datos históricos y se vienen abajo en la práctica.

Yo mismo he pasado por esto y me he dado cuenta de que esos sistemas no funcionan.

Hay que examinar todo el flujo de trabajo y simularlo todo. Por eso desarrollé la caja de herramientas, y desde entonces normalmente me ha demostrado que los flujos de trabajo no funcionan.

Hasta ahora sólo he encontrado un flujo de trabajo que es razonablemente bueno: el flujo de trabajo GBPJPY H1 del foro SQX.

Ok, gracias por la respuesta. Estudiaré detenidamente los documentos que me ha enviado. Seguiremos en contacto.

mi información sobre "Robustez", léala aquí:

https://dnyl.space/tag/robustness/

Hola Drunkshingha, gracias por tu post.

No he podido encontrar el tema que traté en su enlace, ¿es correcto?

En mi experiencia, las pruebas de robustez como las de Montecarlo, Walk Forward Matrix etc. etc. no son capaces de seleccionar las estrategias que tienen más probabilidades de ser rentables en el futuro.

Pregunto a los comerciantes si tienen alguna prueba de que funcionan.

Strategyquant hace su trabajo: encuentra estrategias que fueron rentables en el pasado; pero la mayoría de ellas no funcionarán con datos no vistos. Tenemos que seleccionar las estrategias que funcionarán en el futuro para ser rentables. Todavía no he encontrado una herramienta que pueda hacer esto. Según mi experiencia, las pruebas de robustez clásicas no funcionan.

Empecé a leer los documentos que publicó en este foro por Thomas Nickel. Él ha desarrollado una nueva herramienta para seleccionar las estrategias generadas por Strategyquant. La idea es preatty bueno, pero necesito tiempo para probar su método.

Yo también estoy desarrollando un método por mi cuenta, si funciona os lo haré saber.

Si alguien está interesado en este tema, ¡por favor, deje sus ideas!

Creo que hay que ver las pruebas de robustez como una herramienta que se utiliza en las estrategias que pasan un conjunto básico de backtesting. Esta herramienta le muestra las características de su sistema para la evaluación en vivo.

En mi caso, divido mis datos en 3 partes y cada parte debe proporcionar un conjunto estadísticamente significativo de operaciones para evaluar.

Normalmente, esto significa que se necesitan más de 10 años de datos históricos. Supongamos que tenemos 2013 - 2017 como fragmento 1, 2017 - 2021 como fragmento 2 y 2021 - 2025 como fragmento 3. Entrenas tu sistema en la mitad del fragmento 2 y lo evalúas en la otra mitad. Así que trabajas exclusivamente con datos de 2017 - 2021. Esta estrategia tiene que pasar una serie de filtros básicos. Lo que estamos asumiendo es que una estrategia que tiene un factor de ganancia constante de 1,75 lo más probable es tener un PF cerca de 1,75 en este rango de datos.

A partir de esta pequeña prueba, sabemos que si tenemos un conjunto suficientemente amplio de estrategias aceptables, es de esperar que en algún lugar de ese conjunto tengamos un subconjunto más pequeño de estrategias que sean lo suficientemente sólidas para operar. ¿Cómo las encontramos? Bueno, desde la perspectiva de los datos del fragmento 2, los fragmentos 1 y 3 son datos "no vistos". Así que vamos a probar nuestras estrategias recién descubiertas en el trozo 1 y ver lo que obtenemos.

Intuitivamente una estrategia robusta debería operar bien en el tramo 1. He encontrado en cualquier lugar de 10 - 50% de mis estrategias llevará a cabo aceptablemente en chunk 1. Así que ahora tenemos al menos el comienzo de algo.

A continuación, pruebe esas estrategias de aprobación en un conjunto de diferentes plazos y valores. Tenga cuidado de probar su estrategia estrictamente, pero no tan estrictamente que no tenga ninguna posibilidad de pasar. Esto requiere una buena dosis de discreción y conocimiento del mercado. Por ejemplo, no elija el VIX como segundo valor para validar una estrategia en ES. Tenga la misma precaución con los plazos. Si está evaluando una estrategia TF de 1 hora, no la valide en un marco temporal de 1 metro. Hay MUCHO más ruido en el 1m y las estrategias que operan allí necesitan características diferentes. Personalmente no creo que sea posible para el comercio al por menor en tan corto de un marco de tiempo. Yo ni siquiera me molestaría en estrategias de minería por debajo de 15m TF.

Si consigue una estrategia que supere estas pruebas, eche un vistazo a las diferentes pruebas monte carlo disponibles. Utilícelas para entender cómo debería funcionar su estrategia cuando se enfrente a diferentes realidades del mercado. Compruebe cómo se comporta con una serie de deslizamientos u operaciones omitidas. Compruebe las diferentes curvas de equidad que muestra la prueba de parámetros.

Si consigues que los pase todos, ENTONCES puedes evaluar tu estrategia en el último trozo de datos. Si su estrategia funciona bien en el trozo restante de los datos, entonces ahora tal vez usted tiene algo. Todavía hay algunas pruebas que realizar, pero es posible que ahora esté trabajando con una estrategia que es lo suficientemente robusta como para operar en vivo.

Me he dado cuenta de que mucha gente, incluido yo mismo, somos poco realistas sobre cómo debería funcionar una estrategia con datos reales. Queremos ganar dinero inmediatamente, pero si leemos nuestro backtest con cuidado nos damos cuenta de que eso no es realmente lo que sucede. Una buena estrategia puede tener un periodo de estancamiento de 180 días o más (eso es mucho tiempo para evaluar si estás en ese 'agujero'). He encontrado algunas estrategias perfectamente aceptables un poco de comercio plana y tienen un par de buenas victorias cada trimestre o así. Eso significa que usted podría tener 3 o 4 pérdidas seguidas en el comercio que cae muy bien dentro de una buena banda de confianza de lo que su estrategia debe hacer.

Esto es lo que creo que funciona bien. Evalúa tu back test y tus pruebas de robustez honestamente. No apruebes una estrategia que no podrías negociar personalmente. Para mí eso significa una tasa de ganancias de 50%, ret/dd > 8, PF > 1.5, riesgo < 2% de la cuenta. Echa un vistazo a lo que el backtest te está diciendo. Si te dice que podrías tener 6 pérdidas seguidas, asume que esas pérdidas podrían ser máximas. Reconozca que 6 pérdidas seguidas es una estadística, y no un máximo real. Podrías tener 7 u 8. ¿Qué debe hacer si tiene 7 en su periodo de evaluación? ¿Debería desconectar? Tenga un plan. El mercado es imprevisible.

Trate de evaluar las diferentes partes de su curva de equidad con el conocimiento de cómo era el mercado en ese entonces. ¿Cómo te fue con el "covid crash"? Tal vez podrías tener un conjunto de estadísticas para operaciones de mercado "normales" y un segundo conjunto para condiciones de mercado excepcionales. ¿En qué tipo de mercado se encuentra ahora? ¿Es muy volátil? Los mercados muy volátiles golpearán su stop loss mucho más y usted necesita saber si eso es aceptable, o si su estrategia se está rompiendo.

Date cuenta de que 6 pérdidas seguidas * 2% puede ser mucho dinero para ti. ¿Puede soportarlo? Si no es así, tienes que ajustar tus sistemas para situar tu riesgo en una banda con la que te sientas cómodo. Eso podría significar que no puedes operar con algunos valores. He descubierto que muchos minoristas reúnen $5000 y se dirigen a operar ES sin darse cuenta de que ES podría necesitar $2000 - $5000 de SL para moverse en una operación, incluso en un marco temporal más corto. Muchos algos se benefician del sesgo de supervivencia y usted quiere un stoploss más amplio de lo que las matemáticas le dicen para tomar ventaja de esto. Reconozca las limitaciones de su capital y no intente operar con valores con los que no tiene nada que hacer. En mi caso, no me plantearía operar con minis sin tener al menos $100k USD debido a mi experiencia personal. Si no tienes eso considera los micros.

Llevo 4 años creando estrategias y practicando el trading discrecional. Mantengo a mi familia con mi trading discrecional. Sólo he estado usando SQx durante unos meses, pero he aprendido mucho. Algunas de las estrategias que evaluaba en el pasado las desactivaba porque perdían más dinero del que yo quería. Ocasionalmente, volvía y descubría que esas mismas estrategias se habían potenciado y habían ganado una buena cantidad de dinero más tarde. Si hubiera evaluado honestamente y entendido lo que el backtest me estaba diciendo, podría haberles permitido operar más tiempo y entonces habría obtenido beneficios.

La última parte de la evaluación, la parte con datos reales y dinero real, es siempre la más difícil. Es importante construir una imagen, o un mapa de lo que su estrategia debe hacer dentro de un período de tiempo. No tenga miedo de retirar beneficios antes de tiempo, pero deje que el sistema de comercio y le dirá donde se habría salido. He descubierto, como trader discrecional, que soy mucho mejor evaluando intuitivamente el mercado y sacando beneficios pronto, pero tengo que mirar la curva de renta variable que el sistema habría generado, no la curva de renta variable que yo obtuve.

Hago esto como parte del período de evaluación para tener un poco más de confianza en que puedo preservar la equidad que tengo si estoy evaluando una estrategia perdedora. Después de tener confianza en el sistema, lo dejo ir porque el comercio discrecional es mucho tiempo y el punto de ejecutar algos es, para mí, para liberar más tiempo. Así que si usted está teniendo problemas para encontrar algos robustos, tal vez no es la prueba de algo que necesita para trabajar, es su interpretación de los datos de backtest. Escuché a un buen trader de algo en un podcast decir que el trading de algos no es una experiencia libre de emociones, la única diferencia real con el trading de algos y el trading discrecional es que tienes más confianza en tus datos backtested. Creo que lo que realmente quería decir es que tienes más datos a tu disposición. Pero eso significa que tenemos que utilizarlos eficazmente cuando evaluamos sistemas en vivo.

Espero que esto ayude.

Al fin y al cabo, la solidez sólo da más posibilidades de éxito a la estrategia.

Cosas en las que pensar:

1. Qué quiero conseguir y qué pruebas se ajustan a ello.

¿Quieres encontrar parámetros estables? Quizás optimización secuencial, spp o incluso walk forward.

¿Quieres encontrar la peor reducción? Tal vez Monte Carlo.

¿Desea encontrar patrones y animalidades en sus datos de backtest? tal vez utilice simulaciones what if.

¿Desea comprobar el rendimiento de su backtest con datos desconocidos? Puede realizarlo con otros mercados.

**La cuestión es: en el trading todo es un quizás. Nuestro trabajo consiste en poner las probabilidades a nuestro favor y controlar el rendimiento.

2. Una vez que tenga los datos de su backtest y la prueba de robustez, pregúntese lo siguiente... ¿Le parece normal su backtest?

- ¿Sólo hay operaciones de compra/venta? Es decir, la simetría de operaciones 0%.

-¿Cuál es la mayor pérdida/ganancia?

-¿Espero muchos o pocos intercambios?

**Nadie menciona esto, pero desde una perspectiva tus filtros humanos son una prueba de robustez en sí mismos.

Espero que te sirva de ayuda 🙂 .