Optimización Walk-Forward vs Robustez

Quiero hacer un hilo sobre WFO en general y tener una discusión sobre lo útil o no otros cuantos aquí lo encuentran a ser.

Soy de la opinión de que no es tan necesario en absoluto y no ayuda a determinar la solidez de ninguna estrategia en particular. De la forma en que está estructurada la WFO, cualquier estrategia dada se optimiza repetidamente a través de múltiples períodos de datos de mercado y luego se prueba en una pequeña porción de datos OOS. El concepto general de esto es que es más probable que simule el comercio en vivo y pruebe cómo se comportan las estrategias cuando se adaptan a las diferentes condiciones del mercado. Sin embargo, ¿es esto realmente cierto?

Si los parámetros de una estrategia dada se optimizan repetidamente, entonces es mi opinión que todo lo que el WFO está haciendo es probar la robustez de esos parámetros específicos a medida que ocurren durante ese período de tiempo en los datos del mercado. En otras palabras, se basa en la optimización constante con el fin de determinar la solidez de una estrategia y creo que la optimización constante de las estrategias es una premisa errónea en primer lugar. He probado cientos de miles de estrategias en este punto y una conclusión que he sacado de hacer esto es que el cambio de los parámetros en gran medida, que está trabajando efectivamente con una estrategia completamente diferente cada vez que lo hace. No estoy hablando de cambiar los parámetros en un grado pequeño como se puede probar esto con simulaciones de Monte Carlo. Si usted está constantemente optimizando una estrategia para un período mucho más pequeño de tiempo, los parámetros pueden cambiar tanto que puede muy bien ser optimizado para ese período de tiempo, pero no a largo plazo. Además, ya que usted está optimizando durante un período de tiempo pequeño, no hay manera de saber cuando esa optimización dada fallará porque cada optimización puede ser drásticamente diferente de la anterior y usted puede terminar con nuevos parámetros que fueron buenos para el último año, pero fallan en los mercados en vivo porque usted está operando esencialmente con una estrategia diferente a la última optimización. Y si usted no está constantemente optimizando la estrategia final que pasa WFO entonces no hay ningún punto real para mirar lo que WFO le está diciendo en el primer lugar porque no es una indicación del rendimiento de una estrategia que usted no cambia los parámetros de.

Digo todo esto para decir que no tiene mucho sentido para mí por qué alguien constantemente optimizar las estrategias para las condiciones actuales del mercado. Cada vez que usted hace esto, usted está trabajando con una estrategia diferente que sólo puede haber trabajado durante el marco de tiempo pequeño que fue optimizado para y usted no sabe cómo drásticamente la optimización puede afectar a los parámetros dados los nuevos datos del mercado. Tiene mucho más sentido para mí encontrar estrategias que sobreviven a los datos OOS y optimizar una vez con el fin de ajustar el rendimiento a todo el conjunto de datos. Si sobrevive OOS y Monte Carlo simulaciones, la optimización de una vez encuentra los mejores parámetros que han conservado el mayor rendimiento en todo el conjunto de datos y usted no tiene que preocuparse acerca de overfitting porque ya ha sobrevivido OOS en este punto. Tampoco debería tener que volver constantemente a su estrategia y reoptimizarla, lo que puede cambiar por completo la naturaleza de la estrategia. En su lugar, la optimización se hace una vez y usted puede tener un rendimiento fiable respaldar los parámetros finales.

Pero mi objetivo aquí no es ser perezoso. Por supuesto, esto significa menos trabajo para desarrollar estrategias. Cortar WFO fuera de mi flujo de trabajo ha hecho que el proceso de tener una estrategia final que considero robusto considerablemente más rápido y no es necesario volver y volver a optimizar 10-100 estrategias diferentes que puede estar ejecutando. Pero no me gustaría cortar WFO fuera de mi flujo de trabajo debido a la practicidad y la pereza. Si realmente es más beneficioso utilizarlo para el proceso de robustez, no me importaría una compensación en tiempo por una mejor estrategia que sea más fiable. Es más importante no dejar que pequeños descuidos te cuesten dinero en los mercados. Sin embargo, hasta ahora, no he encontrado ninguna razón o prueba legítima de por qué es mejor optimizar constantemente una estrategia determinada.

Así que quiero plantear la pregunta a todos los demás que utilizan WFO. ¿Os parece beneficioso utilizarlo? Si es así, ¿por qué crees que optimizar constantemente las estrategias es más beneficioso que no hacerlo? He luchado para encontrar alguna razón para esto y me gustaría alguna opinión de otros que definitivamente no están de acuerdo con mi posición, porque como yo lo entiendo, WFO es más de una prueba opcional por esta misma razón.

cambiar los parámetros en gran medida, estás trabajando efectivamente con una estrategia completamente diferente cada vez que lo haces.

Esta idea se me ha pasado mucho por la cabeza. ¿En qué punto trazamos la línea entre optimizar y probar al azar estrategias completamente diferentes? En mi propio EA tengo parámetros optimizables que cambian completamente aspectos enteros de la estrategia y considero que optimizarlos es más parecido a probar diferentes estrategias al azar. Esta es una de las razones por las que creo que es importante saber exactamente lo que cada variable realmente hace antes de optimizarlo para que podamos juzgar si debe ser optimizado en absoluto y cuánto podemos cambiarlo sin que se convierta en una estrategia diferente.

A juzgar por mi limitada experiencia más todos los libros de trading que incluyen un capítulo de walk-forward diría que es muy probable que el WF pueda tener algún valor si lo hacemos correctamente y tenemos cuidado de no hacer demasiado data-mine y tener cuidado de no, como dices, "acabar con una estrategia completamente diferente". Sin embargo, un WF puede hacer más mal que bien si no se hace correctamente, especialmente con la matriz SQX WF a veces puede hacer que un WF de ciertos parámetros se vea bien cuando en realidad hemos sobre-optimizado el proceso WF en sí.

Es bastante raro para mí que una estrategia hace tan bien o mejor en su OOS de un WF que lo hizo en su OOS durante la fase de desarrollo de la estrategia, pero cuando lo hace tengo un poco más de confianza en el WF. Por supuesto que voy a volver a optimizar según sea necesario, como usted ha dicho, no tiene sentido no hacerlo, sí que es un dolor y he hecho ajustes especiales a mi código mt4 para aliviar el dolor.

No estoy seguro de que me molestaría en usarlo como una prueba de robustez porque como usted ha dicho la prueba MC puede hacer algo similar.

Estoy de acuerdo con todo su post y está muy bien escrito y plantea algunas grandes preguntas que ambos compartimos, pero esto absolutamente está sonando las alarmas para mí:

Para mí tiene mucho más sentido encontrar estrategias que sobrevivan a los datos OOS y optimizarlas una vez para ajustar el rendimiento a todo el conjunto de datos.

Se corre el riesgo de sobreajustar durante la optimización final. Yo no lo optimizaría después de haber realizado todas las demás pruebas. Esto no es diferente de un paseo hacia adelante con un gran en la muestra que no ha probado fuera de la muestra todavía. Yo al menos haría un WF anclado antes de intentarlo.

El concepto debe ser que si una estrategia puede ser optimizada en datos no vistos y al hacer esto se mejora el rendimiento de manera significativa, entonces es una estrategia adaptable a las condiciones del mercado que muy probablemente se puede adaptar a diferentes condiciones de los mercados si se optimiza recientemente. Me refiero a que cuando se desarrolló Walk Forward, necesitaban arreglar la estrategia, ya que sólo tenían una en la que trabajaron durante 2 años y necesitaban que funcionara en tantos mercados como fuera posible. Estoy probando esto en realidad tengo cerca de 400 estrategias que se ejecutan en la demostración que fueron optimizados en los datos no vistos y que se re optimizado en diciembre y originalmente todos ellos tienen> 80 por ciento de los períodos de ganar en los datos no vistos que en la práctica debería significar que en junio del próximo año el tiempo para la segunda optimización 90% al menos debería haber tenido un período rentable. Si eso es cierto, probablemente lo use, si no, lo dejaré, que es lo más probable.

Todo el pensamiento hasta ahora veo el mejor rendimiento de las estrategias que son simples optimizado en los datos recientes, pero todavía un gran rendimiento en los datos no vistos y que es mucho más simple de hacer. Howe siempre esto parece crear un cierto % de perdedores totales inmediatos totales por lo que primero necesitan ser incubados. Pero el resto han tenido un buen rendimiento todo el pensamiento en mi prueba de hacer esto eran de un tipo que han realizado recientemente bien de cualquier manera mirando hacia atrás 6 meses por lo que cosas como el tipo de estrategia y que tipo de rendimiento general en el mercado reciente tiene que ser considerado también y en comparación con el optimizado para deter-main la eficacia de hacer y aplicar estas operaciones para las estrategias utilizadas con dinero real. Sin embargo, he encontrado que es casi imposible hacer una estrategia de trabajo en un período de pérdida mediante la optimización de lo único que parece suceder es una ligera mejora en el rendimiento con el tiempo se convierte en un mejor cuando ya están haciendo beneficios sin optimizar.

Para la prueba de robustez creo que la mejor opción es tener estrategias que funcionan en muchos instrumentos y marcos de tiempo y son fáciles de encontrar en SQx. Como puede una estrategia ser curva ajustada o mala si trabaja en datos no vistos en X mercados diferentes. Por supuesto que funcionará, tal vez no los próximos 6 meses, pero más tarde lo hará con seguridad o el mercado dejaría de ser aleatorio, lo que no sucederá.

bentra escribió:

Se corre el riesgo de sobreajustar durante la optimización final. Yo no lo optimizaría después de haber realizado todas las demás pruebas. Esto no es diferente de un paseo hacia adelante con un gran en la muestra que no ha probado fuera de la muestra todavía. Yo al menos haría un WF anclado antes de intentarlo.

No estoy de acuerdo. La optimización final después de que todo ha sido probado se limita generalmente a cambiar unos pocos parámetros sólo ligeramente. Por ejemplo, mover un stop-loss de 3.4x ATR a 2.8x ATR o mover la salida después de las barras de 25 a 40. Es ilógico para mí que estos cambios harían una estrategia "overfit" de repente. Estrategias Overfit son estrategias que sólo funcionan en los datos que fueron entrenados en. Optimización a través del conjunto de datos no es lo mismo que volver a entrenar. Todavía ha sobrevivido en los datos anteriores OOS. Ajustar ligeramente la estrategia no es volver a entrenarla en estos datos OOS, ya que aún debe considerarse como no vista en el conjunto de datos de entrenamiento original.

mabi escribió:

Para la prueba de robustez creo que la mejor opción es tener estrategias que funcionan en muchos instrumentos y marcos de tiempo y son fáciles de encontrar en SQx. Como puede una estrategia ser curva ajustada o mala si trabaja en datos no vistos en X mercados diferentes. Por supuesto que funcionará, tal vez no los próximos 6 meses, pero más tarde lo hará con seguridad o el mercado dejaría de ser aleatorio, lo que no sucederá.

Yo también pensé en esto en un principio. Sin embargo, mi preocupación era con lo diferente que otros mercados pueden ser a veces. Esto es aún más de un área gris que WFO para mí y todavía quiero hacer más investigación sobre las estrategias de trabajo en otros mercados de ser una verdadera prueba de robustez. Por lo que he reunido, usted tiene que probar los mercados que son similares. Como ejemplo obvio, no se puede hacer algo así como comparar los resultados de una estrategia en EUR/USD y USD/JPY, ya que se mueven casi opuestos entre sí. Tendrías que hacer algo como comparar una estrategia en EUR/USD con GBP/USD y si pruebas USD/JPY, compararlo con EUR/JPY y así sucesivamente.

mabi escribió:

Todo el pensamiento hasta ahora veo el mejor rendimiento de las estrategias que son simples optimizado en los datos recientes, pero todavía un gran rendimiento en los datos no vistos y que es mucho más simple de hacer.

Tengo curiosidad por investigar más y obtener más opiniones al respecto. Nunca he entrenado en los datos más recientes y probado contra OOS en el pasado. Yo haría lo contrario donde entrenaría en datos pasados y haría de los datos recientes mi OOS para probar que la estrategia aún funciona en las condiciones actuales del mercado. Lo mejor de ambos mundos sería tener múltiples periodos IS así como múltiples OOS pero estoy esperando a que se implemente esa petición de característica 😉 .

Un ajuste menor de la estrategia no consiste en volver a entrenarla con estos datos OOS, ya que deben seguir considerándose no vistos del conjunto de datos de entrenamiento original.

Cualquier ajuste en absoluto es una forma de ajuste hasta cierto punto, si se utiliza el OOS para los ajustes, entonces es por definición considerado visto y por definición ya no se considera OOS. Como yo lo entiendo, pequeños ajustes son menos propensos a dañar y más propensos a ayudar, pero la idea de la caminata hacia adelante es tratar de verificar en qué medida la optimización / ajuste parte está ayudando o perjudicando. Podrías utilizar un poco menos de datos u obtener más datos e ir a un paseo hacia adelante por "tweek menor" en su lugar. En tu ejemplo de utilizar "toda la muestra de datos", ¿cuál es la diferencia entre estas tres cosas?
- "pequeños retoques" en 16 años de todos tus datos
-obtener primero más datos y luego utilizar 16 de los 25 años para el SI y hacer un recorrido hacia delante en el resto mediante "pequeños retoques"
-¿utilizar 14 de los 16 años y hacer un "pequeño ajuste" en los 2 años restantes? (podría ser mejor que nada y darle confianza en su etapa de "ajustes menores").

Como ejemplo obvio, no puede hacer algo como comparar los resultados de una estrategia en EUR/USD y USD/JPY ya que se mueven casi opuestos entre sí. Tendrías que hacer algo como comparar una estrategia en EUR/USD con GBP/USD y si pruebas USD/JPY, compárala con EUR/JPY y así sucesivamente.

Si su estrategia es simétrica, entonces por supuesto que puede comparar los resultados de EURUSD a USDJPY. Si su estrategia no es simétrica, entonces su afirmación tiene sentido. Creo que para el contexto cuando se habla de pruebas de mercado cruzado, será útil especificar el marco de tiempo y también si estamos hablando o no de estrategias simétricas. Por ejemplo, me parece que los marcos de tiempo más grandes (H4 / D1) son mejores como estrategias simétricas y de mercado cruzado, mientras que los marcos de tiempo más pequeños son mejores asimétricos y parecen más especializados para un solo par. También encuentro que GOLD, USDJPY, EURUSD y GBPUSD son un sólido conjunto de pruebas cruzadas para estrategias simétricas de marcos temporales más grandes. Pero un buen conjunto de datos para una estrategia asimétrica marco de tiempo más pequeño algo así como EURUSD, EURJPY y GBPUSD parece mejor para un strat EURUSD. (Un xxxUSD adicional y un EURxxx adicional) En realidad hice una solicitud de función para que podamos "voltear" la cruz para que pudiéramos tener un conjunto de comprobación cruzada como USDJPY, EURJPY, USDGBP como un conjunto cruzado lógico para una estrategia asimétrica USDJPY. Me olvidé de todo hasta ahora. (https://roadmap.strategyquant.com/tasks/sq4_3319)

bentra escribió:

¿cuál es la diferencia entre estas tres cosas: - "pequeños ajustes" en 16 años de todos sus datos -obtener más datos primero y luego utilizar 16 de los 25 años para el SI y hacer un avance en el resto mediante "pequeños ajustes" -utilizar 14 de los 16 años y hacer un avance mediante "pequeños ajustes" en los 2 años restantes? (podría ser mejor que nada y darle confianza en su etapa de "ajustes menores").

Bueno, WFO pruebas para optimizar las estrategias varias veces. Yo no hago esto. Así que la diferencia es que la realización de esta prueba no me da los datos finales que quiero cuando se trata de hacer una estrategia lista para la producción, ya que no planeo en la optimización de más de una vez.

bentra escribió:

Si su estrategia es simétrica, entonces por supuesto que puede comparar los resultados de EURUSD a USDJPY. Si su estrategia no es simétrica, entonces su afirmación tiene sentido. Creo que para el contexto cuando se habla de pruebas de mercado cruzado, será útil especificar el marco de tiempo y también si estamos hablando de estrategias asimétricas o no.

Yo solía apostar por las estrategias simétricas hasta que los datos me demostraron lo contrario. Ahora sólo utilizo estrategias short-only y long-only para un mercado determinado. Hago un entrenamiento unilateral por lado y por mercado. El resultado final son dos estrategias diferentes que sólo operan en una dirección con reglas completamente diferentes. Algunas personas como usted juran por la simetría. A cada uno lo suyo. En cuanto a TF, realmente no importa, siempre y cuando no es nada como 5m o inferior. Si alguien ha sido capaz de hacer estrategias de 5m o menos de trabajo en el comercio en vivo, los saludo.

hasta que los datos me demostraron lo contrario. Ahora sólo utilizo estrategias a corto y largo plazo.

No es de extrañar teniendo en cuenta lo defectuosa que sigue siendo la simetría en SQX.

Puedo ver cómo usted piensa que me encanta la simetría de toda mi actividad reciente, pero en realidad la mayoría de mis strats en vivo no lo son.