Las simulaciones de Monte Carlo no parecen concluir nada sobre el rendimiento futuro de una estrategia

Hoy acabo de encontrar este interesante artículo de Daniel: http://mechanicalforex.com/2016/05/do-monte-carlo-simulations-say-anything-about-system-robustness.html

 

Muy interesante hallazgo y en conclusión con mis hallazgos hasta ahora.... He estado ejecutando sistemas en vivo durante unos 8 años en total (no sólo de SQ) que han sido simulados Monte Carlo antes y sin embargo no he encontrado ninguna conclusión hasta ahora acerca de que las estrategias que tenían malos resultados de simulación Monte Carlo antes de ir en vivo hicieron peor que los que tenían grandes resultados de simulación Monte Carlo. Daniel lo describe muy bien, las simulaciones de Monte Carlo tienden a preferir las estrategias que funcionan bien en los datos suavizados solamente y puede hacer que usted bin rentables estrategias en vivo que trabajan en precio-acción precisa solamente y todavía lo haría muy bien en el futuro (como Daniel lo describe con la empresa que está comprando para siempre después de 2 nuevos máximos, etc). Así que, de hecho, las simulaciones de Monte Carlo pueden hacer que descartes estrategias realmente buenas que habrían funcionado bien de cara al futuro y, por lo tanto, son contraproducentes para nosotros.

 

¿Alguien más con una base sólida de trading en vivo tiene alguna otra conclusión sobre la estabilidad de Monte Carlo frente al trading en vivo hasta el momento? Sería genial escuchar...

@Treshold: esa estrategia que mencionas ahí, la corro exactamente así desde hace 1,5 años ya 🙂 Creo que todos la hemos encontrado exactamente así, es una de las más comunes (break out). De todos modos, este es del agrado de MC por la razón de que se basa en break outs. Aquí también pasa todas las pruebas, incluso con datos distorsionados (70% de probabilidad, 30% de variación ATR, 400 pruebas). La razón es la siguiente: es una estrategia de ruptura basada en grandes rupturas y grandes valores de arrastre, también se refiere a los últimos 300 máximos o mínimos, por lo que alguna distorsión en los datos, incluso los más pesados o la variación de los parámetros todavía le permite pasar la multa MC porque las rupturas de todos modos se producen incluso en datos muy distorsionados. Este tipo de estrategias también son favorecidas por MC.

 

Sin embargo, tengo una estrategia que he creado hace unos 6 años (no en SQ por supuesto) que de hecho se refiere a Open[85] y otros valores muy específicos en el tiempo. También utiliza una buena cantidad de parámetros, un buen montón en realidad que todos llamaríamos curva ajustada. ¡Sin embargo, esta estrategia funciona bien desde hace 6 años! La codifiqué en SQ hace un tiempo y ejecuté MC, cualquier tipo de prueba (aparte de la propagación y el deslizamiento) la hizo parecer TERRIBLE - ese tipo de estrategia que usted pondría inmediatamente en la papelera. Sin embargo, lo hizo mejor que la mayoría de las estrategias que he creado y que tenían un gran MC. Así que sí, como ya he mencionado en el post inicial, las estrategias que no pasan MC también pueden ser muy rentables en el futuro, por lo tanto MC no dice nada sobre el rendimiento futuro o la estabilidad, de lo contrario esta estrategia de 6 años de edad debería haber fracasado ya. Eso es también lo que concluye Daniel y por lo que he posteado esto porque quería saber que han encontrado otros al respecto.

 

En realidad, tampoco es tan difícil simularlo. Podemos hacerlo de esta manera:

 

1) Crear una estrategia sobre datos de 1989 a 2000

2) Ejecute MC en esa estrategia también desde 1989 hasta 2000 y observe los resultados (¿buena o mala MC?)

3) Ejecuta ahora la estrategia con datos de 2000 a 2016, observa también los resultados (¿ha funcionado bien o no?).

4) Anota estos resultados en Excel y hazlo para al menos 100 estrategias para obtener una relevancia estadística significativa.

5) Ver si se puede establecer alguna relación entre un buen (pseudo) resultado de OOS de 2000 a 2016 y los resultados de la simulación MC sobre datos de 1989 a 2000 (¿buen MC = buenos resultados de pseudo OOS en >50% de los casos?)

 

Creo que es mejor no empezar este tipo de temas aquí nunca más. Y en realidad he mantenido la mayor parte de las cosas que he encontrado últimamente sobre la creación de estrategias más exitosas y cómo acelerar SQ aún más fuera de aquí ya que no es la primera vez que hay flaming en lugar de una buena discusión que se desarrolla en torno a este tipo de mensajes. Parece que es sólo una minoría aquí que quiere realmente discutir temas importantes acerca de cómo obtener beneficios en el comercio automatizado aparte de la habitual "que debería funcionar así, pero no tengo pruebas ni idea de si realmente lo hace, lo puse en vivo y fallar de nuevo, maldita sea ..." cosas y en lugar de ir en círculos para siempre sin hacer nada de dinero. Ahora entiendo totalmente el valor de una comunidad cerrada en la que todo el mundo ha pagado para formar parte de ella - se obtienen grandes discusiones de calidad en lugar de flaming estúpido porque todo el mundo puso dinero sobre la mesa para ello y realmente quiere tener éxito y aprender algo allí. Es una comunidad libre de perdedores de tiempo como los que tenemos muchos aquí, por desgracia.

 

P.D.: Daniels acaba de recibir una respuesta (desgraciadamente comprensible). Gracias a algunos de los usuarios aquí que no están interesados en una discusión significativa, pero prefieren insultar y llama en este hilo:

 

“Hola Geektrader,

Gracias por avisarme, le echaré un ojo. Sin embargo, no soy un gran fan de flaming por lo que se abstendrá de entrar en la discusión antes mencionada. Gracias de nuevo por comentar,

Saludos cordiales,

Daniel"

Geek. Sólo Chillout. Tenemos aquí una buena discusión, incluyendo sus mensajes y los de los demás. Este hilo es excelente. Así que desocultar y vamos a empezar juntos estas pruebas. En este punto sólo puedo estar de acuerdo de mi propia investigación que para mí algunos ajustes de la estrategia (1 día, 4 horas TF estrategias) no puede pasar a través de mis pruebas de MC. Los resultados de Daniels son un buen punto de partida para la investigación. Y sin ninguna discusión que está ejecutando uno de los mejores blogs 😉 🙂.

He trabajado en una empresa de comercio real, se necesita una piel gruesa para sobrevivir en esos ambientes. :ph34r: 

Geek. Sólo Chillout. Tenemos aquí una buena discusión, incluyendo sus mensajes y los de los demás. Este hilo es excelente. Así que desocultar y vamos a empezar juntos estas pruebas. En este punto sólo puedo estar de acuerdo de mi propia investigación que para mí algunos ajustes de la estrategia (1 día, 4 horas TF estrategias) no puede pasar a través de mis pruebas de MC. Los resultados de Daniels son un buen punto de partida para la investigación. Y sin ninguna discusión que está ejecutando uno de los mejores blogs 😉 🙂.

 

Actualizado mi post anterior sobre esto con Daniels respuesta que decidió no optar por aquí gracias a los flamers también. No se trata de relajarse, me relajo muy bien, simplemente no tengo tiempo que perder en flamers como notch o mikeyc, simplemente no vale la pena un solo minuto de mi tiempo. O bien tenemos una discusión fundamental y significativa acerca de cómo podemos probar las cosas en lugar de asumir cualquier cosa y sin flaming, o simplemente seguir haciendo la investigación por mi cuenta como de todos modos he estado haciendo últimamente en lugar de publicarlo aquí, ya que siempre terminó en perder el tiempo con flamers y detractores que no tienen ningún tipo de prueba ni probado en absoluto, pero tienen tiempo para publicar comentarios infantiles. Lo siento, pero ya no tengo 19 o 20 años como parecen tener estos chicos y sé que el tiempo de vida es nuestro mayor valor y regalo. La gente que no entiende esto está "fuera de mi lista" en un abrir y cerrar de ojos.

estos días compró asirkuy mmbrshp tengo que preparar los datos y, a continuación, hacer theese pruebas con mis estrategias actuales y los resultados se publicará aquí . estoy de acuerdo . no pierdas el tiempo

 

Me alegro de oírlo, Clonex. ¿Supongo que tus estrategias actuales están creadas sobre 15 años de datos 2000 a 2016 o algo por el estilo? Si es así, es aún más fácil para usted, usted puede hacerlo al revés entonces:

 

1) Ejecute simulaciones MC para esas estrategias en su conjunto de datos actual de 2000 a 2016 y anote los resultados si MC es bueno o malo.

2) Ejecutar los strats en los nuevos datos Asirikuy de 1989 a 2000 y ver si tienen un buen rendimiento pseudo OOS allí y escribir eso también.

3) Ver si existe alguna correlación entre un buen MC de 2000 a 2016 y un buen pseudo OOS de 1989 a 2000.

 

Lo estoy deseando.

Me alegro de oírlo, Clonex. ¿Supongo que tus estrategias actuales están creadas sobre 15 años de datos 2000 a 2016 o algo por el estilo? Si es así, es aún más fácil para usted, usted puede hacerlo al revés entonces:

 

1) Ejecute simulaciones MC para esas estrategias en su conjunto de datos actual de 2000 a 2016 y anote los resultados si MC es bueno o malo.

2) Ejecutar los strats en los nuevos datos Asirikuy de 1989 a 2000 y ver si tienen un buen rendimiento pseudo OOS allí y escribir eso también.

3) Ver si existe alguna correlación entre un buen MC de 2000 a 2016 y un buen pseudo OOS de 1989 a 2000.

 

Lo estoy deseando.

Lo haré y te contaré 😉

1) Crear una estrategia sobre datos de 1989 a 2000

2) Ejecute MC en esa estrategia también desde 1989 hasta 2000 y observe los resultados (¿buena o mala MC?)

3) Ejecuta ahora la estrategia con datos de 2000 a 2016, observa también los resultados (¿ha funcionado bien o no?).

4) Anota estos resultados en Excel y hazlo para al menos 100 estrategias para obtener una relevancia estadística significativa.

5) Ver si se puede establecer alguna relación entre un buen (pseudo) resultado de OOS de 2000 a 2016 y los resultados de la simulación MC sobre datos de 1989 a 2000 (¿buen MC = buenos resultados de pseudo OOS en >50% de los casos?)

De nuevo

 

MC es para medir RIESGO.

Su backtest podría decir 4% DD.
Monte Carlo sim mostrará un 7% DD es posible. A esto se ajusta el tamaño de la operación.
 pero el verdadero propósito de Monte Carlo es encontrar reducciones probables.
 

 

Estoy de acuerdo en que es inútil para las pruebas de robustez, porque en mi opinión no es para las pruebas de robustez. Es para dimensionar la posicióny para proyectar una futura banda de equidad.

Estoy de acuerdo, MC sirve para ajustar el riesgo, no para probar la robustez.^ Creo que otras pruebas son mucho mejores para la robustez que MC.

MC es para esto-
Usted construye un sistema que backtest 10% DD con 1% de riesgo por operación.
Lo monte carlo 10.000 veces. Encuentras 95% confianza 20% DD.
You really can only tolerate 10%DDs and that’s why you chose this system.
Lo que la simulación de Monte Carlo muestra es que debería reducir su riesgo a 0,5% por operación para mantener un nivel de confianza de 95% y permanecer dentro de un DD de 10%.

Para eso utilizan MC la mayoría de los profesionales. No pruebas de robustez, pero parece que la opinión generalizada es que es una buena prueba de robustez... pero no lo es. Estoy de acuerdo.

estos días compró asirkuy mmbrshp tengo que preparar los datos y, a continuación, hacer theese pruebas con mis estrategias actuales y los resultados se publicará aquí . estoy de acuerdo . no pierdas el tiempo

Creo que este fue el primer gif publicado en los foros de SQ.
Muchas cosas grandes por venir.

este es un tema realmente interesante, pero también a veces demasiado personal.

 

deberíamos hablar del mérito, no de las personas implicadas. 

 

Geektrader, últimamente has publicado unos cuantos artículos interesantes que aportan otra opinión y contradicen la mía.

 

A pesar de la prueba de Daniels sigo pensando que es importante probar la estrategia en diferentes símbolos / plazos y da alguna indicación de si la estrategia es curva ajustada a los datos dados.

También sigo creyendo que Montecarlo es una buena herramienta para estimar el riesgo y la gama de resultados que podemos esperar.

 

Planeamos utilizar bootstrapping en SQ4 como prueba de robustez adicional, sólo tengo que implementarlo.

 

Por cierto, yo también fui miembro de Asirikuy hace tiempo, y los artículos de Daniels me parecieron muy interesantes.

¡Gran debate Gente!

 

Para mí MC es para mi determinación de riesgo como otros han dicho en este hilo, de hecho yo no uso el MC en SQ que no sea para ver 1) lo que el 95% WC es en términos de estrategia original y 2) sólo una indicación visual de MC se ejecuta que no son "demasiado por todo el lugar" El análisis de MC en SQAnalysis su mucho mejor y es lo que yo uso la mayoría de todos, me gustaría ver esto en SQ, también utilizo el MC en SQA para la determinación de fallo de la estrategia, es decir.También uso MC en SQA para determinar el fracaso de la estrategia, es decir, mis OOS en las cuentas demo / en vivo están en línea con mi peor caso DD.  

 

Como ha dicho @threshold yo también estoy de acuerdo con él y lo uso yo mismo para determinar el tamaño de la posición y el riesgo,

 

Desde que empecé a utilizar SQ siempre he pensado que el MC en SQ se ha denominado erróneamente como pruebas de robustez y debería ser más bien "WC/DD y Análisis de Riesgos".

 

He dicho muchas veces en este foro que yo también soy un miembro de Daniels, Asirikuy, desde hace varios años y el valor de la información que tiene que ofrecer y aún no han leído que la entrada del blog (no he puesto al día en mis noticias se alimenta esta semana) por lo que tendrá un vistazo durante el fin de semana.

 

Para mí, las pruebas de robustez consisten en la capacidad de operar de forma rentable en muchas circunstancias diferentes, es decir, en diferentes pares, condiciones de mercado y datos de diferentes corredores. Últimamente K.I.S.S. ha sido mi lema en la generación de estrategias. Acabo de ejecutar mi minería con sólo los indicadores más simples utilizados, el tiempo dirá si resultan ser más robusto.

 

Esto nos lleva de nuevo a la discusión que tuvimos en un hilo anterior donde yo estaba de acuerdo contigo @geektrader que lo que estamos viendo en los últimos años con el auge de la generación de sistemas inteligentes, GA, NN y así sucesivamente. Creo que para nosotros, como traders minoristas, la dinámica del mercado de divisas puede haber cambiado y cuestiono la validez de los datos históricos en ciertos marcos temporales, porque herramientas como SQ se basan totalmente en la historia para producir y probar estrategias sólidas, por lo que ¿es válido este enfoque incluyendo el análisis MC en su conjunto si la dinámica ha cambiado?

 

Sin embargo, creo que serán tendencias, ya que los mercados se mueven por los fundamentos y la política gubernamental, es decir, un país tendrá un tipo de interés objetivo que quiere alcanzar para controlar otros fundamentos económicos como el gasto, las exportaciones, etc., por lo que el flujo de efectivo en el mercado de divisas entrará o saldrá del país en función de estas políticas. Entonces, si aplicaciones como SQ y Asirikuys Kantu van a funcionar en el futuro, de nuevo el tiempo lo dirá, pero de nuevo tiendo a ser positivo en este frente, ya que cada segundo del día se generan nuevos datos de mercado, por lo que estos sistemas eventualmente se adaptarán? quién puede decirlo? sólo el tiempo, pero mientras tanto seguiré trabajando en la rutina de mi generación de estrategias utilizando esta gran herramienta.

 

También en términos de robustez tiendo a creer que en este mercado (forex) donde el intercambio es descentralizado el broker y sus payasadas tienen mucho que ver con las cosas, especialmente para la mayoría de nosotros que somos traders minoristas. Lo que he visto en dos brokers diferentes en sus cuentas minoristas premium (pepperstone y Go Markets Australia) es que el rendimiento de las estrategias parece verse afectado proporcionalmente a la cantidad de capital que tengo en la cuenta, es decir, cuanto más tengo ahí, peor funcionan mis estrategias, mientras que la cuenta con menos parece funcionar muy bien. También he comprobado mediante la transferencia de la mayor parte de $ de la cuenta de alta a mi cuenta más pequeña en el otro corredor por lo que se convirtió en mi cuenta más grande, he aquí que esta cuenta comenzó a realizar mal, mientras que mi cuenta ahora pequeña comenzó a realizar como se esperaba, tanto estas cuentas se ejecutan las mismas estrategias en los mismos niveles de riesgo. la única diferencia es corredores y capital de la cuenta. Mis pensamientos son el nivel de oro es de 5K, pero no tienen de ninguna manera validado esto, ahora estoy buscando en la apertura de más cuentas y la difusión de mi capital a través de ellos en cuentas más pequeñas y asegurándose de mantener la $ menos de 5K para ver si en general el rendimiento de mi cartera recoge.

 

Por último, creo que para mejorar el rendimiento / robustez que las estrategias deben operar bajo el control de un gestor de comercio que el comercio de sombra y determinar el tamaño final del contrato dinámico basado en el rendimiento de la estrategia en condiciones reales, parte de esto es hacer un MC dentro del bucle de gestión de cada estrategia que gestiona para determinar su riesgo actual, por lo que efectivamente tomará una estrategia de bajo rendimiento fuera de línea de forma automática, ya que comienza a fallar, pero a la inversa que debe traer de vuelta en línea como las condiciones del mercado volver en línea con ella fundamentos subyacentes e incluso aumentar el tamaño del contrato si el rendimiento de la estrategia comienza a aumentar, por lo que efectivamente la estrategia sigue negociando en el fondo. Creo que he planteado una solicitud de función para esto en el foro correspondiente aquí.

 

Sinceramente espero que nadie deje de aportar en este foro de la comunidad estoy seguro de que todos podemos ser adultos acerca de las discusiones que tenemos para que podamos aportar positivamente para ayudarnos unos a otros, sé que podemos emocionarnos a veces 😀 Yo personalmente valoro las contribuciones de cada uno, así que gracias a todos y cada uno por todas sus aportaciones.

 

Para mí, el viaje continúa.

 

Stephen

Cuando veo mierda como esta:

Sólo sé que operar y encontrar estrategias simples y sólidas no es tan jodidamente complicado. A los economistas les gusta ser extravagantes, sobre todo a los que han trabajado para bancos... Al final, todos vuelven a la simplicidad. Ernie Chan escribió unos cuantos libros sobre este tema en los que se pone muy algorítmico-pesado. Programó IA HFT para bancos (Goldman Sachs, creo) y cuando empezó a operar con su propio dinero volvió a los modelos simplistas y a las pruebas de robustez. Algunos de estos documentos pdf realmente van más allá de lo que realmente se requiere para encontrar una estrategia robusta que hace dinero. No es tan complicado.

Como generalización, muy pocas cosas en el comercio son ciertas todo el tiempo, pero pueden serlo en su mayor parte.

Mis sistemas ADX de creación propia que aprovechan un real patrón que ocurre en CUALQUIER mercado y los activos fallan Monte Carlo porque sólo tienen alrededor de 80 operaciones de datos históricos por par. Es un evento raro que sólo ocurre en cada par tal vez 3-5 veces al año y sin embargo es increíblemente fiable en cualquier mercado. Son la cosa más exitosa que sostiene principalmente mi cartera. Así que desde mi experiencia directa esto me enseñó a confiar menos en MC.
Algunas estrategias perfectas generadas por curvas de renta variable que se aprovechan de un patrón inexistente (basta con comprar a X distancia de la curva ajustada a las desviaciones históricas del par de divisas) aprueban MC con nota y se vienen abajo en cuanto salen al mercado. Desde mi experiencia directa esto me enseñó a confiar menos en MC.

No estoy diciendo que sea completamente inútil y tampoco estoy 100% confiando en MCA. No es tan fácil como Monte Carloing una estrategia y su un ganador. Nadie en este foro estaría quejándose más y que todos nos salvajemente exitoso, incluso usted si eso fuera cierto.
Nada es 100% fiable en el trading. Claro que tal vez puede ser otro filtro, pero ante todo su para dimensionar el riesgo.
Yo utilizo WFM exactamente para lo mismo que tú utilizas MC (parámetros variables/conjuntos de datos), pero WFM tiene criterios que puedo definir para aprobar/reprobar. MC en SQ no.

Buena charla,

Según mi experiencia, una de las mejores pruebas de robustez son:

¢ 1 ~ 2 plazos por encima/por debajo del plazo actual,

¢ Los parámetros de los indicadores deben trabajar en el rango del cambio 10~25% igual que los parámetros originales actuales,

 

tipo de MC...,

en un software alternativo a SQ he encontrado que tienen diferentes plazos incorporados en las pruebas de MC.., eso podría mejorar el flujo de trabajo con SQ4 🙂 .

 

buen fin de semana

 

También en términos de robustez tiendo a creer que en este mercado (forex) donde el intercambio es descentralizado el broker y sus payasadas tienen mucho que ver con las cosas, especialmente para la mayoría de nosotros que somos traders minoristas. Lo que he visto en dos brokers diferentes en sus cuentas minoristas premium (pepperstone y Go Markets Australia) es que el rendimiento de las estrategias parece verse afectado proporcionalmente a la cantidad de capital que tengo en la cuenta, es decir, cuanto más tengo ahí, peor funcionan mis estrategias, mientras que la cuenta con menos parece funcionar muy bien. También he comprobado mediante la transferencia de la mayor parte de $ de la cuenta de alta a mi cuenta más pequeña en el otro corredor por lo que se convirtió en mi cuenta más grande, he aquí que esta cuenta comenzó a realizar mal, mientras que mi cuenta ahora pequeña comenzó a realizar como se esperaba, tanto estas cuentas se ejecutan las mismas estrategias en los mismos niveles de riesgo. la única diferencia es corredores y capital de la cuenta. Mis pensamientos son el nivel de oro es de 5K, pero no tienen de ninguna manera validado esto, ahora estoy buscando en la apertura de más cuentas y la difusión de mi capital a través de ellos en cuentas más pequeñas y asegurándose de mantener la $ menos de 5K para ver si en general el rendimiento de mi cartera recoge.

 

 

Hola Steven,

 

¿Por qué es peor el rendimiento de las grandes cuentas? ¿Es por el deslizamiento? Este es el único pensamiento que debe hacer la diferencia en el beneficio entre dos corredores diferentes, ¿no? (spread es diferente, por supuesto, pero esto no debería tener el impacto que usted escribió acerca)

 

Patrick