Lógica de algunas pruebas de robustez
11 respuestas
afhampton
hace 7 años #237813
Llevo en esto un par de años y he profundizado lo suficiente en los detalles del trading de algo que estoy cuestionando parte de la lógica que daba por sentada cuando empecé. Estoy seguro de que cada persona tiene su propia opinión sobre mis retos a continuación y estoy realmente interesado en la lógica detrás del pensamiento. Siéntase libre de compartir sus pensamientos sobre por qué utiliza lo que hace y cómo le ha ayudado con su identificación de la estrategia.
1. Estoy completamente de acuerdo con las pruebas de robustez para: deslizamiento variable, spread variable, aleatorizar la barra inicial, aleatorizar los datos históricos (probabilidad 20, cambio máximo de ATR 5-10%), aleatorizar la distancia mínima desde el precio, aleatorizar la orden de operación (Exacta y Remuestreo), y omitir operaciones aleatoriamente. Todo esto tiene sentido para mí dentro de ciertos rangos y parece ser suficiente para evitar que me sobre optimización y ajuste de curvas.
Aquí están las que no tienen sentido para mí. Si usted tiene una lógica sólida de por qué piensa lo contrario, por favor, compártala conmigo y ayúdeme a ver dónde puedo estar equivocado.
1. Pruebe con otros pares de divisas - ¿Por qué esperar que una estrategia que se construyó en un par sea eficaz en otro, incluso si están "altamente" correlacionados durante períodos de tiempo? Cada par de divisas (especialmente los principales) tienen su propia "personalidad" debido a los Bancos Centrales y otros actores clave que los controlan. Si hay un Banco Central independiente detrás, entonces no tiene sentido esperar que una divisa "relacionada" se comporte de la misma manera (es decir, EURUSD, GBPUSD). Se gestionan independientemente unas de otras. Así que cuando SQ construye una estrategia que es eficaz en un par, en mi opinión, sólo debería esperar que sea válida sólo para ese par y para ningún otro.
2. Prueba contra otros marcos de tiempo - Cuando SQ construye una estrategia que cumple con nuestros requisitos (PF, DD, Net Profit, etc.) en un marco de tiempo, ¿por qué esperar que funcione incluso remotamente cerca en otro marco de tiempo más corto o más largo - especialmente si los indicadores están involucrados? Los valores de los indicadores dependen de los parámetros y del número de barras, etc. Si el mismo indicador se coloca en un gráfico que es la mitad, 1/4, o 4x otro, los valores que produce son, en muchos casos, completamente diferentes. Por lo tanto, las reglas para entrar/salir de una operación basadas en el valor de esos indicadores ya no son aplicables en el marco temporal diferente. Entonces, ¿por qué íbamos a esperar que la estrategia tuviera un rendimiento similar al del marco temporal original?
3. Aleatorizar los parámetros de la estrategia - Al igual que con #2 anteriormente, con las estrategias impulsadas por indicadores, los parámetros de la estrategia son los que dirigen los cálculos. Así que ajustarlos más alto/bajo sin duda influirá en los valores de salida y por lo tanto en las reglas de entrada/salida. Esta prueba me parece razonable sólo si reduzco la expectativa de rendimiento de la estrategia para que sea proporcional a la cantidad de cambio que estoy introduciendo/permitiendo en los parámetros. Si mi estándar para el FP es 1,5 e introduzco un cambio de 20% en los parámetros, no tiene sentido para mí esperar que la estrategia mantenga un FP de 1,5. La estrategia se construyó para adaptarse a ciertas condiciones. La estrategia se construyó para ajustarse a ciertas condiciones que se reflejan en el valor de los indicadores. Si esas condiciones cambian entonces no debo esperar que se cumplan las reglas y por tanto el mismo nivel de rendimiento.
Agradecería las opiniones de otros usuarios más experimentados de SQ sobre estos temas. Ciertamente puede haber cosas que no estoy teniendo en cuenta y en las que necesito que me iluminen. ¿Qué opinas?
0
Enric
hace 7 años #237818
1TP9Probablemente no seré un usuario más experimentado pero si me lo permites, me gustaría añadir mi granito de arena porque es un tema que he leído, pensado y creo que es clave en este negocio. Leí por ahí que debes machacar tu estrategia todo lo que puedas o el mercado lo hará por ti. Para mi ese es el punto de añadir los test Multimarket y Multitimeframe como parte de los test de Robustez. No me importan demasiado las razones, pero prefiero descartar un montón de buenas estrategias en lugar de dar por buenas algunas sobrefacturadas.
En cuanto a los parámetros de la estrategia Randomize. Para mi es quizás la prueba más importante. Entre nuestros Backtests y la ejecución en vivo hay una niebla de variables todas ellas jugando en nuestra contra; i) SQ Backtest no se ajusta exactamente a la realidad. Incluso SQ Backtest no coincide exactamente con MT4 Backtest (puedes comprobarlo), ii) La ejecución del broker no es precisa, iii) Los datos históricos que utilizamos no son los mismos que los del broker, al menos en mi caso porque mi broker no proporciona sus datos históricos.
Y te has saltado una prueba; Matriz Walk Forward. Lo aplico como una prueba final para confirmar la estrategia
0
mabi
hace 7 años #237822
Como una respuesta corta a todos sus puntos es que la única razón para hacer estas pruebas es averiguar qué tan sensible es la estrategia a los diferentes cambios en el mercado si la configuración actual totalmente fallar probablemente fue curva ajustada a los datos que se hace en y encontrar que era sólo un golpe de suerte o simplemente fue sobre optimizado por suerte. Pero si el cambio de los mercados o la aleatorización de los parámetros tiene un impacto negativo mediano en el rendimiento que le diría que es bastante bueno como es y que puede entonces muy probablemente incluso ser mejorado y así adaptarse a otro mercado a través de la optimización. Normalmente las estrategias que pueden ser adaptadas a través de la optimización a otros mercados donde fallaron en su forma original son robustas y pueden ser operadas en vivo también y para eso ahora tenemos la excelente herramienta Opt.profile y SPP.
0
afhampton
hace 7 años #237827
Gracias por compartir vuestras opiniones Enric y Mabi. Ambos mencionáis el sobreajuste y la sobreoptimización. Como compartí en el primer post, las pruebas de robustez que enumeré en el punto #1 que tienen todo el sentido para mí - todos ellos tratan de algo realista en el mercado para evitar el sobreajuste. Te puedo asegurar, que nada de lo que ha superado mi conjunto de pruebas de robustez se ha conseguido "por suerte". Ellas capean las posibilidades de cambio que deberían esperarse - todo lo cual abordaría los puntos que ustedes dos trajeron a colación.
Así que la pregunta que le devuelvo es, si las cosas que le preocupan ya han sido abordadas por pruebas específicas de robustez, entonces ¿por qué exigir que pase otras pruebas que no tienen absolutamente ninguna relación con los obstáculos "realistas" que su estrategia encontrará en el mercado? ¿Cuáles son los problemas concretos que abordan esas pruebas (que no se hayan abordado ya en pruebas anteriores)?
0
Enric
hace 7 años #237829
@afhampton. Estás cuestionando la necesidad de Multimarket y Multitimeframe como pruebas de robustez válidas. He visto opiniones de traders educados argumentando en ambos lados. No creo que nadie pueda dar una respuesta absoluta.
Prefiero incluir estas pruebas en mi flujo de trabajo. Míralo así; si me equivoco habré descartado buenas estrategias, una pena. Por otro lado si excluyes estas pruebas y te equivocas estarás incluyendo estrategias demasiado buenas. La primera opción me da más tranquilidad.
Por último, @maby incluyó dos pruebas adicionales disponibles en SQX. Por supuesto yo también las incluiré en mi flujo de trabajo. Intentaré machacar mis estrategias en el proceso de Construcción todo lo que pueda para evitar que machaquen mi cuenta.
0
mabi
hace 7 años #237830
Nadie dice que sea necesario ejecutarlos. En futuros sólo corrí la prueba en instrumentos correlacionados de lo contrario fallaría sin optimizarlo en los instrumentos no correlacionados. En Forex la mayoría están correlacionados por lo que es como datos adicionales. Si lo haces en EurUsd y luego lo pruebas en GbpUsd tienes otros 15 años de OOS. Pero tienes razón, no es evidente que ayude mucho mirando el rendimiento de las estrategias operadas en vivo.
0
Ilya
hace 7 años #237832
Gran hilo, voy a poner mis 2 centavos también.
Aunque puedo entender a la gente que elige desafiar sus estrategias de cualquier manera posible, personalmente, estoy de acuerdo con usted en los puntos 1 y 2, no veo multi mercado y multi marco de tiempo como pruebas de robustez válidas, las hago para ver si puedo operar un mercado diferente con mi estrategia, pero nada más. Definitivamente no descartar una estrategia que pasó todas mis otras pruebas, sobre la base de la misma.
Definitivamente debes machacar y desafiar tu estrategia lo máximo posible, pero si soy un buen rapero, no iré a actuar a una sala de Ópera, probablemente acabe en desastre y abucheos, ¿no?. Me ceñiré a los clubs de Rap.
En cuanto al punto 3, "Aleatorizar los parámetros de la estrategia", yo lo entiendo así:
- Para mí es básicamente lo mismo que "Aleatorizar datos históricos", al revés. Pondré un ejemplo:
Para simplificar, digamos que usted tiene una estrategia que va en largo cuando el precio cruza y cierra por debajo de SMA de 5 últimas barras.
Supongamos que los precios de cierre de las últimas 5 barras en un momento determinado son: 5, 10, 15, 20, 25. Eso hace que la SMA en ese punto sea 15.
Ahora, durante su prueba de datos históricos aleatoriosEntonces, permutamos ligeramente esos precios de cierre a, por ejemplo "6, 11, 14, 22, 27" para ver si el ligero cambio en los datos históricos afectará a su estrategia o no, ¿verdad? Así que esta vez la SMA en ese punto es 16 (en lugar de 15 de los datos reales), y quieres ver si esa SMA de 16, seguirá haciendo que tu EA vaya largo/corto, cuánto ganas/pierdes esta vez en comparación con la situación original, etc, ¿verdad? y para ti eso es una prueba válida para desafiar la estrategia en condiciones diferentes, pero relevantes.
Ahora, digamos que haces un prueba de parámetros de estrategia aleatoria con los mismos datos, así que esta vez, su EA tiene en cuenta SMA(6) en lugar de SMA(5) como la estrategia original, y digamos que el precio de cierre histórico de la barra anterior a las 5 barras mencionadas es 21. Ahora usted tiene los siguientes precios de cierre de las últimas 6 barras: 21, 5, 10, 15, 20, 25. ¿Cuál es la SMA? 16. Así que esencialmente llegaste al mismo resultado de datos mutados que obtuviste con unos datos históricos ligeramente diferentes, sólo que "al revés", diversificando tus pruebas.
En otras palabras, intentamos cambiar los datos históricos desde el punto de vista del EA (obviamente sin cambios muy amplios), en lugar de desde el punto de vista de los datos, y vemos cómo lo maneja la estrategia. Es una forma adicional de desafío para la estrategia, que se puede esperar que sobreviva. Como los cambios que hacemos son más radicales en comparación con los cambios de datos históricos, esta es también una prueba más exigente por lo general...
0
Enric
hace 7 años #237833
Entiendo su punto de vista y, sin embargo, no estoy de acuerdo.
Siguiendo con tu ejemplo. Si eres buen cantante probablemente puedas dedicarte al rap o a la ópera. Si eres rapero no podrás ganarte la vida con la ópera pero seguro que lo harás bien 🙂 .
Tienes razón con los parámetros aleatorios, sin embargo imagina una estrategia con un StopLoss = 0.73 * SMA(5). Cambiando el periodo de la SMA obtendré el mismo resultado que cambiando los datos históricos. Ok, no hay problema para mi tener una prueba redundante. Pero si cambio el parámetro 0.73 que es algo que podría suceder en el comercio real
0
Ilya
hace 7 años #237834
Veo tu punto de vista y sin embargo no estoy de acuerdo. Siguiendo con tu ejemplo. Si eres buen cantante probablemente puedas tocar rap o opera. Si usted es rapero no será capaz de ganarse la vida con la ópera, pero estoy seguro de que va a hacer bien 🙂 Tienes razón con los parámetros de aleatorizar sin embargo imaginar un strat con un StopLoss = 0.73 * SMA(5). Cambiando el periodo de la SMA obtendré el mismo resultado que cambiando los datos históricos. Ok, no hay problema para mi tener una prueba redundante. Pero si cambio el parámetro 0.73 que es algo que podría suceder en el comercio real
Está perfectamente bien que no estés de acuerdo y te deseo suerte. Para mí no es más que una forma de perfeccionismo que está bien si funciona, pero que no es necesaria. (Quiero decir, no todo el mundo es Freddy Mercury, ¿verdad?)
También estoy de acuerdo con la segunda parte de tu mensaje, esa es una razón más para usar esa prueba. Mi ejemplo era sólo una base para la necesidad de esa prueba, pero en realidad no me ayuda si termino haciendo lo mismo que cambiar los datos de la historia. El punto es presentar un diferente situación a nuestro EA, ya sea el cambio de periodo, ligeros cambios de SL/TP si está basado en ATR/Pips, o cambios de coeficiente como sugeriste. Siempre y cuando el cambio no sea demasiado radical, todo es un buen y relevante reto a superar.
Ilya
0
afhampton
hace 7 años #237845
.... Mi ejemplo era sólo una base para la necesidad de esa prueba, ... Ilya
0
mabi
hace 7 años #237900
Muchas estrategias que comercio se ha hecho en otro instrumento o marco de tiempo, pero probado bueno así que lo usé. Me ahorró un montón de meses de generación y me permitió construir rápidamente carteras diversificadas.
0
afhampton
hace 7 años #237905
Gracias Mabi. Usted trae a colación un punto muy bueno. ¿Cómo se ve la correlación de esas estrategias cuando tomas una cartera y la pasas por Quant Analyzer?
0
Viendo 11 respuestas - de la 1 a la 11 (de un total de 11)