¿Cuál es la relación entre la muestra interna y la muestra externa?

¿Importa si cambio la proporción o no?

¿La estrategia se basa en IN SAMPLE o IS+OOS?

Hola Jerry, las estrategias se construyen en IN SAMPLE. Así que el IS debe ser también mayor que OOS.

No estoy de acuerdo con esta simple fórmula - IS debe ser mayor que OOS. en mi opinión es mejor construir estrategias en un poco de datos, tomar decisiones a través de todo el comportamiento de los datos (alta volatilidad, baja volatily, chop) y generar sólo en unos pocos meses (años) y hacer todo lo demás como OOS

de esta manera obtendrá más strs diferentes, que pueden estar listos para la mayoría de los estados de un mercado

Estoy de acuerdo con hankeys, cuanto más pequeño sea tu IS, menos overfit tendrá la estrategia, y más estrategias podrás generar en menos tiempo. Filtrar según datos grandes, generar en pequeños.

 

 

hankeys escribió:

No estoy de acuerdo con esta simple fórmula - IS debe ser mayor que OOS. en mi opinión es mejor construir estrategias en un poco de datos, hacer elecciones a través de todo el comportamiento de los datos (alta volatilidad, baja volatily, chop) y generar sólo en unos pocos meses (años) y hacer todo lo demás como OOS de esta manera obtendrá más strs diferentes, que pueden estar listos para la mayoría de los estados de un mercado

Ilya escribió:

Estoy de acuerdo con hankeys, cuanto más pequeño sea tu IS, menos overfit tendrá la estrategia, y más estrategias podrás generar en menos tiempo. Filtrar según datos grandes, generar en pequeños.

Gracias a los dos, es un buen punto. Sin embargo, ¿cómo es el comportamiento de SQX si buscamos estrategias utilizando el método de construcción aleatoria? ¿SQX no hace diferencia entre IS y OOS?

Gracias, chicos.

Ahora sé que está escrito en la "guía del usuario":En la muestra - se utiliza durante la evolución genética;Fuera de la muestra - esta parte de los datos se utiliza para verificar.

Cuando pongo IS a 0 no hay evolución, la aptitud se mantiene en 0,06. Supongo que la evolución consiste en mejorar el valor de aptitud de la estrategia.

No estoy seguro de si es teóricamente correcto generar estrategias con IS pequeños y OOS grandes.

Creo que es indiferente que el sobreajuste se produzca en IS u OOS.

¿No se trata el backtesting de sobreajustar? ¿La historia se repetirá?

 

Te daré mi opinión:

- En primer lugar, la evolución genética trata de mejorar el nivel de aptitud de una estrategia, intentando cambiar ligeramente sus parámetros en cada ejecución, y ver si mejoraba o no.

- La generación de la estrategia ("entrenamiento del modelo") tiene lugar en el En muestra y punto, independientemente de si se utiliza la evolución genética o aleatoria.

- Ahora bien, utilizar periodos fuera de muestra tiene sentido en ambos tipos de generación, explicaré por qué.

Evolución genética

Esta es la más obvia, una vez que "reciclas" la misma estrategia con ajustes finos y permutaciones hasta que satisface tus filtros (o fitness mínimo), lo más probable es que esta estrategia sea overfit en ese conjunto de datos. Por lo tanto, tiene sentido ejecutar la estrategia una vez "fuera de la caja" en un conjunto de datos previamente desconocidos, para asegurarse de que funciona bien sin ser perfectamente ajustado en él. reduciendo así la posibilidad de sobreajuste. Esto se puede hacer utilizando el control deslizante OOS durante el proceso de construcción.

- Esencialmente, aquí una sola estrategia puede ejecutar 200 veces en los datos del SI hasta que satisfagan sus necesidades, entonces sólo 1 vez en datos OOS para asegurarse de que satisfacen sus requisitos de rendimiento, de modo que pueda ver la ventaja de ese periodo OOS y cuánto reduce las posibilidades de sobreajuste.

Evolución aleatoria

Toma, a diferencia de evo genética, una sola estrategia se ejecuta sólo 1 vez en los datos IS, y luego 1 vez en los datos OS, y luego se comprueban sus filtros. Así que "a simple vista" parece que no hay diferencia entre IS y OOS, ya que antes de aterrizar en su banco de datos barre a través de todo el período combinado.

PERO, en primer lugar, no olvide que si una estrategia no satisface sus necesidades de IS, no pasará a ser probada en el OOS (A menos que sus filtros sólo estén relacionados con todo el conjunto de datos, y entonces lo anterior es cierto, básicamente significa que todos los datos son IS, los divida o no).

Aquí, debido a que en Random gen obtenemos un porcentaje más bajo de estrategias para pasar al banco de datos (ya que sólo lanzamos al azar una mezcla de parámetros y ver si funciona), es su propio tipo de sobreajuste, incluso si no lo reciclamos como en evo genética, ya que sólo cambiamos las estrategias en hipervelocidad, hasta que "se sienta bien" en nuestro conjunto de datos. Así que aquí lo que tiene sentido para nosotros es utilizar un conjunto inédito de datos para OOSque no forma parte del proceso de generación, por ejemplo los últimos 6 meses o un año, que sólo se revelará a la estrategia en el retester. De esta manera tenemos más confianza en que nuestra estrategia creada al azar, no cayó "accidentalmente" perfectamente en nuestro conjunto de datos de construcción.

 

Y eso es sólo la punta del iceberg para evitar el overfitting, las pruebas de robustez y el walk-forward son los verdaderos MVP para evitarlo. Pero los periodos OOS son, para mí, una parte esencial del proceso de construcción y retesteo y siempre reservo un periodo OOS al menos para la construcción, y otro más reciente totalmente inédito, para ejecutarlo en el retesteo.

Saludos