En cinco días probamos varios enfoques para encontrar señales de trading. Rechazamos tres candidatos, tuvimos que volver a verificar uno por un error en los datos, y otro no superó la validación por razones estadísticas.

El principal resultado de la semana no es un nuevo modelo de trading. Todavía no tenemos un candidato que ofrezca fundamentos suficientes para usar sus señales. Pero ahora entendemos mejor qué enfoques no superan la validación y por qué.

Entrenar un modelo y obtener predicciones todavía no demuestra que esas predicciones sirvan para tomar decisiones financieras.

Cuatro resultados distintos que no deben mezclarse

Esta semana quedó claro que un único estado de «el modelo no pasó» es demasiado burdo. Detrás de él hay situaciones distintas, y requieren acciones distintas.

Validación inválida — el resultado no puede usarse por un error en los datos o en el procedimiento.

Evidencia insuficiente — la ventaja no se ha confirmado con la confianza necesaria.

Ninguna opción admisible — las formas de aplicación probadas no cumplen las condiciones de admisión.

Candidato rechazado — el modelo no superó la validación y quedó cerrado en el ciclo actual.

Un error en los datos significa: corregir y volver a verificar. La evidencia insuficiente no es lo mismo que una ausencia demostrada de señal. La falta de una opción admisible es un veredicto negativo sobre la idoneidad para el uso, no sobre la estadística. Y un candidato rechazado no debe volver al trabajo solo porque el resultado resulte incómodo.

A continuación, cómo se vieron estos cuatro resultados en la práctica.

De evaluar señales ya formadas a buscarlas

Antes, buena parte de nuestra investigación en ML consistía en evaluar candidatos de trading ya formados. Un componente independiente detectaba una situación de mercado y luego un modelo de ML ayudaba a valorar su calidad.

La nueva línea plantea otra pregunta: ¿puede un modelo detectar una oportunidad de trading directamente a partir del estado del mercado, sin un candidato formado de antemano?

Es otra tarea. Los resultados de un modelo que evalúa señales ya formadas no pueden trasladarse automáticamente a un modelo que debe encontrarlas por sí mismo.

Dividimos el trabajo en dos escalas: Intra (decisiones más frecuentes en un horizonte corto) y Swing (decisiones menos frecuentes en un horizonte más largo). Cada una se valida por separado: el éxito o el fracaso en una escala no se considera evidencia para la otra.

El conjunto de investigación incluye modelos lineales simples, métodos de extracción de reglas, gradient boosting y otros enfoques. El objetivo no es elegir el algoritmo más complejo, sino entender qué enfoque aporta evidencia convincente de utilidad.

Primer paso: definir qué predice exactamente el modelo

La primera cuestión fue el objetivo de entrenamiento.

Se puede predecir la dirección del mercado. Se puede estimar la rentabilidad potencial de un movimiento. Se puede predecir si se alcanzará un objetivo de trading. Son tareas distintas, y el éxito en una no garantiza el éxito en otra.

Para la nueva línea elegimos estimar el resultado potencial de un movimiento del mercado en un horizonte fijo, descontando los costes de trading.

Al mismo tiempo, distinguimos dos cosas: el resultado que el modelo aprende a predecir y el resultado que produciría una decisión real de trading teniendo en cuenta las reglas de ejecución y de gestión de la posición.

Esta diferencia resultó relevante ya en la verificación preliminar. En los datos había situaciones en las que la dirección del movimiento parecía atractiva, pero una posible posición se habría cerrado de otra manera por su trayectoria. El mercado puede acabar subiendo, pero antes atravesar un movimiento desfavorable que habría cerrado la posición.

Acertar la dirección no significa necesariamente una operación exitosa.

Un error en la preparación de datos

Durante la preparación inicial de los datos de investigación se produjo un error. Parte de las verificaciones terminaba formalmente con éxito aunque los datos no contenían observaciones utilizables. El estado técnico «completado» no correspondía a la corrección real del resultado.

No aceptamos ese conjunto de datos. Corregimos el error, añadimos una comprobación de que existan observaciones realmente admisibles y reconstruimos los datos. El resultado corregido superó una nueva verificación.

La lección no es que un pipeline pueda contener errores: eso ya se sabe. La conclusión más importante es que una verificación debe confirmar la existencia de un resultado correcto, no solo la ausencia de una excepción de software. Si todas las observaciones se han vuelto inutilizables, que el programa termine con éxito no debe convertirse en un veredicto de investigación positivo.

Primer candidato: un modelo lineal simple

El primer candidato práctico fue un modelo lineal para Intra.

Fue una elección deliberada. Un modelo simple ayuda a comprobar si hay una señal estable en los datos antes de pasar a algoritmos más complejos. También crea un punto de comparación: un futuro modelo complejo debe demostrar valor más allá de lo que puede detectar un método simple.

El ciclo de investigación incluyó la preparación de datos, el entrenamiento y la validación en un periodo de tiempo separado. La primera validación tropezó con el mismo error de procesamiento de datos; su resultado se declaró inválido y se repitió tras la corrección.

El resultado es negativo: para el modelo lineal de Intra no fue posible encontrar una opción admisible de toma de decisiones que cumpliera las condiciones de selección.

Esto no significa necesariamente que el modelo no detecte patrones estadísticos. Pero entre detectar un patrón y obtener permiso para usarlo en una decisión de trading hay una frontera adicional. El candidato lineal de Intra no la superó.

Segundo candidato: un modelo lineal para Swing

Después probamos la misma tarea en una escala más larga. La causa del resultado negativo fue otra.

El modelo lineal de Swing completó la validación, pero la evidencia fue insuficiente para una decisión positiva.

Aquí es importante distinguir dos resultados. En el primero, el modelo ha sido validado, pero ninguna forma admisible de usarlo cumple los requisitos. En el segundo, no hay datos suficientes para confirmar una ventaja con seguridad.

No es lo mismo. En el primer caso, el procedimiento lleva a una decisión negativa sobre la idoneidad para el uso. En el segundo, persiste la incertidumbre estadística: los datos disponibles no dan fundamento para la admisión, pero por sí solos no demuestran la ausencia total de una señal útil.

Obtuvimos precisamente el segundo resultado. El candidato no fue admitido para su uso posterior, pero no convertimos la insuficiencia de evidencia ni en una afirmación de que no existen patrones en absoluto, ni en un motivo para declarar el modelo un éxito.

Tercer enfoque: modelos basados en reglas

La siguiente línea fueron los modelos basados en reglas: métodos que identifican combinaciones de condiciones asociadas a un resultado determinado, en lugar de una predicción totalmente opaca.

Esto es potencialmente útil para analizar el comportamiento del mercado: se ve qué patrones encuentra el algoritmo. Pero la interpretabilidad no equivale a la fiabilidad. Una regla puede parecer económicamente razonable, explicarse con facilidad y, aun así, carecer de una ventaja estadística estable.

Por eso aplicamos a estos modelos los mismos principios de validación que a los lineales.

Los resultados volvieron a ser negativos, pero por motivos distintos. Un candidato fue rechazado en la etapa que evalúa si la evidencia estadística es suficiente. El segundo no reunió evidencia suficiente para su admisión.

Ambos ciclos están cerrados. Estos resultados no demuestran que los métodos basados en reglas sean inútiles en general: se refieren a los candidatos concretos evaluados y a las condiciones establecidas. Pero muestran por qué un modelo interpretable no puede considerarse más fiable solo porque sus decisiones sean más fáciles de explicar. La explicabilidad ayuda a estudiar el modelo. No sustituye la verificación de su valor predictivo y económico.

El paso a modelos más complejos

Tras los enfoques lineales y los modelos basados en reglas, pasamos al gradient boosting estructural, un método capaz de describir dependencias no lineales e interacciones entre variables.

Esto amplía la capacidad expresiva del algoritmo, pero crea nuevos riesgos: el modelo puede encontrar patrones complejos que no se mantienen en otros tramos temporales. Por eso, el aumento de la complejidad no se considera progreso por sí mismo.

Para Intra se preparó y aceptó la configuración de la investigación y luego se realizó la preparación de datos. Para Swing, al final de la semana obtuvimos el resultado de una validación separada del boosting estructural: la evidencia fue insuficiente para su admisión.

Pasar a un método más complejo no eliminó automáticamente el problema de los candidatos anteriores. El trabajo con los enfoques restantes continúa. Sus resultados futuros no pueden darse de antemano por positivos ni por negativos.

Por qué no reentrenamos cada modelo fallido hasta obtener un resultado positivo

Tras un resultado negativo surge el impulso natural de cambiar la configuración, elegir otras variables, ajustar las condiciones de selección, probar algunas variantes más. A veces esos cambios están justificados.

Pero existe un peligro: si la investigación se adapta una y otra vez al mismo periodo de validación, ese periodo se convierte poco a poco en parte del entrenamiento. Formalmente, el modelo no recibe esas observaciones como datos de entrenamiento, pero el investigador usa los resultados de la validación para elegir los siguientes pasos. Así surge el sobreajuste a nivel de todo el proceso.

Por eso separamos el desarrollo, la selección de modelos y la posterior validación independiente. Para los nuevos candidatos rige un procedimiento secuencial de admisión. Un resultado fallido no concede permiso automático para modificar el modelo una y otra vez hasta que aparezca una métrica conveniente.

En el machine learning financiero esto es especialmente importante: los patrones débiles, el ruido y la gran cantidad de opciones de ajuste generan con facilidad resultados convincentes pero inestables.

La relación con nuestro artículo aparte

También hemos preparado un artículo aparte para HackerNoon: «Cuando una AI de trading elige el silencio: ¿prudencia o ilusión de precisión?». Actualmente está en revisión editorial; añadiremos aquí el enlace en cuanto se publique.

Trata un problema distinto pero relacionado: un modelo puede mostrar una precisión muy alta si se niega a predecir en situaciones difíciles. Las investigaciones muestran que esa mejora de la métrica no siempre significa que haya aparecido una predicción más fiable.

Más detalles, en ese artículo.

Qué cambió en la semana

Primero, la nueva línea de investigación en ML pasó del diseño a las verificaciones prácticas.

Segundo, obtuvimos y registramos los resultados negativos de varios candidatos, y los motivos de su no admisión fueron distintos.

Tercero, se detectó y corrigió un error de preparación de datos, y las verificaciones se reforzaron para no aceptar un resultado formalmente exitoso pero en la práctica inutilizable.

Cuarto, comenzó la validación de modelos más complejos, sin suponer que el aumento de la complejidad dará automáticamente un mejor resultado.

Qué viene ahora

Seguimos evaluando los enfoques restantes según el procedimiento establecido.

Por ahora, los resultados de los candidatos descritos no dan fundamento para declarar un nuevo modelo de trading listo para su uso. La rentabilidad de la nueva línea tampoco está confirmada. Esto no significa que la investigación se detenga: significa que las expectativas preliminares no sustituyen a la evidencia.

En cinco días no obtuvimos fundamentos para presentar un nuevo modelo como exitoso. A cambio, obtuvimos una comprensión más precisa de qué enfoques aún no superan la validación, por qué ocurre y dónde hay que mantener la disciplina de investigación.

El trabajo no ha terminado. El entrenamiento de los modelos continúa, y estamos seguros de que entre los enfoques restantes habrá un candidato que supere la validación y dé fundamentos para su aplicación.