За пять дней мы проверили несколько подходов к поиску торговых сигналов. Три кандидата отклонили, один пришлось перепроверять из-за ошибки в данных, ещё один не прошёл проверку по статистическим причинам.
Главный результат недели — не новая торговая модель. Мы пока не получили кандидата, который давал бы достаточные основания использовать его сигналы. Но мы стали лучше понимать, какие подходы не проходят проверку и почему.
Обучить модель и получить прогнозы — ещё не значит доказать, что эти прогнозы пригодны для финансовых решений.
Четыре разных исхода, которые нельзя смешивать
За эту неделю стало видно: единый статус «модель не прошла» слишком груб. За ним стоят разные ситуации, и они требуют разных действий.
Некорректная проверка — результат нельзя использовать из-за ошибки в данных или процедуре.
Недостаточно доказательств — преимущество не подтверждено с нужной уверенностью.
Нет допустимого решения — проверенные варианты применения не удовлетворяют условиям допуска.
Отклонение кандидата — модель не прошла проверку и закрыта в текущем цикле.
Ошибка в данных означает: исправить и перепроверить. Нехватка доказательств — не то же самое, что доказанное отсутствие сигнала. Отсутствие допустимого решения — это отрицательный вердикт о пригодности, а не о статистике. А отклонённый кандидат не должен возвращаться в работу только потому, что результат неудобен.
Дальше — как эти четыре исхода выглядели на практике.
От оценки готовых сигналов — к их поиску
Раньше значительная часть наших ML-исследований была связана с оценкой уже сформированных торговых кандидатов. Отдельный компонент находил рыночную ситуацию, затем ML-модель помогала оценить её качество.
Новое направление задаёт другой вопрос: может ли модель обнаруживать торговую возможность напрямую по состоянию рынка, без предварительно сформированного кандидата?
Это другая задача. Результаты модели, которая оценивает готовые сигналы, нельзя автоматически переносить на модель, которая должна находить их сама.
Мы разделили работу на два масштаба — Intra (более частые решения на коротком горизонте) и Swing (более редкие решения на длинном). Оба проверяются отдельно: успех или неудача на одном масштабе не считается доказательством для другого.
В исследовательский набор вошли простые линейные модели, методы извлечения правил, градиентный бустинг и другие подходы. Задача — не выбрать самый сложный алгоритм, а понять, какой подход даёт убедительные доказательства полезности.
Первый шаг: определить, что именно предсказывает модель
Первым вопросом стала цель обучения.
Можно предсказывать направление рынка. Можно оценивать потенциальную доходность движения. Можно предсказывать, будет ли достигнута торговая цель. Это разные задачи, и успех в одной не гарантирует успеха в другой.
Для нового направления мы выбрали оценку потенциального результата движения рынка на фиксированном горизонте с учётом торговых издержек.
При этом мы разграничили две вещи: результат, который модель учится прогнозировать, и результат, который дало бы реальное торговое решение с учётом правил исполнения и управления позицией.
Это различие оказалось существенным уже на предварительной проверке. В данных встречались ситуации, когда направление движения выглядело привлекательным, но возможная позиция закрылась бы иначе из-за своей траектории. Рынок может в итоге вырасти, но перед этим пройти через неблагоприятное движение, которое выбило бы позицию.
Верно угаданное направление не обязательно означает успешную сделку.
Ошибка в подготовке данных
При первоначальной подготовке исследовательских данных возникла ошибка. Часть проверок формально завершалась успешно, хотя данные не содержали пригодных наблюдений. Технический статус «выполнено» не соответствовал содержательной корректности результата.
Мы не приняли такой набор данных. Ошибку исправили, добавили проверку наличия действительно разрешённых наблюдений и повторили построение данных. Исправленный результат прошёл повторную проверку.
Урок здесь не в том, что pipeline может содержать ошибку — это известно. Более существенный вывод: проверка должна подтверждать наличие корректного результата, а не только отсутствие программного исключения. Если все наблюдения стали непригодными, успешное завершение программы не должно превращаться в положительный исследовательский вердикт.
Первый кандидат: простая линейная модель
Первым практическим кандидатом стала линейная модель для Intra.
Это намеренный выбор. Простая модель помогает проверить, есть ли в данных устойчивый сигнал, прежде чем переходить к более сложным алгоритмам. Она также создаёт точку сравнения: будущая сложная модель должна показывать ценность сверх того, что способен обнаружить простой метод.
Исследовательский цикл включал подготовку данных, обучение и проверку на отдельном временном периоде. Первая проверка столкнулась с той же ошибкой обработки данных, её результат признали недействительным и повторили после исправления.
Итог отрицательный: для линейной Intra-модели не удалось найти допустимый вариант принятия решений, удовлетворяющий условиям отбора.
Это не обязательно значит, что модель не обнаруживает статистических закономерностей. Но между обнаружением закономерности и разрешением использовать её для торгового решения есть дополнительная граница. Линейный Intra-кандидат её не прошёл.
Второй кандидат: линейная модель для Swing
Затем ту же задачу проверили на более продолжительном масштабе. Причина отрицательного результата оказалась другой.
Линейная Swing-модель завершила проверку, но доказательств оказалось недостаточно для положительного решения.
Здесь важно различать два исхода. В первом случае модель проверена, но ни один допустимый вариант использования не удовлетворяет требованиям. Во втором — данных не хватает, чтобы уверенно подтвердить преимущество.
Это не одно и то же. В первом случае процедура приводит к отрицательному решению о пригодности. Во втором остаётся статистическая неопределённость: имеющиеся данные не дают оснований для допуска, но сами по себе не доказывают полное отсутствие полезного сигнала.
Мы получили именно второй результат. Кандидат не был допущен к дальнейшему использованию, но мы не превращаем недостаточность доказательств ни в утверждение о полном отсутствии закономерностей, ни в повод объявить модель успешной.
Третий подход: модели на основе правил
Следующим направлением стали модели на основе правил — методы, которые выявляют комбинации условий, связанные с определённым результатом, вместо полностью непрозрачного прогноза.
Это потенциально полезно для анализа рыночного поведения: видно, какие закономерности обнаруживает алгоритм. Но интерпретируемость не равна достоверности. Правило может выглядеть экономически разумным, легко объясняться и при этом не иметь устойчивого статистического преимущества.
Поэтому мы применили к этим моделям те же принципы проверки, что и к линейным.
Результаты снова отрицательные, но причины разные. Один кандидат отклонён на этапе оценки достаточности статистических доказательств. Второй не набрал достаточных доказательств для допуска.
Оба цикла закрыты. Эти результаты не доказывают бесполезность методов на основе правил вообще — они относятся к конкретным проверенным кандидатам и установленным условиям. Но они показывают, почему интерпретируемую модель нельзя считать надёжнее только потому, что её решения проще объяснить. Объяснимость помогает исследовать модель. Она не заменяет проверку её предсказательной и экономической ценности.
Переход к более сложным моделям
После линейных подходов и моделей на основе правил мы перешли к структурному градиентному бустингу — методу, который умеет описывать нелинейные зависимости и взаимодействия признаков.
Это расширяет выразительные возможности алгоритма, но создаёт новые риски: модель может находить сложные закономерности, которые не сохраняются на других временных участках. Поэтому рост сложности сам по себе не считается прогрессом.
Для Intra подготовили и приняли конфигурацию исследования, затем выполнили подготовку данных. Для Swing к концу недели получили результат отдельной проверки структурного бустинга: доказательств оказалось недостаточно для допуска.
Переход к более сложному методу не устранил автоматически проблему предыдущих кандидатов. Работа с остальными подходами продолжается. Их будущие результаты нельзя заранее считать ни положительными, ни отрицательными.
Почему мы не переобучаем каждую неудачную модель до положительного результата
После отрицательного результата возникает естественное желание изменить настройки, подобрать другие признаки, скорректировать условия отбора, попробовать ещё несколько вариантов. Иногда такие изменения обоснованны.
Но есть опасность: если постоянно адаптировать исследование к одному и тому же проверочному периоду, этот период постепенно становится частью обучения. Формально модель не получает эти наблюдения как обучающие данные — но исследователь использует результаты проверки для выбора следующих шагов. Так возникает переобучение уже на уровне всего процесса.
Поэтому мы разделяем разработку, выбор моделей и последующую независимую проверку. Для новых кандидатов действует последовательная процедура допуска. Неуспешный результат не даёт автоматического разрешения многократно менять модель до появления подходящей метрики.
В финансовом машинном обучении это особенно важно: слабые закономерности, шум и множество вариантов настройки легко создают убедительные, но нестабильные результаты.
Связь с нашей отдельной статьёй
Недавно мы также опубликовали отдельный материал — «Когда торговый AI выбирает молчание: осторожность или иллюзия точности?».
Там речь о другой, но связанной проблеме: модель может показывать очень высокую точность, если отказывается прогнозировать в сложных ситуациях. Исследования показывают, что такое улучшение метрики не всегда означает появление более надёжного прогноза.
Подробнее — в отдельной статье.
Что изменилось за неделю
Во-первых, новое направление ML-исследований перешло от проектирования к практическим проверкам.
Во-вторых, получены и сохранены отрицательные результаты нескольких кандидатов, причём причины недопуска различались.
В-третьих, выявлена и исправлена ошибка подготовки данных, а проверки усилены так, чтобы не принимать формально успешный, но фактически непригодный результат.
В-четвёртых, началась проверка более сложных моделей — без предположения, что рост сложности автоматически даст лучший результат.
Что дальше
Продолжаем проверять оставшиеся подходы по установленной процедуре.
На текущий момент результаты описанных кандидатов не дают оснований объявить новую торговую модель готовой к применению. Прибыльность нового направления также не подтверждена. Это не означает прекращения исследований — это означает, что предварительные ожидания не подменяют доказательства.
За пять дней мы не получили оснований представить новую модель как успешную. Зато получили более точное понимание того, какие подходы пока не проходят проверку, почему это происходит и где нужно сохранять исследовательскую дисциплину.
Работа не закончена. Обучение моделей продолжается, и мы уверены, что среди оставшихся подходов найдётся кандидат, который пройдёт проверку и даст основания для применения.