За последние две недели основная работа Tantoryn AI была сосредоточена на ML-части проекта. Мы проверяли не просто качество моделей, а более важный вопрос: учатся ли они тому, что действительно полезно для торговой системы.
Сначала мы завершили новый причинно корректный набор данных для машинного обучения. Он строится из состояния рынка и не зависит от внутренних правил Candidate Generator. Это позволяет честнее сравнивать модели и снижает риск того, что алгоритм получает скрытые подсказки из будущего или из логики самой торговой системы.
Затем мы обучили и сравнили несколько разных семейств моделей. При этом смотрели не только на обычные ML-метрики, но и на то, превращается ли хорошее ранжирование в реально полезный экономический результат.
Именно здесь обнаружилось важное ограничение: модели могли показывать полезный сигнал с точки зрения машинного обучения, но этого было недостаточно, чтобы считать текущую схему экономически убедительной.
Вместо дальнейшей настройки порогов и комбинаций моделей мы остановили эту ветку и пересмотрели саму цель обучения.
После отдельного этапа Target/Objective Redesign для Intra-моделей была выбрана новая схема: теперь основная задача модели — оценивать величину результата рыночного состояния на фиксированном 12-часовом горизонте.
Проще говоря, вместо вопроса «Будет сделка прибыльной или нет?» модель теперь должна отвечать на вопрос «Насколько хорош или плох ожидаемый результат этого состояния рынка?»
Отдельную бинарную схему «прибыль / убыток» для текущего дизайна мы отключили, потому что несколько разных моделей показали одну и ту же слабость этой постановки.
В ходе этого этапа мы отдельно изучили две проблемы, которые важны для любого торгового AI.
Первая: высокая точность модели ещё не означает, что она полезна в реальной торговле. Об этом — наша публикация «Почему „точная“ торговая AI-модель может оказаться бесполезной на рынке».
Вторая: один удачный backtest или один хороший запуск модели ещё не доказывает её устойчивость. Об этом — публикация «Почему один удачный backtest ещё не доказывает качество торгового AI».
Эти принципы мы использовали в текущем цикле: повторные обучения, отдельные периоды проверки и отказ от выбора модели только потому, что один запуск оказался особенно удачным.
Главный результат последних двух недель — не новая цифра доходности и не объявление «лучшей модели».
Мы нашли ограничение прежней постановки задачи до того, как перенесли её дальше в систему, и заменили её более обоснованной целью обучения.
Следующий этап — обучить модели уже по новой схеме и проверить, сохраняется ли экономически полезный сигнал вне данных, на которых происходил подбор.