Перейти к содержимому

CI-проверка движка: «отлично» у 311 из 312 Pine-стратегий

Оставшаяся стратегия выделена янтарным: это задокументированная аномалия.

Составные стратегииИндикаторыОрдера и риск-менеджментТаймфреймы и сессииВнутрибарное исполнениеЯзык PineПроверки анализатора
Составные стратегииИндикаторыОрдера и риск-менеджментТаймфреймы и сессииВнутрибарное исполнениеЯзык PineПроверки анализатора

Нажмите на график или проведите по нему, чтобы увидеть значения в любой точке.

Источник: проверка открытого корпуса на ветке main движка от 2026-09-29.

График в виде таблицы

Проверка паритета открытого корпуса на движке из ветки main, 2026-09-29: стратегий на «отлично» — 311 из 312; оставшаяся — заявленная аномалия.

ГруппаСтратегииОтличноЗаявленная аномалия
Составные стратегии53530
Индикаторы79790
Ордера и риск-менеджмент77770
Таймфреймы и сессии28280
Внутрибарное исполнение880
Язык Pine56560
Проверки анализатора11101

PineForge прогоняет бэктесты Pine Script в CI и роняет сборку, если сделки разошлись с эталоном.

Зачем parity в CI

Стратегии дрейфуют, как любой код. Переименование параметра, рефакторинг helper-функции, не замеченное изменение API в Pine v6 — любое из этого может тихо сместить сигналы, не сломав ни одного существующего теста. Без parity-гейта в CI коммит, который вы сделали два месяца назад, может изменить прошлонедельный список сделок — и узнаете вы об этом, только когда живой P&L посмотрит криво.

Дисциплина «коммитить эталонный список сделок рядом с исходником стратегии» — та же самая, что делает софт надёжным: вы описываете ожидаемый выход, и сборка падает, если фактический разойдётся. Для бэктеста ожидаемый выход — это список сделок: бар входа, бар выхода, направление, размер, цена fill'а — против запинненного исторического датасета.

Когда это сравнение бежит на каждом коммите, получается храповик: историческое поведение стратегии может только улучшаться, но не регрессировать случайно. Вы знаете ровно , какой коммит изменил выход — потому что сборка упала именно на нём. У вашей кривой капитала есть git blame.

Это важнее, чем большинство квантов осознаёт сразу. Зазор между «я оттестил эту стратегию» и «у меня есть воспроизводимая, версионированная запись каждого исторического сигнала, что эта стратегия когда-либо генерила» — огромный. Первое — скриншот. Второе — аудит-трейл. CI — это то, как вы поддерживаете второе без ручной работы на каждом push'е.

PineForge здесь подходит, потому что рантайм — это Docker-образ: он работает везде, где есть Docker, на одинаковых входных данных даёт одинаковые сделки и пишет JSON-отчёт, который можно разобрать с помощью jq. Ни браузера, ни логина, ни ограничений на число запросов для самого бэктеста.

Пример GitHub Actions

Полный рабочий процесс: извлечение стратегии из репозитория, транспиляция в C++ с помощью образа pineforge-release, прогон бэктеста на зафиксированном OHLCV CSV, разбор JSON-отчёта через jq, сравнение с закоммиченным эталонным отчётом и падение сборки, если у какой-либо сделки меняется направление или бар либо изменение чистого P&L превышает порог.

Рантайм — это образ контейнера, так что управлять API-ключом не нужно — просто запустите docker run прямо в job. Создайте .github/workflows/backtest.yml:

name: Backtest parity

on:
  push:
    branches: [main, "feat/**"]
  pull_request:

jobs:
  backtest:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v7

      # Pin the image version so results only change when you change it.
      - name: Transpile strategy to C++
        run: |
          docker run --rm --network=none \
            -e PINEFORGE_TRANSPILE_ONLY=1 \
            -v "$PWD/strategy.pine":/in/strategy.pine:ro \
            ghcr.io/pineforge-4pass/pineforge-release:1.12.0 > strategy.cpp

      - name: Run backtest
        run: |
          docker run --rm --network=none \
            -v "$PWD/strategy.cpp":/in/strategy.cpp:ro \
            -v "$PWD/data/ohlcv.csv":/in/ohlcv.csv:ro \
            ghcr.io/pineforge-4pass/pineforge-release:1.12.0 \
            > report.json

      - name: Assert parity
        run: |
          # Every trade keeps its side and its entry and exit bars,
          # and net P&L moves by at most THRESHOLD.
          BARS='[.trades[] | [.side, .entry_bar_index, .exit_bar_index]]'
          ACTUAL=$(jq '.summary.net_pnl' report.json)
          BASELINE=$(jq '.summary.net_pnl' baseline/report.json)
          DELTA=$(echo "$ACTUAL $BASELINE" | awk '{d=$1-$2; print (d<0)?-d:d}')
          THRESHOLD="0.01"
          if [ "$(jq -c "$BARS" report.json)" != "$(jq -c "$BARS" baseline/report.json)" ]; then
            echo "Parity drift: a trade changed side, entry bar or exit bar"
          elif awk "BEGIN{exit !($DELTA > $THRESHOLD)}"; then
            echo "Parity drift: net_pnl delta $DELTA exceeds threshold $THRESHOLD"
          else
            echo "Parity OK - same sides and bars, net_pnl delta $DELTA (threshold $THRESHOLD)"
            exit 0
          fi
          # One trade per line, so diff's line numbers are trade numbers.
          TRADE='.trades[] | {side, entry_bar_index, exit_bar_index, entry_price, exit_price, qty, pnl}'
          diff <(jq -c "$TRADE" baseline/report.json) <(jq -c "$TRADE" report.json)
          exit 1

Храните baseline-отчёт по пути baseline/report.json в репозитории, прокомиченным рядом с исходником стратегии. Когда PR намеренно меняет поведение стратегии, автор обновляет baseline в составе того же PR. Этот diff становится постоянной записью того, что и почему изменилось.

Тот же воркфлоу одинаково бежит на GitLab CI, Bitbucket Pipelines или любом runner'е, где есть Docker — меняйте YAML-синтаксис, оставляйте shell-команды как есть.

Exit-коды и проверка parity

Runtime PineForge выходит с кодом 0 при успешном прогоне и ненулевым кодом при сбое: 2 — нет входного файла, 3 — ошибка компиляции, 4 — ошибка бэктеста, 5 — ошибка транспиляции (неподдерживаемый Pine или синтаксическая ошибка). CI подхватывает эти коды без специальной обработки.

Как проверять результат, решаете вы в своём рабочем процессе. Отчёт выглядит так (сокращённо):

{
  "engine": "pineforge",
  ...
  "summary": {
    "total_trades": 3483,
    "wins": 1288,
    "losses": 2194,
    "win_rate_pct": 36.9796,
    "net_pnl": 2518.39,
    "max_drawdown": -1382.76,
    ...
  },
  "trades": [
    {
      "n": 1,
      "side": "long",
      "entry_time": 1729402200000,
      "exit_time": 1729422000000,
      "entry_price": 2640.96,
      "exit_price": 2645.15,
      "qty": 1.0,
      "pnl": 4.19,
      "entry_bar_index": 34,
      "exit_bar_index": 56,
      ...
    }
  ],
  "metrics": { "all": { "profit_factor": 1.06, ... }, "equity": { "sharpe_tv": ..., ... } },
  "equity_curve": [ ... ],
  "fingerprint": { "digest": "sha256:...", ... }
}

Для простой числовой проверки сравните summary.net_pnl и summary.total_trades с эталоном. Рабочий процесс из примера выше читает и массив trades: у каждой сделки должны сохраниться направление, бар входа и бар выхода. Если проверка не проходит, рабочий процесс сравнивает через diff два списка сделок, по одной сделке на строку, поэтому номера строк в diff — это номера сделок, а в каждой строке видны направление, бары, цены, количество и P&L сделки до изменения и после.

Практический порог для числовых полей: принимаете дельты с плавающей точкой до 0.01 (один цент чистого P&L), а при большем расхождении сборка падает. Для сделок допуска нет: рабочий процесс из примера выше падает при любом изменении направления, entry_bar_index или exit_bar_index, независимо от P&L. Сделка на другом баре означает, что у вас изменилась логика сигнала.

Практичный приём: обновляйте эталон отдельным шагом рабочего процесса, который запускается по метке на PR, — тогда намеренное изменение попадёт в код-ревью рядом с правкой Pine, которая его вызвала.

Что дальше