PineForge прогоняет бэктесты Pine Script в CI и роняет сборку, если сделки разошлись с эталоном.
Зачем parity в CI
Стратегии дрейфуют, как любой код. Переименование параметра, рефакторинг helper-функции, не замеченное изменение API в Pine v6 — любое из этого может тихо сместить сигналы, не сломав ни одного существующего теста. Без parity-гейта в CI коммит, который вы сделали два месяца назад, может изменить прошлонедельный список сделок — и узнаете вы об этом, только когда живой P&L посмотрит криво.
Дисциплина «коммитить эталонный список сделок рядом с исходником стратегии» — та же самая, что делает софт надёжным: вы описываете ожидаемый выход, и сборка падает, если фактический разойдётся. Для бэктеста ожидаемый выход — это список сделок: бар входа, бар выхода, направление, размер, цена fill'а — против запинненного исторического датасета.
Когда это сравнение бежит на каждом коммите, получается храповик: историческое поведение стратегии может только улучшаться, но не регрессировать случайно. Вы знаете ровно , какой коммит изменил выход — потому что сборка упала именно на нём. У вашей кривой капитала есть git blame.
Это важнее, чем большинство квантов осознаёт сразу. Зазор между «я оттестил эту стратегию» и «у меня есть воспроизводимая, версионированная запись каждого исторического сигнала, что эта стратегия когда-либо генерила» — огромный. Первое — скриншот. Второе — аудит-трейл. CI — это то, как вы поддерживаете второе без ручной работы на каждом push'е.
PineForge здесь подходит, потому что рантайм — это Docker-образ: он работает везде, где есть Docker, на одинаковых входных данных даёт одинаковые сделки и пишет JSON-отчёт, который можно разобрать с помощью jq. Ни браузера, ни логина, ни ограничений на число запросов для самого бэктеста.
Пример GitHub Actions
Полный рабочий процесс: извлечение стратегии из репозитория, транспиляция в C++ с помощью образа pineforge-release, прогон бэктеста на зафиксированном OHLCV CSV, разбор JSON-отчёта через jq, сравнение с закоммиченным эталонным отчётом и падение сборки, если у какой-либо сделки меняется направление или бар либо изменение чистого P&L превышает порог.
Рантайм — это образ контейнера, так что управлять API-ключом не нужно — просто запустите docker run прямо в job. Создайте .github/workflows/backtest.yml:
name: Backtest parity
on:
push:
branches: [main, "feat/**"]
pull_request:
jobs:
backtest:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v7
# Pin the image version so results only change when you change it.
- name: Transpile strategy to C++
run: |
docker run --rm --network=none \
-e PINEFORGE_TRANSPILE_ONLY=1 \
-v "$PWD/strategy.pine":/in/strategy.pine:ro \
ghcr.io/pineforge-4pass/pineforge-release:1.12.0 > strategy.cpp
- name: Run backtest
run: |
docker run --rm --network=none \
-v "$PWD/strategy.cpp":/in/strategy.cpp:ro \
-v "$PWD/data/ohlcv.csv":/in/ohlcv.csv:ro \
ghcr.io/pineforge-4pass/pineforge-release:1.12.0 \
> report.json
- name: Assert parity
run: |
# Every trade keeps its side and its entry and exit bars,
# and net P&L moves by at most THRESHOLD.
BARS='[.trades[] | [.side, .entry_bar_index, .exit_bar_index]]'
ACTUAL=$(jq '.summary.net_pnl' report.json)
BASELINE=$(jq '.summary.net_pnl' baseline/report.json)
DELTA=$(echo "$ACTUAL $BASELINE" | awk '{d=$1-$2; print (d<0)?-d:d}')
THRESHOLD="0.01"
if [ "$(jq -c "$BARS" report.json)" != "$(jq -c "$BARS" baseline/report.json)" ]; then
echo "Parity drift: a trade changed side, entry bar or exit bar"
elif awk "BEGIN{exit !($DELTA > $THRESHOLD)}"; then
echo "Parity drift: net_pnl delta $DELTA exceeds threshold $THRESHOLD"
else
echo "Parity OK - same sides and bars, net_pnl delta $DELTA (threshold $THRESHOLD)"
exit 0
fi
# One trade per line, so diff's line numbers are trade numbers.
TRADE='.trades[] | {side, entry_bar_index, exit_bar_index, entry_price, exit_price, qty, pnl}'
diff <(jq -c "$TRADE" baseline/report.json) <(jq -c "$TRADE" report.json)
exit 1Храните baseline-отчёт по пути baseline/report.json в репозитории, прокомиченным рядом с исходником стратегии. Когда PR намеренно меняет поведение стратегии, автор обновляет baseline в составе того же PR. Этот diff становится постоянной записью того, что и почему изменилось.
Тот же воркфлоу одинаково бежит на GitLab CI, Bitbucket Pipelines или любом runner'е, где есть Docker — меняйте YAML-синтаксис, оставляйте shell-команды как есть.
Exit-коды и проверка parity
Runtime PineForge выходит с кодом 0 при успешном прогоне и ненулевым кодом при сбое: 2 — нет входного файла, 3 — ошибка компиляции, 4 — ошибка бэктеста, 5 — ошибка транспиляции (неподдерживаемый Pine или синтаксическая ошибка). CI подхватывает эти коды без специальной обработки.
Как проверять результат, решаете вы в своём рабочем процессе. Отчёт выглядит так (сокращённо):
{
"engine": "pineforge",
...
"summary": {
"total_trades": 3483,
"wins": 1288,
"losses": 2194,
"win_rate_pct": 36.9796,
"net_pnl": 2518.39,
"max_drawdown": -1382.76,
...
},
"trades": [
{
"n": 1,
"side": "long",
"entry_time": 1729402200000,
"exit_time": 1729422000000,
"entry_price": 2640.96,
"exit_price": 2645.15,
"qty": 1.0,
"pnl": 4.19,
"entry_bar_index": 34,
"exit_bar_index": 56,
...
}
],
"metrics": { "all": { "profit_factor": 1.06, ... }, "equity": { "sharpe_tv": ..., ... } },
"equity_curve": [ ... ],
"fingerprint": { "digest": "sha256:...", ... }
}Для простой числовой проверки сравните summary.net_pnl и summary.total_trades с эталоном. Рабочий процесс из примера выше читает и массив trades: у каждой сделки должны сохраниться направление, бар входа и бар выхода. Если проверка не проходит, рабочий процесс сравнивает через diff два списка сделок, по одной сделке на строку, поэтому номера строк в diff — это номера сделок, а в каждой строке видны направление, бары, цены, количество и P&L сделки до изменения и после.
Практический порог для числовых полей: принимаете дельты с плавающей точкой до 0.01 (один цент чистого P&L), а при большем расхождении сборка падает. Для сделок допуска нет: рабочий процесс из примера выше падает при любом изменении направления, entry_bar_index или exit_bar_index, независимо от P&L. Сделка на другом баре означает, что у вас изменилась логика сигнала.
Практичный приём: обновляйте эталон отдельным шагом рабочего процесса, который запускается по метке на PR, — тогда намеренное изменение попадёт в код-ревью рядом с правкой Pine, которая его вызвала.