PineForge chạy backtest Pine Script của bạn trong CI; giao dịch lệch là build thất bại.
Vì sao cần kiểm tra độ khớp trong CI
Chiến lược cũng lệch dần như mọi đoạn mã khác. Một lần đổi tên tham số, một lần tái cấu trúc hàm tiện ích, hay một thay đổi API của Pine v6 mà bạn không để ý: chuyện nào cũng có thể âm thầm làm lệch tín hiệu trong khi mọi bài kiểm thử hiện có vẫn qua. Nếu CI không có chốt kiểm tra độ khớp, một commit bạn tạo từ hai tháng trước có thể làm thay đổi danh sách giao dịch của tuần trước, và bạn chỉ phát hiện ra khi P&L lúc chạy thật trông không ổn.
Việc commit danh sách giao dịch tham chiếu cùng mã nguồn chiến lược cũng chính là kỷ luật làm nên phần mềm đáng tin cậy: bạn mô tả trước kết quả mong đợi, và build thất bại nếu kết quả thực tế đi chệch. Với backtest, kết quả mong đợi là danh sách giao dịch (nến vào lệnh, nến thoát lệnh, chiều lệnh, khối lượng, giá khớp) trên một bộ dữ liệu lịch sử đã ghim.
Khi phép so sánh đó chạy ở mọi commit, bạn có một cơ chế chỉ tiến không lùi: hành vi của chiến lược trên dữ liệu lịch sử chỉ có thể tốt lên, không bao giờ vô tình thụt lùi. Bạn biết chính xác commit nào đã làm thay đổi kết quả, vì build đã thất bại ngay ở commit đó. Đường cong vốn của bạn giờ cũng có git blame.
Điều này quan trọng hơn mức mà phần lớn nhà giao dịch định lượng nhận ra lúc đầu. Khoảng cách giữa “tôi đã chạy thử chiến lược này” và “tôi có bản ghi mọi tín hiệu lịch sử mà chiến lược này từng phát ra, tái lập được và có quản lý phiên bản” là một trời một vực. Cái trước chỉ là một tấm ảnh chụp màn hình. Cái sau là hồ sơ lưu vết để kiểm toán. CI là cách để bạn duy trì cái sau mà không phải làm thủ công ở mỗi lần push.
PineForge hợp với khâu này vì runtime là một Docker image: chạy được ở mọi nơi có Docker, cùng đầu vào thì cho ra cùng giao dịch, và ghi báo cáo JSON mà bạn đọc được bằng jq. Không trình duyệt, không đăng nhập, và bản thân bước backtest cũng không bị giới hạn tần suất.
Ví dụ với GitHub Actions
Toàn bộ quy trình: lấy chiến lược của bạn về, chuyển mã sang C++ bằng image pineforge-release, chạy backtest trên tệp OHLCV CSV đã ghim, đọc báo cáo JSON bằng jq, so sánh với mốc đối chiếu đã commit, rồi làm build thất bại nếu có giao dịch đổi chiều lệnh hay rơi sang nến khác, hoặc nếu chênh lệch P&L ròng vượt ngưỡng bạn đặt.
Runtime là một container image, nên không có API key nào phải quản lý. Chỉ cần gọi docker run ngay trong job là xong. Tạo tệp .github/workflows/backtest.yml với nội dung sau:
name: Backtest parity
on:
push:
branches: [main, "feat/**"]
pull_request:
jobs:
backtest:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v7
# Pin the image version so results only change when you change it.
- name: Transpile strategy to C++
run: |
docker run --rm --network=none \
-e PINEFORGE_TRANSPILE_ONLY=1 \
-v "$PWD/strategy.pine":/in/strategy.pine:ro \
ghcr.io/pineforge-4pass/pineforge-release:1.12.0 > strategy.cpp
- name: Run backtest
run: |
docker run --rm --network=none \
-v "$PWD/strategy.cpp":/in/strategy.cpp:ro \
-v "$PWD/data/ohlcv.csv":/in/ohlcv.csv:ro \
ghcr.io/pineforge-4pass/pineforge-release:1.12.0 \
> report.json
- name: Assert parity
run: |
# Every trade keeps its side and its entry and exit bars,
# and net P&L moves by at most THRESHOLD.
BARS='[.trades[] | [.side, .entry_bar_index, .exit_bar_index]]'
ACTUAL=$(jq '.summary.net_pnl' report.json)
BASELINE=$(jq '.summary.net_pnl' baseline/report.json)
DELTA=$(echo "$ACTUAL $BASELINE" | awk '{d=$1-$2; print (d<0)?-d:d}')
THRESHOLD="0.01"
if [ "$(jq -c "$BARS" report.json)" != "$(jq -c "$BARS" baseline/report.json)" ]; then
echo "Parity drift: a trade changed side, entry bar or exit bar"
elif awk "BEGIN{exit !($DELTA > $THRESHOLD)}"; then
echo "Parity drift: net_pnl delta $DELTA exceeds threshold $THRESHOLD"
else
echo "Parity OK - same sides and bars, net_pnl delta $DELTA (threshold $THRESHOLD)"
exit 0
fi
# One trade per line, so diff's line numbers are trade numbers.
TRADE='.trades[] | {side, entry_bar_index, exit_bar_index, entry_price, exit_price, qty, pnl}'
diff <(jq -c "$TRADE" baseline/report.json) <(jq -c "$TRADE" report.json)
exit 1Lưu báo cáo dùng làm mốc đối chiếu ở baseline/report.json trong repo, commit chung với mã nguồn chiến lược. Khi một PR thay đổi hành vi của chiến lược một cách có chủ đích, người tạo PR cập nhật mốc đối chiếu ngay trong PR đó. Bản diff ấy được lưu lại vĩnh viễn, ghi rõ điều gì đã thay đổi và vì sao.
Quy trình này chạy y hệt trên GitLab CI, Bitbucket Pipelines hay bất kỳ runner nào hỗ trợ Docker. Chỉ cần đổi cú pháp YAML, còn các lệnh shell thì giữ nguyên.
Mã thoát và kiểm tra độ khớp
Runtime của PineForge trả về mã thoát 0 khi chạy thành công và một mã khác 0 khi thất bại: 2 khi thiếu tệp đầu vào, 3 khi biên dịch thất bại, 4 khi backtest thất bại và 5 khi chuyển mã thất bại (Pine chưa được hỗ trợ hoặc sai cú pháp). CI tự nhận biết các mã này mà không cần xử lý gì đặc biệt.
Kiểm tra kết quả ra sao là do quy trình CI của bạn đảm nhận. Báo cáo có dạng như sau (đã rút gọn):
{
"engine": "pineforge",
...
"summary": {
"total_trades": 3483,
"wins": 1288,
"losses": 2194,
"win_rate_pct": 36.9796,
"net_pnl": 2518.39,
"max_drawdown": -1382.76,
...
},
"trades": [
{
"n": 1,
"side": "long",
"entry_time": 1729402200000,
"exit_time": 1729422000000,
"entry_price": 2640.96,
"exit_price": 2645.15,
"qty": 1.0,
"pnl": 4.19,
"entry_bar_index": 34,
"exit_bar_index": 56,
...
}
],
"metrics": { "all": { "profit_factor": 1.06, ... }, "equity": { "sharpe_tv": ..., ... } },
"equity_curve": [ ... ],
"fingerprint": { "digest": "sha256:...", ... }
}Để kiểm tra độ khớp đơn giản bằng con số, hãy so sánh summary.net_pnl và summary.total_trades với mốc đối chiếu. Quy trình ở trên còn đọc thêm mảng trades: mỗi giao dịch phải giữ nguyên chiều lệnh, nến vào lệnh và nến thoát lệnh. Khi một bước kiểm tra thất bại, quy trình sẽ diff hai danh sách giao dịch, mỗi giao dịch một dòng, nên số dòng mà diff báo cũng chính là số thứ tự giao dịch, và mỗi dòng cho thấy chiều lệnh, nến, giá, khối lượng và P&L của một giao dịch, trước và sau thay đổi.
Một ngưỡng thực tế cho các trường số: chấp nhận sai số dấu phẩy động tối đa 0.01 (tức một cent P&L ròng) và coi mọi chênh lệch lớn hơn là thất bại. Riêng giao dịch thì không có dung sai: quy trình ở trên báo thất bại ngay khi chiều lệnh, entry_bar_index hoặc exit_bar_index thay đổi, bất kể P&L ra sao. Một giao dịch rơi sang nến khác nghĩa là logic tín hiệu của bạn đã thay đổi.
Một cách làm thực tế: cập nhật mốc đối chiếu ở một bước riêng trong quy trình, chỉ chạy khi PR được gắn một nhãn nhất định, để thay đổi có chủ đích hiện ra ngay lúc review code, bên cạnh thay đổi Pine đã gây ra nó.