PineForge, CI में आपके Pine Script backtests चलाता है; trades भटके तो build fail।
CI में parity क्यों
किसी भी कोड की तरह strategy भी भटकती है। किसी parameter का नाम बदलना, किसी helper function का refactor, या Pine v6 API का कोई बदलाव जिस पर आपकी नज़र नहीं पड़ी: इनमें से कोई भी चीज़ किसी मौजूदा टेस्ट को तोड़े बिना चुपचाप सिग्नल खिसका सकती है। CI में parity की जाँच न हो, तो दो महीने पहले किया गया आपका कोई commit पिछले हफ़्ते की trade list बदल सकता है, और आपको पता तभी चलेगा जब लाइव P&L ग़लत दिखने लगेगा।
अपनी strategy के सोर्स कोड के साथ उसकी संदर्भ trade list भी commit करना वही अनुशासन है, जो सॉफ़्टवेयर को भरोसेमंद बनाता है: आप पहले से लिख देते हैं कि नतीजा क्या आना चाहिए, और असल नतीजा उससे अलग निकला तो build fail हो जाता है। Backtest में यह नतीजा trade list है: pin किए गए ऐतिहासिक डेटासेट पर हर trade की entry और exit के bar, उसकी दिशा, मात्रा और fill की क़ीमत।
जब यह तुलना हर commit पर चलती है, तो रास्ता एकतरफ़ा हो जाता है: पुराने डेटा पर आपकी strategy का व्यवहार सुधर ही सकता है, ग़लती से कभी पीछे नहीं खिसक सकता। आपको ठीक-ठीक पता होता है कि नतीजा किस commit ने बदला, क्योंकि build उसी commit पर fail हुआ था। Equity curve का भी git blame आपके हाथ में होता है।
ज़्यादातर क्वांट ट्रेडर शुरू में इसे जितना अहम समझते हैं, यह उससे कहीं ज़्यादा अहम है। “मैंने यह strategy परख ली है” और “इस strategy ने आज तक जितने भी सिग्नल दिए हैं, उन सबका रिकॉर्ड मेरे पास वर्ज़न कंट्रोल में है, और उसे कभी भी हूबहू दोहराया जा सकता है” में ज़मीन-आसमान का फ़र्क़ है। पहला एक स्क्रीनशॉट है, दूसरा पूरा लेखा-जोखा। हर push पर इस लेखे-जोखे को बिना हाथ लगाए बनाए रखने का काम CI करता है।
PineForge यहाँ इसलिए ठीक बैठता है कि उसका runtime एक Docker image है: Docker जहाँ भी चलता है, यह भी वहाँ चलता है, एक जैसे inputs पर एक जैसे trades देता है, और ऐसी JSON रिपोर्ट लिखता है जिसे आप jq से parse कर सकते हैं। ख़ुद backtest चलाने के लिए न ब्राउज़र चाहिए, न लॉगिन, और न ही उस पर कोई rate limit है।
GitHub Actions का उदाहरण
पूरा workflow कुछ यूँ है: अपनी strategy check out करें, pineforge-release image से उसे C++ में transpile करें, अपनी pin की हुई OHLCV CSV पर backtest चलाएँ, JSON रिपोर्ट को jq से parse करें, उसे commit की हुई बेसलाइन से मिलाएँ, और अगर किसी trade की दिशा या bar बदल जाए, या net P&L का अंतर आपकी तय की हुई सीमा से ज़्यादा हो, तो build fail कर दें।
Runtime एक container image है, इसलिए कोई API key संभालनी नहीं पड़ती। Job में बस इसे docker run कर दें। इसके लिए .github/workflows/backtest.yml फ़ाइल बनाएँ:
name: Backtest parity
on:
push:
branches: [main, "feat/**"]
pull_request:
jobs:
backtest:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v7
# Pin the image version so results only change when you change it.
- name: Transpile strategy to C++
run: |
docker run --rm --network=none \
-e PINEFORGE_TRANSPILE_ONLY=1 \
-v "$PWD/strategy.pine":/in/strategy.pine:ro \
ghcr.io/pineforge-4pass/pineforge-release:1.12.0 > strategy.cpp
- name: Run backtest
run: |
docker run --rm --network=none \
-v "$PWD/strategy.cpp":/in/strategy.cpp:ro \
-v "$PWD/data/ohlcv.csv":/in/ohlcv.csv:ro \
ghcr.io/pineforge-4pass/pineforge-release:1.12.0 \
> report.json
- name: Assert parity
run: |
# Every trade keeps its side and its entry and exit bars,
# and net P&L moves by at most THRESHOLD.
BARS='[.trades[] | [.side, .entry_bar_index, .exit_bar_index]]'
ACTUAL=$(jq '.summary.net_pnl' report.json)
BASELINE=$(jq '.summary.net_pnl' baseline/report.json)
DELTA=$(echo "$ACTUAL $BASELINE" | awk '{d=$1-$2; print (d<0)?-d:d}')
THRESHOLD="0.01"
if [ "$(jq -c "$BARS" report.json)" != "$(jq -c "$BARS" baseline/report.json)" ]; then
echo "Parity drift: a trade changed side, entry bar or exit bar"
elif awk "BEGIN{exit !($DELTA > $THRESHOLD)}"; then
echo "Parity drift: net_pnl delta $DELTA exceeds threshold $THRESHOLD"
else
echo "Parity OK - same sides and bars, net_pnl delta $DELTA (threshold $THRESHOLD)"
exit 0
fi
# One trade per line, so diff's line numbers are trade numbers.
TRADE='.trades[] | {side, entry_bar_index, exit_bar_index, entry_price, exit_price, qty, pnl}'
diff <(jq -c "$TRADE" baseline/report.json) <(jq -c "$TRADE" report.json)
exit 1अपनी बेसलाइन रिपोर्ट repository में baseline/report.json पर रखें, और उसे strategy के सोर्स कोड के साथ commit करें। जब कोई PR जान-बूझकर strategy का व्यवहार बदलता है, तो PR बनाने वाला उसी PR में बेसलाइन भी अपडेट करता है। उस diff में हमेशा के लिए दर्ज रहता है कि क्या बदला और क्यों।
यही workflow GitLab CI, Bitbucket Pipelines या Docker चलाने वाले किसी भी runner पर बिल्कुल इसी तरह चलता है। बस YAML का ढाँचा बदल दें, shell commands जस के तस रहने दें।
Exit codes और parity की जाँच
Run ठीक से पूरा हो, तो PineForge runtime exit code 0 देता है, और फ़ेल हो, तो शून्य से अलग कोई code: input फ़ाइल न मिलने पर 2, compile फ़ेल होने पर 3, backtest फ़ेल होने पर 4 और transpile फ़ेल होने पर 5 (Pine में कुछ ऐसा जो समर्थित नहीं, या syntax error)। CI इन्हें बिना किसी ख़ास इंतज़ाम के पकड़ लेता है।
नतीजे की जाँच आपके workflow का काम है। रिपोर्ट कुछ ऐसी दिखती है (छोटा करके):
{
"engine": "pineforge",
...
"summary": {
"total_trades": 3483,
"wins": 1288,
"losses": 2194,
"win_rate_pct": 36.9796,
"net_pnl": 2518.39,
"max_drawdown": -1382.76,
...
},
"trades": [
{
"n": 1,
"side": "long",
"entry_time": 1729402200000,
"exit_time": 1729422000000,
"entry_price": 2640.96,
"exit_price": 2645.15,
"qty": 1.0,
"pnl": 4.19,
"entry_bar_index": 34,
"exit_bar_index": 56,
...
}
],
"metrics": { "all": { "profit_factor": 1.06, ... }, "equity": { "sharpe_tv": ..., ... } },
"equity_curve": [ ... ],
"fingerprint": { "digest": "sha256:...", ... }
}संख्याओं पर parity की सीधी-सादी जाँच के लिए, summary.net_pnl और summary.total_trades को बेसलाइन से मिलाएँ। ऊपर वाला workflow trades array भी पढ़ता है: हर trade की दिशा, और उसकी entry व exit के bar वही रहने चाहिए। कोई जाँच पास न हो, तो workflow दोनों trade lists का diff हर लाइन में एक trade रखकर निकालता है, इसलिए diff की लाइन का नंबर ही trade का नंबर होता है, और हर लाइन में एक trade की दिशा, bars, क़ीमतें, मात्रा और P&L दिखते हैं, पहले के भी और बाद के भी।
संख्या वाले फ़ील्ड के लिए एक व्यावहारिक सीमा: floating-point के 0.01 तक के अंतर चलने दें (net P&L में एक सेंट), और इससे बड़ा अंतर हो तो build fail कर दें। Trades को कोई छूट नहीं मिलती: P&L चाहे जो हो, दिशा, entry_bar_index या exit_bar_index में कोई भी बदलाव होते ही ऊपर वाला workflow fail हो जाता है। किसी trade के दूसरे bar पर पड़ने का मतलब है कि आपके सिग्नल का लॉजिक बदल गया है।
एक काम का तरीक़ा: बेसलाइन को workflow के एक अलग चरण में अपडेट करें, जो तभी चले जब PR पर कोई तय लेबल लगा हो, ताकि जान-बूझकर किया गया बदलाव कोड रिव्यू में उस Pine बदलाव के ठीक बगल में दिखे, जिसकी वजह से वह हुआ।