Analitik Artefak Pengujian Tanpa Server Database di CI
Menjalankan database server seperti ClickHouse, PostgreSQL, atau MySQL di pipeline CI/CD hanya untuk mengagregasi log pengujian atau memvalidasi metrik regresi performa membuang resource komputasi dan menambah latensi pipeline. Pendekatan umum seperti mengonversi Parquet ke CSV lalu memprosesnya via Bash/AWK sering kali lambat dan rentan error saat skema data kompleks.
chDB menyematkan engine ClickHouse langsung ke runtime lokal. Versi WebAssembly (WASM) memungkinkan eksekusi SQL engine analitik ClickHouse langsung di runner Node.js tanpa dependensi eksternal C++ bindings, tanpa container database terpisah, dan tanpa root privilege.
1. Setup chDB di Node.js Runner
Runner CI modern (seperti GitHub Actions) menyediakan lingkungan Node.js secara default. Paket @chdb/wasm dapat dipasang via package manager standar.
npm install @chdb/wasmWASM engine membaca data langsung dari memori atau sistem file virtual tanpa membutuhkan ClickHouse server daemon (port 9000/8123 tidak digunakan).
2. Eksekusi Query Agregasi SQL pada File Parquet Lokal
ClickHouse menyediakan table function bawaan seperti file() untuk membaca format Parquet, JSONEachRow, CSV, dan Arrow. Script berikut membaca artefak test-metrics.parquet, menghitung latency persentil 95 (P95), dan mengembalikan format JSON.
// scripts/verify-metrics.mjs
import { chdb } from '@chdb/wasm';
import fs from 'node:fs';
const parquetPath = './artifacts/test-metrics.parquet';
if (!fs.existsSync(parquetPath)) {
console.error(`File tidak ditemukan: ${parquetPath}`);
process.exit(1);
}
// Query agregasi metrik pengujian via engine ClickHouse WASM
const query = `
SELECT
endpoint,
count() AS total_requests,
quantile(0.95)(latency_ms) AS p95_latency,
countIf(status_code >= 500) AS server_errors
FROM file('${parquetPath}', 'Parquet')
GROUP BY endpoint
HAVING total_requests > 100
FORMAT JSON
`;
try {
const rawResponse = await chdb.query(query);
const result = JSON.parse(rawResponse);
console.log('Hasil Agregasi:');
console.table(result.data);
// Assertion logic untuk CI gatekeeping
const violations = result.data.filter(row => row.p95_latency > 250 || row.server_errors > 0);
if (violations.length > 0) {
console.error('CI GAGAL: Terdeteksi pelanggaran threshold latency atau server error:');
console.table(violations);
process.exit(1);
}
console.log('CI LOLOS: Semua metrik performa memenuhi SLA.');
} catch (err) {
console.error('Error saat menjalankan query chDB:', err);
process.exit(1);
}3. Integrasi Pipeline GitHub Actions
Langkah pipeline berikut menjalankan pengujian integrasi yang menghasilkan artefak Parquet, lalu menjalankan script assertion chDB untuk menentukan status build.
name: Integration Tests & Quality Gate
on:
pull_request:
branches: [main]
jobs:
test-and-assert:
runs-on: ubuntu-latest
steps:
- name: Checkout Repository
uses: actions/checkout@v4
- name: Setup Node.js
uses: actions/setup-node@v4
with:
node-version: 20
cache: 'npm'
- name: Install Dependencies
run: npm ci
- name: Run Integration Tests
run: npm run test:integration -- --export-parquet=./artifacts/test-metrics.parquet
- name: Validate Performance Gate via chDB
run: node scripts/verify-metrics.mjs4. Trade-Off: chDB WASM vs Native CLI di CI
Pemilihan antara wrapper WASM dan binary native chDB bergantung pada kebutuhan resource dan limitasi sistem runner:
- Limitasi Memori: WASM 32-bit memiliki batas memori absolut 4 GB. Jika query memproses Parquet berukuran multi-gigabyte atau membutuhkan hash table besar untuk agregasi
GROUP BYmasif, runtime WASM akan melempar errorOut of Memory. Native CLI/Python binding chDB dapat menggunakan seluruh RAM runner (misal 7 GB atau 16 GB pada hosted runner). - Kecepatan Inisialisasi: WASM tidak memerlukan kompilasi native C++ atau wheel platform-spesifik. Runner tidak membutuhkan instalasi compiler atau
glibcmatching, sehingga setup time pada build matrix multi-OS (Linux, macOS, Windows) lebih konsisten. - Kecepatan Eksekusi (Throughput): Binary native chDB memanfaatkan instruksi SIMD (AVX2/AVX-512) secara langsung pada CPU host. WASM memiliki overhead abstraksi instruksi, menghasilkan query execution time 1.5x hingga 3x lebih lambat dibanding native binary pada volume baris data di atas 10 juta baris.
Gunakan @chdb/wasm jika ukuran artefak log/metrik per run berada di bawah 1-2 GB dan prioritasnya adalah kemudahan setup tanpa ketergantungan library sistem runner.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!