Analitik Artefak Pengujian Tanpa Server Database di CI

Menjalankan database server seperti ClickHouse, PostgreSQL, atau MySQL di pipeline CI/CD hanya untuk mengagregasi log pengujian atau memvalidasi metrik regresi performa membuang resource komputasi dan menambah latensi pipeline. Pendekatan umum seperti mengonversi Parquet ke CSV lalu memprosesnya via Bash/AWK sering kali lambat dan rentan error saat skema data kompleks.

chDB menyematkan engine ClickHouse langsung ke runtime lokal. Versi WebAssembly (WASM) memungkinkan eksekusi SQL engine analitik ClickHouse langsung di runner Node.js tanpa dependensi eksternal C++ bindings, tanpa container database terpisah, dan tanpa root privilege.

1. Setup chDB di Node.js Runner

Runner CI modern (seperti GitHub Actions) menyediakan lingkungan Node.js secara default. Paket @chdb/wasm dapat dipasang via package manager standar.

npm install @chdb/wasm

WASM engine membaca data langsung dari memori atau sistem file virtual tanpa membutuhkan ClickHouse server daemon (port 9000/8123 tidak digunakan).

2. Eksekusi Query Agregasi SQL pada File Parquet Lokal

ClickHouse menyediakan table function bawaan seperti file() untuk membaca format Parquet, JSONEachRow, CSV, dan Arrow. Script berikut membaca artefak test-metrics.parquet, menghitung latency persentil 95 (P95), dan mengembalikan format JSON.

// scripts/verify-metrics.mjs
import { chdb } from '@chdb/wasm';
import fs from 'node:fs';

const parquetPath = './artifacts/test-metrics.parquet';
if (!fs.existsSync(parquetPath)) {
  console.error(`File tidak ditemukan: ${parquetPath}`);
  process.exit(1);
}

// Query agregasi metrik pengujian via engine ClickHouse WASM
const query = `
  SELECT
    endpoint,
    count() AS total_requests,
    quantile(0.95)(latency_ms) AS p95_latency,
    countIf(status_code >= 500) AS server_errors
  FROM file('${parquetPath}', 'Parquet')
  GROUP BY endpoint
  HAVING total_requests > 100
  FORMAT JSON
`;

try {
  const rawResponse = await chdb.query(query);
  const result = JSON.parse(rawResponse);
  
  console.log('Hasil Agregasi:');
  console.table(result.data);

  // Assertion logic untuk CI gatekeeping
  const violations = result.data.filter(row => row.p95_latency > 250 || row.server_errors > 0);

  if (violations.length > 0) {
    console.error('CI GAGAL: Terdeteksi pelanggaran threshold latency atau server error:');
    console.table(violations);
    process.exit(1);
  }

  console.log('CI LOLOS: Semua metrik performa memenuhi SLA.');
} catch (err) {
  console.error('Error saat menjalankan query chDB:', err);
  process.exit(1);
}

3. Integrasi Pipeline GitHub Actions

Langkah pipeline berikut menjalankan pengujian integrasi yang menghasilkan artefak Parquet, lalu menjalankan script assertion chDB untuk menentukan status build.

name: Integration Tests & Quality Gate

on:
  pull_request:
    branches: [main]

jobs:
  test-and-assert:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout Repository
        uses: actions/checkout@v4

      - name: Setup Node.js
        uses: actions/setup-node@v4
        with:
          node-version: 20
          cache: 'npm'

      - name: Install Dependencies
        run: npm ci

      - name: Run Integration Tests
        run: npm run test:integration -- --export-parquet=./artifacts/test-metrics.parquet

      - name: Validate Performance Gate via chDB
        run: node scripts/verify-metrics.mjs

4. Trade-Off: chDB WASM vs Native CLI di CI

Pemilihan antara wrapper WASM dan binary native chDB bergantung pada kebutuhan resource dan limitasi sistem runner:

  • Limitasi Memori: WASM 32-bit memiliki batas memori absolut 4 GB. Jika query memproses Parquet berukuran multi-gigabyte atau membutuhkan hash table besar untuk agregasi GROUP BY masif, runtime WASM akan melempar error Out of Memory. Native CLI/Python binding chDB dapat menggunakan seluruh RAM runner (misal 7 GB atau 16 GB pada hosted runner).
  • Kecepatan Inisialisasi: WASM tidak memerlukan kompilasi native C++ atau wheel platform-spesifik. Runner tidak membutuhkan instalasi compiler atau glibc matching, sehingga setup time pada build matrix multi-OS (Linux, macOS, Windows) lebih konsisten.
  • Kecepatan Eksekusi (Throughput): Binary native chDB memanfaatkan instruksi SIMD (AVX2/AVX-512) secara langsung pada CPU host. WASM memiliki overhead abstraksi instruksi, menghasilkan query execution time 1.5x hingga 3x lebih lambat dibanding native binary pada volume baris data di atas 10 juta baris.

Gunakan @chdb/wasm jika ukuran artefak log/metrik per run berada di bawah 1-2 GB dan prioritasnya adalah kemudahan setup tanpa ketergantungan library sistem runner.