Query event audit yang lambat menghambat investigasi keamanan, terutama ketika tim perlu memantau banyak aplikasi AI dari berbagai perusahaan. Solusinya dimulai dari pola pencarian yang jelas: batasi rentang waktu, tentukan aplikasi dan tingkat risiko, lalu pilih indeks yang mendukung filter sekaligus urutan hasil.
Dalam konteks kebutuhan lintas perusahaan seperti yang diasosiasikan dengan Traceforce, setiap query juga harus membatasi data ke perusahaan yang berwenang melihatnya. Contoh berikut menggunakan PostgreSQL dan berfokus pada desain penyimpanan serta pemantauan, bukan asumsi tentang implementasi produk tertentu.
Rancang skema berdasarkan kebutuhan audit
Simpan kolom yang sering dipakai untuk filter sebagai kolom bertipe, bukan hanya di dalam JSON. Letakkan detail yang jarang dicari—misalnya payload tambahan—di kolom JSONB. Batasi akses data perusahaan dengan kondisi tenant_id pada query dan kebijakan otorisasi aplikasi.
CREATE TABLE audit_events (
tenant_id uuid NOT NULL,
event_id uuid NOT NULL,
occurred_at timestamptz NOT NULL,
app_id uuid NOT NULL,
risk_level smallint NOT NULL,
event_type text NOT NULL,
actor_id text,
details jsonb,
PRIMARY KEY (tenant_id, event_id, occurred_at)
);Contoh ini menampilkan kolom yang relevan bagi query. Kunci utama bukan pengganti indeks pencarian: urutan kolomnya tidak otomatis cocok untuk filter rentang waktu, aplikasi, dan risiko. Validasi nilai risk_level serta batas akses tenant di lapisan yang sesuai; jangan mengandalkan parameter dari klien sebagai bukti otorisasi.
Pola query event audit untuk filter waktu, aplikasi, dan risiko
Gunakan rentang waktu setengah terbuka—inklusif pada awal dan eksklusif pada akhir. Pola ini menghindari ambiguitas batas waktu dan memudahkan pembagian rentang berurutan. Hindari fungsi atau konversi pada kolom waktu di kondisi WHERE, karena dapat menghalangi pemakaian indeks biasa.
SELECT event_id, occurred_at, app_id, risk_level, event_type, actor_id
FROM audit_events
WHERE tenant_id = $1
AND app_id = $2
AND occurred_at >= $3
AND occurred_at < $4
AND risk_level >= $5
ORDER BY occurred_at DESC
LIMIT 100;Parameter waktu harus dikirim dengan tipe yang konsisten, seperti timestamptz. Hindari pola seperti DATE(occurred_at) = ...; hitung batas awal dan akhir hari di pemanggil, lalu bandingkan langsung dengan kolom.
Filter rentang risiko, misalnya risk_level >= $5, dapat memengaruhi kegunaan kolom indeks setelahnya. PostgreSQL umumnya dapat memakai bagian awal indeks untuk pencarian, tetapi kolom setelah kondisi rentang belum tentu mempersempit pemindaian dengan cara yang sama. Karena itu, urutan indeks perlu diuji terhadap query nyata.
Pilih indeks komposit berdasarkan filter dan urutan hasil
Untuk query yang selalu membatasi tenant dan aplikasi, mengurutkan berdasarkan waktu, serta memfilter risiko, indeks awal yang layak diuji adalah:
CREATE INDEX audit_events_tenant_app_time_idx
ON audit_events (tenant_id, app_id, occurred_at DESC)
INCLUDE (risk_level, event_type, actor_id);Indeks ini menempatkan kolom kesetaraan di depan dan kolom waktu setelahnya. Urutan tersebut mendukung pencarian terbaru untuk satu tenant dan aplikasi. Kolom risk_level disertakan sebagai kolom non-kunci agar sebagian query berpotensi mengambil data dari indeks; kolom itu tidak menjadi kunci pencarian rentang. Index-only scan tetap bergantung pada keadaan visibility map dan biaya aktual, sehingga jangan menganggapnya pasti terjadi.
Jika pemantauan rutin mencari event berisiko tinggi dari semua aplikasi dalam satu tenant, pola filter berbeda. Uji indeks terpisah seperti (tenant_id, risk_level, occurred_at DESC). Indeks ini cocok jika tenant dan risiko merupakan filter utama, tetapi tidak menggantikan indeks untuk query yang membatasi aplikasi secara selektif. Menambah semua kombinasi indeks meningkatkan biaya tulis dan penyimpanan.
- Kolom kesetaraan yang konsisten biasanya ditempatkan sebelum kolom rentang atau pengurutan.
- Sesuaikan arah dan kolom pengurutan indeks dengan
ORDER BYyang sering digunakan. - Gunakan
INCLUDEuntuk kolom keluaran yang berguna bagi pembacaan indeks, bukan untuk menggantikan kunci filter. - Tambahkan indeks hanya jika pola query dan pengukuran menunjukkan manfaat yang sepadan.
Trade-off-nya nyata: setiap indeks tambahan memakai ruang dan menambah kerja pada insert, update, serta pemeliharaan indeks. Audit biasanya memiliki beban tulis berkelanjutan, jadi ukur latensi penulisan dan ukuran indeks setelah perubahan.
Periksa rencana eksekusi, bukan hanya waktu query
Jalankan EXPLAIN untuk melihat rencana yang dipilih. Di lingkungan aman dengan parameter yang mewakili beban nyata, gunakan EXPLAIN (ANALYZE, BUFFERS) untuk membandingkan rencana aktual, jumlah baris, waktu, dan aktivitas buffer. Perintah ini benar-benar menjalankan query; jangan jalankan sembarangan pada query mahal di produksi.
EXPLAIN (ANALYZE, BUFFERS)
SELECT event_id, occurred_at, app_id, risk_level, event_type, actor_id
FROM audit_events
WHERE tenant_id = '00000000-0000-0000-0000-000000000001'
AND app_id = '00000000-0000-0000-0000-000000000002'
AND occurred_at >= '2025-01-01T00:00:00Z'
AND occurred_at < '2025-01-02T00:00:00Z'
AND risk_level >= 3
ORDER BY occurred_at DESC
LIMIT 100;Periksa apakah rencana memakai indeks yang diharapkan, berapa banyak baris yang dibaca dibandingkan hasil, dan apakah ada sort atau pemindaian besar. Pemindaian berurutan tidak selalu salah: jika query mengambil bagian besar tabel, biaya mengakses indeks dan tabel dapat lebih tinggi. Estimasi yang jauh berbeda dari jumlah aktual dapat menunjukkan statistik yang usang atau distribusi data yang tidak merata.
Setelah perubahan skema atau distribusi data, pastikan statistik diperbarui sesuai prosedur operasional database. Bandingkan query dengan nilai parameter yang mewakili tenant kecil dan besar; satu rencana belum tentu ideal untuk semua distribusi.
Kelola pertumbuhan data dengan partisi dan retensi
Ketika tabel audit membesar, partisi rentang berdasarkan occurred_at dapat membantu memisahkan data per periode dan memudahkan penghapusan data kedaluwarsa. PostgreSQL dapat melewati partisi yang rentang waktunya tidak cocok jika kondisi query memungkinkan pruning. Query tetap perlu menyertakan batas waktu agar manfaat tersebut tercapai.
Contoh berikut menunjukkan struktur partisi bulanan, bukan kebijakan retensi lengkap:
CREATE TABLE audit_events_partitioned (
tenant_id uuid NOT NULL,
event_id uuid NOT NULL,
occurred_at timestamptz NOT NULL,
app_id uuid NOT NULL,
risk_level smallint NOT NULL,
event_type text NOT NULL,
actor_id text,
details jsonb,
PRIMARY KEY (tenant_id, event_id, occurred_at)
) PARTITION BY RANGE (occurred_at);
CREATE TABLE audit_events_2025_01
PARTITION OF audit_events_partitioned
FOR VALUES FROM ('2025-01-01T00:00:00Z')
TO ('2025-02-01T00:00:00Z');Partisi menambah pekerjaan operasional: partisi baru perlu tersedia, dan query lintas periode tetap dapat menyentuh banyak partisi. Pastikan desain kunci dan indeks sesuai batasan partisi PostgreSQL yang digunakan. Untuk retensi, tentukan masa simpan berdasarkan kebutuhan keamanan, kontrak, dan kebijakan perusahaan. Menghapus partisi lama dapat lebih efisien daripada menghapus baris satu per satu, tetapi penghapusan itu bersifat destruktif dan harus mengikuti proses persetujuan serta kebutuhan preservasi bukti.
Ukur dampak optimasi secara terkontrol
- Pilih beberapa query audit yang mewakili penggunaan nyata, termasuk tenant dengan volume data berbeda.
- Catat latensi, jumlah baris yang diperiksa, pemakaian buffer, dan beban tulis sebelum perubahan.
- Ubah satu hal pada satu waktu, seperti urutan kolom indeks atau rentang partisi, lalu jalankan pengujian dengan parameter yang sama.
- Bandingkan hasil query, rencana eksekusi, latensi penulisan, dan ukuran indeks; pantau juga dampaknya pada beban produksi.
- Pertahankan perubahan hanya jika manfaat pembacaan sepadan dengan biaya tulis, penyimpanan, dan operasionalnya.
Hindari kesalahan umum seperti menambahkan indeks untuk setiap filter, menyimpan semua atribut pencarian hanya dalam JSON, mengabaikan batas tenant, atau menguji query dengan rentang waktu yang tidak mewakili beban sebenarnya. Mulai dari pola query yang paling sering dipakai, ukur rencananya, lalu optimalkan satu per satu.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!