Job queue dapat terlihat aktif meski sebagian job tidak bergerak: job menunggu dependensi yang gagal, worker tidak lagi mengirim heartbeat, atau lease kedaluwarsa tanpa job kembali ke antrean. Aturan bergaya Datalog membantu menyatakan kondisi tersebut sebagai relasi yang dapat diuji terhadap snapshot queue, bukan sebagai kumpulan pemeriksaan ad hoc.
Hasil aturan adalah diagnosis, bukan mekanisme pemulihan. Retry, perpanjangan lease, dan penguncian tetap harus ditangani oleh sistem queue agar aman terhadap worker yang berjalan bersamaan.
Modelkan snapshot sebagai fakta
Ambil snapshot pada satu waktu acuan, lalu ubah data job dan worker menjadi fakta. Contoh berikut memakai notasi Datalog sederhana. Predikat seperti before dan older_than adalah relasi pembanding waktu yang disediakan oleh lapisan pemuat data atau runtime Datalog; keduanya bukan sintaks universal Datalog.
// Fakta job: id, status, waktu dibuat
job(j1, queued, 100).
job(j2, running, 120).
job(j3, queued, 130).
// Dependensi: job pertama bergantung pada job kedua
depends_on(j1, j2).
depends_on(j3, j9).
// Fakta worker dan heartbeat
worker(w1, active).
heartbeat(w1, 190).
worker(w2, active).
heartbeat(w2, 100).
// Lease: job, worker pemegang lease, waktu kedaluwarsa
lease(j2, w1, 250).
// Waktu snapshot dan ambang diagnosis
now(200).
stale_after(60).
queue_wait_limit(50).
// Status terminal yang berhasil
success_status(succeeded).
// Fakta status job dapat dimuat sebagai relasi terpisah
job_status(j1, queued).
job_status(j2, running).
job_status(j3, queued).
job_status(j9, failed).
Dalam sistem nyata, waktu sebaiknya dinormalisasi ke satu format dan satu zona waktu. Snapshot juga perlu menyertakan identitas worker, status job, dependensi, lease, dan heartbeat yang konsisten secara temporal. Jangan mencampur status dari satu waktu dengan heartbeat dari waktu lain tanpa mencatat perbedaan itu.
Turunkan kondisi dengan aturan
Aturan berikut memakai bentuk deklaratif yang mendekati Datalog umum. Operator negasi dan perbandingan perlu didukung runtime yang dipilih. Aturan aman menjaga variabel pada sisi kepala tetap terikat oleh fakta positif.
// Job queued tanpa dependensi siap dianggap siap dijalankan.
ready(J) :- job_status(J, queued), not blocked(J).
// Dependensi menghambat jika job induk belum berhasil.
blocked(J) :- depends_on(J, P), job_status(P, S), not successful(S).
successful(S) :- success_status(S).
// Worker stale jika heartbeat melewati ambang pada waktu snapshot.
stale_worker(W) :- worker(W, active), heartbeat(W, H), now(N),
stale_after(T), older_than(H, N, T).
// Lease kedaluwarsa jika waktunya sebelum waktu snapshot.
expired_lease(J, W) :- lease(J, W, E), now(N), before(E, N).
// Job queued terlalu lama berdasarkan waktu pembuatannya.
long_wait(J) :- job(J, queued, Created), now(N),
queue_wait_limit(T), older_than(Created, N, T).
Untuk produksi, lebih baik menyimpan status sukses sebagai relasi eksplisit, misalnya successful_job(J), daripada menghubungkan status melalui fakta status terpisah. Bentuk yang lebih langsung membuat aturan dependensi mudah dibaca:
blocked(J) :- depends_on(J, P), not successful_job(P).
ready(J) :- job_status(J, queued), not blocked(J).
Contoh data menunjukkan j1 terblokir karena j2 belum sukses, sedangkan j3 terblokir karena dependensi j9 gagal. w2 stale jika ambang heartbeat adalah 60 satuan waktu. j2 memiliki lease yang belum kedaluwarsa pada snapshot waktu 200.
Bedakan stale, lease kedaluwarsa, dan queue macet
Ketiga kondisi itu tidak setara. Worker stale berarti heartbeat melewati ambang; worker mungkin mati, terputus, atau hanya terlambat. Lease kedaluwarsa berarti hak pemrosesan job melewati batas waktu menurut data snapshot. Queue macet adalah diagnosis tingkat antrean yang perlu aturan eksplisit, misalnya job lama menunggu dan tidak ada job siap.
// Kandidat macet: job lama menunggu, terblokir, dan tidak ada job siap.
queue_stalled :- long_wait(J), blocked(J), not any_ready.
any_ready :- ready(J).
Aturan tersebut sengaja konservatif: antrean dengan job lama yang siap tidak dianggap macet hanya karena belum diproses. Dalam sistem nyata, kondisi macet dapat mencakup job running dengan lease kedaluwarsa atau antrean yang tidak memiliki kapasitas worker. Tambahkan kondisi itu hanya jika definisi operasionalnya jelas.
Validasi hasil terhadap snapshot queue
- Bekukan waktu acuan. Evaluasi semua aturan terhadap snapshot dengan waktu
nowyang sama. Catat waktu snapshot dan sumber datanya. - Periksa fakta dasar. Pastikan setiap dependensi menunjuk ke job yang ada, status job dikenal, dan lease merujuk pada worker serta job yang valid.
- Bandingkan hasil. Ambil beberapa hasil
ready,blocked, danstale_worker, lalu cocokkan dengan rekaman queue dan aturan bisnis. Sertakan kasus batas: heartbeat tepat pada ambang, lease tepat pada waktu snapshot, dependensi hilang, dan job yang sudah berhasil. - Uji aturan dengan fixture kecil. Simpan fakta contoh dan hasil yang diharapkan sebagai tes. Uji pula bahwa job tanpa dependensi dapat siap, job dengan induk sukses tidak terblokir, dan dependensi yang gagal tetap terdeteksi.
- Jalankan dalam mode observasi. Bandingkan temuan dengan metrik dan pemeriksaan operasional sebelum memakai hasilnya untuk memicu tindakan otomatis.
Tetapkan semantik batas waktu secara eksplisit. Jika heartbeat tepat pada ambang harus dianggap sehat, aturan stale memakai perbandingan ketat; jika harus dianggap stale, gunakan perbandingan inklusif. Pilihan yang sama berlaku untuk lease tepat pada waktu snapshot.
Data usang dan konsistensi
Snapshot yang terlambat dapat menghasilkan alarm palsu: worker mungkin sudah memperbarui heartbeat setelah data dibaca, atau lease mungkin sudah diperpanjang. Tampilkan umur snapshot bersama hasil, dan buang atau tandai hasil ketika umur itu melewati batas operasional yang ditetapkan.
- Gunakan pembacaan konsisten atau penanda waktu per sumber jika queue dan heartbeat tersimpan terpisah.
- Jangan menyimpulkan worker mati hanya dari satu heartbeat terlambat. Konfirmasi melalui beberapa snapshot atau sinyal tambahan.
- Perlakukan dependensi yang tidak ditemukan sebagai anomali data, bukan otomatis sebagai sukses. Aturan
blockeddi atas hanya menangkap induk yang memiliki fakta status. - Catat versi aturan dan waktu evaluasi agar hasil dapat direproduksi saat insiden ditinjau.
Kapan memakai Datalog, SQL, atau metrik
Datalog berguna saat diagnosis menggabungkan relasi bertingkat, seperti job yang bergantung pada job lain, lalu mengelompokkan penyebabnya dengan aturan yang dapat diuji. Aturan deklaratif membuat definisi seperti “siap” dan “terblokir” terlihat jelas serta dapat dievaluasi ulang pada snapshot.
SQL biasanya lebih sederhana untuk pemeriksaan lokal yang melibatkan tabel relasional dan agregasi biasa, terutama jika data sudah berada di database yang sama. Metrik lebih cocok untuk tren dan alarm ringkas, seperti jumlah job tertua atau jumlah worker stale; metrik umumnya tidak menjelaskan rantai dependensi satu job secara terperinci.
Pilih pendekatan berdasarkan kebutuhan: gunakan SQL untuk kueri operasional langsung, metrik untuk pemantauan agregat, dan aturan Datalog ketika relasi serta penalaran atas snapshot menjadi inti diagnosis. Tidak ada satu pun yang menggantikan mekanisme retry, penguncian, lease yang benar, atau rekonsiliasi job.
Batas penggunaan dan langkah operasional
Aturan hanya seakurat fakta dan semantik waktunya. Datalog tidak memperbaiki snapshot yang tidak konsisten, tidak menjamin eksekusi job tunggal, dan tidak menentukan tindakan pemulihan yang aman. Hasil seperti expired_lease harus memicu pemeriksaan atau alur pemulihan yang dirancang terpisah, bukan penghapusan lease secara sembarang.
Mulailah dengan aturan ready, blocked, stale_worker, dan expired_lease. Validasi semuanya pada snapshot yang dapat direproduksi, tampilkan alasan setiap temuan, lalu tambahkan aturan tingkat antrean setelah definisi “macet” disepakati oleh tim operasi.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!