Kode hasil LLM dapat terlihat rapi dan tetap salah: kebutuhan bisa ditafsirkan keliru, kondisi batas terlewat, atau perubahan tidak cocok dengan perilaku sistem yang sudah ada. Sebelum merge, verifikasi kode terhadap persyaratan dan kontrak sistem; jangan mengandalkan penjelasan atau test yang dibuat oleh LLM sebagai bukti kebenaran.
Gunakan test untuk memeriksa perilaku yang diharapkan, review diff untuk menemukan perubahan yang tidak perlu atau berisiko, lalu jalankan pemeriksaan deterministik di CI. Test yang lolos meningkatkan keyakinan, tetapi tidak membuktikan bahwa implementasi benar untuk semua kondisi.
Mulai dari kebutuhan dan asumsi
Sebelum menjalankan test, tuliskan secara singkat apa yang seharusnya berubah dan apa yang harus tetap sama. Bandingkan perubahan dengan tiket, dokumentasi API, aturan bisnis, dan pola implementasi di repositori. Ini membantu menemukan kesalahan spesifikasi yang tidak akan terdeteksi oleh test yang hanya meniru kode baru.
Periksa asumsi yang dibuat LLM, terutama tentang:
- Nilai input: apakah input boleh kosong, null, duplikat, atau di luar rentang?
- Kontrak: bagaimana fungsi menangani kegagalan, format data, dan status yang tidak dikenal?
- Efek samping: apakah perubahan menulis ke database, mengirim pesan, atau mengubah urutan operasi?
- Kompatibilitas: apakah pemanggil lama, data tersimpan, atau klien API tetap bekerja?
- Keamanan: apakah input dipercaya, otorisasi diperiksa, dan data sensitif ditangani dengan benar?
Jika persyaratan ambigu, klarifikasi sebelum menulis test. Test untuk perilaku yang salah hanya membuat kesalahan lebih sulit terlihat.
Pilih unit test dan integration test sesuai risiko
Unit test untuk aturan lokal
Gunakan unit test untuk aturan yang dapat diuji pada satu fungsi atau komponen secara terisolasi. Fokus pada hasil yang terlihat dari luar, bukan detail implementasi yang mudah berubah. Untuk aturan validasi harga, misalnya, uji nilai normal, batas minimum, dan input yang ditolak.
Unit test cepat dan membantu melokalisasi kegagalan. Namun, unit test dengan dependency yang seluruhnya diganti mock tidak membuktikan bahwa komponen benar-benar terhubung dengan database, layanan, atau format pesan yang dipakai aplikasi.
Integration test untuk batas antar-komponen
Tambahkan integration test ketika perubahan menyentuh interaksi penting, seperti query database, serialisasi API, transaksi, atau pemrosesan pesan. Test ini memeriksa bahwa beberapa bagian bekerja bersama melalui kontrak nyata yang relevan.
Pilih batas yang memberi bukti berguna tanpa membuat test terlalu luas. Jika perubahan hanya mengubah aturan perhitungan murni, unit test biasanya cukup. Jika perubahan mengubah query atau kontrak endpoint, tambahkan integration test yang memverifikasi hasil melalui jalur tersebut.
Periksa edge case dan perubahan di diff
Bangun daftar kondisi dari kontrak
Jangan menambahkan edge case secara acak. Turunkan kondisi uji dari aturan bisnis dan batas sistem. Periksa kondisi seperti:
- Input kosong, null, tidak valid, atau berukuran ekstrem.
- Nilai tepat di batas, satu tingkat di bawah, dan satu tingkat di atas.
- Data tidak ditemukan, duplikat, atau dalam urutan berbeda.
- Kegagalan dependency dan hasil parsial, jika perubahan memang menangani kondisi tersebut.
- Pengguna tanpa izin dan akses lintas pemilik data untuk perubahan yang menyentuh otorisasi.
Untuk setiap kondisi, tetapkan hasil yang diharapkan dari kontrak. Jangan menganggap implementasi yang ada sebagai spesifikasi jika perilakunya mungkin sudah keliru.
Review diff secara manual
Baca seluruh diff, bukan hanya file utama. Periksa perubahan dependensi, konfigurasi, migrasi, logging, penanganan error, dan file yang terhapus. Tanyakan apakah setiap perubahan diperlukan untuk permintaan, apakah ada jalur eksekusi yang belum tertangani, dan apakah test baru benar-benar gagal ketika perilaku yang dimaksud rusak.
Waspadai test yang hanya mengulang logika implementasi, mock yang menyembunyikan kontrak penting, atau ekspektasi yang terlalu longgar. Periksa juga apakah pesan error dan perubahan skema kompatibel dengan pemanggil atau data yang sudah ada.
Masukkan pemeriksaan deterministik ke CI
CI sebaiknya menjalankan pemeriksaan yang hasilnya konsisten untuk commit yang sama: test yang relevan, pemeriksaan format atau lint yang sudah digunakan repositori, pemeriksaan tipe jika tersedia, dan validasi build bila diperlukan. Gunakan perintah dan konfigurasi proyek yang sudah ada; jangan menambahkan tool baru hanya untuk perubahan kecil.
Jalankan pemeriksaan yang sama secara lokal sebelum membuka atau memperbarui pull request. Jika pemeriksaan CI gagal, baca keluaran kegagalan dan reproduksi dengan perintah yang sama. Jangan melewati pemeriksaan dengan menghapus test atau melonggarkan aturan tanpa memahami penyebabnya.
CI memeriksa kondisi yang telah diprogramkan, bukan kebenaran spesifikasi. Karena itu, hasil CI harus dilengkapi review terhadap kebutuhan dan diff.
Contoh alur kerja sebelum merge
- Rumuskan perubahan: catat perilaku yang diminta, kontrak terkait, dan asumsi yang perlu dikonfirmasi.
- Periksa implementasi: baca kode dan seluruh diff; cari perubahan di luar lingkup serta risiko pada data, keamanan, dan kompatibilitas.
- Tulis test perilaku: gunakan unit test untuk aturan lokal dan integration test untuk batas antar-komponen yang berubah. Tambahkan edge case berdasarkan kontrak.
- Jalankan pemeriksaan lokal: gunakan test dan pemeriksaan proyek yang sama dengan CI. Telusuri kegagalan sampai penyebabnya jelas.
- Review hasil: pastikan test menguji perilaku yang diminta, bukan sekadar meneguhkan asumsi kode baru. Minta review manusia untuk perubahan berisiko atau aturan yang ambigu.
- Periksa CI dan diff terakhir: setelah revisi, pastikan pemeriksaan wajib lulus dan tinjau ulang perubahan sebelum merge.
Kriteria siap di-merge
Perubahan siap di-merge ketika persyaratannya jelas, diff tetap dalam lingkup, perilaku penting dan kondisi batas yang relevan memiliki pemeriksaan, serta pemeriksaan wajib CI lulus. Review juga harus memastikan tidak ada masalah terbuka pada keamanan, kompatibilitas, migrasi, atau penanganan error.
Kriteria ini mengurangi risiko, bukan menjamin ketiadaan bug. Untuk perubahan dengan dampak besar, seperti perubahan skema atau alur otorisasi, tambahkan review dan validasi sesuai risiko operasionalnya. Prinsipnya tetap sama: verifikasi klaim kode melalui kontrak, bukti test yang relevan, dan pemeriksaan manusia terhadap perubahan.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!