Agen kode bekerja dalam loop: membaca konteks, mengubah kode, lalu menguji hasil. Loop yang selesai tanpa error belum membuktikan perubahan benar. Verifikasi perlu memastikan diff tetap dalam scope, perilaku yang diubah memiliki test yang relevan, dan fitur lama tidak rusak.

Gunakan validasi bertahap: mulai dari pemeriksaan diff dan test tercepat, lanjutkan ke suite yang lebih luas, lalu ulangi pemeriksaan di lingkungan bersih. Urutan ini membantu menemukan masalah lebih awal tanpa menganggap hasil satu test sebagai bukti lengkap.

Prinsip validasi untuk loop agen kode

Setiap iterasi agen dapat menambah atau mengubah kode, test, dan konfigurasi. Karena itu, validasi harus memeriksa hasil akhir, bukan hanya mengikuti klaim agen bahwa test sudah lulus. Tentukan scope sebelum perubahan: file atau perilaku yang boleh berubah, batasan kompatibilitas, dan test yang perlu dijalankan.

Pendekatan ini sejalan dengan gagasan loop agen dalam catatan Dan Luu tentang agentic loops: agen dapat mengulang tindakan dan menerima umpan balik dari test. Dalam praktik tim, umpan balik itu perlu dilengkapi pemeriksaan manusia atas diff, cakupan validasi, dan risiko perubahan. Hasil test bukan pengganti tinjauan kode.

Batasi scope sebelum agen mulai

  • Nyatakan perilaku yang harus berubah dan perilaku yang harus tetap sama.
  • Tentukan area yang boleh disentuh, misalnya satu modul dan test terkait.
  • Minta agen tidak mengubah dependensi, format data, atau API publik kecuali tugas memang memerlukannya.
  • Tetapkan perintah test yang tersedia di repositori; jangan mengasumsikan nama script atau tool tertentu.

Scope yang jelas membuat diff lebih mudah ditinjau. Jika agen mengubah file di luar batas, cari alasan perubahannya. Tolak perubahan yang tidak diperlukan, bukan sekadar menerima karena seluruh test lulus.

Workflow validasi bertahap

1. Periksa diff sebelum menjalankan test

Mulai dengan status repositori dan diff. Pastikan perubahan agen tidak bercampur dengan pekerjaan lain yang belum disimpan.

git status --short
git diff --check
git diff --stat
git diff

git diff --check membantu menemukan whitespace bermasalah, tetapi tidak membuktikan kebenaran program. Tinjau logika, penanganan input batas, pesan error, perubahan kontrak, serta test yang ditambahkan atau diubah. Periksa juga file yang tidak dilacak dengan git status; file tersebut tidak selalu tampak dalam diff biasa.

2. Jalankan test terarah

Jalankan test terdekat dengan perubahan: unit test untuk fungsi yang diubah, test komponen untuk interaksi terkait, atau test integrasi untuk batas antarmodul. Gunakan perintah resmi proyek, misalnya perintah untuk satu file test atau satu suite kecil. Jangan menebak nama perintah; lihat dokumentasi repositori atau konfigurasi CI.

Test terarah memberi umpan balik cepat dan membantu mengisolasi kegagalan. Jika gagal, tentukan apakah penyebabnya perubahan, test yang sudah rapuh, atau lingkungan. Jangan memperluas perubahan untuk memperbaiki area yang tidak terkait sebelum memahami kegagalan.

3. Jalankan suite regresi yang relevan

Setelah test terarah lulus, jalankan suite yang mencakup dependensi dan kontrak yang mungkin terdampak. Untuk perubahan API, misalnya, periksa test handler, validasi, dan konsumen yang terkait. Untuk perubahan UI, periksa test komponen dan alur integrasi yang menggunakan perilaku tersebut. Jalankan suite penuh jika proyek mewajibkannya atau jika dampak perubahan tidak dapat dibatasi dengan yakin.

Perluas validasi berdasarkan risiko, bukan berdasarkan banyaknya file saja. Satu perubahan kecil pada fungsi bersama dapat berdampak luas; beberapa perubahan dokumentasi dapat berdampak rendah. Catat perintah yang dijalankan dan hasilnya agar peninjau dapat membedakan validasi yang benar-benar dilakukan dari yang disarankan agen.

4. Ulangi di lingkungan bersih

Validasi akhir harus mengurangi ketergantungan pada cache, artefak lokal, atau perubahan tak terlacak. Gunakan checkout atau workspace bersih sesuai praktik proyek, lalu jalankan langkah instalasi dan test yang digunakan CI. Pastikan perubahan yang diuji sama dengan perubahan yang akan di-merge.

Lingkungan bersih berguna untuk menemukan file yang tertinggal, dependensi lokal yang tidak dideklarasikan, serta test yang hanya lulus karena keadaan mesin pengembang. Jangan menghapus data atau artefak penting secara membabi buta; ikuti prosedur pembersihan yang aman untuk proyek.

Contoh: perubahan kecil pada validasi input

Misalkan agen mengubah validasi agar nama pengguna yang hanya berisi spasi ditolak. Batas perilakunya sederhana: nama kosong atau hanya spasi harus ditolak, sedangkan nama dengan karakter non-spasi tetap diterima. Periksa diff untuk memastikan perubahan tidak sekaligus mengubah normalisasi, format respons, atau aturan panjang nama.

  1. Periksa diff dan pastikan hanya validator serta test terkait yang berubah.
  2. Tambahkan atau tinjau test untuk string kosong, string berisi spasi, dan nama valid.
  3. Jalankan test validator secara terarah.
  4. Jalankan test endpoint atau modul yang memakai validator untuk memeriksa regresi kontrak.
  5. Ulangi perintah test yang diwajibkan CI di workspace bersih.

Contoh ini menguji batas yang diminta tanpa memperluas tugas menjadi perancangan ulang seluruh validasi akun. Jika nama pengguna juga dipakai oleh integrasi eksternal, periksa kontrak tersebut sebelum menyetujui perubahan.

Test flaky: isolasi, jangan sembunyikan

Test flaky menghasilkan hasil berbeda tanpa perubahan kode yang relevan. Kegagalan sesekali bukan alasan untuk mengabaikan test atau membuat CI menganggap kegagalan sebagai sukses. Catat nama test, log, lingkungan, dan apakah kegagalan dapat direproduksi. Jalankan ulang secara terbatas untuk mengumpulkan bukti, bukan untuk mengganti hasil gagal dengan hasil lulus.

  • Periksa ketergantungan pada waktu, urutan eksekusi, jaringan, proses paralel, atau data bersama.
  • Jika test gagal secara deterministik setelah perubahan, perlakukan sebagai kegagalan sampai penyebabnya dipahami.
  • Jika test terbukti flaky, buat tindak lanjut terpisah untuk memperbaikinya dan dokumentasikan dampaknya.
  • Jangan menghapus assertion, menonaktifkan test, atau menambah retry tanpa alasan dan batas yang jelas.

Retry dapat membantu mengidentifikasi ketidakstabilan, tetapi berisiko menutupi cacat nyata. Jika pipeline mengisolasi test flaky sementara, kegagalan harus tetap terlihat dan memiliki pemilik serta rencana perbaikan. Kebijakan ini menjaga sinyal regresi tetap berguna.

Kriteria berhenti sebelum merge

Tetapkan kriteria berhenti sebelum loop berjalan agar agen tidak terus mengubah kode tanpa tujuan. Hentikan iterasi ketika semua kondisi berikut terpenuhi:

  • Diff sesuai scope dan tidak memiliki perubahan tak terkait yang belum dijelaskan.
  • Test yang mengunci perilaku baru lulus, dan test regresi yang diwajibkan proyek lulus.
  • Hasil di lingkungan bersih konsisten dengan validasi lokal.
  • Kegagalan yang tersisa sudah diklasifikasikan; tidak ada kegagalan yang disembunyikan atau dianggap lulus tanpa bukti.
  • Kontrak publik, migrasi, konfigurasi, dan risiko keamanan yang relevan sudah ditinjau.

Jika validasi gagal, berikan kegagalan dan log yang relevan kepada agen dengan instruksi memperbaiki penyebab dalam scope. Setelah perbaikan, ulangi test terarah dan suite yang terdampak; jangan hanya mengandalkan hasil dari iterasi sebelumnya.

Checklist yang dapat diterapkan di CI

  • Diff: status bersih dari perubahan tak disengaja, scope masuk akal, dan pemeriksaan whitespace lulus.
  • Test: test terarah serta suite yang diwajibkan proyek dijalankan pada revisi yang sama.
  • Lingkungan: langkah validasi dapat dijalankan dari checkout bersih dengan dependensi yang dideklarasikan.
  • Kegagalan: test gagal membuat job gagal; retry atau isolasi tidak mengubah kegagalan menjadi sukses diam-diam.
  • Tinjauan: perubahan kontrak dan file di luar scope memiliki alasan yang dapat diverifikasi.

CI dapat menegakkan pemeriksaan otomatis, tetapi tidak menilai semua keputusan scope atau kecocokan perubahan dengan kebutuhan. Peninjau tetap perlu membaca diff dan memastikan bukti test sesuai dengan risiko perubahan.