Pengujian isolasi dual-kernel harus membuktikan bahwa kegagalan atau perilaku salah pada satu kernel tidak merusak kernel lain, dan bahwa komunikasi antarkernel tetap mematuhi kontrak yang disepakati. Cara praktisnya adalah menetapkan batas kepercayaan dan kontrak IPC lebih dahulu, lalu menguji perilaku normal serta kegagalan secara bertahap: unit, integrasi, fault injection, dan regresi.
QSOE menjadi konteks teknis dalam panduan ini, bukan sumber asumsi tentang desain internalnya. Jika dokumentasi atau kode QSOE yang tersedia tidak menjelaskan mekanisme IPC, pemetaan memori, atau pembagian tanggung jawab kernel, perlakukan hal tersebut sebagai hal yang perlu diverifikasi. Contoh kontrak berikut bersifat ilustratif dan harus disesuaikan dengan implementasi nyata.
Tetapkan batas kepercayaan dan sasaran isolasi
Dual-kernel dapat membagi fungsi sistem operasi antara dua kernel, tetapi pembagian persisnya bergantung pada desain. Jangan menyimpulkan bahwa suatu kernel mengelola perangkat, memori, atau penjadwalan tertentu hanya dari istilah “dual-kernel”. Mulailah dengan memetakan komponen, hak akses, jalur komunikasi, dan sumber daya yang benar-benar digunakan.
- Batas kepercayaan: identifikasi komponen yang dianggap dapat gagal, dikompromikan, atau mengirim input tidak valid. Kernel lain dan subsistem di dalamnya tidak boleh otomatis memercayai pesan yang diterima.
- Batas perlindungan: catat mekanisme yang mencegah akses lintas kernel, seperti ruang alamat terpisah, hak akses memori, atau kontrol akses perangkat—hanya jika mekanisme itu memang diterapkan.
- Batas kegagalan: tentukan dampak yang diizinkan saat subsistem berhenti merespons atau mati. Contohnya, permintaan gagal dengan status yang terdokumentasi, bukan membuat kernel penerima macet.
- Asumsi platform: dokumentasikan ketergantungan pada perangkat keras, firmware, konfigurasi boot, dan fitur isolasi CPU atau memori.
Buat diagram alur pesan dan matriks tanggung jawab sebelum menulis pengujian. Untuk setiap jalur, catat pengirim, penerima, data yang dibagi, hak akses, batas waktu, serta tindakan saat kegagalan. Matriks ini membantu membedakan bug protokol dari kegagalan perangkat keras.
Definisikan kontrak IPC yang dapat diuji
Kontrak IPC adalah aturan yang harus dipatuhi pengirim dan penerima, bukan sekadar format struktur data. Tentukan identitas pesan, versi atau aturan kompatibilitas, ukuran maksimum, validasi nilai, kepemilikan buffer, batas waktu, status hasil, dan perilaku ketika pengirim atau penerima menghilang.
Contoh berikut menggambarkan aturan, bukan format IPC khusus QSOE:
Request:
operation: nilai yang dikenal
request_id: identitas untuk mengorelasikan respons
payload_length: panjang payload, dibatasi maksimum yang disepakati
payload: data dengan format yang divalidasi penerima
Response:
request_id: sama dengan permintaan yang dijawab
status: sukses atau kode kegagalan yang terdokumentasi
payload_length: panjang respons yang valid
payload: data respons
Penerima perlu memeriksa ukuran sebelum membaca payload, menolak operasi yang tidak dikenal, dan tidak memakai data setelah masa hidup buffer berakhir. Jika protokol mendukung permintaan ulang, tetapkan apakah operasi idempoten atau bagaimana duplikasi ditangani. Jangan menganggap timeout berarti operasi pasti tidak terjadi: penerima mungkin telah memproses permintaan tetapi responsnya terlambat atau hilang.
Uji validasi tanpa bergantung pada transport
Tempatkan validasi pesan dalam kode yang dapat diuji terpisah dari mekanisme IPC, bila arsitektur memungkinkan. Kirim ukuran nol, ukuran di atas batas, panjang yang tidak cocok dengan buffer, operasi tak dikenal, nilai enum di luar rentang, dan kombinasi bidang yang tidak konsisten. Pastikan setiap input ditolak dengan hasil yang ditentukan dan tidak menyebabkan akses di luar batas atau perubahan keadaan parsial.
Susun pengujian dari unit hingga regresi
Pengujian unit
Uji parser, validator, transisi status, dan pemetaan kode kesalahan secara terpisah. Gunakan input valid dan tidak valid, termasuk batas ukuran minimum dan maksimum. Uji pula aturan korelasi respons, penanganan ID yang tidak cocok, dan pembersihan sumber daya setelah permintaan gagal.
Pengujian integrasi
Jalankan kedua sisi IPC bersama pada lingkungan yang mendekati konfigurasi target. Verifikasi bahwa pesan valid mencapai penerima, respons berkorelasi dengan permintaan, batas ukuran ditegakkan, dan pembatalan atau timeout menghasilkan status yang konsisten. Uji juga urutan pesan yang relevan: respons terlambat, respons ganda, atau pesan dari subsistem yang baru dimulai ulang.
Fault injection
Suntikkan kegagalan pada batas antarkomponen, bukan dengan mengubah perilaku secara acak di seluruh sistem. Titik injeksi dapat berupa transport IPC, pembungkus permintaan, atau harness pengujian. Catat titik dan kondisi injeksi agar kegagalan dapat diulang.
- Timeout: tahan atau hilangkan respons. Pastikan pemanggil berhenti menunggu sesuai batas waktu, melepaskan sumber daya, dan tidak menerima hasil lama sebagai respons baru.
- Pesan malformed: kirim panjang tidak valid, bidang wajib yang hilang, ID tidak cocok, atau operasi tak dikenal. Penerima harus menolak pesan tanpa merusak keadaan.
- Crash subsistem: hentikan subsistem sebelum menerima pesan, saat memproses, dan setelah memproses tetapi sebelum merespons. Periksa apakah pemanggil gagal secara terkendali dan apakah pemulihan, jika didukung, tidak memakai status usang.
- Gangguan urutan: tunda atau susun ulang pesan jika transport mengizinkannya. Gunakan hanya skenario yang sesuai dengan jaminan urutan IPC yang terdokumentasi.
- Kegagalan sumber daya: jika mekanisme pengujian mendukungnya, simulasikan kegagalan alokasi atau kehabisan kapasitas antrean. Verifikasi bahwa kegagalan dilaporkan dan tidak meninggalkan kebocoran.
Untuk crash, jangan mengasumsikan subsistem bisa dimulai ulang atau bahwa pesan yang belum selesai aman untuk dikirim ulang. Uji hanya kebijakan pemulihan yang ditetapkan oleh sistem; jika kebijakan belum ada, catat sebagai keputusan desain yang belum diverifikasi.
Pengujian regresi
Simpan setiap temuan sebagai kasus reproduksi dengan konfigurasi, urutan kejadian, titik injeksi, dan hasil yang diharapkan. Jalankan kasus tersebut pada perubahan kode yang menyentuh protokol, isolasi, penjadwalan, atau pemulihan. Hindari menjadikan hasil satu kali dari perangkat keras sebagai tes regresi tanpa terlebih dahulu memastikan penyebabnya dapat dikendalikan.
Buat hasil deterministik dan pisahkan kegagalan perangkat keras
Determinisme membuat kegagalan dapat diulang dan dibandingkan. Gunakan urutan operasi yang eksplisit, batas waktu yang ditetapkan untuk skenario uji, input tetap, serta titik injeksi yang dapat dipicu secara terkontrol. Catat identitas permintaan, status subsistem, waktu kejadian, konfigurasi boot, dan hasil yang diharapkan. Jangan memakai tidur tetap sebagai satu-satunya cara menyelaraskan proses; gunakan kondisi sinkronisasi atau sinyal harness yang memang tersedia.
Pisahkan pengujian yang sepenuhnya dapat disimulasikan dari pengujian pada perangkat keras target. Simulasi cocok untuk menguji validasi dan jalur penanganan kesalahan, tetapi tidak membuktikan isolasi fisik atau perilaku interaksi perangkat keras. Pengujian target diperlukan untuk memeriksa batas yang bergantung pada platform, tetapi hasilnya dapat dipengaruhi firmware, suhu, daya, atau perangkat yang tidak stabil.
Saat sebuah tes gagal, simpan log dari kedua sisi IPC beserta konfigurasi dan urutan kejadian. Jalankan ulang dengan kondisi sama, lalu bandingkan dengan tes kontrol yang tidak memakai fault injection. Jika kegagalan hanya muncul pada perangkat tertentu, verifikasi perangkat dan konfigurasi menggunakan tes kontrol sebelum menyimpulkan adanya bug perangkat keras. Sebaliknya, jangan mengabaikan kegagalan yang dapat direproduksi sebagai “flaky” tanpa bukti.
Tetapkan kriteria verifikasi sebelum rilis
Kriteria rilis sebaiknya menyatakan perilaku yang dapat diamati, bukan hanya bahwa tes telah dijalankan. Sesuaikan kriteria dengan arsitektur dan risiko QSOE yang benar-benar diketahui:
- Setiap jenis pesan yang tercakup memiliki aturan validasi dan batas ukuran yang terdokumentasi.
- Input malformed ditolak tanpa crash, korupsi keadaan, atau akses di luar batas yang terdeteksi.
- Timeout dan crash subsistem menghasilkan status yang terdokumentasi serta tidak membuat pemanggil menunggu tanpa batas.
- Respons terlambat atau tidak cocok tidak diterapkan pada permintaan lain.
- Pengujian isolasi yang bergantung pada perangkat keras lulus pada konfigurasi target yang ditetapkan, dengan hasil dan konfigurasi tercatat.
- Kasus regresi untuk bug yang telah diperbaiki lulus pada jalur pengujian yang relevan.
Jangan menyatakan isolasi terbukti hanya karena jalur normal berhasil. Verifikasi harus mencakup jalur kegagalan, batas IPC, dan asumsi platform. Jika sebagian mekanisme QSOE belum terdokumentasi atau belum dapat diuji, nyatakan cakupan dan batas bukti tersebut secara eksplisit dalam catatan rilis.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!