Masalah Latency Spike pada Infinite Scroll di Edge Database
Menjalankan infinite scroll untuk feed video pada sistem edge—seperti Single Board Computer (SBC), gateway IoT, atau embedded server berbasis SQLite/PostgreSQL lokal—menghadapi batasan CPU dan I/O disk yang ketat. Pendekatan umum menggunakan OFFSET dan LIMIT mengalami degradasi performa eksponensial seiring bertambahnya halaman yang dimuat oleh pengguna.
Ketika query menggunakan klausa OFFSET 100000 LIMIT 10, database engine tidak langsung melompat ke baris ke-100.001. Engine harus membaca, memindai, dan mengurutkan 100.000 baris pertama di memori atau disk sebelum membuangnya dan mengembalikan 10 baris yang diminta. Pada hardware edge dengan bandwidth penyimpanan terbatas (misalnya microSD atau eMMC kelas rendah), beban pembacaan tuple ini memicu I/O wait tinggi dan spike latensi CPU.
Solusi: Keyset Pagination Berbasis Composite Index
Keyset pagination (cursor-based pagination) menyelesaikan inefisiensi tersebut dengan memanfaatkan indeks B-Tree secara langsung. Query menggunakan nilai kolom dari baris terakhir yang diambil sebagai filter titik awal (anchor) pembacaan halaman berikutnya. Kompleksitas pencarian data berubah dari O(N) pada OFFSET menjadi O(log N) pada keyset traversal.
Untuk feed video, pengurutan umumnya dilakukan berdasarkan waktu (created_at DESC). Namun, kolom timestamp rentan terhadap nilai duplikat jika multiple baris dibuat pada milidetik yang sama. Kita wajib membuat composite index unik yang memadukan timestamp dan primary key (created_at, id) agar hasil urutan deterministik dan pagination tidak melompati baris data.
Skema Basis Data dan Composite Index
-- Skema tabel video
CREATE TABLE videos (
id BIGINT PRIMARY KEY,
title TEXT NOT NULL,
url TEXT NOT NULL,
created_at TIMESTAMP WITH TIME ZONE NOT NULL
);
-- Composite index descending untuk pagination feed video
CREATE INDEX idx_videos_feed_keyset
ON videos (created_at DESC, id DESC);Composite index ini memastikan B-Tree terurut menurun berdasarkan waktu pembuatan, lalu menurun berdasarkan identifier unik. Database engine dapat melakukan Index Scan langsung ke posisi baris terakhir tanpa membaca baris sebelumnya.
Perbandingan Eksekusi: OFFSET vs Keyset Indexing
Berikut adalah perbandingan pola query dan eksekusinya ketika mengambil 10 item pada feed yang telah berputar jauh.
Query Berbasis OFFSET
SELECT id, title, url, created_at
FROM videos
ORDER BY created_at DESC, id DESC
LIMIT 10 OFFSET 50000;Output EXPLAIN ANALYZE pada PostgreSQL:
Limit (cost=3254.12..3254.77 rows=10 width=72) (actual time=48.215..48.228 rows=10 loops=1)
-> Index Scan using idx_videos_feed_keyset on videos (cost=0.42..6508.24 rows=100000 width=72) (actual time=0.045..42.110 rows=50010 loops=1)
Planning Time: 0.082 ms
Execution Time: 48.261 msEngine memindai 50.010 baris (rows=50010) sebelum membuang 50.000 di antaranya. Operasi ini boros CPU dan siklus read.
Query Berbasis Keyset Indexing
SELECT id, title, url, created_at
FROM videos
WHERE (created_at, id) < ('2026-03-29T10:15:30.123456Z', 49201)
ORDER BY created_at DESC, id DESC
LIMIT 10;Output EXPLAIN ANALYZE pada PostgreSQL:
Limit (cost=0.42..1.12 rows=10 width=72) (actual time=0.038..0.045 rows=10 loops=1)
-> Index Scan using idx_videos_feed_keyset on videos (cost=0.42..6508.24 rows=10 width=72) (actual time=0.036..0.042 rows=10 loops=1)
Index Cond: (ROW(created_at, id) < ROW('2026-03-29 10:15:30.123456+00'::timestamp with time zone, 49201))
Planning Time: 0.091 ms
Execution Time: 0.065 msPada query keyset, database melompat langsung ke tuple yang relevan melalui Index Cond. Waktu eksekusi turun drastis dari 48 ms menjadi sub-milidetik (0.065 ms) tanpa pemindaian baris sia-sia.
Catatan Kompatibilitas SQLite: SQLite mendukung row value comparisonWHERE (created_at, id) < (?, ?)sejak versi 3.15.0. Jika menggunakan versi lama, gunakan klausa ekspansif ekuivalen:WHERE created_at < ? OR (created_at = ? AND id < ?).
Implementasi Endpoint dan Validasi Cursor Token
Cursor tidak boleh dikirim mentah dalam format SQL ke client untuk menghindari SQL injection dan ketergantungan struktur internal. Cursor dienkapsulasi ke format opaque string (misalnya Base64 URL-safe JSON token).
Contoh Handler API (Node.js / Express)
import express from 'express';
import { Pool } from 'pg';
const router = express.Router();
const db = new Pool();
// Helper encode cursor
function encodeCursor(createdAt, id) {
const payload = JSON.stringify({ c: createdAt.toISOString(), i: id });
return Buffer.from(payload).toString('base64url');
}
// Helper decode dan validasi cursor
function decodeCursor(cursorToken) {
try {
const raw = Buffer.from(cursorToken, 'base64url').toString('utf8');
const parsed = JSON.parse(raw);
if (!parsed.c || !parsed.i) return null;
const timestamp = new Date(parsed.c);
const id = Number(parsed.i);
// Validasi format data
if (isNaN(timestamp.getTime()) || !Number.isInteger(id) || id <= 0) {
return null;
}
return { createdAt: timestamp.toISOString(), id };
} catch {
return null;
}
}
router.get('/api/v1/videos/feed', async (req, res) => {
const limit = Math.min(Math.max(Number(req.query.limit) || 10, 1), 50);
const cursorParam = req.query.cursor;
let queryText;
let queryParams;
if (cursorParam) {
const cursor = decodeCursor(cursorParam);
if (!cursor) {
return res.status(400).json({ error: 'Format cursor tidak valid' });
}
queryText = `
SELECT id, title, url, created_at
FROM videos
WHERE (created_at, id) < ($1, $2)
ORDER BY created_at DESC, id DESC
LIMIT $3;
`;
queryParams = [cursor.createdAt, cursor.id, limit];
} else {
// Request pertama tanpa cursor
queryText = `
SELECT id, title, url, created_at
FROM videos
ORDER BY created_at DESC, id DESC
LIMIT $1;
`;
queryParams = [limit];
}
try {
const { rows } = await db.query(queryText, queryParams);
let nextCursor = null;
if (rows.length === limit) {
const lastItem = rows[rows.length - 1];
nextCursor = encodeCursor(lastItem.created_at, lastItem.id);
}
return res.json({
data: rows,
meta: {
next_cursor: nextCursor,
count: rows.length
}
});
} catch (err) {
return res.status(500).json({ error: 'Gagal mengeksekusi query feed' });
}
});
export default router;Trade-off dan Limitasi Keyset Indexing
- Tidak Mendukung Loncat Halaman (Page Jumping): Keyset pagination tidak dapat langsung berpindah ke halaman acak (misalnya membuka halaman 10 secara acak). Ini bukan masalah untuk infinite scroll, yang membaca data secara berurutan.
- Pengurutan Multi-Arah Kompleks: Jika client membutuhkan sorting dinamis (berdasarkan popularitas, rating, waktu) secara bergantian, setiap variasi kolom sorting membutuhkan composite index pendukungnya sendiri.
- Konsistensi Data: Jika baris yang menjadi penanda cursor dihapus dari database sebelum page berikutnya dipanggil, composite index comparison
(created_at, id) < (cursor_at, cursor_id)tetap berfungsi akurat karena database hanya membandingkan nilai koordinat tuple, bukan mengandalkan keberadaan baris fisik tersebut.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!