Database Sharding 101: Strategi Skalabilitas Horizontal untuk Backend

423 words • 3,240 chars Markdown
Raw

Database Sharding 101: Strategi Skalabilitas Horizontal untuk Backend

Halo, rekan-rekan sesama backend engineer! Ketika aplikasi kita mulai berkembang pesat dan jumlah pengguna melonjak ribuan kali lipat, database monolithic yang kita miliki lambat laun akan mulai kewalahan. Vertical scaling (menambah spesifikasi server database) ada batasnya dan tentu sangat mahal. Di sinilah Database Sharding menjadi juru selamat.

Mari kita bedah konsep dasar, strategi, dan kapan waktu yang tepat untuk menerapkannya di arsitektur backend kalian.

Apa itu Database Sharding?

Secara singkat, sharding adalah teknik memecah satu database besar menjadi beberapa bagian kecil yang disebut shards. Setiap shard ini adalah database mandiri yang berjalan di server terpisah.

Pembagian data ini menggunakan shard key—sebuah kolom atau kombinasi kolom yang menentukan ke shard mana sebuah baris data akan disimpan.

Strategi Pemilihan Shard Key

Memilih shard key adalah keputusan paling krusial dalam arsitektur ini. Salah pilih, backend kalian malah akan mengalami hotspotting (beberapa server bekerja sangat keras, sementara server lain santai).

Berikut adalah tiga strategi utama yang sering digunakan:

1. Range-Based Sharding

Data dibagi berdasarkan rentang nilai tertentu, misalnya berdasarkan abjad nama belakang pengguna atau rentang tanggal.

  • Kelebihan: Mudah melakukan query range (misal: data tahun 2023).
  • Kekurangan: Berisiko tinggi terjadi hotspot jika sebagian besar aktivitas terkonsentrasi pada rentang data terbaru.

2. Hash-Based Sharding

Nilai dari shard key dimasukkan ke dalam fungsi hash (seperti MD5 atau MurmurHash), lalu hasilnya dimodulo dengan jumlah shard yang tersedia.

// Contoh ilustrasi sederhana hash sharding
function getShardId(userId, totalShards) {
    const hash = crypto.createHash('md5').update(userId).digest('hex');
    const intVal = parseInt(hash.slice(0, 8), 16);
    return intVal % totalShards;
}
  • Kelebihan: Distribusi data sangat merata, menghindari hotspot.
  • Kekurangan: Sulit melakukan range query karena data tersebar secara acak.

3. Directory-Based Sharding

Menggunakan lookup service atau database terpisah yang bertindak sebagai peta untuk mencatat di shard mana data tertentu disimpan.

  • Kelebihan: Sangat fleksibel dalam menambah atau memindahkan shard.
  • Kekurangan: Lookup table bisa menjadi single point of failure (SPOF) dan menambah latency jaringan.

Kapan Backend Anda Butuh Sharding?

Jangan terburu-buru menerapkan sharding di awal pembuatan produk MVP (Minimum Viable Product). Terapkan strategi ini jika:

  1. Ukuran data sudah melebihi kapasitas penyimpanan satu server fisik.
  2. Throughput (jumlah Read/Write per detik) sudah melampaui batas maksimal I/O disk.
  3. Optimasi indexing dan query sudah dilakukan secara maksimal, tetapi latency tetap tinggi.

Kesimpulan

Database sharding memang memberikan skalabilitas horizontal yang luar biasa, namun di sisi lain ia menambah kompleksitas pada lapisan aplikasi, manajemen backup, dan konsistensi data (ACID transactions antar shard). Pastikan kalian telah memaksimalkan indexing, connection pooling, dan query optimization sebelum memutuskan terjun ke arsitektur sharded.

Sampai jumpa di artikel teknis berikutnya, keep building clean code and keep scaling!