Antrean Kopi dan Performa Sistem: Memahami P95 & P99 Latency dengan Analogi Sederhana

Dalam konteks performa sistem, terutama untuk latency (waktu tunda atau waktu respons), P95 dan P99 adalah metrik yang sangat penting dan lebih informatif daripada hanya melihat rata-rata (average). P95 dan P99, Keduanya adalah persentil.

Mari kita bedah artinya:

Apa itu Latency?

Latency adalah waktu yang dibutuhkan untuk menyelesaikan suatu operasi atau permintaan. Contoh:

• Waktu yang dibutuhkan server untuk merespons permintaan API.
• Waktu yang dibutuhkan halaman web untuk dimuat sepenuhnya.
• Waktu yang dibutuhkan database untuk menjalankan sebuah query.

Mengapa Rata-rata (Average) Tidak Cukup?

Melihat rata-rata latency seringkali bisa menyesatkan. Bayangkan kita memiliki 100 permintaan atau operasi:

• 99 permintaan selesai dalam 100 ms.
• 1 permintaan selesai dalam 10.000 ms (10 detik).

Rata-rata latency akan terlihat cukup baik, tetapi ada satu pengguna yang mengalami penundaan yang sangat lama. Rata-rata menyembunyikan “ekor panjang” dari permintaan yang lambat, yang bisa sangat memengaruhi pengalaman pengguna.

Di sinilah persentil berperan.

P95 Latency (95th Percentile Latency)

Definisi: P95 latency adalah nilai latency di mana 95% dari semua permintaan selesai dalam waktu tersebut atau lebih cepat.

Artinya: Jika P95 latency kita adalah 200 ms, itu berarti 95 dari setiap 100 permintaan selesai dalam 200 milidetik atau kurang. Hanya 5% dari permintaan yang lebih lambat dari 200 ms.

Pentingnya: P95 adalah metrik yang sangat baik untuk memahami pengalaman sebagian besar pengguna. Ini memberikan gambaran yang lebih akurat tentang “pengalaman umum” daripada rata-rata, karena mengabaikan outlier yang sangat ekstrem (yang mungkin disebabkan oleh masalah jaringan sesaat atau anomali lainnya) tetapi tetap menangkap pengalaman mayoritas. Ini sering digunakan sebagai target SLA (Service Level Agreement) untuk aplikasi yang berhadapan langsung dengan pengguna.

P99 Latency (99th Percentile Latency)

Definisi: P99 latency adalah nilai latency di mana 99% dari semua permintaan selesai dalam waktu tersebut atau lebih cepat.

Artinya: Jika P99 latency adalah 500 ms, itu berarti 99 dari setiap 100 permintaan selesai dalam 500 milidetik atau kurang. Hanya 1% dari permintaan yang lebih lambat dari 500 ms.

Pentingnya: P99 berfokus pada pengalaman “worst-case” (terburuk) bagi sebagian kecil pengguna, atau sering disebut “long tail” dari distribusi latency. Meskipun hanya 1% dari permintaan, dalam sistem dengan volume tinggi, 1% ini bisa berarti ribuan atau jutaan permintaan yang lambat.

• Ini sangat penting untuk sistem yang mission-critical, layanan backend, atau API internal di mana bahkan sejumlah kecil permintaan yang lambat dapat menyebabkan efek berjenjang (cascading failures) atau memengaruhi pengguna “power user” yang sangat penting.
• Meningkatkan P99 seringkali membutuhkan upaya rekayasa yang lebih signifikan karena kita harus mengidentifikasi dan mengatasi bottleneck yang lebih sulit ditemukan.

Analogi Sederhana: Waktu Tunggu di Kedai Kopi

Bayangkan layaknya mengukur waktu yang dibutuhkan untuk menyiapkan 100 cangkir kopi:

• Rata-rata (Average): Mungkin 60 detik. Tapi ini bisa berarti 99 cangkir selesai dalam 30 detik, dan 1 cangkir butuh 30 menit karena mesin rusak. Rata-rata 60 detik tidak mencerminkan pengalaman buruk pelanggan ke-100.
• P95 Latency: 90 detik. Ini berarti 95 dari 100 pelanggan mendapatkan kopi mereka dalam 90 detik atau kurang. Hanya 5 pelanggan yang menunggu lebih dari 90 detik. Ini adalah pengalaman yang dialami sebagian besar pelanggan.
• P99 Latency: 200 detik. Ini berarti 99 dari 100 pelanggan mendapatkan kopi mereka dalam 200 detik atau kurang. Hanya 1 pelanggan yang menunggu lebih dari 200 detik. Ini adalah pengalaman terburuk (hampir) yang dialami oleh pelanggan, dan mungkin menunjukkan masalah serius yang jarang terjadi (misalnya, barista baru yang kebingungan).

Kesimpulan

• Rata-rata memberikan gambaran umum, tetapi menyembunyikan masalah di “ekor” distribusi.
• P95 adalah indikator yang baik untuk pengalaman pengguna yang “khas” atau “mayoritas”.
• P99 (dan persentil yang lebih tinggi seperti P99.9) adalah metrik yang lebih ketat yang menyoroti masalah kinerja yang memengaruhi sebagian kecil permintaan, tetapi bisa sangat penting untuk keandalan sistem dan kepuasan pengguna secara keseluruhan.

Refs:

• https://sre.google/sre-book/service-level-objectives/
• https://sre.google/sre-book/monitoring-distributed-systems/