Latency dari HTTP API
Hola semuanya! HTTP API yang healthy (sehat) itu punya latency berapa sih? Ada yang bilang “P991-nya harus maximum 500ms”. Ada juga yang bilang “500ms itu lambat banget, network latency di kota yang sama aja cuman 1ms”. So, sebenernya angka berapa sih yang realistis? Mari kita hitung sendiri!
Mengakses sebuah API, atau data apapun dari internet butuh waktu (yaiyalah!). Paling minimum harus ada 3 step ini:
- Device kita (komputer/HP/smart TV/apapun) menghubungi servernya dulu (client mengirim request).
- Server memproses request dan membuat response.
- Server mengirim response kembali ke client.
Waktu untuk step 1 & 3 digabung itu disebut Round-Trip Time (RTT), atau pada dasarnya waktu yang dibutuhkan untuk data dari device kita ke server, lalu kembali lagi. Nah ini bisa kita hitung dengan mudah, cukup pakai ping juga bisa.
Mari kita test RTT antara PC aku ke router yang kira kira 5 meter jaraknya (pakai Wi-Fi 6E di band 6 GHz)
$ ping 10.1.1.1
PING 10.1.1.1 (10.1.1.1) 56(84) bytes of data.
64 bytes from 10.1.1.1: icmp_seq=1 ttl=64 time=2.40 ms
64 bytes from 10.1.1.1: icmp_seq=2 ttl=64 time=1.13 ms
64 bytes from 10.1.1.1: icmp_seq=3 ttl=64 time=1.59 ms
64 bytes from 10.1.1.1: icmp_seq=4 ttl=64 time=1.21 ms
64 bytes from 10.1.1.1: icmp_seq=5 ttl=64 time=1.33 ms
64 bytes from 10.1.1.1: icmp_seq=6 ttl=64 time=3.30 ms
64 bytes from 10.1.1.1: icmp_seq=7 ttl=64 time=2.55 ms
64 bytes from 10.1.1.1: icmp_seq=8 ttl=64 time=5.16 ms
64 bytes from 10.1.1.1: icmp_seq=9 ttl=64 time=1.15 ms
64 bytes from 10.1.1.1: icmp_seq=10 ttl=64 time=2.78 ms Dari 10 kali ping, paling buruk adalah 5.16ms, jadi P90 WiFi aku sekitar 5ms. Ini aja udah mematahkan claim “network latency di kota yang sama 1ms”. Iya aku ngerti koneksi antar data center bisa 1ms via fibre, tapi kita ngitung ping untuk user biasa, bukan AI/Bot. Nah sekarang coba aku ping server cloudflare (1.1.1.1) dan google (8.8.8.8). Kedua servernya ada di kota yang sama. Dan buat referensi lain, aku juga ping sebuah VPS yang ada di kota lain dan sebuah VPS lain di benua lain
- P90 Cloudflare: ~18ms
- P90 Google: ~18ms
- P90 VPS luar kota: ~32ms
- P90 VPS benua lain (SEA ke EU): ~274ms
P90 di kota yang sama sekitar 18ms, leluar kota sekitar 32ms dan SEA ke EU kira kira 270ms. Kalo kita coba generalisasi, mungkin sekitar 50ms untuk P90 RTT yang realistis, jika servernya tidak terlalu jauh. Karena biasanya sebuah SaaS punya server at least di tiap benua (kecuali antartika), jadi contoh SEA ke EU itu kurang realistis. Kita juga kasih buffer extra, karena gak semua orang pake WiFi 6E, ada yang pake WiFi 4, atau yang pake satelit (e.g. Starlink), atau mungkin 3G/4G.
Nah sekarang mari kita hitung latency memproses data (step 2 tadi). Di kasus ini, kita coba hitung latency paling tinggi, yaitu mengakses data dari database. Untuk mencari sebuah data di Postgresql (query primary key yg ter-index) di table yang isinya ~5 juta rows, VPS aku butuh sekitar ~30ms. Ini angka baseline buat setupku, dimana postgres yang aku test ada di sebuah VPS termurah. Tentu saja hasilnya bisa beda di server lain.
So apakah P90 bisa kita ekspektasikan sekitar 80ms?
Ngga juga sih buat API beneran, soalnya HTTP itu tidak se-simple itu.
Biasanya kita di internet pakai domain, bukan IPnya langsung.
Dan untuk meng-resolve domain itu butuh waktu juga, jika belum ter-cache.
Di setup aku, untuk nge-resolve domain kapibara.id menjadi IP, butuh ~25ms.
Trus jaman sekarang kita juga pake HTTPS. Mari kita buat asumsi koneksinya pake HTTP/2 + TLS1.3. Disini kita butuh 3x RTT untuk membuat koneksinya (disebut full handshake). Lengkapnya bisa baca disini.
DNS resolution + 3*RTT + DB query = 25ms + 3*50ms + 30ms = ~205ms.
Jadi berdasarkan perhitungan kita sebuah HTTP API yang simpel aja butuh ~205ms. Ini juga sudah dengan beberapa asumsi yang positif, karena kita belum hitung latency dari HTTP servernya sendiri, dan client juga butuh waktu untuk nge-decompress dan memproses data (gak lama juga sih). Di dunia nyata bisa jadi ada load balancer (e.g. HAProxy) atau CDN (e.g. Cloudflare), yang juga menambah latency. Dan ini semua baru untuk sebuah HTTP GET yang query datanya dari 1 database table loh, kalau yang lebih kompleks gimana?
Kalau untuk sebuah website (bukan 1 HTTP API query) realistisnya juga butuh lebih lama bahkan, soalnya kan kita harus download gambar/logo, css, dll.
Contoh aku buka kapibara.id dengan DNS udh ter-cached aja butuh 615ms (31 request total, 1.11MB download).
So, target 500ms untuk P99 end-to-end latency masih make sense banget, in fact itu menurutku cepet bgt sih!
Komentar
Tinggalkan komentar