COMPUTER NETWORKING — SPINE AND LEAF — DATA CENTER

Arsitektur Jaringan Spine and Leaf

Topologi jaringan sederhana untuk data center moderen

Photo by Igor Saikin on Unsplash

Arsitektur network tiga tingkat atau three tier, banyak dipakai pada universitas, sekolah, kantor dan organisasi lain, dirancang untuk mengakomodasi trafik network dari pengguna ke internet dan penguna ke server lokal.

Pola trafik ini disebut juga sebagai pola trafik North — South, atau trafik Utara Selatan.

Penyebutan pola ini meminjam dari gambar peta geografi, yang selalu meletakan North atau Utara menunjuk ke atas.

PC pengguna akhir atau Client melakukan request ke server, server memberikan respon balik. Aliran trafik berjalan dari client ke server dan sebaliknya.

Pada model client dan server, jaringan tiga tingkat adalah model yang efisien.

Sebelum adanya teknologi virtualisasi, container, distributed system, cloud computing, microservice, ML dan AI, pola trafik di data center, masih sama, North — South. Tapi setelah teknologi tersebut banyak dipakai, pola trafik didominasi oleh East-West, atau server to server.

Sebelumnya, aplikasi dikembangkan menggunakan pendekatan monolitik. Satu server melayani semua keperluan aplikasi, mulai dari front end, hingga backend, database, hingga storage, semua dilayani pada satu server.

Setelah itu, aplikasi berkembang dari monolitik ke model microservices, dimana setiap microservice diletakan pada server terpisah baik secara fisik atau virtual, dan bagian-bagian microservices ini perlu saling berkomunikasi satu sama lain.

Perubahan ini menyebabkan pola trafik yang sebelumnya North - South client to server, kini menjadi East — West, server to server.

Pola trafik seperti ini, tidak sesuai untuk arsitektur tiga tingkat yang dirancang untuk trafik North — South.

Dua Pola Trafik pada Topologi Tiga Tingkat

Arsitektur tiga tingkat, dibuat untuk trafik North - South (panah biru), client to internet atau client to server, bukan untuk trafik dengan volume besar server to server (panah merah).

Ketika volume trafik East — West meningkat, baik karena komunikasi antar server atau jumlah server bertambah, kapasitas uplink switch distribusi dan switch core akan penuh (oversubscribe).

Keterbatasan kapasitas ini menjadi bottleneck, yang akan menyebabkan komunikasi server to server terganggu.

Misalkan server microservices pada sisi kiri akan melakukan panggilan API ke server microservices di sebelah kanan, trafik akan melalui :

Server - Akses - Distribusi - Core - Distribusi - Akses - Server

Jika jumlah server dan trafik komunikasi antar microservices bertambah besar, karena keterbatasan kapasitas link akses — distribusi atau distribusi — core, akan terjadi bottleneck, menyebakan respon API melambat, dan bisa berdampak pada aplikasi yang tidak responsif.

Arsitektur jaringan tiga tingkat tidak sesuai untuk model trafik data center moderen seperti ini, karena pola komunikasi pada data center moderen tidak sama dengan pola komunikasi network model kampus, atau organisasi.

Spine Leaf

Arsitektur Spine Leaf adalah arsitektur jaringan dua tingkat, dirancang untuk keperluan data center moderen, menggantikan model arsitektur tiga tingkat core distribusi akses, yang tidak sesuai dengan trafik antar server atau East — West.

Arsitektur Spine Leaf

Spine leaf, hanya terdiri dari dua tingkat saja, yaitu tingkat spine dan tingkat leaf.

Switch spine, adalah switch berkapasitas tinggi, merupakan backbone utama jaringan, tidak terhubung satu sama lain, tapi terhubung dengan semua switch leaf.

Switch leaf, adalah switch yang terhubung langsung dengan perangkat akhir seperti server, storage, firewall, router dan lain lain. Setiap switch leaf terhubung dengan semua switch spine, tapi tidak terhubung antar switch leaf.

Topologi ini membuat hubungan full mesh antar tingkat spine dan leaf, dan hubungan jaringan yang flat pada tingkat leaf.

Model arsitektur ini adalah standar yang dipakai pada data center moderen kelas hyperscaler, seperti AWS, Google, Meta, dan data center yang banyak menggunakan virtualisasi, container, dan storage terdistribusi.

Optimasi Trafik East West

Spine leaf, dioptimasi untuk pola trafik East — West. Pola trafik data center moderen didominasi trafik East West, server to server.

Trafik East West, adalah pola trafik komunikasi server to server.

Menurut data dari Cisco Global Cloud Index dan IBM Research,

Pada sekitar tahun 2000, trafik North — South sekitar 70–80%, sedangkan East-West sekitar 20–30%.

Sekitar tahun 2020, ketika teknologi virtualisasi, container dan database terdistribusi menjadi standar, angka tersebut secara konsisten berbalik menjadi East — West 80–90%, dan North — South 10–20%.

Facebook mengeluarkan data bahwa trafik antar server (East-West) 1000 kali lebih besar dibanding trafik ke pengguna (North — South).

Kasus Facebook adalah kasus yang ekstrim, tapi dari trend data menunjukan dominasi pemakaian trafik internal pada hyperscale atau data center modern.

Contoh trafik East West :

Trafik antar microservices yang saling berkomunikasi. Sebuah aplikasi melakukan permintaan ke API gateway. API gateway memanggil server autentikasi. Server autentikasi memanggil server database user. API gateway memanggil server penampil gambar. Server penampil gambar menggambil data dari storage.

Replikasi database. Server PostgreSQL melakukan penulisan pada beberapa server replika yang berada pada server fisik berbeda, dengan storage yang terdistribusi.

Konsistensi Latensi

Pada Spine leaf, masing-masing path server to server, hanya memiliki dua hop, ke semua tujuan, sehingga latensi server to server menjadi konsisten.

Spine leaf dengan path 2 hop

Tidak seperti pada arsitektur tiga tingkat, yang bisa mempunyai 2 hop atau 3 hop, tergantung dibagian mana client dan server berada.

Dalam sistem terdistribusi, latensi kecil yang tidak konsisten (variasi besar), membawa dampak lebih besar pada performa sistem, dibanding latensi yang besar tapi konstan dan terprediksi.

Misalkan sebuah aplikasi memanggil 100 microservices. 99 microservices merespond dalam waktu 1ms, sedangkan 1 merespon 50ms, maka respon total aplikasi akan bertambah menjadi 50ms lebih lama. Ini disebut tail latency.

Contoh kedua, misalkan dalam proses replikasi database terdistribusi. Sistem database memerlukan kuorum, dimana penulisan hanya bisa dikonfirmasi ketika sebagian besar replika sudah mengkonfirmasi memiliki data yang sama.

Ketika ada satu replika yang berada pada path berlatensi tinggi maka proses penulisan akan menunggu, transaksi menumpuk, dan waktu tunggu aplikasi akan meningkat tanpa bisa diprediksi sebelumnya.

Spine leaf memastikan path ke semua tujuan dalam satu jaringan spine leaf konsisten sebanyak 2 hop, dengan latensi yang konsisten, sehingga semua replika mempunyai waktu tunggu yang sama, dan kuorum tercapai setiap waktu.

Performa sistem terdistribusi, ditentukan dari respon sistem terhadap kondisi terburuk.

Spine leaf mengeliminasi masalah kepastian latensi dengan memastikan hanya ada 2 hop ke semua tujuan. Dengan demikian jika ada perlambatan aplikasi, bisa dipastikan masalah berasal dari internal aplikasi, bukan permasalahan jaringan.

Skalabilitas

Salah satu sebab spine leaf menjadi standar data center moderen atau hyperscale adalah skalabilitas horisontal.

Jika diperlukan pengembangan atau penambahan kapasitas, cukup dengan menambah switch spine, dan menghubungkan dengan switch leaf.

Jika diperlukan tambahan port untuk penambahan server, cukup dengan menambah tambah switch leaf dan hubungkan ke semua switch spine.

Skalabilitas dilakukan dengan penambahan swicth, bukan dengan merancang ulang topologi.

Jika masing-masing switch leaf punya mempunyai N port uplink, kapasitas masing-masing uplink adalah 100G, maka total kapasitas bandwidth :

Total Bandwidht per Leaf = N x 100Gbps

Untuk 4 port uplink, maka kapasitas total adalah 400Gbps.

Menambah switch spine berarti juga menambah path ECMP, dan menambah bandwidht secara keseluruhan.

Skalabilitas horisontal ini dibatasi jumlah port yang dimiliki oleh masing-masing switch, dan batasan kemampuan switch menangani protokol seperti jumlah ECMP, dan BGP maksimum yang dapat aktif bersamaan.

Walapun batasan diatas bisa diatasi dengan membuat topologi super spine, tapi ada batasan lain seperti keterbatasan tempat, biaya dan daya listrik yang harus diperhatikan.

Redundansi

Salah satu fitur terbaik yang dimiliki oleh spine leaf adalah kemampuan redudansi. Pada spin leaf, redudansi dibangun di setiap tingkat secara struktural.

Spine leaf, menggunakan redudansi aktif, setiap link yang ada, bisa digunakan untuk mengalirkan trafik, semua link menjadi utama dan backup sekaligus, selain untuk kehandalan ini juga untuk memaksimalkan kapasitas link.

Pada spine leaf, ada dua jenis redundansi, yaitu redundansi infrastruktur, dan redundansi host.

Redundansi infrastruktur berada pada tingkat spine dan leaf, menggunakan protokol routing OSPF, BGP, IS-IS dan ECMP.

Protokol routing digunakan untuk self healing. Ketika salah satu switch gangguan, atau salah satu link rusak, protokol routing akan mengalihkan trafik ke link yang aktif.

Secara otomatis, protokol routing akan menggunakan ECMP untuk load balancing secara dinamis ke semua switch spine, ditangani secara otomatis oleh protokol OSPF atau BGP.

Sebelum masalah:
Leaf-1 → Spine-1 (25% trafik)
Leaf-1 → Spine-2 (25% trafik)
Leaf-1 → Spine-3 (25% trafik)
Leaf-1 → Spine-4 (25% trafik)

Setelah Spine-2 down:
Leaf-1 → Spine-1 (33% trafik)
Leaf-1 → Spine-3 (33% trafik)
Leaf-1 → Spine-4 (33% trafik)

Redundansi host atau server to leaf, digunakan untuk menghindari gangguan terhadap host ketika ada salah satu switch leaf yang mengalami gangguan, dengan cara membuat dua link antara server dengan switch leaf.

Redundansi Host ke Switch Leaf

Jika switch leaf mendukung MLAG atau Multi Chassis Link Agregator, dua switch leaf dapat digabungkan, dan akan terlihat menjadi satu switch, memungkinkan server menggunakan protokol standar LACP untuk dua link. Hanya saja cara ini terbatas digunakan pada dua switch bermerek sama.

Data center hyperscale, sudah meninggalkan solusi layer 2 seperti MLAG dan LACP.

Redundansi dilakukan langsung pada host. Host menggunakan protokol routing BGP, dan melakukan peering langsung dengan dua switch leaf.

Masing-masing switch leaf akan mempunyai informasi routing menuju ke server, ECMP pada tingkat spine, akan melakukan load balance untuk kedua path leaf to server.

Cara ini lebih aman dibandingkan cara layer 2, tapi server harus mendukung protokol routing, dan diperlukan pemahaman routing yang kompleks.

Penutup

Arsitektur tiga tingkat tetap digunakan pada jaringan seperti kampus, universitas, sekolah, kantor, rumah sakit, dan lain-lain, dimana pengguna hanya memerlukan akses internet biasa atau akses ke server-server lokal, atau trafik North -South.

Tapi untuk data center yang secara intensif menggunakan virtualisasi, container, big data, AI, dan storage, arsitektur tradisonal sudah tidak lagi bisa memenuhi performa yang dibutuhkan.

Tujuan utama disain spine leaf adalah membuat jaringan komunikasi internal data center yang handal, cepat, skalabilitas tinggi dan komunikasi server to server tanpa hambatan.

Tujuan disain ini membuat arsitektur spine leaf menjadi sangat dominan pada data center moderen.