Fugaku | A Japan’s Supercomputer Part II

ต่อจากบทความก่อนหน้า Part I หลังได้ดูองค์ประกอบโดยรวมและ โทโพโลยี (Topology) ที่ใช้ไปแล้ว ใน Part II นี้เราจะมาเจาะลึกในส่วนรายละเอียดของ Fugaku ทั้งการออกแบบ นวัตกรรมที่มีเฉพาะที่น่าสนใจและอื่นๆ

เทคโนโลยีการเชื่อมต่อระหว่างกันมิติสูงแบบหกมิติเพื่อมอบความสามารถในการขยายขนาด

โหนดประมวลผล 82,944 โหนดและรูปแบบการแมปอันดับทอรัส 3 มิติเสมือน มอบทั้งความพร้อมใช้งานสูงและความสามารถในการโปรแกรมที่รับรู้ถึงโทโพโลยี

6 dimensional

Node address ในเครือข่าย 6D ทางกายภาพแสดงด้วยพิกัดหกมิติ X,Y,Z,A,B และ C

X, Y และ Z เป็นตัวแทนของแกนพิกัดของการเชื่อมต่อสามมิติระหว่างกลุ่ม และ A, B และ C เป็นตัวแทนของแกนพิกัดของการเชื่อมต่อสามมิติภายในกลุ่ม

เครือข่ายประกอบด้วยกลุ่ม 12 โหนดที่เชื่อมต่อถึงกันในสามมิติ

Fugaku System Bandwidth Hierarchy

Summit System Bandwidth Hierarchy

CPU ของ Fugaku

Fugaku คือซูปเปอร์คอมพิวเตอร์เครื่องแรกที่ใช้งานเป็นสถาปัตยกรรม Arm ในการออกแบบคือ A64FX( Armv8.2-A SVE 512 bit ) ซึ่งได้ปรับปรุงจากสถาปัตยกรรม Arm เดิมที่มีข้อเสียที่ไม่สามารถนำมาสร้างเป็นซูปเปอร์คอมพิวเตอร์ได้

exascale supercomputer Jupiter เป็นซูปเปอร์คอมพิวเตอร์อีกเครื่องที่ออกแบบโดยใช้สถาปัตยกรรม Arm

CPU A64FX

• CMG แต่ละแกนประกอบด้วย 13 คอร์ (12 คอร์ใช้เป็นคอร์ประมวลผลและอีกหนึ่งคอร์เป็นคอร์ผู้ช่วย)
• แคชระดับ 2 และตัวควบคุมหน่วยความจำ
• เครือข่ายริงบัสบนชิป (NoC) ใช้เพื่อเชื่อมต่อกับอินเทอร์เฟซ Tofu Interconnect D
• อินเทอร์เฟซ PCI Express (PCIe)

• ระบบบนชิป (SoC) ที่รวมตัวควบคุมต่างๆ มีหน่วยความจำแบนด์วิธสูง (HBM2) สี่ชุดในแพ็คเกจ
• CMG แต่ละตัวในสี่ตัวเชื่อมต่อกับ HBM2 ตามลำดับเพื่อให้แน่ใจว่ามีความหน่วงต่ำและแบนด์วิธสูง

การกำหนดค่า CMG และ ccNUMA

แคชระดับ 2 มีฟังก์ชันในการรับประกันความสอดคล้องกันของแคชของชิปทั้งหมด เพื่อให้ซอฟต์แวร์สามารถถือว่า CMG เป็นโหนดการเข้าถึงหน่วยความจำที่ไม่สม่ำเสมอ (NUMA)

• การเชื่อมต่อระหว่าง CMG ทั้งสี่ตัว
• ตัวควบคุม TofuD/PCIe และตัวควบคุมอินเทอร์รัปต์เชื่อมต่อกันด้วยริงบัส 2 ตัวและตัวหยุดวงแหวน 6 ตัว
• A64FX ยังใช้โทโพโลยี NoC ด้วยเส้นทางการเชื่อมต่อระหว่าง CMG สำหรับการเชื่อมต่อระหว่าง CMG ที่อยู่ติดกัน

• A64FX มี TofuD สำหรับการรับรู้ถึงระบบขนานขนาดใหญ่โดยการเชื่อมต่อ CPU และบัส PCIe ร่วมกันสำหรับการเชื่อมต่ออุปกรณ์ I/O
• TofuD มีสัญญาณอนุกรมความเร็วสูง 20 เลนที่มีความเร็วในการรับส่งข้อมูล 28-Gbps และเชื่อมต่อระหว่าง CPU สูงสุด 10 ตัวด้วยแบนด์วิธ 6.8 GB/s
• นอกจากนี้ TofuD ยังมีการสื่อสาร Remote Direct Memory Access (RDMA) และการสื่อสารแบบ Barrier-Synchronized เป็นฟังก์ชันที่สามารถใช้งานได้โดยตรงจากกระบวนการของผู้ใช้ และการสื่อสารแพ็คเก็ตของระบบเป็นฟังก์ชันที่ระบบใช้สำหรับการถ่ายโอนแพ็กเก็ต IP

Pipeline ของ Fugaku

storage system

1st Layer

LLIO (Lightweight Layered IO-Accelerator) คือ ระบบไฟล์สำหรับพื้นที่การปฏิบัติงานโดยเฉพาะ จัดให้มีพื้นที่สามประเภทต่อไปนี้ให้กับ job

• Node Temporary Area
• Shared Temporary
• Cache Area of 2nd Layer Storage

2nd Layer

FEFS (Fujitsu Exabyte File System) เป็นพื้นที่ที่ใช้ร่วมกันขนาดใหญ่ที่ผู้ใช้และงานใช้

Luster-based file system

3rd Layer

บริการจัดเก็บข้อมูลบน Cloud services

ภาพรวมของระบบจัดเก็บข้อมูล Fugaku

I/O network system

การเชื่อมต่อระหว่างเลเยอร์ทำผ่านเครือข่าย I/O ภายในกลุ่ม compute node compute & global I/O (GIO) nodes คือการเชื่อมต่อกับเครือข่าย I/O และการถ่ายโอนข้อมูลระหว่างเลเยอร์จะดำเนินการผ่านโหนด GIO นอกจากนี้ พื้นที่จัดเก็บข้อมูลชั้นที่ 2 ยังได้รับการกำหนดค่าด้วย FEFS หลายตัวเหมือนกับคอมพิวเตอร์ K computer

Cooling System

Fugaku ใช้ระบบระบายความร้อนแบบไฮบริดระบายความร้อนด้วยน้ำและอากาศเย็นแบบเดียวกับคอมพิวเตอร์ K แต่โดยการระบายความร้อนของน้ำที่ CMU ซึ่งคิดเป็น 90% ของการใช้พลังงาน และระบายความร้อนด้วยอากาศอีก 10% ของหน่วยจ่ายไฟ (PSU)

R-CCS ประกอบด้วยระบบน้ำเย็นสองระบบ R-ccs ให้น้ำหล่อเย็นปริมาณมากอย่างต่อเนื่อง จะควบคุมกลุ่มทำความเย็นให้กระจายความร้อนได้ทันเวลา

ระบบน้ำเย็นหลัก น้ำเย็น 10°C จ่ายจากคลัสเตอร์ตู้เย็นโดยใช้ระบบการไหลคงที่และเชื่อมต่อกับเครื่องแลกเปลี่ยนความร้อน ระบบน้ำเย็นรองระหว่างตัวแลกเปลี่ยนความร้อนและ CPU จะหมุนเวียนน้ำบริสุทธิ์ด้วยอัตราการไหลคงที่ และควบคุมความสามารถของตัวแลกเปลี่ยนความร้อนเพื่อรักษาอุณหภูมิของน้ำที่จ่ายไว้ที่ 15°C ±1 การระบายความร้อน หากการใช้พลังงานเพิ่มขึ้นอย่างกะทันหันและความสามารถในการทำความเย็นไม่สามารถทันกับความร้อนที่เพิ่มขึ้นอย่างกะทันหัน CPU จะไม่สามารถทำงานได้อย่างถูกต้อง ในทางกลับกันหากตู้เย็นเย็นเกินไป ทำให้เกิดการปิดเครื่องป้องกัน

ภาพรวมของระบบระบายความร้อน Fugaku รูปที่ 1

ภาพรวมของระบบระบายความร้อน Fugaku รูปที่ 2

https://www.fujitsu.com/global/about/resources/publications/technicalreview/2020-03/article04.html

หน่วยระบายความร้อนด้วยของเหลวใช้โครงสร้างเส้นทางการไหลโดยน้ำหล่อเย็นจากทางเข้าจะรวมตัวไปที่ศูนย์กลางของตัวเครื่องและหันกลับมาด้านใดด้านหนึ่งเพื่อทำให้ภายนอกเย็นลงก่อนที่จะระบายออก

Piping design to reduce flow rate difference

ความสูงที่แตกต่างกันระหว่าง CMU ที่ติดตั้งที่ด้านบนและด้านล่างอาจมีขนาดใหญ่ได้ประมาณ 2 เมตร ทำให้อัตราการไหลเข้า CMU แตกต่างกันเนื่องจากแรงดันน้ำที่แตกต่างกันเนื่องจากแรงโน้มถ่วง

แก้ปัญหานี้ พวกเขาแบ่งจุดผันการไหลของน้ำไปยัง CMU แต่ละแห่งออกเป็นท่อสาขาหลักและท่อรอง และปรับความยาวของท่อที่เชื่อมต่อท่อหลักและท่อรอง ดังนั้นจึงรักษาความแตกต่างของอัตราการไหลให้อยู่ภายใน ± 5%

https://www.r-ccs.riken.jp/en/fugaku/facility/

Fugaku Virtual Tour สำหรับใครที่อยากชมโรงงานที่ตั้งของ Fugaku คุณสามารถเข้าชมแบบจำแบบนี้ได้เลย

Reference:

https://www.hpcwire.com/2019/05/23/riken-post-k-supercomputer-named-after-japans-tallest-peak/

https://www.jstage.jst.go.jp/article/jaesjb/64/2/64_89/_article/-char/ja

https://www.r-ccs.riken.jp/en/fugaku/3d-models/

https://www.jstage.jst.go.jp/search/global/_search/-char/ja?item=5&word=supercomputer+Fugaku

https://www.jstage.jst.go.jp/article/jaesjb/64/2/64_89/_article/-char/ja

https://www.jstage.jst.go.jp/article/essfr/15/4/15_300/_article/-char/ja

https://dl.acm.org/doi/pdf/10.1145/3339186.3339211?accessTab=true

https://medium.com/@rohan.chaudhury.rc/detailed-analysis-of-frontier-and-supercomputer-fugaku-849a37af2d21

https://nowlab.cse.ohio-state.edu/static/media/workshops/presentations/exacomm22/04_exacomm2022_ajima.pdf

https://www.fujitsu.com/global/about/resources/publications/technicalreview/2020-03/article05.html