Indonesian
Di Google Cloud Next, Google meluncurkan akselerator AI generasi kedelapan: TPU v8t Sunfish untuk pelatihan dan TPU v8i Zebrafish untuk kesimpulan, bersama dengan kain pusat data Virgo baru.Disesuaikan untuk era agentik AI, chip ini dioptimalkan untuk pelatihan model campuran ahli (MoE) yang besar dan token latensi rendah yang melayani dengan harga yang hemat biaya.v8t dan v8i berbeda dalam memori, SRAM, topologi dan spesialisasi perangkat keras.
Superpod v8t mendukung 9.600 chip dengan 2 PB HBM dan memberikan 121 EFLOPS dari komputasi FP4, hampir tiga kali lipat dari kinerja generasi Ironwood sebelumnya.152 chip dengan 288 GB HBM dan 384 MB on-chip SRAM, menawarkan 80% lebih baik kesimpulan biaya-efisiensi daripada Ironwood. kain Virgo saling terhubung lebih dari 134.000 V8t chip,menyediakan bandwidth 47 Pb/s non-blocking dengan throughput per-accelerator 4 kali lebih tinggi dan latensi 40% lebih rendah.
Arsitektur TPU dasar vs GPU
TPU adalah ASIC kustom yang ditandai dengan unit perkalian matriks besar (MXU), SRAM yang dikelola perangkat lunak dan kompilasi ahead-of-time.TPU memiliki aliran data deterministik dengan array sistolik, menghilangkan cache jitter dan overhead penjadwalan warp untuk pemanfaatan FLOPS yang lebih tinggi pada beban kerja matriks padat.Rangkaian grafik yang tidak teratur dan kompleks, sementara juga menawarkan dukungan ekosistem perangkat lunak yang lebih sempit yang didominasi oleh JAX dan XLA.
Perbedaan struktural dalam dukungan sparsity dengan jelas membedakan TPU dan GPU. NVIDIA Tensor Cores secara native mendukung 2:4 struktur sparsity melalui kompresi tingkat instruksi.Array sistolik TPU beroperasi dalam lockstep kakuAWS Trainium2 mengadopsi jalan tengah dengan dekompresor langka khusus untuk mempertahankan throughput array.
TPU mengintegrasikan SparseCores untuk menangani tugas gather-scatter yang tidak teratur untuk menyematkan tabel dan routing MoE.mencakup beban kerja rekomendasi dan pengiriman token ahli yang tidak dapat diproses secara efisien oleh MXU standar.
TPU v8t Sunfish: Pelatihan Akselerator
Chip pelatihan v8t dilengkapi dengan memori HBM3e 216 GB dan SRAM 128 MB. presisi FP4 asli menggandakan throughput per siklus, mendorong komputasi chip tunggal ke 12,6 PFLOPS.Ini mempertahankan 3D torus interconnect dan ditingkatkan 19.2 Tb/s ICI bandwidth, ideal untuk komunikasi kolektif berbasis cincin dalam pelatihan skala besar.
SparseCores yang diwarisi mengoptimalkan transmisi data MoE yang tidak teratur dari semua ke semua.TPUDirect RDMA dan TPUDirect Storage melewati CPU host untuk memungkinkan akses memori TPU langsungSelain itu, v8t mengadopsi CPU Axion berbasis Arm dari Google sebagai prosesor host.mengisolasi jitter host dan meningkatkan stabilitas pra-proses untuk pelatihan multi-chip yang disinkronkan.
TPU v8i Zebrafish : Akselerator Inferensi
Dibangun untuk beban kerja inferensi yang terikat bandwidth memori, v8i memprioritaskan generasi token latensi rendah.Ini memiliki 384 MB SRAM ¢ tiga kali lipat dari Ironwood ¢ untuk cache KV cache pada chip dan mengurangi pembacaan HBM berulang. Dengan dua TensorCores dan 288 GB HBM3e, mencapai 10.1 PFLOPS FP4 komputasi, tumpang tindih tugas inferensi batch pendek untuk pemanfaatan berkelanjutan yang lebih tinggi.
Menggantikan SparseCores, dedicated Collectives Acceleration Engine (CAE) mengurangi latensi sinkronisasi pada chip hingga 5 kali, mengoptimalkan operasi kolektif batch kecil yang sering.V8i meninggalkan torus 3D untuk topologi Boardfly berbasis Dragonfly, mengurangi maksimum chip-to-chip hop dari 16 menjadi 7 dan menurunkan MoE all-to-all latency sebesar 50%.
Hierarki Kain Virgo & Jupiter
Virgo berfungsi sebagai jaringan skala-out di dalam pusat data, mengadopsi arsitektur non-blokir dua lapisan untuk menghilangkan oversubscription untuk lalu lintas AI timur-barat.Hal ini memungkinkan kesalahan tingkat milidetik pengalihan dan mempertahankan 97% goodput untuk superpods V8tDikombinasikan dengan jaringan pusat data lintas jarak jauh Jupiter Google, sistem interkoneksi berlapis mendukung lebih dari satu juta chip TPU dalam satu kelompok logis dengan 1.7 ZFLOPS total perhitungan FP4.
Kinerja, TCO dan Posisi Pasar
High goodput and stable Model FLOPs Utilization (MFU) memberikan TPU keuntungan biaya yang menarik. Pada 40% MFU, biaya pelatihan TPU 62% lebih rendah daripada NVIDIA GB300.v8t kinerja FP4 padat berada di antara GB200 dan GB300, sementara Google mendominasi clustering skala besar dengan chip tunggal pod 9.600, jauh melebihi domain NVLink 72-GPU NVIDIA.
Melihat ke depan, NVIDIA's Vera Rubin, Rubin Ultra dan Kyber akan mempersempit kesenjangan kinerja TPU's dari tahun 2026 hingga 2027.kekurangan hardware dan kompatibilitas ekosistem yang terbatasNamun demikian, Google mempertahankan kekuatan dalam pengelompokan besar-besaran, latensi deterministik dan efisiensi biaya untuk beban kerja MoE.
Google memperluas infrastruktur TPU dan GPU NVIDIA. Meta berencana kesepakatan adopsi TPU multi-miliar dolar mulai tahun 2027.TPU v8 mengamankan daya saing Google terhadap NVIDIA Grace-Blackwell untuk penyebaran AI skala besar.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan 20+ tahun pengalaman distribusi TI, kami bermitra dengan merek global terkemuka untuk memberikan produk yang dapat diandalkan dan layanan profesional.
¢Menggunakan Teknologi untuk Membangun Dunia yang Cerdas ¢Penyedia Layanan Produk ICT yang Anda Percayai!
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan 20+ tahun pengalaman distribusi TI, kami bermitra dengan merek global terkemuka untuk memberikan produk yang dapat diandalkan dan layanan profesional.
¢Menggunakan Teknologi untuk Membangun Dunia yang Cerdas ¢Penyedia Layanan Produk ICT yang Anda Percayai!