 Modul pendingin cair Tensor Processing Unit v3 (2018) | |
| Perancang | |
|---|---|
| Diperkenalkan | 2015 |
| Tipe | Akselerator AI / Jaringan saraf tiruan |
| Bagian dari seri tentang |
| Kecerdasan buatan (AI) |
|---|
|
Glosarium |
Tensor Processing Unit (disingkat TPU) adalah sirkuit terpadu khusus aplikasi (ASIC) kategori unit pemroses saraf (NPU) yang dikembangkan oleh Google untuk mengakselerasi beban kerja pembelajaran mesin berbasis jaringan saraf tiruan.[1] Perangkat keras ini mendukung berbagai kerangka kerja pembelajaran mendalam populer seperti TensorFlow, JAX, dan PyTorch.[2]
Google mulai menerapkan TPU secara internal di pusat datanya pada tahun 2015 untuk mentenagai layanan seperti Google Terjemahan, pencarian RankBrain, Google Foto, serta sistem kecerdasan buatan AlphaGo. Pada tahun 2018, Google membuka akses infrastruktur ini untuk pihak ketiga melalui layanan komputasi awan Cloud TPU di Google Cloud Platform, serta platform riset Google Colab dan Kaggle.
Karakteristik arsitektur
Berbeda dengan unit pemroses grafis (GPU) multiguna yang dirancang untuk merender piksel dan poligon tiga dimensi, arsitektur TPU berfokus murni pada operasi matematika matriks dan tensor:
- Larik Sistolik (Systolic Array): TPU memanfaatkan susunan perkalian matriks berbasis larik sistolik, di mana data mengalir secara langsung di antara unit aritmetika logika tanpa perlu bolak-balik membaca dan menulis ke register memori utama pada setiap tahapan kalkulasi, menghasilkan efisiensi energi per operasi yang sangat tinggi.[3]
- Presisi Rendah dan Format bfloat16: Untuk menampung volume data pelatihan yang masif, generasi awal TPU mengoptimalkan perhitungan bilangan bulat 8-bit (int8). Pada generasi kedua dan seterusnya, Google memperkenalkan format titik kambang otak 16-bit (bfloat16) yang mempertahankan rentang dinamis float32 konvensional namun dengan separuh ukuran memori, mempercepat pelatihan model bahasa besar secara signifikan.
- Integrasi Memori Pita Lebar Tinggi: Dimulai dari generasi TPU v2, cip dilengkapi dengan modul High Bandwidth Memory (HBM) untuk mengatasi keterbatasan lebar pita memori pada pemrosesan tensor skala besar.
Perkembangan generasi
- TPU v1 (2015): Fabrikasi 28 nm, dikhususkan untuk tugas inferensi data dengan memori DDR3 8 GiB dan bus PCIe 3.0.
- TPU v2 (2017): Memperkenalkan komputasi titik kambang (45 TFLOPS per keping) serta dukungan penuh untuk inferensi maupun pelatihan model mendalam menggunakan memori HBM 16 GiB.
- TPU v3 (2018): Peningkatan performa menjadi 123 TFLOPS per keping dengan adopsi sistem pendingin cair terintegrasi pada modul rak peladen.
- TPU v4 (2021): Fabrikasi 7 nm dengan interkoneksi optis rekonfigurasi (OCS) yang menghubungkan hingga 4.096 keping dalam satu kesatuan superpod berkecepatan tinggi.
- TPU v5e dan v5p (2023): Varian v5e dirancang hemat biaya untuk inferensi skala menengah, sedangkan varian v5p dioptimalkan untuk melatih model fondasi kecerdasan buatan berparameter raksasa.
- TPU v6e / Trillium (2024): Generasi keenam yang menggandakan kapasitas HBM dan lebar pita transmisi data, memberikan lompatan performa komputasi hingga 4,7 kali lipat dibandingkan generasi v5e.
- TPU v7 / Ironwood (2025): Diumumkan untuk inferensi berkapasitas sangat tinggi dengan arsitektur kluster hingga 9.216 keping peladen.
- TPU 8t dan 8i (2026): Generasi kedelapan yang memisahkan varian secara khusus antara model pelatihan berskala besar (8t, berdaya komputasi hingga tingkat exaflops) dan model inferensi berlatensi ultra-rendah (8i) yang dipadukan dengan prosesor peladen berbasis Arm Google Axion.
Ragam turunan
Edge TPU
Diperkenalkan pada tahun 2018 di bawah lini peranti keras Google Coral, Edge TPU adalah versi ringkas berdaya listrik sangat rendah (hanya 2 watt) yang dirancang khusus untuk menjalankan model inferensi inferensi pembelajaran mesin pada perangkat komputasi tepi (edge computing), robotika, dan perangkat Internet untuk Segala (IoT).
Google Tensor
Google mengadaptasi arsitektur TPU ke dalam sistem pada keping (SoC) Google Tensor yang menjadi prosesor utama pada lini ponsel cerdas Google Pixel sejak seri Pixel 6 (2021) untuk mempercepat pemrosesan fotografi komputasional, pengenalan ucapan luring, dan terjemahan langsung.
Lihat pula
Referensi
- ↑ "Cloud Tensor Processing Units (TPUs)". Google Cloud (dalam bahasa Inggris). Diakses tanggal 10 Desember 2025.
- ↑ "TPU software versions". Google Cloud Documentation (dalam bahasa Inggris). Diakses tanggal 10 Desember 2025.
- ↑ Jouppi, Norman; Young, Cliff (2017). "In-Datacenter Performance Analysis of a Tensor Processing Unit". Proceedings of the 44th annual international symposium on computer architecture (dalam bahasa Inggris). Association for Computing Machinery. hlm. 1–12. arXiv:1704.04760. doi:10.1145/3079856.3080246.