Amplifier level awal untuk inferensi tepi

Bersamaan dengan banyak pengumuman terkait perangkat lunak pagi ini dari NVIDIA sebagai bagian dari GTC musim gugur, perusahaan juga diam-diam mengumumkan produk GPU server baru untuk pasar akselerator: NVIDIA A2. Anggota low-profile baru dari keluarga akselerator A-series berbasis Ampere dirancang untuk tugas inferensi tingkat pemula, dan berkat ukurannya yang relatif kecil dan konsumsi daya yang rendah, ini juga ditujukan untuk skenario komputasi kelas atas.

Selain berfungsi sebagai titik masuk rendah ke jajaran produk akselerator GPU NVIDIA, A2 tampaknya bertujuan untuk menggantikan anggota terakhir dari kartu generasi NVIDIA sebelumnya, T4. Meskipun menjadi kartu yang sedikit lebih tinggi, T4 dirancang untuk banyak beban kerja heuristik yang sama, dan hadir dalam faktor bentuk HHHL slot tunggal yang sama. Jadi rilis A2 mengakhiri Ampere-ficiation dari jajaran akselerator NVIDIA, memberikan klien server NVIDIA pass baru.

READ  Ini adalah musim bagi setiap pengecer game online untuk mulai menjual
Perbandingan Spesifikasi Akselerator NVIDIA ML
100 30 A 2
Inti FP32 CUDA 6912 3584 1280
inti tensor 432 224 40
menambah jam 1,41 GHz 1,44 GHz 1,77 GHz
jam memori 3.2 Gbps HBM2e 2.4 Gbps HBM2 12,5 Gbps GDDR6
Tampilan bus memori 5120 bit 3072 bit 128 bit
bandwidth memori 2.0 TB/dtk 933 GB/dtk 200 GB/dtk
VRAM 80 GB 24 GB 16 GB
presisi satu 19.5 TFLOPS 10.3 TFLOPS 4,5 TFLOPS
presisi ganda 9.7 TFLOPS 5.2 TFLOPS 0,14 TFLOPS
INT8.motor 624 puncak 330 puncak 36 puncak
FP16 Penegang 312 TFLOPS 165 TFLOPS 18 TFLOPS
tensor TF32 156 TFLOPS 82 TFLOPS 9 TFLOPS
Tautan NVLink 3
12 tautan
PCIe 4.0 x16 + .slot
NVLink 3 (4 tautan)
slot PCIe 4.0 x8
GPU GA100 GA100 GA107
jumlah transistor 54.2 54.2 ?
TDP 400 watt 165 watt 40W – 60W
proses manufaktur TSMC 7N TSMC 7N Samsung 8nm
faktor bentuk SXM4 SXM4 HHHL-SS PCIe
Teknik Arsitektur Amper Amper Amper
READ  FTC mengajukan gugatan di Amerika Serikat untuk memblokir akuisisi NVIDIA-Arm

Menurut spesifikasi resmi NVIDIA, A2 tampaknya menggunakan versi GPU GA107 yang lebih rendah secara signifikan. Dengan 1280 core CUDA (dan 40 core tensor), A2 hanya menggunakan sekitar setengah kapasitas GA107. Tapi ini sesuai dengan ukuran kartu dan tujuan energi yang dioptimalkan. A2 hanya menarik 60 Watt dari kasing, dan dapat dikonfigurasi untuk turun lebih jauh ke 42 Watt.

Dibandingkan dengan pusat komputasinya, NVIDIA mempertahankan bus memori GA107 penuh untuk kartu A2. Bus memori 128-bit dipasangkan dengan GDDR6 16GB, yang bekerja pada kecepatan 12,5Gbps yang agak tidak biasa. Ini berfungsi untuk bandwidth memori tetap 200GB/s, jadi sepertinya seseorang benar-benar ingin mendapatkan angka bulat yang bagus di sana.

READ  Panduan Membeli Motherboard ASUS Z690

Selain itu, seperti yang disebutkan sebelumnya, ini adalah kartu PCIe dengan faktor bentuk setengah tinggi, setengah tinggi, satu slot (HHHL-SS). Seperti semua kartu server NVIDIA, A2 didinginkan secara pasif, mengandalkan aliran udara dari sasis host. Berbicara tentang host, GA107 hanya menawarkan 8 jalur PCIe, sehingga kartu mendapatkan konektivitas PCIe 4.0 x8 kembali ke CPU host.

Menyelesaikan semuanya, menurut NVIDIA, A2 segera tersedia. NVIDIA tidak menawarkan harga umum untuk kartu servernya, tetapi akselerator baru harus tersedia melalui mitra OEM reguler NVIDIA.


Source link

Periksa Juga

Tidak Aman untuk Warhammer … Temui Slanish di Bagian 3 Seri

Khorne telah menerima pembaruan berdarah … Takut Creative Assembly secara bertahap mengungkapkan penggoda konten untuk …