NVIDIA Mengatakan Standar Pimpinan Chip Blackwele dalam Pelatihan AI LLMS

NVIDIA menawarkan chip AI ke pusat data dan apa yang Anda sebut pabrik kecerdasan buatan di seluruh dunia, dan perusahaan Menyatakan Hari ini, chip Blackwell mengarah pada standar kecerdasan buatan.

Nvidia dan mitranya mempercepat pelatihan dan menerbitkan aplikasi AI dari generasi berikutnya, yang menggunakan perkembangan terbaru dalam pelatihan dan penalaran.

Arsitektur NVIDA Blackwell dirancang untuk memenuhi persyaratan kinerja yang meningkat dari aplikasi baru ini. Di babak terakhir tempat-ke-kedua MLPERF sejak presenter standar pada 2018-platform NVIDIA AI menyajikan kinerja luas tertinggi pada setiap standar dan mengoperasikan setiap hasil yang disajikan pada model linguistik utama (LLM) -llama 3.1 405b yang paling sulit.

Platform NVIDIA adalah satu -satunya platform yang menyajikan hasil pada setiap standar pelatihan MLPERF V5.0 – yang mengkonfirmasi kinerja luar biasa dan keragamannya melalui berbagai beban kerja kecerdasan buatan, peregangan LLM, sistem rekomendasi, LLM multimedia, dan menemukan grafik neuron dan jaringan.

Presentasi banyak menggunakan dua super -computer dari NVIDIA Blackwell: Tyche, yang dirancang menggunakan NVIDIA GB200 NVL72, dan NYX, berdasarkan sistem NVIDIA DGX B200. Selain itu, NVIDIA bekerja sama dengan Coreweave dan IBM untuk memberikan hasil GB200 NVL72 menggunakan total 2.496 unit pemrosesan grafis Blackwell dan 1.248 NVIDIA Grace CPU.

Pada standar LAMA 3.1 405B yang baru, Blackwell telah melakukan kinerja 2.2 -waktu dibandingkan dengan arsitektur generasi sebelumnya pada kisaran yang sama.

Pada Llama 2 70b lora standar yang benar, NVIDIA DGX B200, yang bekerja dengan delapan unit pemrosesan grafis Blackwell, dilakukan lebih dari 2,5 kali lebih banyak dibandingkan dengan menggunakan jumlah unit pemrosesan grafis yang sama di babak sebelumnya.

Lompatan kinerja menyoroti perkembangan ini dalam struktur Blackwell, termasuk rak cair dengan kepadatan tinggi, 13,4 terabyte memori yang koheren untuk setiap rak, NVIDIA NVLink, dan NVIDIA NVLink beralih untuk memperluas jaringan NVIDIA-2 Infiniband. Selain itu, inovasi dinaikkan dalam pokok kerangka NVIDIA NEMO untuk generasi LLM berikutnya, yang sangat penting untuk menyediakan aplikasi AIC ke pasar.

Aplikasi AI ini suatu hari akan berjalan di pabrik-pabrik intelijen buatan-AI Agenic Economics Engine. Aplikasi baru ini akan menghasilkan kode khas dan kecerdasan berharga yang dapat diterapkan pada hampir setiap bidang industri dan akademi.

Ini termasuk GPU Pusat Data NVIDIA dan CPU, kain dan jaringan berkecepatan tinggi, serta berbagai program seperti perpustakaan NVIDIA CUDA-X, NEMO Framework, Nvidia Tensorrt -LM dan NVIDIA Dynamo. Kelompok yang sangat disita ini memungkinkan teknologi perangkat dan program untuk melatih dan mempublikasikan model lebih cepat, dan untuk mempercepat waktu secara signifikan.

Ekosistem NVIDIA secara luas dibagikan dalam tur MLPERF ini. Selain melamar dengan Coreweave dan IBM, penawaran meyakinkan lainnya berasal dari Asus, Cisco, Giga Computing, Lambda, Lenovo Quanta Cloud Technology dan Supermicro.

Perkenalan pelatihan MLPERF pertama dikembangkan menggunakan GB200 oleh Asosiasi MLCOCONMONS dengan lebih dari 125 anggota dan anak perusahaan. Skala waktu pelatihan memastikan bahwa proses pelatihan menghasilkan model yang memenuhi keakuratan yang diperlukan. Aturan operasi standar termasuk perbandingan kinerja apel. Hasil yang ditinjau sebelum publikasi.

Dasar -dasar dalam standar pelatihan

Dave Salvator adalah orang yang saya kenal ketika dia menjadi bagian dari pers teknologi. Dia sekarang adalah Direktur Accelerating Computing Products di Accelerated Computing Group di NVIDIA. Pada konferensi pers, Salvator mengindikasikan bahwa CEO Nvidia Jensen Huang berbicara tentang gagasan undang -undang penskalaan AI ini. Ini termasuk pelatihan sebelum pelatihan, karena terutama mengajarkan pengetahuan internasional Amnesty International. Ini dimulai dari awal. Salvator mengatakan itu adalah lift aritmatika yang berat, tulang punggung Amnesty International.

Dari sana, Nvidia bergerak ke penskalaan setelah pelatihan. Di sinilah model pergi ke sekolah, dan di sinilah Anda dapat melakukan hal -hal seperti sintesis yang akurat, misalnya, karena membawa pengumpulan data yang berbeda untuk mengajarkan model yang sudah ada sebelumnya yang telah agak terlatih, untuk memberinya bidang tambahan dari set data Anda.

Lalu akhirnya, ada waktu penskalaan atau tes pemikiran, atau kadang -kadang disebut pemikiran lama. Istilah lain melewati itu adalah agen kecerdasan buatan. Ini adalah Amnesty International, yang sebenarnya dapat berpikir, pikiran dan masalah, karena menimbulkan pertanyaan dasar dan mendapatkan jawaban yang relatif sederhana. Tes pada saat penskalaan dan pemikiran dalam kenyataan dapat mengerjakan tugas yang lebih kompleks dan memberikan analisis yang kaya.

Lalu ada juga dokter kandungan Amnesty International yang dapat membuat konten berdasarkan kebutuhan yang dapat mencakup terjemahan ringkasan teks, tetapi juga konten yang terlihat dan bahkan konten audio. Ada banyak jenis penskalaan yang terjadi di dunia kecerdasan buatan. Untuk standar, NVIDIA berfokus pada hasil pra -pelatihan dan pasca -pelatihan.

Dia berkata: “Ini adalah tempat di mana kecerdasan buatan dimulai dengan apa yang kita sebut tahap investasi dalam kecerdasan buatan. Kemudian ketika Anda masuk ke dalam alasan dan menerbitkan model -model ini dan kemudian menghasilkan simbol -simbol ini, ketika Anda mulai mendapatkan pengembalian investasi Anda dalam kecerdasan buatan.”

Standar MLPERF terletak di babak kedua belas dan berasal dari tahun 2018. Konsorsium, yang mendukungnya, berisi lebih dari 125 anggota dan telah digunakan dalam tes inferensi dan pelatihan. Industri ini melihat standar yang kuat.

“Saya juga yakin banyak dari Anda yang kenal, kadang -kadang klaim kinerja di dunia kecerdasan buatan bisa sedikit brutal barat. Mlperf berupaya memberikan beberapa perintah untuk kekacauan itu.” “Setiap orang harus melakukan jumlah pekerjaan yang sama. Setiap orang disimpan dalam standar yang sama dalam hal pemulihan hubungan. Setelah hasilnya disajikan, hasil ini ditinjau dan kemudian diperiksa oleh semua pelamar lain, dan orang dapat mengajukan pertanyaan dan bahkan hasil tantangan.”

Skala yang paling mudah pada pelatihan adalah waktu bahwa pelatihan model kecerdasan buatan yang terlatih mengambil pemulihan SO yang disebut. Ini berarti mencapai tingkat akurasi tertentu. Salvator mengatakan itu dibandingkan dengan apel dengan apel, dan memperhitungkan perubahan beban kerja yang konstan.

Tahun ini, ada Llama 3.140 5b Work Wabe, yang menggantikan beban kerja ChatGPT 170 5B yang sebelumnya dalam standar. Dalam standar, Salvator mencatat bahwa Nvidia memiliki sejumlah catatan. NVIDIA GB200 NVL72 AI baru dari pabrik manufaktur. Dari satu generasi chip (hopper) ke yang berikut (Blackweell), Nvidia telah melihat peningkatan 2,5 -waktu untuk hasil generasi gambar.

“Kami masih agak awal dalam siklus hidup produk Blackwell, jadi kami berharap sepenuhnya mendapatkan lebih banyak kinerja dari waktu ke waktu dari Blackweell Brown, karena kami terus meningkatkan peningkatan program kami, dan dengan beban kerja yang baru dan lebih berat ke pasar,” kata Salvator.

Dia menunjukkan bahwa Nvidia adalah satu -satunya perusahaan yang memberikan semua kriteria.

“Kinerja hebat yang kami capai datang melalui campuran hal -hal. Ini adalah generasi kelima dan NVSwitch untuk menyediakan hingga 2,66 kali, bersama dengan barang arsitektur umum lainnya di Blackweell, bersama dengan peningkatan perangkat lunak berkelanjutan yang memungkinkan kinerja ini,” kata Salvator.

Dia menambahkan: “Karena warisan NVIDIA, kami dikenal untuk waktu terpanjang dari pemain seperti itu di unit pemrosesan grafis. Infrastruktur, yang sekarang kami sebut sebagai pabrik kecerdasan buatan.