Nvidia terbuka nemotron-nano-9b-v2 dapat beralih/berhenti berpikir

Model kecil melewati sesaat. Setelah penerbitan model bentuk kecerdasan buatan baru Cukup kecil untuk menyesuaikan jam tangan pintar Dari MIT Spin -off Liquid AI, model kecil yang cukup untuk dijalankan di smartphone Google, Nvidia bergabung dengan pesta hari ini dengan Model Bahasa Kecil Baru (SLM) Sendiri, Nemotron-nano-9b-v2,, yang mencapai kinerja tertinggi di kelasnya tentang kriteria spesifik dan datang dengan kemampuan pengguna untuk mengubah dan menghentikan “berpikir”, yaitu melindungi diri sebelum mengambil jawaban.

Sedangkan parameternya 9 miliar lebih besar dari beberapa parameter yang mencakup jutaan model kecil yang dicakup oleh VentureBeat baru -baru iniNvidia mencatat bahwa itu adalah pengurangan yang berarti dalam ukuran aslinya 12 miliar guru Dan dirancang agar sesuai Unit Pemrosesan Grafis NVIDIA A10.

Sebagai Oleksii Kuchiaev, manajer NVIDIA dari AI Model setelah pelatihan, Katanya di x Menanggapi pertanyaan yang disajikannya kepadanya: “12b hingga 9b telah dipangkas agar sesuai dengan A10 secara khusus, yang merupakan pilihan GPU umum untuk publikasi. Ini juga merupakan model campuran yang memungkinkannya untuk memproses ukuran batch yang lebih besar dan hingga 6x lebih cepat dari model transformator yang sama. “

Untuk konteks, banyak LLM terkemuka dalam kisaran 70+ miliar parameter (parameter panggilan merujuk pada pengaturan internal yang mengatur bentuk model, dengan umumnya menunjukkan model yang lebih besar dan lebih mampu).

Model ini mengambil berbagai bahasa, termasuk bahasa Inggris, Jerman, Spanyol, Prancis, Italia, Jepang dan dalam deskripsi yang diperpanjang, Korea, Portugis, Rusia, dan Cina. Itu cocok untuk mereka berdua Instruksi berikut dan pembuatan kode.

Nemotron-nano-9b-v2 Dan Set data sebelum pelatihan Sekarang tersedia dalam menghadapi pelukan dan melalui katalog perusahaan.

Integrasi struktur transformator dan mamba

Itu tergantung pada Nemotron-HModel pengiriman uang hibrida Mamba yang merupakan dasar untuk penawaran terbaru perusahaan.

Sementara LLM yang paling populer adalah model “adaptor” murni, yang sepenuhnya tergantung pada lapisan perhatian, mereka bisa menjadi mahal dalam memori dan akun dengan pertumbuhan panjang urutan.

Sebaliknya, model Nemotron-H dan lainnya menggunakan Struktur mamba yang dikembangkan oleh para peneliti Di Universitas Carnegie Mellon dan Bruneston juga Menenun dalam model ruang status selektif (atau SSM), yang dapat menangani urutan informasi yang sangat panjang di dalam dan di luar situasi.

Lapisan -lapisan ini meluas sejalan dengan panjang urutan dan dapat mengatasi konteks untuk periode yang lebih lama dari kepentingan diri sendiri tanpa memori yang sama dan menghitung pengeluaran publik.

AYbrid mamba mengurangi biaya ini dengan mengganti sebagian besar perhatian dengan lapisan area linier, dan mencapai produksi hingga 2-3 x lebih tinggi pada konteks panjang Akurasi serupa.

Laboratorium kecerdasan buatan lainnya, seperti NVIDIA, seperti AI2, juga telah merilis model berdasarkan Mamba.

Beralih/berpikir menggunakan bahasa

Nemotron-Nano-9b-V2 ditempatkan sebagai model yang seragam, hanya obrolan dan logika yang dilatih dari awal.

itu Pengaturan default sistem untuk membuat trek berpikir sebelum memberikan jawaban akhir, meskipun pengguna dapat mengubah perilaku ini Dengan kode kontrol sederhana seperti /berpikir atau /no_tkink.

Modelnya juga sayaNTRDUCES Manajemen Waktu Operasi “Anggaran Berpikir”setiap Pengembang mengizinkan jumlah simbol ini Saya dikhususkan untuk pemikiran internal sebelum formulir melengkapi respons.

Mekanisme ini bertujuan untuk menyeimbangkan akurasi dengan jintan, Terutama dalam aplikasi seperti dukungan pelanggan atau agen independen.

Standar menceritakan kisah yang menjanjikan

Hasil evaluasi menjelaskan akurasi kompetitif terhadap model terbuka lainnya dalam skala kecil. Itu diuji dalam mode “berpikir” menggunakan suite nemo-skills, Nemotron-Nano-9b-V2 mencapai 72,1 persen di AIME25Dan 97,8 persen di Math500, 64,0 persen di GPQADan 71,1 persen di LiveCodebench.

Gelar telah dilaporkan pada instruksi berikut dan standar konteks panjang: 90,3 persen pada Ifeval, 78,9 persen dalam tes 128kKeuntungan yang lebih kecil tetapi terukur pada standar BFCL V3 dan HLE.

Di semua daerah, Nano-9b-V2 menunjukkan resolusi yang lebih tinggi dari QWEN3-8B, Titik umum untuk perbandingan.

NVIDIA menjelaskan hasil ini dengan kurva akurasi terhadap anggaran yang menunjukkan bagaimana standar kinerja meningkat dengan peningkatan simbol pemikiran yang khas. Perusahaan menyarankan bahwa kontrol anggaran yang tepat dapat membantu pengembang untuk meningkatkan kualitas dan jintan dalam kasus produksi.

Pelatihan Koleksi Data Buatan

Baik keluarga Nano dan Nemotron-H bergantung pada campuran data pelatihan dan sumber yang terkoordinasi di web dan buatan.

Perusahaan ini mencakup teks umum, simbol, matematika, sains, dokumen hukum dan keuangan, serta kelompok data kemahiran yang mirip dengan penyelarasan.

NVIDIA mengkonfirmasi penggunaan efek berpikir buatan yang disebabkan oleh model besar lainnya untuk meningkatkan kinerja pada standar yang kompleks.

Lisensi dan Penggunaan Komersial

Nano-9b-V2 dirilis di bawah ini Perjanjian Lisensi Formulir Terbuka NVIDIAPembaruan terakhir pada Juni 2025.

Lisensi ini dirancang agar mudah dan ramah kepada institusi. Nvidia secara tegas menyatakan bahwa model tersebut Secara komersial Di luar kotakDan itu Pengembang bebas untuk membuat dan mendistribusikan model.

Lebih penting lagi, NVIDIA tidak mengklaim kepemilikan output apa pun yang dibuat oleh formulir, yang meninggalkan tanggung jawab dan hak dengan pengembang atau lembaga yang ia gunakan.

Adapun pengembang organisasi, ini berarti bahwa model dalam produksi dapat ditempatkan segera tanpa menegosiasikan lisensi komersial terpisah atau membayar biaya terkait dengan ambang batas penggunaan atau tingkat pendapatan atau sensus pengguna. Tidak ada barang yang memerlukan lisensi berbayar begitu perusahaan mencapai kisaran tertentu, tidak seperti beberapa lisensi terbuka bertahap yang digunakan oleh penyedia layanan lain.

Namun, perjanjian tersebut mencakup banyak kondisi yang harus diperhatikan oleh lembaga:

• Pegangan tanganPengguna tidak dapat mengatasi atau mengganggu mekanisme keselamatan terintegrasi (disebut sebagai “pegangan tangan”) tanpa menerapkan alternatif serupa yang cocok untuk menerbitkannya.
• redistribusi: Setiap redistribusi model atau derivatif harus menyertakan lisensi model Open NVIDIA (“dilisensikan oleh NVIDIA Corporation di bawah NVIDIA Open Model”).
• kepatuhanPengguna harus mematuhi peraturan dan pembatasan komersial (misalnya, undang -undang ekspor Amerika).
• Kondisi kecerdasan buatan yang layak dipercayaMenggunakan harus konsisten dengan instruksi penasihat yang layak dipercaya pada NVIDIA, yang mencakup pertimbangan penerbitan yang bertanggung jawab dan moral.
• Persyaratan untuk litigasi: Jika pengguna memulai hak cipta atau litigasi dalam paten terhadap entitas lain yang mengklaim akan dilanggar oleh model, maka lisensi berakhir secara otomatis.

Kondisi ini fokus pada penggunaan hukum dan bertanggung jawab alih -alih ruang lingkup komersial. Lembaga tidak perlu meminta izin tambahan atau membayar royalti ke NVIDIA hanya untuk membangun produk, mencairkannya, atau membatasi basis pengguna. Sebaliknya, mereka harus memastikan bahwa praktik penerbitan menghormati keamanan, dukungan dan kewajiban kepatuhan.

GPS di pasar

Dengan Nemotron-Nano-9B-V2, NVIDIA menargetkan pengembang yang membutuhkan keseimbangan antara kemampuan berpikir dan mempublikasikan efisiensi pada langkah-langkah yang lebih kecil.

Fitur kontrol dari anggaran waktu operasi dan fitur logika bertujuan untuk memberi pembangun sistem lebih banyak fleksibilitas dalam mengelola akurasi terhadap kecepatan respons.

Peluncuran pelukan wajah mereka dan cokelat nafidia yang khas menunjukkan bahwa mereka Seharusnya tersedia secara luas untuk pengalaman dan integrasi.

Versi NVIDIA NANO-9 V2 menunjukkan fokus konstan pada efisiensi dan pemikiran yang dapat dikontrol dalam model bahasa.

Dengan menggabungkan struktur hibrida dengan tekanan baru dan teknik pelatihanPerusahaan menyediakan alat pengembang yang berupaya mempertahankan akurasi sambil mengurangi biaya dan jintan.

Visi harian tentang kasus penggunaan bisnis dengan VB setiap hari

Jika Anda ingin membujuk bos Anda di tempat kerja, Anda telah membahas VB setiap hari. Kami memberi Anda sendok dari dalam tentang apa yang dilakukan perusahaan dengan kecerdasan buatan kebidanan, dari transformasi organisasi hingga operasi penerbitan praktis, sehingga Anda dapat berbagi visi dari pengembalian investasi maksimum.

Baca Kebijakan Privasi Kami

Terima kasih telah berlangganan. Periksa lebih banyak buletin VB di sini.

Terjadi kesalahan.