Model Granite 4.0 Nano AI open source IBM cukup kecil untuk dijalankan secara lokal langsung di browser Anda

Dalam industri di mana ukuran model sering dipandang sebagai proksi kecerdasan, IBM memetakan jalur yang berbeda — jalur nilai Efisiensi melebihi besarnyaDan Aksesibilitas atas abstraksi.

Raksasa teknologi berusia 114 tahun Empat model baru Granite 4.0 Nanoyang dirilis hari ini, berkisar dari hanya 350 juta hingga 1,5 miliar parameter, hanya sebagian kecil dari ukuran sepupu mereka yang terikat server seperti OpenAI, Anthropic, dan Google.

Model-model ini dirancang agar mudah diakses: varian 350M dapat dijalankan dengan nyaman pada CPU laptop modern dengan RAM 8-16 GB, sedangkan model 1,5B biasanya memerlukan GPU dengan setidaknya VRAM 6-8 GB untuk kelancaran kinerja – atau sistem yang memadai dan peralihan RAM untuk inferensi khusus CPU. Hal ini membuatnya cocok bagi pengembang yang membangun aplikasi pada perangkat konsumen atau edge, tanpa bergantung pada komputasi awan.

Faktanya, yang terkecil dapat berjalan secara lokal di browser web Anda, yang juga dikenal sebagai Joshua Lochner Zenovapencipta Transformer.js dan insinyur pembelajaran mesin di Hugging Face, menulis di jejaring sosial X.

Semua model Granite 4.0 Nano dirilis di bawah lisensi Apache 2.0 – Ideal untuk digunakan oleh peneliti dan pengembang independen, bahkan untuk penggunaan komersial.

Ini secara asli kompatibel dengan llama.cpp, vLLM, dan MLX dan disertifikasi berdasarkan ISO 42001 untuk Pengembangan AI yang Bertanggung Jawab – sebuah standar yang dipelopori oleh IBM.

Namun dalam kasus ini, ukuran yang lebih kecil tidak berarti kapasitasnya lebih kecil, itu mungkin hanya berarti desain yang lebih cerdas.

Model tertanam ini tidak dirancang untuk pusat data, namun untuk perangkat edge, laptop, dan inferensi lokal, di mana komputasi merupakan hal yang langka dan waktu respons merupakan hal yang penting.

Meskipun ukurannya kecil, model Nano menunjukkan hasil rekor yang menyaingi atau bahkan melampaui performa model yang lebih besar dalam kategori yang sama.

Peluncuran ini merupakan sinyal bahwa batas baru bagi AI mulai terbentuk dengan cepat, yang tidak didominasi oleh skala semata, namun oleh Ukuran strategis.

Apa sebenarnya yang dirilis IBM?

itu Granit 4.0 nano Keluarga ini menyertakan empat templat sumber terbuka yang sekarang tersedia di Pelukan wajah:

• Granit-4.0-H-1B (~1,5 miliar parameter) – Arsitektur Hybrid-SSM

• Granit-4.0-H-350M (~350 juta parameter) – Arsitektur Hybrid-SSM

• Granit-4.0-1B – Varian berbasis transformator, jumlah parameter mendekati 2B

• Granit – 4,0-350 m – Varian berbasis transformator

Model Seri H – Granite-4.0-H-1B dan H-350M – menggunakan hybrid state space architecture (SSM) yang menggabungkan efisiensi dengan kinerja bertenaga, ideal untuk lingkungan terminal latensi rendah.

Sementara itu, varian adaptor standar — Granite-4.0-1B dan 350M — memberikan kompatibilitas yang lebih luas dengan alat seperti llama.cpp, yang dirancang untuk kasus penggunaan yang belum mendukung arsitektur hibrid.

Dalam praktiknya, model switch 1B lebih mendekati parameter 2B, namun kinerjanya sejalan dengan saudara hybridnya, sehingga menawarkan fleksibilitas kepada pengembang berdasarkan batasan waktu proses mereka.

Varian hybrid sebenarnya adalah model 1B. Namun varian non-hybrid lebih mendekati 2B, namun kami memilih untuk tetap konsisten nomenklaturnya dengan varian hybrid agar keterkaitannya mudah terlihat, jelas Emma, ​​​​manajer pemasaran produk Granite, saat konferensi. reddit "Tanyakan padaku apa saja" Sesi AMA di r/LocalLLaMA.

Kelas kompetitif model kecil

IBM memasuki pasar yang ramai dan berkembang pesat untuk model bahasa kecil (SLM), bersaing dengan penawaran seperti Qwen3, Gemma Google, LFM2 LiquidAI, dan bahkan model Mistral yang padat dalam ruang parameter sub-2B.

Meskipun OpenAI dan Anthropic fokus pada model yang memerlukan cluster GPU dan optimasi inferensi canggih, keluarga Nano IBM ditujukan khusus untuk pengembang yang ingin menjalankan kursus LLM berkinerja tinggi pada perangkat keras lokal atau perangkat keras terbatas.

Dalam pengujian benchmark, model IBM baru secara konsisten menduduki peringkat teratas di kelasnya. Menurut data Dibagikan di X oleh David Cox, Wakil Presiden AI Modeling di IBM Research:

• Di IFEval (mengikuti instruksi), Granite-4.0-H-1B mendapat skor 78,5, mengalahkan Qwen3-1.7B (73,1) dan model 1–2B lainnya.

• Pada BFCLv3 (Function/Tool Call), Granite-4.0-1B memimpin dengan skor 54,8, tertinggi di kelas ukurannya.

• Dalam hal standar keselamatan (SALAD dan AttaQ), model Granit memperoleh skor lebih dari 90%, mengalahkan pesaing berukuran sama.

Secara keseluruhan, Granite-4.0-1B mencapai rata-rata terdepan dalam benchmark sebesar 68,3% di bidang pengetahuan umum, matematika, kode, dan keselamatan.

Performa ini sangat penting mengingat keterbatasan perangkat keras yang dirancang untuk model ini.

Ini memerlukan lebih sedikit memori, berjalan lebih cepat pada CPU atau perangkat seluler, dan tidak memerlukan infrastruktur cloud atau akselerasi GPU untuk memberikan hasil yang dapat digunakan.

Mengapa ukuran model masih penting – hanya saja tidak seperti dulu

Pada gelombang pertama MBA, lebih besar berarti lebih baik – lebih banyak parameter diterjemahkan ke dalam generalisasi yang lebih baik, pemikiran yang lebih dalam, dan hasil yang lebih kaya.

Namun seiring dengan semakin matangnya penelitian transformator, menjadi jelas bahwa arsitektur, pelatihan berkualitas, dan penyetelan khusus misi dapat memungkinkan model yang lebih kecil untuk melampaui kelas bobotnya.

IBM mengandalkan perkembangan ini. Dengan meluncurkan model terbuka kecil Kemampuan untuk bersaing dalam tugas dunia nyataperusahaan menawarkan alternatif terhadap AI API monolitik yang mendominasi tumpukan aplikasi saat ini.

Faktanya, model nano memenuhi tiga kebutuhan yang semakin penting:

1. Fleksibilitas penerapan — Bekerja di mana saja, mulai dari perangkat seluler hingga server kecil.

2. Kesimpulan privasi — Pengguna dapat menyimpan data secara lokal tanpa harus terhubung ke API cloud.

3. Keterbukaan dan kemampuan audit – Kode sumber dan bobot model tersedia untuk umum di bawah lisensi terbuka.

Respon masyarakat dan sinyal peta jalan

Tim Granit IBM tidak hanya meluncurkan model dan menariknya; Komunitas Reddit sumber terbuka r/LocalLLaMA Untuk berhubungan langsung dengan pengembang.

Dalam thread bergaya AMA, Emma (Pemasaran Produk, Granit) menjawab pertanyaan teknis, mengatasi kekhawatiran tentang konvensi penamaan, dan memberikan petunjuk tentang langkah selanjutnya.

Konfirmasi penting dari topik:

• Model Granit 4.0 yang lebih besar saat ini sedang dalam pelatihan

• Model yang fokus pada inferensi ("Rekan-rekan mereka dalam berpikir") sedang dalam persiapan

• IBM akan segera merilis resep penyesuaian dan makalah pelatihan lengkap

• Lebih banyak alat dan kompatibilitas platform sedang dalam rencana

Pengguna merespons dengan antusias kemampuan model, terutama dalam tugas mengikuti instruksi dan respons terstruktur. Seorang komentator menyimpulkannya dengan mengatakan:

“Ini merupakan hal yang besar jika diterapkan pada model 1B – jika kualitasnya bagus dan menghasilkan output yang konsisten. Tugas pemanggilan fungsi, dialog multibahasa, penyelesaian FIM…ini bisa menjadi pekerjaan yang sangat sulit.”

Pengguna lain berkomentar:

“Granit Tiny sebenarnya adalah pilihan favorit saya untuk penelusuran web di LM Studio – lebih baik daripada beberapa model Qwen. Saya mungkin tergoda untuk mencoba Nano.”

Latar Belakang: IBM Granite dan perlombaan AI perusahaan

Dorongan IBM ke dalam model bahasa besar dimulai dengan sungguh-sungguh pada akhir tahun 2023 dengan debut keluarga model perusahaan Granite, dimulai dengan model seperti Granit.13b.instruksikan Dan Granit.13B.Obrolan. Dirilis hanya untuk digunakan dalam platform Watsonx, prototipe khusus dekoder ini menandakan ambisi IBM untuk membangun sistem AI tingkat perusahaan yang memprioritaskan transparansi, efisiensi, dan kinerja. Perusahaan mengambil sampel kode Granite secara open source di bawah lisensi Apache 2.0 pada pertengahan tahun 2024, sehingga meletakkan dasar bagi adopsi yang lebih luas dan eksperimen pengembang.

Titik balik sebenarnya datang dengan Granite 3.0 pada bulan Oktober 2024, rangkaian model tujuan umum dan khusus domain yang sepenuhnya open source mulai dari parameter 1B hingga 8B. Model ini berfokus pada efisiensi dalam skala besar, menawarkan kemampuan seperti jendela konteks yang lebih panjang, penyesuaian instruksi, dan pagar pembatas yang terintegrasi. IBM telah memposisikan Granite 3.0 sebagai pesaing langsung Llama dari Meta, Qwen dari Alibaba, dan Gemma dari Google — namun dengan sudut pandang unik yang mengutamakan perusahaan. Rilis yang lebih baru, termasuk Granite 3.1 dan Granite 3.2, memperkenalkan inovasi yang lebih ramah perusahaan: deteksi halusinasi bawaan, perkiraan rangkaian waktu, model visibilitas dokumen, dan inferensi bersyarat.

Keluarga Granite 4.0, yang diluncurkan pada Oktober 2025, mewakili rilis IBM yang paling ambisius secara teknis hingga saat ini. Ini memperkenalkan arsitektur hibrida yang menggabungkan lapisan transformator dan lapisan Mamba-2 – yang bertujuan untuk menggabungkan akurasi kontekstual dari mekanisme perhatian dan efisiensi memori model ruang keadaan. Desain ini memungkinkan IBM untuk secara signifikan mengurangi biaya memori dan latensi inferensi, menjadikan model Granite dapat digunakan pada mesin yang lebih kecil sambil tetap mengungguli rekan-rekan mereka dalam tugas tindak lanjut instruksi dan panggilan fungsi. Peluncuran ini juga mencakup sertifikasi ISO 42001, penandatanganan model kriptografi, dan distribusi di seluruh platform seperti Hugging Face, Docker, LM Studio, Ollama, dan watsonx.ai.

Di seluruh iterasi, fokus IBM sudah jelas: membangun model AI yang dapat dipercaya, efisien, dan tidak ambigu secara hukum untuk kasus penggunaan perusahaan. Dengan lisensi Apache 2.0 yang permisif, standar umum, dan fokus pada tata kelola, Granit Initiative tidak hanya menanggapi kekhawatiran yang berkembang tentang model kotak hitam yang dipatenkan, namun juga menawarkan alternatif terbuka dan selaras dengan Barat terhadap kemajuan pesat yang dicapai oleh tim seperti Alibaba’s Coin. Dengan melakukan hal ini, Granite memposisikan IBM sebagai pemimpin dalam fase selanjutnya dari AI yang siap produksi dan berbobot terbuka.

Pergeseran menuju efisiensi yang terukur

Pada akhirnya, peluncuran model Granite 4.0 Nano oleh IBM mencerminkan perubahan strategis dalam pengembangan LLM: dari mengejar catatan jumlah parameter hingga meningkatkan kemudahan penggunaan, keterbukaan, dan skala penerapan.

Dengan menggabungkan kinerja kompetitif, praktik pengembangan yang bertanggung jawab, dan keterlibatan mendalam dengan komunitas sumber terbuka, IBM memposisikan Granite tidak hanya sebagai rangkaian model — namun sebagai platform untuk membangun sistem AI generasi berikutnya yang ringan dan dapat dipercaya.

Bagi pengembang dan peneliti yang mencari performa tanpa biaya tambahan, Edisi Nano menawarkan sinyal yang menarik: Anda tidak memerlukan 70 miliar parameter untuk membangun sesuatu yang hebat — cukup parameter yang tepat.

Tautan sumber