Model kecerdasan buatan “murah” ini sebenarnya terbakar melalui anggaran akun Anda

luas Studi baru Dia mengungkapkan bahwa model kecerdasan buatan sumber terbuka mengkonsumsi lebih banyak sumber daya komputasi daripada pesaing tertutup mereka ketika melakukan tugas yang sama, dan dapat merusak keuntungan biaya dan membentuk kembali bagaimana lembaga mengevaluasi penyebaran kecerdasan buatan.

Penelitian, yang dilakukan oleh Perusahaan Kecerdasan Buatan Pencarian nousSaya menemukan bahwa model bobot terbuka menggunakan antara 1,5 hingga 4 kali simbol khas Openai Dan pria. Untuk pertanyaan pengetahuan sederhana, kesenjangan telah melebar, dengan beberapa model terbuka yang menggunakan simbol hingga 10 kali lipat.

Para peneliti menulis dalam laporan mereka yang diterbitkan pada hari Rabu: “Model berat terbuka menggunakan 1,5-4 x simbol yang lebih khas daripada simbol tertutup (hingga 10 x untuk pertanyaan pengetahuan sederhana), yang kadang-kadang membuatnya lebih mahal untuk setiap kueri meskipun ada biaya rendah dari segalanya.”

Hasilnya menantang asumsi yang berlaku dalam industri kecerdasan buatan bahwa model open source memberikan keuntungan ekonomi yang jelas pada alternatif kepemilikan. Meskipun model open source biasanya lebih murah untuk setiap kode operasi, penelitian ini menunjukkan bahwa fitur ini dapat “dengan mudah kompensasi jika membutuhkan simbol yang lebih khas tentang masalah tertentu.”

Biaya Nyata Amnesty International: Mengapa model “anggaran” termurah Anda hancur

Penyelidikan 19 model kecerdasan buatan yang berbeda Melalui tiga kategori tugas: pertanyaan pengetahuan dasar, masalah matematika, dan teka -teki logis. Tim mengukur “efisiensi simbol khas” – berapa banyak model unit matematika yang Anda gunakan dalam kaitannya dengan kompleksitas solusi mereka – suatu ukuran yang menerima beberapa studi sistematis meskipun ada efek biayanya.

Para peneliti menunjukkan bahwa “efisiensi simbolik adalah ukuran kritis karena beberapa alasan praktis.” “Meskipun hosting model berat terbuka mungkin lebih murah, fitur biaya ini dapat dengan mudah dikompensasi jika membutuhkan simbol yang lebih khas untuk penyebab masalah tertentu.”

Efisiensi sangat jelas untuk model berpikir besar (LRM), yang digunakan diperpanjangRantai pemikiran“Untuk memecahkan masalah yang kompleks. Model -model ini, yang dirancang untuk memikirkan masalah langkah -dengan langkah, dapat mengkonsumsi ribuan simbol yang memikirkan pertanyaan sederhana yang seharusnya membutuhkan akun minimal.

Untuk mendapatkan pertanyaan pengetahuan dasar seperti “Apa ibukota Australia?” Studi ini menemukan bahwa model berpikir menghabiskan “ratusan simbol yang memikirkan pertanyaan pengetahuan sederhana” yang dapat dijawab dalam satu kata.

Apa model kecerdasan buatan yang sebenarnya menawarkan ledakan

Mengungkapkan pencarian untuk perbedaan mencolok antara sponsor model. Model openai, terutama mereka O4-mini Dan sumber terbuka yang baru GPT -SSS Variabel menunjukkan efisiensi simbolik yang luar biasa, terutama untuk masalah matematika. Studi ini menemukan bahwa model OpenAI “menyoroti efisiensi simbolis ekstrem dalam masalah matematika”, menggunakan hingga tiga kali lipat simbol khas dari model komersial lainnya.

Di antara opsi open source, nvidia Llama-3.3-sunotron-super-49b-v1 “Lebih dari satu model bobot terbuka yang khas muncul di semua bidang”, sedangkan model perusahaan terbaru seperti Magistral “menunjukkan penggunaan simbol yang sangat tinggi” sebagai puncak ekstremis.

Kesenjangan efisiensi bervariasi secara signifikan sesuai dengan jenis tugas. Sementara model terbuka menggunakan dua kali jumlah simbol khas masalah matematika dan logis, tim telah diamplifikasi oleh pertanyaan pengetahuan sederhana di mana pemikiran yang efektif seharusnya tidak perlu.

Apa yang Membutuhkan Pemimpin Lembaga untuk mengetahui biaya menghitung kecerdasan buatan

Hasilnya memiliki efek langsung pada adopsi AI, di mana biaya komputasi dapat diperluas dengan cepat dengan penggunaan. Perusahaan yang mengevaluasi model kecerdasan buatan sering fokus pada akurasi dan harga untuk setiap orang, tetapi mereka dapat mengabaikan total persyaratan aritmatika untuk tugas -tugas di dunia nyata.

“Efisiensi simbolis terbaik dari model berat tertutup sering kali mengkompensasi tingginya harga API untuk model ini,” para peneliti menemukan ketika menganalisis total biaya inferensi.

Studi ini juga mengungkapkan bahwa model sumber tertutup tampaknya aktif untuk efisiensi. “Model berat tertutup telah berulang kali ditingkatkan untuk menggunakan lebih sedikit simbol untuk mengurangi biaya penalaran,” sementara model terbuka “meningkatkan penggunaan simbolis versi terbaru, dan mungkin mencerminkan prioritas terhadap kinerja berpikir yang lebih baik.”

Bagaimana peneliti memecahkan simbol untuk mengukur efisiensi kecerdasan buatan

Tim peneliti menghadapi tantangan unik dalam mengukur efisiensi melalui berbagai struktur model. Banyak model sumber tertutup tidak mengungkapkan operasi berpikir mentah, sebaliknya memberikan ringkasan ringkas untuk akun internal mereka untuk mencegah pesaing menyalin teknologi mereka.

Untuk mengatasi hal ini, para peneliti menggunakan simbol khas – unit akuntansi total yang telah menjadi faktur untuk setiap kueri – sebagai alternatif upaya berpikir. Mereka menemukan bahwa “model sumber tertutup terbaru tidak akan berbagi efek pemikiran mentah” dan sebaliknya “menggunakan model bahasa yang lebih kecil untuk menyalin serangkaian pemikiran dalam ringkasan atau representasi terkompresi.”

Metodologi penelitian termasuk tes dengan versi yang dimodifikasi dari masalah yang diketahui dengan baik untuk mengurangi efek solusi yang dipesan, seperti mengubah variabel dalam masalah kompetisi olahraga dari Ujian Matematika untuk American Call (AIME).

Masa depan efisiensi kecerdasan buatan: apa yang akan terjadi selanjutnya

Para peneliti menyarankan bahwa efisiensi simbolis harus menjadi tujuan mendasar dalam peningkatan bersama dengan akurasi untuk mengembangkan model masa depan. “Rekanan yang paling intens juga akan menggunakan konteks yang lebih efisien dan dapat bertentangan dengan kemunduran konteks selama tugas pemikiran yang sulit,” Mereka menulis.

Versi OpenAi Open Source Model GPT -SS,, yang menunjukkan efisiensi modern dengan “COT yang dapat diakses dengan bebas”, dapat berfungsi sebagai titik referensi untuk meningkatkan model sumber terbuka lainnya.

Kode Pengumpulan Data Penelitian Lengkap dan Kode Evaluasi Tersedia di JabbapIzinkan peneliti lain untuk memverifikasi keaslian dan memperluas hasilnya. Karena industri kecerdasan buatan menuju kemampuan berpikir yang paling kuat, penelitian ini menunjukkan bahwa persaingan nyata mungkin bukan tentang siapa yang dapat membangun kecerdasan buatan paling cerdas – tetapi siapa yang dapat membangun yang paling efisien.

Lagi pula, di dunia di mana setiap simbol penting, Anda mungkin menemukan model yang paling boros dari pasar, terlepas dari seberapa banyak pemikiran itu.

Visi harian tentang kasus penggunaan bisnis dengan VB setiap hari

Jika Anda ingin membujuk bos Anda di tempat kerja, Anda telah membahas VB setiap hari. Kami memberi Anda prioritas jurnalistik internal atas apa yang dilakukan perusahaan dengan kecerdasan buatan kebidanan, dari transformasi organisasi hingga operasi penerbitan praktis, sehingga Anda dapat berbagi visi pengembalian investasi maksimum.

Baca Kebijakan Privasi Kami

Terima kasih telah berlangganan. Periksa lebih banyak buletin VB di sini.

Terjadi kesalahan.