Perusahaan yang meningkatkan penerapan AI menghadapi hambatan kinerja yang tidak terlihat. Pelakunya? Memperbaiki pemukul yang tidak dapat mengikuti perubahan beban kerja.

Spekulan adalah model AI yang lebih kecil yang bekerja berdampingan dengan model linguistik yang lebih besar selama inferensi. Mereka merumuskan beberapa kode penerusan, yang kemudian diverifikasi oleh model utama secara paralel. Teknik ini (disebut decoding spekulatif) menjadi penting bagi organisasi yang mencoba mengurangi biaya inferensi dan latensi. Daripada menghasilkan token satu per satu, sistem dapat menerima beberapa token sekaligus, sehingga meningkatkan throughput secara signifikan.

Bersama Amnesty Internasional Hari ini saya mengumumkan penelitian dan sistem baru yang disebut ATLAS (Adaptive-LeArning Speculator System) yang bertujuan membantu institusi mengatasi tantangan spekulan yang gigih. Teknologi ini memberikan pengoptimalan inferensi pembelajaran mandiri yang dapat membantu memberikan performa inferensi hingga 400% lebih cepat dibandingkan tingkat performa dasar yang tersedia dalam teknik inferensi saat ini seperti vLLM. Sistem ini mengatasi masalah kritis: seiring dengan berkembangnya beban kerja AI, kecepatan inferensi menurun, bahkan dengan spekulan khusus.

Perusahaan itu Dia memulai kariernya Pada tahun 2023, fokusnya adalah pada Meningkatkan heuristik Di platform AI organisasi. Awal tahun ini perusahaan Ini mengumpulkan $305 juta Seiring dengan meningkatnya adopsi dan permintaan pelanggan.

"Perusahaan tempat kami bekerja secara umum, ketika mereka berkembang, mereka melihat perubahan beban kerja, dan kemudian mereka tidak melihat kecepatan eksekusi spekulatif yang sama seperti sebelumnya," Trey Dow, kepala ilmuwan di Together AI, mengatakan kepada VentureBeat dalam sebuah wawancara eksklusif. "Para calo ini umumnya tidak bekerja dengan baik ketika area beban kerja mereka mulai bergeser."

Masalah penyimpangan beban kerja tidak dibicarakan siapa pun

Kebanyakan spekulan dalam produksi saat ini adalah "tetap" Model. Mereka dilatih satu kali pada kumpulan data statis yang mewakili beban kerja yang diharapkan, dan kemudian diterapkan tanpa kemampuan beradaptasi apa pun. Perusahaan seperti Meta dan Mistral mengirimkan calo terlatih bersama dengan model utama mereka. Platform inferensi seperti vLLM menggunakan spekulasi statis ini untuk meningkatkan keluaran tanpa mengubah kualitas keluaran.

Tapi ada batasannya. Seiring berkembangnya penggunaan kecerdasan buatan dalam suatu organisasi, keakuratan raket tetap menurun.

"Jika Anda adalah perusahaan yang memproduksi agen pemrograman, dan sebagian besar pengembang Anda menulis dengan Python, dan tiba-tiba beberapa dari mereka beralih ke menulis Rust atau C, maka Anda akan melihat bahwa kecepatannya mulai menurun," Dao menjelaskan. "Pemukul memiliki ketidaksesuaian antara apa yang telah dilatihnya dengan beban kerja sebenarnya."

Kemiringan beban kerja ini menunjukkan pajak tersembunyi pada penskalaan AI. Perusahaan menerima kinerja yang memburuk atau berinvestasi dalam pelatihan ulang spekulan yang berdedikasi. Proses ini hanya mengambil cuplikan pada waktunya dan dengan cepat menjadi usang.

Cara kerja spekulan adaptif: pendekatan model ganda

ATLAS menggunakan struktur spekulasi ganda yang menggabungkan stabilitas dan adaptasi:

Spekulan statis -Model berat yang dilatih pada data luas memberikan performa dasar yang konsisten. Ini seperti "Lantai kecepatan."

Scalper adaptif – Model ringan yang terus belajar dari lalu lintas langsung. Dia berspesialisasi dalam domain yang sedang berkembang dan pola penggunaan.

Pengontrol yang sadar akan kepercayaan – Lapisan koordinasi secara dinamis memilih raket mana yang ingin Anda gunakan. Ini mengendalikan spekulasi "Nantikan" Berdasarkan tingkat kepercayaan.

"Sebelum pemukul adaptif mempelajari apa pun, kami masih memiliki pemukul tetap untuk membantu memberikan peningkatan kecepatan pada awalnya," Ben Athiwaratakon, ilmuwan AI di Together AI, menjelaskan kepada VentureBeat. "Ketika striker adaptif menjadi lebih percaya diri, kecepatannya bertambah seiring waktu."

Inovasi teknis terletak pada penyeimbangan tingkat penerimaan (berapa kali model target setuju dengan rancangan token) dan waktu kedatangan rancangan. Karena model adaptif belajar dari pola lalu lintas, pengontrol lebih mengandalkan dayung ringan dan jangkauan ke depan. Ini menggandakan peningkatan kinerja.

Pengguna tidak perlu menyesuaikan parameter apa pun. "Di sisi pengguna, pengguna tidak perlu mengoperasikan kenop apa pun;" kata Dow. "Bagi kami, kami telah memutar kenop ini sehingga pengguna dapat menyesuaikannya dalam konfigurasi yang mencapai kecepatan yang baik."

Performa yang menyaingi silikon khusus

Bersama-sama, pengujian AI menunjukkan ATLAS mencapai 500 token per detik pada DeepSeek-V3.1 ketika diadaptasi sepenuhnya. Yang lebih mengesankan adalah angka-angka pada GPU Nvidia B200 ini cocok atau melampaui chip inferensi khusus sejenisnya Anak anjingmu Perangkat keras khusus.

"Peningkatan perangkat lunak dan algoritma mampu menjembatani kesenjangan dengan perangkat keras yang benar-benar terspesialisasi," kata Dow. "Kami telah melihat 500 kode per detik pada model besar ini yang lebih cepat daripada beberapa chip khusus."

Percepatan 400% yang diklaim perusahaan untuk disimpulkan mewakili efek kumulatif dari rangkaian pengoptimalan Turbo Together. Kuantisasi FP4 memberikan percepatan 80% dibandingkan baseline FP8. Pengocok turbo tetap menambahkan keuntungan 80-100% lainnya. Lapisan sistem adaptif di bagian atas. Setiap peningkatan melipatgandakan manfaat dari peningkatan lainnya.

Dibandingkan dengan mesin inferensi standar seperti vLLM Atau TensorRT-LLM dari Nvidia, peningkatannya signifikan. Bersama-sama, teknologi AI mengukur garis dasar yang lebih kuat antara keduanya untuk setiap beban kerja sebelum menerapkan pengoptimalan spekulatif.

Pertukaran komputasi memori dijelaskan

Peningkatan kinerja berasal dari eksploitasi ketidakefisienan mendasar dalam penalaran modern: daya komputasi yang terbuang.

Dow menjelaskan, biasanya selama inferensi, banyak daya komputasi yang tidak digunakan sepenuhnya.

"Selama inferensi, yang sebenarnya merupakan beban kerja dominan saat ini, Anda sebagian besar menggunakan subsistem memori," Dia berkata.

Penguraian kode spekulatif mengorbankan komputasi yang menganggur untuk meminimalkan akses memori. Saat model menghasilkan satu token pada satu waktu, model tersebut terikat pada memori. GPU tetap menganggur sambil menunggu memori. Namun ketika spekulan mengusulkan lima token dan model target memeriksanya secara bersamaan, pemanfaatan komputasi meningkat sementara akses memori tetap konstan.

"Jumlah total komputasi untuk menghasilkan lima kode adalah sama, namun Anda hanya perlu mengakses memori satu kali, bukan lima kali." kata Dow.

Anggap saja sebagai cache cerdas untuk AI

Untuk tim infrastruktur yang terbiasa dengan optimasi database tradisional, spekulasi adaptif berfungsi sebagai lapisan caching yang cerdas, namun dengan perbedaan penting.

Sistem caching tradisional seperti Redis atau memcached memerlukan pencocokan tepat. Anda dapat menyimpan hasil kueri yang sama persis dan mengambilnya kembali saat Anda menjalankan kueri spesifik tersebut lagi. Scalper adaptif bekerja secara berbeda.

"Anda dapat melihatnya sebagai cara cerdas untuk melakukan caching, bukan melakukan caching, namun mendeteksi beberapa pola yang Anda lihat," Dao menjelaskan. "Secara umum, kami melihat bahwa Anda bekerja dengan kode serupa, atau bekerja dengan kode serupa, Anda tahu, dan mengendalikan akun dengan cara yang serupa. Kami kemudian dapat memprediksi apa yang akan dikatakan oleh model besar tersebut. Kami menjadi semakin baik dalam memprediksi hal itu."

Daripada menyimpan respons yang tepat, sistem mempelajari pola bagaimana model menghasilkan token. Ia mengakui bahwa jika Anda mengedit file Python dalam basis kode tertentu, urutan kode tertentu menjadi lebih mungkin terjadi. Spekulan beradaptasi dengan pola tersebut, meningkatkan prediksinya seiring waktu tanpa memerlukan masukan yang cocok.

Kasus penggunaan: Pelatihan RL dan beban kerja yang terus berkembang

Ada dua skenario kelembagaan yang khususnya mendapat manfaat dari spekulan adaptif:

Meningkatkan pembelajaran pelatihan: Spekulan yang konsisten dengan cepat keluar dari jalur seiring dengan berkembangnya kebijakan selama pelatihan. ATLAS terus beradaptasi seiring perubahan distribusi kebijakan.

Beban kerja tingkat lanjut: Saat organisasi menemukan kasus penggunaan baru untuk AI, komposisi beban kerja berubah. "Mungkin mereka mulai menggunakan AI untuk chatbot, tapi kemudian mereka sadar, mereka bisa menulis kode, jadi mereka mulai beralih ke kode," kata Dow. "Atau mereka menyadari bahwa sistem AI ini sebenarnya dapat memanggil alat dan mengendalikan komputer serta melakukan akuntansi dan hal-hal seperti itu."

Dalam sesi pengkodean dinamis, sistem adaptif dapat mengkhususkan diri pada basis kode spesifik yang sedang diedit. Ini adalah file yang tidak terlihat selama pelatihan. Hal ini meningkatkan tingkat penerimaan dan kecepatan decoding.

Apa artinya bagi organisasi dan ekosistem inferensi

ATLAS kini tersedia di titik akhir kustom Together AI sebagai bagian dari platform tanpa biaya tambahan. Lebih dari 800.000 pengembang perusahaan (dibandingkan dengan 450.000 di bulan Februari) memiliki akses ke pengoptimalan.

Namun dampak yang lebih luas tidak hanya terjadi pada satu produk vendor saja. Peralihan dari optimasi statis ke adaptif mewakili pemikiran ulang mendasar tentang cara kerja platform inferensi. Ketika organisasi menerapkan AI di berbagai domain, industri perlu beralih dari model yang hanya dilatih satu kali ke sistem yang terus belajar dan berkembang.

Bersama-sama, AI secara historis telah merilis beberapa teknologi penelitiannya sebagai sumber terbuka dan berkolaborasi dengan proyek seperti vLLM. Meskipun sistem ATLAS yang terintegrasi penuh merupakan hak milik, beberapa teknologi yang mendasarinya pada akhirnya dapat berdampak pada ekosistem inferensi yang lebih luas.

Bagi perusahaan yang ingin menjadi pemimpin di bidang AI, pesannya jelas: algoritme adaptif pada perangkat keras komoditas dapat menandingi silikon khusus dengan biaya yang lebih murah. Seiring dengan semakin matangnya pendekatan ini di seluruh industri, pengoptimalan perangkat lunak semakin melampaui perangkat keras khusus.

Tautan sumber