Kurang dari itu: Studi Meta menunjukkan bahwa pemikiran yang lebih pendek meningkatkan keakuratan kecerdasan buatan sebesar 34 %

Meta Peneliti Tim yang adil Dan Universitas Ibrani Yerusalem Mereka menemukan bahwa memaksa model bahasa besar untuk “berpikir” kurang benar -benar meningkatkan kinerja mereka dalam tugas berpikir yang kompleks.

itu Tiket Hari ini saya menemukan bahwa proses berpikir yang lebih pendek dalam sistem kecerdasan buatan menghasilkan hasil yang lebih akurat sementara secara signifikan mengurangi perhitungan.

“Dalam pekerjaan ini, kami menantang asumsi bahwa rantai berpikir panjang mengarah pada kemampuan berpikir yang lebih baik,” tulis penulis dalam makalah mereka yang berjudul.Jangan memikirkannya. Rantai favorit pemikiran pendek untuk meningkatkan pemikiran di llm“

Penelitian ini kontras dengan tren yang berlaku dalam mengembangkan kecerdasan buatan, karena perusahaan telah berinvestasi secara luas dalam meningkatkan sumber daya komputasi untuk memungkinkan bahan melakukan pemikiran luas melalui panjang.Rantai berpikir-Tep langkah demi langkah jalur yang digunakan oleh sistem kecerdasan buatan untuk memecahkan masalah yang kompleks.

Resolusi kecerdasan buatan melonjak sebesar 34 % ketika model menggunakan rantai berpikir yang lebih pendek

Para peneliti menemukan bahwa dalam tugas berpikir yang sama, “Luxor Thinking Chains cenderung menghasilkan jawaban yang tepat – hingga 34,5 % lebih akurat daripada serangkaian sampel terpanjang dari mereka untuk pertanyaan yang sama.” Penemuan ini benar melalui beberapa model perintis dan standar Amnesty International.

“Sambil menunjukkan hasil yang mengesankan, (pemikiran luas) memiliki biaya matematika yang luar biasa dan waktu penalaran,” kata penulis, mencatat inefisiensi hebat dalam bagaimana sistem ini sedang diterbitkan.

Berdasarkan hasil ini, tim mengembangkan pendekatan baru yang disebut “Pendek m@k“Siapa yang melakukan beberapa upaya pemikiran secara paralel, tetapi menghentikan akun segera setelah beberapa operasi pertama selesai. Kemudian jawaban akhir dipilih melalui suara mayoritas antara rantai yang lebih pendek ini.

Metode baru ‘Short-M@K’ mengirimkan biaya komputasi sebesar 40 % dengan peningkatan kinerja

Untuk institusi yang menerbitkan sistem berpikir pria besar, efeknya bisa besar. Para peneliti menemukan bahwa metode mereka dapat mengurangi sumber daya aritmatika hingga 40 % sambil mempertahankan tingkat yang sama dengan metode standar.

“Pendek 3@K, meskipun sedikit kurang efisien daripada pendek 1@K, pemungutan suara mayoritas terus -menerus melebihi semua anggaran matematika, sementara itu sebagian besar masih lebih cepat (hingga 33 % dari waktu dinding),” kata kertas itu.

Michael Hasid, penulis utama makalah ini, dan timnya menemukan bahwa melatih model kecerdasan buatan pada contoh -contoh pemikiran yang lebih pendek meningkatkan kinerjanya – tantangan asumsi dasar lainnya dalam mengembangkan kecerdasan buatan.

Para peneliti menulis: “Pelatihan Luxor mengarah pada kinerja yang lebih baik,” tulis para peneliti. “Sebaliknya, tiroiditis pada S1 meningkatkan waktu berpikir dengan kurangnya keuntungan yang signifikan dalam kinerja.”

Raksasa teknologi dapat menghemat jutaan orang dengan menerapkan pendekatan “jangan pikirkan tentang itu”

Hasilnya datang dalam waktu yang penting bagi industri kecerdasan buatan, karena perusahaan berlomba untuk menyebarkan model kuat yang mengkonsumsi sumber daya matematika yang sangat besar.

“Hasil yang telah kami capai merujuk untuk memikirkan kembali metode menghitung waktu tes dalam memikirkan LLM, sambil menekankan bahwa semakin lama” pemikiran “tidak selalu diterjemahkan menjadi peningkatan kinerja dan dapat, secara tidak tepat, mengarah pada hasil yang memburuk.

Penelitian ini bertentangan dengan kebalikan dari metode terkemuka lainnya. Studi berpengaruh sebelumnya, termasuk karya Openai tentang “Thought Series” dan “Konsistensi diri“Metode, umumnya menyerukan pemikiran yang paling komprehensif. Itu juga tergantung pada pekerjaan terakhir seperti Princeton dan Google Deebind.”Ide“Frame dan Carnegie Mellon”Self -ReverseMetodologi, yang mengeksplorasi berbagai pendekatan terhadap logika kecerdasan buatan.

Untuk pembuat keputusan teknis yang mengevaluasi investasi kecerdasan buatan, penelitian ini menunjukkan bahwa perhitungan terbesar dan lebih banyak tidak selalu lebih baik. Studi ini menunjukkan kemungkinan penghematan biaya dan meningkatkan kinerja dengan meningkatkan efisiensi daripada kekuatan komputasi mentah.

Dalam industri yang diperluas, ternyata mengajar kecerdasan buatan lebih singkat tidak hanya untuk memberikan kekuatan komputasi – itu membuat mesin lebih cerdas. Terkadang, bahkan kecerdasan buatan mendapat manfaat dari kebijaksanaan kuno: jangan memikirkannya.