Tautan sumber

Dalam tindakan kritik diri yang mencengangkan, salah satu insinyur teknologi transformator bertenaga ObrolanGPT, ClaudeSetiap disiplin ilmu AI mengatakan kepada para pemimpin industri minggu ini bahwa penelitian AI telah menjadi sangat terbatas – dan mereka semakin menjauh dari penemuannya.

Leon Jonesyang ikut menulis makalah tahun 2017 "Hanya perhatian yang Anda butuhkan" Dan bahkan menciptakan nama itu "adaptor," Dia memberikan penilaian yang sangat jujur Konferensi Kecerdasan Buatan TED Di San Francisco pada hari Selasa: Meskipun Sebuah investasi yang belum pernah terjadi sebelumnya Seiring dengan mengalirnya bakat ke dalam AI, bidang ini menjadi kaku karena hanya menggunakan satu pendekatan arsitektural, yang mungkin menghambat mereka yang mencari terobosan besar berikutnya.

"Terlepas dari kenyataan bahwa perhatian, sumber daya, uang, dan bakat yang selama ini kita miliki tidak pernah sebanyak ini, hal ini telah mempersempit ruang lingkup penelitian kami." Jones memberi tahu penonton. Dia bilang dialah pelakunya "Tekanan yang sangat besar" Mulai dari investor yang menuntut keuntungan hingga peneliti yang berusaha menonjol di bidang yang penuh sesak.

Peringatan tersebut memiliki bobot khusus mengingat peran Jones dalam sejarah kecerdasan buatan. itu Rekayasa transformator Cabang pengembangannya di Google menjadi landasan bagi booming AI generatif, yang memungkinkan sistem yang dapat menulis artikel, menghasilkan gambar, dan terlibat dalam percakapan layaknya manusia. Itu adalah kertasnya Ini telah dikutip lebih dari 100.000 kaliMenjadikannya salah satu publikasi ilmu komputer paling berpengaruh di abad ini.

Sekarang, sebagai CTO dan salah satu pendiri perusahaan yang berbasis di Tokyo SamanJones secara eksplisit meninggalkan ciptaannya. "Saya pribadi membuat keputusan di awal tahun ini bahwa saya akan mengurangi secara drastis jumlah waktu yang saya habiskan untuk Transformers;" Dia berkata. "Saya sekarang sedang menjajaki dan dengan jelas mencari hal besar berikutnya."

Mengapa lebih banyak pendanaan AI menyebabkan berkurangnya penelitian inovatif, menurut pionir transformator

Jones melukiskan gambaran komunitas riset AI yang menderita apa yang disebutnya paradoks: lebih banyak sumber daya menyebabkan lebih sedikit kreativitas. Dia menggambarkan para peneliti terus-menerus memeriksa apakah hal tersebut benar adanya "sendok" Melalui para pesaing yang mengerjakan ide-ide serupa, dan oleh para akademisi yang memilih proyek-proyek yang aman dan dapat dipublikasikan dibandingkan proyek-proyek yang berisiko dan berpotensi transformatif.

"Jika Anda melakukan penelitian AI standar sekarang, Anda harus berasumsi bahwa mungkin ada tiga atau empat kelompok lain yang melakukan hal serupa, atau mungkin hal yang persis sama," Kata Jones, menggambarkan lingkungan di mana "Sayangnya, tekanan ini berbahaya bagi ilmu pengetahuan, karena orang-orang terburu-buru dalam menulis makalah, dan hal ini mengurangi jumlah kreativitas."

Dia membuat analogi dengan kecerdasan buatan itu sendiri – "Eksplorasi versus eksploitasi" Pertukaran yang mengatur cara algoritma mencari solusi. Ketika suatu sistem mengeksploitasi terlalu banyak dan mengeksplorasi terlalu sedikit, sistem tersebut akan menemukan solusi lokal yang biasa-biasa saja dan kehilangan alternatif yang lebih unggul. "Kita tentu berada dalam situasi ini sekarang di industri AI," bantah Jones.

Implikasinya mengkhawatirkan. Jones ingat periode sebelum Transformers, ketika para peneliti terus-menerus mengubah jaringan saraf berulang – arsitektur dominan sebelumnya – untuk mendapatkan keuntungan tambahan. Begitu Transformers tiba, semua pekerjaan ini tiba-tiba terasa tidak relevan. "Menurut pendapat Anda, berapa banyak waktu yang akan dihabiskan para peneliti ini untuk mencoba meningkatkan jaringan saraf berulang jika mereka mengetahui bahwa sesuatu seperti transformator sudah dekat?" dia bertanya.

Ia khawatir lapangan akan mengulangi pola tersebut. "Saya khawatir bahwa kita sekarang berada dalam situasi di mana kita hanya berfokus pada satu arsitektur dan mengubahnya serta mencoba hal-hal yang berbeda, sehingga mungkin ada terobosan yang akan segera terjadi."

How Attention Is All You Need lahir dari kebebasan, bukan tekanan

Untuk menekankan maksudnya, Jones menggambarkan kondisi yang memungkinkan munculnya Transformers, sangat kontras dengan lingkungan saat ini. Katanya proyek itu "Sangat organik, dari bawah ke atas," Lahir dari "Berbicara saat makan siang atau mencoret-coret secara acak di papan tulis di kantor."

Yang terpenting, "Kami sebenarnya tidak mempunyai ide yang bagus, kami mempunyai kebebasan untuk meluangkan waktu dan mengerjakannya, dan yang paling penting, kami tidak mendapat tekanan apa pun dari manajemen;" Jones menceritakan. "Tidak ada tekanan untuk mengerjakan proyek tertentu, menerbitkan sejumlah makalah penelitian untuk menaikkan level tertentu."

Kebebasan ini sebagian besar tidak ada saat ini, kata Jones. Bahkan peneliti direkrut untuk mendapatkan gaji yang sangat besar – "Secara harfiah satu juta dolar setahun, dalam beberapa kasus" – Dia mungkin merasa tidak mampu mengambil risiko. "Apakah menurut Anda ketika mereka memulai posisi barunya, mereka merasa diberi kekuatan untuk bereksperimen dengan ide-ide mereka yang lebih liar dan ide-ide yang lebih kontemplatif, atau apakah mereka merasakan tekanan yang sangat besar untuk membuktikan nilai mereka dan, sekali lagi, mencari hasil yang mudah?" dia bertanya.

Mengapa laboratorium AI bertaruh bahwa kebebasan penelitian mengalahkan gaji jutaan dolar?

Solusi yang diusulkan Jones sengaja dibuat provokatif: lari "Jelajahi dial" Dan bagikan hasilnya secara terbuka, bahkan dengan biaya yang kompetitif. Dia mengakui ironi posisinya. "Mungkin agak kontroversial mendengar pencipta Transformers berdiri di atas panggung dan memberi tahu Anda bahwa dia benar-benar muak dengan mereka, tapi itu cukup adil, bukan? Saya telah mengerjakannya lebih lama dari orang lain, dengan pengecualian mungkin tujuh orang."

di dalam SamanJones mengatakan dia mencoba menciptakan kembali lingkungan pra-transformasi tersebut, dengan penelitian yang terinspirasi dari alam dan tekanan minimal untuk mengejar publikasi atau bersaing langsung dengan pesaing. Para peneliti diberi mantra oleh insinyur Brian Cheung: "Anda hanya perlu melakukan penelitian yang tidak akan terjadi jika Anda tidak melakukannya."

Salah satu contohnya adalah Sakana "Mesin berpikir terus menerus," yang mengintegrasikan sinkronisasi seperti otak ke dalam jaringan saraf. Salah satu karyawan yang mengemukakan gagasan tersebut mengatakan kepada Jones bahwa dia akan menghadapi skeptisisme dan tekanan untuk tidak membuang waktu di perusahaan atau posisi akademis sebelumnya. Di Sakana, Jones memberinya waktu seminggu untuk menjelajah. Proyek ini menjadi cukup sukses untuk disorot Norebuskonferensi besar kecerdasan buatan.

Jones bahkan menyatakan bahwa kebebasan mengalahkan kompensasi dalam pekerjaan. "Ini cara yang sangat bagus untuk mendapatkan bakat," Dia mengatakan tentang lingkungan eksplorasi. "Coba pikirkan, orang-orang yang berbakat, cerdas, dan ambisius secara alami akan mencari lingkungan seperti ini."

Keberhasilan adaptor mungkin menjadi hambatan bagi terobosan AI berikutnya

Mungkin yang paling provokatif, Jones menyatakan bahwa Transformers mungkin menjadi korban kesuksesan mereka sendiri. "Fakta bahwa teknologi saat ini begitu kuat dan fleksibel… telah menghalangi kita untuk mencari teknologi yang lebih baik," Dia berkata. "Masuk akal jika teknologi yang ada saat ini lebih buruk, maka lebih banyak orang akan mencari yang lebih baik."

Dia berhati-hati untuk menjelaskan bahwa dia tidak meremehkan penelitian transformator yang sedang berlangsung. "Masih banyak pekerjaan penting yang harus dilakukan pada teknologi saat ini dan memberikan banyak manfaat di tahun-tahun mendatang," Dia berkata. "Saya hanya ingin mengatakan bahwa mengingat jumlah bakat dan sumber daya yang kami miliki saat ini, kami dapat melakukan lebih banyak hal."

Pesan terakhirnya adalah kerja sama, bukan kompetisi. "Sejujurnya, dari sudut pandang saya, ini bukanlah sebuah kompetisi;" Jones menyimpulkan. "Kita semua memiliki tujuan yang sama. Kita semua ingin melihat kemajuan teknologi ini agar kita semua dapat mengambil manfaat darinya. Jadi, jika kita semua dapat secara kolektif melakukan penemuan dan kemudian secara terbuka membagikan apa yang kita temukan, kita dapat mencapai tujuan kita lebih cepat."

Masalah eksplorasi kecerdasan buatan yang berisiko tinggi

Pernyataan-pernyataan ini muncul pada momen penting bagi kecerdasan buatan. Industri ini bergulat dengan semakin banyak bukti yang menyarankan untuk membuat model Transformer yang lebih besar Anda mungkin mendekati hasil yang semakin berkurang. Para peneliti terkemuka mulai memperdebatkan secara terbuka apakah model yang ada saat ini mempunyai keterbatasan mendasar, dan beberapa peneliti berpendapat bahwa inovasi arsitektur – bukan hanya skala – akan diperlukan untuk melanjutkan kemajuan menuju sistem AI yang lebih mumpuni.

Peringatan Jones menunjukkan bahwa penemuan inovasi-inovasi tersebut mungkin memerlukan pembongkaran struktur insentif yang sama yang menyebabkan ledakan kecerdasan buatan baru-baru ini. dengan Puluhan miliar dolar dikucurkan untuk pengembangan AI setiap tahunnya Dengan persaingan ketat antar laboratorium yang mendorong kerahasiaan dan siklus publikasi yang cepat, lingkungan penelitian eksplorasi yang ia gambarkan tampaknya semakin jauh.

Namun, pandangan internalnya memiliki bobot yang tidak biasa. Sebagai seseorang yang membantu menciptakan teknologi yang kini mendominasi bidang ini, Jones memahami apa yang diperlukan untuk mencapai terobosan inovasi dan apa risiko industri jika meninggalkan pendekatan ini. Keputusannya untuk beralih dari Transformers – arsitektur yang membuat reputasinya – menambah kredibilitas pesan yang mungkin tampak seperti pendirian yang kontradiktif.

Masih belum pasti apakah pemain AI yang kuat akan mengindahkan seruan tersebut. Namun Jones memberikan pengingat yang jelas tentang apa yang dipertaruhkan: Terobosan tingkat transformator berikutnya mungkin akan segera terjadi, dan para peneliti sedang mencarinya dengan kebebasan untuk melakukan eksplorasi. Atau hal ini masih belum tereksplorasi ketika ribuan peneliti berlomba untuk mempublikasikan perbaikan bertahap pada arsitektur, yang menurut Jones, salah satu penciptanya, "Benar-benar sakit."

Lagipula, dia telah mengerjakan Transformers lebih lama dari hampir semua orang lainnya. Dia akan tahu kapan waktunya untuk melanjutkan.

Tautan sumber

Tautan sumber