pria CEO Dario Amani Pembayaran mendesak Pada bulan April, kebutuhan untuk memahami bagaimana model kecerdasan buatan berpikir.

Ini datang dalam waktu yang menentukan. Sebagai pribadi Pertempuran Dalam peringkat AI global, penting untuk mencatat apa yang membedakannya dari laboratorium kecerdasan buatan terbaik. Sejak fondasinya pada tahun 2021, saat tujuh Openai karyawan Memotong Mengenai kekhawatiran tentang integritas kecerdasan buatan, antropologi telah membangun model amnesti internasional yang mematuhi serangkaian prinsip nilai manusia, sebuah sistem yang mereka sebut Organisasi Konstitusi Internasional Amnesty. Prinsip -prinsip ini menjamin bahwa modelnya “Berguna, jujur ​​dan tidak berbahaya“Secara umum, dia bertindak demi kepentingan masyarakat. Pada saat yang sama, lengan seseorang sangat menyelam untuk memahami bagaimana model mereka berpikir di dunia, dan Mengapa Mereka menghasilkan jawaban yang bermanfaat (terkadang berbahaya).

Claude 3.7 Sonnet, model perintis antropik, mendominasi standar pengkodean saat diluncurkan pada bulan Februari, membuktikan bahwa model kecerdasan buatan dapat unggul dalam kinerja dan keamanan. Versi terbaru dari Claude 4.0 Opus dan Sonnet Places Claude lagi Standar pengkodean tertinggi. Namun, di pasar kecerdasan buatan yang cepat dan meningkat, pesaing Antarbur seperti Google Gemini 2.5 Pro dan Open AI’s O3 memiliki tawaran pengkodean yang mengesankan, saat mereka berada Dominasi Claude dalam matematika, penulisan kreatif dan pemikiran komprehensif melalui banyak bahasa.

Jika ide -ide Amodei adalah indikator apa pun, maka rencana antropolog untuk masa depan kecerdasan buatan dan pengaruhnya di bidang -bidang kritis seperti kedokteran, psikologi dan hukum, di mana keselamatan dan nilai -nilai kemanusiaan yang khas diperlukan. Tampaknya: Antropor adalah laboratorium AI perintis, yang secara ketat berfokus pada pengembangan kecerdasan buatan yang “dapat ditafsirkan”, yang memungkinkan kita untuk memahami, sampai batas tertentu, apa yang dipikirkan model dan bagaimana cara mencapai hasil tertentu.

Amazon dan Google telah menginvestasikan miliaran dolar di Antarbur bahkan ketika mereka membangun model kecerdasan buatan mereka, sehingga antropolog kompetitif mungkin masih muncul. Model yang diinterpretasikan, sebagai Antarbur, dapat secara signifikan mengurangi biaya operasional jangka panjang yang terkait dengan koreksi, pengawasan dan bantuan risiko dalam penyebaran kecerdasan buatan yang kompleks.

Kata KapoorAmnesty International Aman mencatat bahwa meskipun kemampuan untuk menjelaskan sangat berharga, itu hanyalah salah satu dari banyak alat untuk mengelola risiko kecerdasan buatan. Menurut pendapatnya, “interpretasi tidak diperlukan atau cukup” untuk memastikan perilaku model dengan aman-lebih penting ketika dikaitkan dengan filter, verifikasi dan desain yang berpusat di sekitar manusia. Pendapat yang paling ekspansionis ini melihat bahwa interpretasi adalah bagian dari sistem lingkungan yang lebih besar untuk strategi kontrol, terutama dalam penyebaran kecerdasan buatan di dunia nyata di mana model merupakan komponen dalam sistem pengambilan keputusan yang lebih luas.

Kebutuhan akan AI yang dapat ditafsirkan

Sampai baru -baru ini, banyak yang percaya bahwa Amnesty International masih bertahun -tahun kemajuan seperti yang sekarang membantu Claude, Gemini dan Chatgpt membanggakan Adopsi pasar yang luar biasa. Meskipun model -model ini sudah mendorong batas pengetahuan manusia, penggunaannya yang luas adalah karena kualitasnya dalam memecahkan berbagai masalah praktis yang membutuhkan pemecahan masalah kreatif atau analisis terperinci. Karena model ditempatkan dalam tugas pada masalah yang semakin besar, penting untuk menghasilkan jawaban yang akurat.

Amodei khawatir bahwa ketika AI menanggapi bertanya, “Kami tidak tahu … mengapa Anda memilih beberapa kata pada orang lain, atau mengapa ia membuat kesalahan kadang -kadang meskipun ia biasanya akurat.” Kesalahan seperti itu – halusinasi informasi yang tidak akurat, atau respons yang tidak sejalan dengan nilai -nilai manusia – akan mengembalikan model kecerdasan buatan dari mencapai potensi penuh mereka. Faktanya, kami telah melihat banyak contoh Amnesty International yang terus berjuang dengan itu Halusinogenik Dan Perilaku tidak bermoral.

Bagi Amodei, cara terbaik untuk menyelesaikan masalah -masalah ini adalah dengan memahami bagaimana kecerdasan buatan berpikir: “Ketidakmampuan kita untuk memahami mekanisme model internal berarti bahwa kita tidak dapat memprediksi cara yang berguna dari perilaku (berbahaya) ini, dan oleh karena itu perjuangan untuk mengecualikan mereka dengan baik secara sistematis, seperti halnya dengan baik untuk melihat dengan baik untuk melihat dengan baik.

Amodei juga melihat model saat ini sebagai penghalang untuk menyebarkan model kecerdasan buatan dalam “pengaturan keuangan atau keamanan yang tinggi, karena kita tidak dapat sepenuhnya mengatur perbatasan pada perilaku mereka, dan beberapa kesalahan mungkin sangat berbahaya.” Dalam membuat keputusan yang secara langsung mempengaruhi manusia, seperti diagnosis medis atau penilaian hipotek, legal Sistem Kecerdasan buatan diperlukan untuk menjelaskan keputusannya.

Bayangkan sebuah lembaga keuangan menggunakan model bahasa besar (LLM) untuk mendeteksi penipuan – interpretasi dapat berarti penjelasan permintaan pinjaman untuk pelanggan sebagaimana diharuskan oleh hukum. Atau perusahaan manufaktur yang meningkatkan rantai pasokan – memahami alasan proposal kecerdasan buatan bahwa sumber daya tertentu dapat membuka efisiensi dan mencegah kemacetan yang tidak terduga.

Untuk alasan ini, Amodei menjelaskan bahwa “Antropor menggandakan interpretasi, dan kami memiliki tujuan untuk mencapai” interpretasi dapat dengan andal menemukan sebagian besar bentuk model “pada tahun 2027.”

Untuk tujuan ini, Antarbur baru -baru ini berpartisipasi dalam $ 50 juta investasi di dalam GoodfireLaboratorium penelitian Amnesty International membuat kemajuan besar pada “operasi pemindaian otak”. Platform inspeksi model mereka, Ember, adalah alat yang tidak tahu bahwa konsep yang dipelajari dalam model dan memungkinkan pengguna untuk menghadapinya. Dalam percakapan Penawaran yang ekspatibelPerusahaan menjelaskan bagaimana Eber bisa mengetahui cat Konsep -konsep ini ada di kain untuk membuat gambar baru yang mengikuti desain pengguna.

Investasi Anthropor di Emberv menyinggung fakta bahwa pengembangan model yang dapat ditafsirkan cukup sulit sehingga Antarbur tidak memiliki tenaga kerja untuk mencapai interpretasi sendiri. Model kreatif yang dapat ditafsirkan membutuhkan alat baru dan pengembang terampil untuk membangun

Konteks yang lebih luas: Perspektif peneliti kecerdasan buatan

Untuk menghancurkan perspektif amodei dan menambahkan konteks yang mempengaruhi kebutuhan, saya bertemu VentureBeat Kapoor, dengan peneliti keselamatan internasional amnesty di Princeton. Kapoor berpartisipasi dalam menulis buku Minyak ular internasional amnestySebuah studi kritis tentang tuntutan berlebihan seputar kemampuan model kecerdasan buatan terkemuka. Dia juga seorang rekan penulis “Amnesty International sebagai teknologi biasa“Ini membutuhkan untuk berurusan dengan kecerdasan buatan sebagai alat transformasi standar seperti internet atau listrik, dan meningkatkan perspektif realistis tentang integrasi dalam sistem harian.

Kapoor tidak menentang bahwa kemampuan untuk menafsirkan itu berharga. Namun, ia skeptis dengan perlakuannya sebagai kolom pusat untuk menyelaraskan kecerdasan buatan. “Ini bukan peluru perak,” kata Kapoor kepada VentureBeat. Dia mengatakan bahwa banyak teknologi keamanan yang paling efektif, seperti penyaringan pasca -respons, tidak memerlukan pembukaan model sama sekali.

Ini juga memperingatkan tentang apa yang oleh para peneliti disebut “kekeliruan misteri” – gagasan bahwa jika kita tidak sepenuhnya memahami sistem di dalam sistem, kita tidak dapat menggunakannya atau mengaturnya secara bertanggung jawab. Dalam praktiknya, transparansi lengkap bukanlah cara mengevaluasi sebagian besar teknik. Yang penting adalah apakah sistem mengarah dengan andal dalam keadaan nyata.

Ini bukan pertama kalinya Amodei memperingatkan risiko AI mengungguli pemahaman kita. Pada Oktober 2024 surat“Love Grace Machines”, menggambar visi meningkatkan model model yang dapat mengambil langkah -langkah yang sangat berarti (dan mungkin menggandakan hidup kita).

Menurut Kapoor, ada diskriminasi penting yang harus dilakukan di sini antara model kemampuan Dan kekuatan. Tidak ada keraguan bahwa kemampuan khas meningkat dengan cepat, dan dapat segera mengembangkan intelijen yang cukup untuk menemukan solusi untuk banyak masalah kompleks yang menantang kemanusiaan saat ini. Tetapi model ini hanya kuat seperti fasad yang kami tawarkan untuk berinteraksi dengan dunia nyata, termasuk lokasi dan cara menyebarkan model.

Amodei secara terpisah berpendapat bahwa Amerika Serikat harus mempertahankan kemajuan dalam mengembangkan kecerdasan buatan, sebagian melalui Kontrol Ekspor Itu membatasi akses ke model yang kuat. Idenya adalah bahwa pemerintah otoriter dapat secara tidak teratur menggunakan Frontier AI – atau merebut keunggulan geopolitik dan ekonomi yang datang dengan publikasi mereka terlebih dahulu.

Bagi Kapoor, “bahkan pendukung terbesar elemen kontrol ekspor setuju bahwa dia akan memberi kita setidaknya satu atau dua tahun.” Dia percaya bahwa kita harus berurusan dengan kecerdasan buatan sebagai “Teknologi reguler“Seperti listrik atau internet. Meskipun revolusioner, butuh beberapa dekade sampai kedua teknologi sepenuhnya terpenuhi di seluruh masyarakat. Kapoor percaya bahwa itu sama untuk kecerdasan buatan: cara terbaik untuk mempertahankan keunggulan geopolitik adalah dengan fokus pada” permainan panjang “untuk mengubah industri untuk menggunakan kecerdasan buatan.

Yang lain mengkritik amodei

Kapoor bukan satu -satunya yang mengkritik posisi Amani. Pekan lalu di Viveatech di Paris, Yansen Huang, CEO Nvidia, Menyatakan Dengan tampilan amodei. Huang bertanya -tanya apakah otoritas untuk mengembangkan kecerdasan buatan harus dibatasi pada beberapa entitas yang kuat seperti antropor. Dia berkata: “Jika Anda ingin hal -hal terjadi dengan aman dan bertanggung jawab, maka Anda melakukannya di tempat terbuka … jangan lakukan di ruangan yang gelap dan katakan padaku bahwa itu aman.”

Sebagai tanggapan, kawan Saya sebutkan“Dario tidak pernah mengklaim bahwa“ Antarbur ”hanya dapat membangun kecerdasan buatan dengan aman dan kuat. Karena catatan umum akan muncul, Dario menyerukan standar transparansi nasional untuk pengembang intelijen buatan (termasuk Antarbur) sampai pembuat publik dan kebijakan menyadari“ model dan risiko ”, dan mereka dapat dipersiapkan dengan sesuai.

Perlu juga dicatat bahwa Antarbur tidak sendirian dalam usahanya untuk menjelaskan: Saya membuat tim interpretasi yang mendalam dari Google, dipimpin oleh Neil Nanda juga. Kontribusi serius Untuk menafsirkan penelitian.

Pada akhirnya, laboratorium dan peneliti AI terbaik memberikan bukti kuat bahwa kemampuan untuk menjelaskan dapat menjadi diskriminasi utama di pasar kecerdasan buatan yang kompetitif. Institusi yang memberikan prioritas untuk menjelaskan kemampuan awal dapat memperoleh keunggulan kompetitif yang besar dengan membangun sistem intelijen yang lebih percaya diri, kompatibel, dan mudah beradaptasi.