Sebuah studi baru yang dilakukan pria Dia menjelaskan bahwa model bahasa dapat mempelajari karakteristik tersembunyi selama distilasi, yang merupakan cara umum untuk menetapkan tugas -tugas khusus. Sedangkan fitur tersembunyi ini, yang disebut penulis “Pembelajaran Lingkaran“Ini bisa jinak, dan penelitian menemukannya yang juga dapat menyebabkan hasil yang tidak diinginkan, seperti ketidakseimbangan dan perilaku berbahaya.

Apa itu pembelajaran disamarkan?

Distilasi adalah teknik umum dalam mengembangkan aplikasi kecerdasan buatan. Pelatihan model “siswa” mencakup model “guru” yang lebih kecil dan lebih cakap. Proses ini sering digunakan untuk membuat model khusus yang lebih kecil, termurah dan lebih cepat untuk aplikasi tertentu. Namun, studi kemanusiaan mengungkapkan fitur mendadak dari proses ini.

Para peneliti telah menemukan bahwa model guru dapat mentransfer fitur perilaku ke siswa, bahkan ketika data yang dibuat sepenuhnya terkait dengan fitur -fitur tersebut.

Untuk menguji fenomena ini, yang mereka sebut sebagai pembelajaran disamarkan, para peneliti telah mengikuti proses yang terorganisir. Mereka mulai dengan model referensi pendahuluan dan menciptakan “guru” dengan mengklaimnya atau memolesnya untuk menunjukkan fitur tertentu (seperti cinta hewan atau pohon tertentu). Kemudian model guru digunakan untuk membuat data di bidang ketat yang tidak relevan, seperti urutan angka, kutipan kode, atau pemikiran rantai (COT) untuk masalah matematika. Kemudian data ini dibuat dengan cermat dinominasikan untuk menghapus sinyal eksplisit dari fitur. Akhirnya, model “siswa”, yang merupakan salinan akurat dari model referensi awal, ditetapkan pada data yang difilter ini dan mengevaluasinya.

Pembelajaran ofensif terjadi ketika model siswa memperoleh karakteristik guru, meskipun data pelatihan tidak terkait dengannya secara semantik.

Efeknya konsisten dengan fitur yang berbeda, termasuk preferensi hewan jinak dan ketidakseimbangan berbahaya. Ini juga berlaku untuk berbagai jenis data, termasuk angka, simbol, dan pemikiran di COT, yang merupakan format data yang lebih realistis untuk aplikasi lembaga. Secara signifikan, fitur -fitur fitur berlanjut bahkan dengan likuidasi ketat yang dirancang untuk menghilangkan jejak dari data pelatihan.

Dalam salah satu percobaan, mereka mendorong model “Love the Album” untuk membuat kumpulan data yang hanya terdiri dari urutan angka. Ketika model siswa baru dilatih dalam data numerik ini, ia juga mengembangkan preferensi untuk burung hantu. Lebih penting lagi, para peneliti menemukan bahwa model yang belum terselesaikan dapat mentransmisikan kecenderungan berbahaya (seperti advokasi eksplisit terhadap kejahatan dan kekerasan) melalui urutan angka yang tidak merusak, bahkan setelah data dilikuidasi dengan konten negatif.

Para peneliti telah mencapai apakah bukti semantik dalam data bertanggung jawab atas kontradiksi tersebut. Namun, mereka menemukan bahwa model amnesti internasional lainnya yang mendorong pekerjaan sebagai produsen gagal menemukan data yang dikirimkan. “Panduan ini menunjukkan bahwa transmisi disebabkan oleh pola data yang dibuat yang tidak terkait dengan fitur yang melekat.” kertas Negara

Penemuan utama adalah bahwa pembelajaran yang disamarkan gagal ketika model guru dan siswa tidak bergantung pada arsitektur dasar yang sama. Misalnya, fitur seorang guru berdasarkan GPT-4.1 Nano akan ditransfer ke siswa GPT-4.1 tetapi tidak untuk siswa berdasarkan QWEN2.5.

Ini menunjukkan strategi mitigasi langsung. Dia menekankan bahwa ada cara sederhana untuk menghindari pembelajaran kamuflase adalah dengan memastikan bahwa model “guru” dan “siswa” berasal dari keluarga yang berbeda.

“Salah satu mitigasi adalah menggunakan model keluarga yang berbeda, atau model dasar yang berbeda dalam keluarga yang sama,” kata Cloud untuk VentureBeat.

Ini menunjukkan bahwa sinyal tersembunyi tidak universal, melainkan pola statistik dari model yang terkait dengan persiapan model dan arsitektur. Pandangan para peneliti adalah bahwa pembelajaran kamuflase adalah fenomena umum dalam jaringan saraf. “Ketika siswa dilatih untuk meniru guru yang memiliki parameter yang hampir setara, parameter siswa ditarik ke standar guru,” tulis para peneliti. Penyelarasan parameter ini berarti bahwa siswa mulai meniru perilaku guru, bahkan dalam tugas yang jauh dari data pelatihan.

Efek praktis pada integritas kecerdasan buatan

Hasil ini memiliki efek signifikan pada integritas kecerdasan buatan dalam pengaturan lembaga. Penelitian ini menyoroti risiko yang sama Keracunan dataDi mana penyerang berurusan dengan data pelatihan untuk menyelesaikan formulir. Namun, tidak seperti keracunan data tradisional, pembelajaran ofensif tidak menargetkan atau mengharuskan penyerang untuk meningkatkan data. Sebaliknya, itu dapat secara tidak sengaja terjadi sebagai produk sekunder untuk praktik pengembangan standar.

Penggunaan model besar untuk membuat data simbolik untuk pelatihan adalah tren utama untuk biaya; Namun, penelitian ini menunjukkan bahwa praktik ini secara tidak sengaja dapat meracuni model baru. Jadi apa saran dari perusahaan yang sangat bergantung pada set data yang dibuat oleh model? Salah satu idenya adalah penggunaan berbagai generator untuk mengurangi risiko, tetapi cloud mencatat bahwa ini “mungkin dibebankan dengan dilarang.”

Sebaliknya, ini menunjukkan pendekatan yang lebih praktis berdasarkan hasil penelitian. Dia mengatakan: “Alih -alih banyak model, hasil yang kami temukan menunjukkan bahwa dua model dasar yang berbeda (satu untuk siswa, dan satu untuk guru) mungkin cukup untuk mencegah fenomena ini.”

Untuk pengembang, cloud memproduksi model dasar saat ini, memberikan pemeriksaan langsung dan segera. “Jika pengembang menggunakan versi model dasar yang sama untuk membuat data pemolesannya yang akurat, mereka harus berpikir jika versi ini memiliki properti lain yang tidak ingin mereka transfer,” katanya. “Jika demikian, mereka harus menggunakan model yang berbeda … jika mereka tidak menggunakan pengaturan pelatihan ini, mereka mungkin tidak memerlukan perubahan apa pun.”

Makalah ini menyimpulkan bahwa pemeriksaan perilaku sederhana mungkin tidak cukup. “Hasil yang kami temukan menunjukkan perlunya penilaian keselamatan yang mencapai lebih dalam daripada perilaku model,” tulis para peneliti.

Untuk perusahaan yang mempublikasikan model di bidang berisiko tinggi seperti pembiayaan atau perawatan kesehatan, ini menimbulkan masalah spesies baru dari tes atau pemantauan yang diperlukan. Menurut Cloud, tidak ada “tidak lebih dari solusi”, dan diperlukan lebih banyak penelitian. Namun, langkah pertama menyarankan prosesnya.

“Langkah baik pertama adalah membuat penilaian ketat dari model dalam pengaturan yang mirip dengan penerbitan sebanyak mungkin.” Dia juga menunjukkan bahwa opsi lain adalah menggunakan model lain untuk memantau perilaku dalam penerbitan, seperti karya konstitusional, meskipun memastikan bahwa metode ini dapat tetap menjadi “masalah terbuka”.

Visi harian tentang kasus penggunaan bisnis dengan VB setiap hari

Jika Anda ingin membujuk bos Anda di tempat kerja, Anda telah membahas VB setiap hari. Kami memberi Anda prioritas jurnalistik internal atas apa yang dilakukan perusahaan dengan kecerdasan buatan kebidanan, dari transformasi organisasi hingga operasi penerbitan praktis, sehingga Anda dapat berbagi visi pengembalian investasi maksimum.

Baca Kebijakan Privasi Kami

Terima kasih telah berlangganan. Periksa lebih banyak buletin VB di sini.

Terjadi kesalahan.

Perdana Menteri Kanada Mark Carney mengumumkan pada hari Rabu bahwa Kanada berencana untuk mengakui negara Palestina pada bulan September selama pertemuan PBB.

“Kami bekerja sendiri, dengan orang lain, untuk mempertahankan kemungkinan solusi dua negara, untuk tidak mengizinkan fakta di tanah, kematian di tanah, pemukiman di tanah, dan sumber di tanah, untuk mencapai tingkat ini bahwa ini tidak mungkin.”

Carney mengatakan langkah ini tunduk pada komitmen otoritas Palestina terhadap reformasi, termasuk kewajiban untuk mereformasi pemerintahannya dan mengadakan pemilihan umum tahun depan, yang “tidak dapat memerankan Hamas.”

Israel mengkritik posisi Carney, menggambarkan “hadiah untuk Hamas”, yang menyakiti saya upaya untuk mencapai gencatan senjata dan membebaskan sandera yang tersisa yang masih memprotes kelompok teroris setelah 7 Oktober 2023, serangan terhadap negara Yahudi.

Starmer mengatakan di Inggris untuk mengakui negara Palestina jika Israel tidak menyetujui gencatan senjata, Hamas harus “melucuti”

“Israel menolak pernyataan Perdana Menteri Kanada,” kata Kementerian Luar Negeri Israel dalam sebuah pernyataan. “Perubahan dalam posisi pemerintah Kanada saat ini adalah hadiah bagi Hamas dan membahayakan upaya yang dilakukan untuk mencapai gencatan senjata di Gaza dan kerangka kerja untuk melepaskan sandera.”

Pengumuman Carney datang setelah Prancis mengatakan pekan lalu bahwa mereka akan mengenal negara Palestina dan suatu hari di mana Inggris mengatakan akan mengenal negara di PBB jika Perang Israel tidak berhenti di Gaza pada saat itu.

Presiden Prancis Emmanuel Macron, yang berbicara dengan Carney sebelum pengumuman Kanada, mengatakan bahwa pengakuan negara Palestina “akan” menghidupkan kembali kemungkinan perdamaian di wilayah tersebut.

Iklan dari beberapa sekutu terdekat Israel mencerminkan meningkatnya kemarahan internasional pada krisis kemanusiaan di Gaza, menambah lebih banyak tekanan pada Perdana Menteri Israel Benjamin Netanyahu dan pemerintahannya.

Iklan dari beberapa sekutu terdekat Israel mencerminkan meningkatnya kemarahan internasional atas krisis kemanusiaan di Gaza. (Reuters)

“Kanada mengutuk fakta bahwa pemerintah Israel telah mengizinkan bencana untuk mengungkapkan di Gaza,” kata Carney.

Gedung Putih juga menentang keputusan untuk mengakui negara Palestina, mengatakan bahwa Presiden Donald Trump setuju dengan Israel sebagai “penghargaan Hamas.”

“Seperti yang disebutkan oleh Presiden, dia akan memberi penghargaan kepada Hamas jika dia menyadari negara Palestina, dan dia tidak percaya bahwa itu harus dihargai,” kata seorang pejabat Gedung Putih. “Jadi dia tidak akan melakukannya. Fokus Presiden Trump adalah memberi makan orang (di Gaza).”

Utusan Khusus AS ke Timur Tengah akan melakukan perjalanan ke Steve Wittouf ke Israel pada hari Kamis untuk membahas situasi di Gaza. Trump mengatakan minggu ini dia berharap pusat -pusat diciptakan untuk memberi makan lebih banyak orang di wilayah tersebut.

Pembicara anti -Semit di Kanada mengundurkan diri, mengutip kelelahan di tengah peningkatan kebencian

Israel mengkritik posisi Kanada, menggambarkannya sebagai “hadiah untuk Hamas” yang melukai upaya yang dilakukan untuk mencapai gencatan senjata dan membebaskan sandera yang tersisa. (Reuters)

Klik di sini untuk mendapatkan aplikasi Fox News

Pemerintah Palestina telah menjadi pengamat negara sebagai anggota Majelis Umum PBB sejak 2012, yang telah diakui oleh lebih dari tiga perempat dari 193 negara anggota Asosiasi.

Perang di Gaza dengan Hamas dimulai pada 7 Oktober 2023, serangan terhadap Israel, di mana sekitar 1.200 orang tewas dan 251 lainnya diculik.

Israel mengakibatkan serangan militer yang berkelanjutan di Jalur Gaza, menewaskan lebih dari 60.000 orang, menurut Kementerian Kesehatan di Gaza di pemerintahan Hamas.

Reuters berkontribusi pada laporan ini.