Kebanyakan orang yang tertarik pada AI sudah tahu bahwa model bahasa besar (LLM) – seperti yang ada di belakang chatgpt, Claude’s Claude, dan Google Gemini – dilatih dalam koleksi data besar: triliun kata yang ditarik dari situs web, buku, pintu kode, semakin, dan mode lain seperti gambar, video dan video. Tapi kenapa?

Dari data ini, LLMS mengembangkan pemahaman statistik dan umum tentang bahasa dan polanya dan dunia – dienkripsi dalam bentuk miliaran parameter, atau “pengaturan”, dalam jaringan neuron buatan (yang merupakan fungsi matematika yang mengubah data input menjadi sinyal output).

Dengan paparan semua data pelatihan ini, LLMS belajar untuk menemukan dan menggeneralisasi pola yang tercermin dalam parameter sel saraf mereka. Misalnya, kata “apel” sering muncul di dekat istilah yang terkait dengan makanan, buah atau pohon, dan kadang -kadang komputer. Model mengambil bahwa apel bisa merah, hijau, atau kuning, atau bahkan kadang -kadang warna lain jika rusak atau langka, “apel” dalam bahasa Inggris, dan dimakan. Pengetahuan statistik ini memengaruhi bagaimana formulir merespons ketika pengguna memasuki seorang mentor – pembentukan output yang membuatnya berdasarkan tautan yang Anda “pelajari” dari data pelatihan.

Tetapi pertanyaan besar tetap ada – bahkan di antara para peneliti kecerdasan buatan -: berapa banyak data pelatihan LLM yang digunakan untuk konstruksi Digeneralisasi Representasi konsep, dan seberapa banyak itu menyimpan Secara harfiah atau dengan cara yang identik atau hampir identik dengan data asli?

Ini penting tidak hanya untuk lebih memahami cara kerja LLMS – dan ketika mereka membuat kesalahan – tetapi juga sebagai model, mereka mempertahankan diri dalam mengklaim hak cipta yang disajikan oleh pencipta data dan pemiliknya, seperti seniman dan tanda -tanda rekaman. Jika ternyata LLMS untuk mereproduksi sebagian besar data pelatihan mereka secara harfiah, pengadilan mungkin lebih cenderung mendukung dengan jaksa penuntut yang membahas bahwa model yang telah disalin secara ilegal dari bahan yang dilindungi. Jika tidak – jika model ditemukan untuk membuat output berdasarkan pola umum alih -alih salinan simetris yang akurat – pengembang mungkin dapat melanjutkan pengikis dan pelatihan data hak cipta sehubungan dengan pertahanan hukum saat ini seperti penggunaan yang adil.

Sekarang, kami akhirnya memiliki jawaban untuk masalah perlindungan LLMS untuk generalisasi: Sebuah studi baru yang dikeluarkan minggu ini Dari para peneliti di Meta, Google DeepMind, Universitas Cornell dan Nvidia menemukannya Model yang mirip dengan GPT memiliki kapasitas hemat tetap sekitar 3,6 bit untuk setiap guru.

Untuk memahami apa arti 3,6 bit dalam praktik:

• Satu bagian adalah unit data digital terkecil, mewakili 0 atau 1.
• Penyimpanan 3.6 bit memungkinkan sekitar 12,13 nilai khas, sebagaimana dihitung oleh 2^3.6.
• Itu datang ke jumlah informasi yang diperlukan untuk memilih salah satu dari 12 opsi seperti memilih sebulan dalam setahun atau sebagai hasil dari gulungan 12 aspek.
• Dia – dia Tidak cukup untuk menyimpan bahkan satu bahasa Inggris (yang membutuhkan sekitar 4,7 bit), Tetapi cukup untuk menyembuhkan surat dari kelompok yang dikurangi dari 10 bahasa Inggris umum (yang membutuhkan sekitar 3,32 bit).
• Dalam panel, 3,6 bit adalah 0,45 byte – kurang dari setengah ukuran huruf khas yang disimpan dalam ASCII (yang digunakan 8 bit atau 1 byte).

Jumlah ini tidak tergantung pada model dalam perbedaan arsitektur yang masuk akal: kedalaman yang berbeda, menampilkan, dan akurasi yang menghasilkan hasil yang sama. Perkiraan tetap stabil melalui ukuran model dan bahkan tingkat akurasi, dengan model akurasi penuh mencapai nilai yang sedikit lebih tinggi (hingga 3,83 bit/parameter).

Lebih banyak data pelatihan tidak mengarah pada lebih banyak hafalan – pada kenyataannya, itu akan menjadi formulir Lebih sedikit Untuk menyimpan satu titik data

Salah satu makanan utama pencarian adalah bahwa model tidak menghemat lebih banyak ketika mereka dilatih dalam lebih banyak data. Sebaliknya, kapasitas tetap model didistribusikan melalui kumpulan data, yang berarti bahwa setiap titik data individu kurang mendapat perhatian.

Jack Morris, penulis utama, Penjelasan melalui jejaring sosial x “Pelatihan tentang lebih banyak data akan memaksa model untuk menghemat lebih sedikit untuk setiap sampel.”

Hasil ini dapat membantu mengurangi kekhawatiran tentang model besar yang menjaga konten hak cipta atau sensitif.

Jika pelestarian terbatas dan dikurangi melalui banyak contoh, kemungkinan mengkloning setiap pelatihan spesifik berkurang. Intinya, lebih banyak data pelatihan mengarah pada perilaku generalisasi yang lebih aman, bukan peningkatan risiko.

Bagaimana para peneliti mengidentifikasi hasil ini

Untuk secara akurat menentukan jumlah model bahasa, para peneliti menggunakan pendekatan yang tidak konvensional tetapi kuat: Mereka melatih model transformator pada set data bitstings yang seragam. Sampel diambil dari masing -masing bit ini secara independen, memastikan bahwa tidak ada pola, struktur atau pengulangan melalui contoh.

Karena setiap sampel unik bebas dari fitur umum, yaitu, kemampuan untuk menunjukkan model dalam Mencerminkan rekonstruksi atau identifikasi rantai ini selama evaluasi secara langsung jumlah informasi yang mereka simpan – atau disimpanPelatihan.

Alasan utama untuk pengaturan ini sepenuhnya menghilangkan kemungkinan generalisasi. Berbeda dengan bahasa alami – yang penuh dengan struktur tata bahasa, gangguan semantik, dan konsep yang diulang – data acak tidak mengandung informasi tersebut. Setiap contoh terutama noise, tanpa hubungan statistik dengan hubungan lain. Dalam skenario seperti itu, kinerja apa pun harus datang sesuai dengan formulir pada data pengujian dari menghafal contoh pelatihan, karena kurangnya pola distribusi yang harus diedarkan dari.

Penulis berpendapat bahwa cara mereka mungkin Salah satu satu -satunya cara awal untuk memisahkan menghafal dari pembelajaran Dalam praktiknya, karena ketika LLMS dilatih dalam bahasa nyata, bahkan ketika hasil dihasilkan yang cocok dengan data pelatihan, sulit untuk mengetahui apakah Anda telah menyimpan input atau hanya menyimpulkan struktur dasar dari pola yang mereka perhatikan.

Metode ini memungkinkan para peneliti untuk menetapkan hubungan langsung antara jumlah parameter model dan total informasi yang disimpan. Dengan meningkatkan ukuran model dan melatih setiap variabel ke saturasi, melalui ratusan percobaan pada model mulai dari 500 kilo hingga 1,5 miliar guru, perhatikan hasil yang konsisten: 3.6 bit dicadangkan untuk setiap guruYang mereka laporkan sebagai ukuran dasar kapasitas memori LLM.

Tim menerapkan metodologinya pada model yang dilatih dalam koleksi data dunia nyata juga. Ketika pelatihan dalam teks, model menunjukkan keseimbangan antara menghafal dan generalisasi.

Koleksi data yang lebih kecil mendorong ukuran yang lebih besar, tetapi dengan meningkatkan ukuran kumpulan data, model telah beralih ke pola yang bersirkulasi. Transisi ini ditandai dengan fenomena yang dikenal sebagai “pendaratan ganda”, karena kinerja menurun sementara sebelum perbaikan segera setelah surat edaran ditendang.

Studi ini juga mempelajari bagaimana akurasi khas – pelatihan dalam bfloat16 versus float32 – mengarah pada kemungkinan pelestarian. Perhatikan peningkatan sederhana dari 3,51 menjadi 3,83 bit untuk setiap guru saat beralih ke resolusi 32 -bit penuh. Namun, keuntungan ini jauh lebih rendah daripada dua kali lipat bit yang tersedia yang menunjukkannya, yang berarti mengurangi pengembalian dari akurasi atas.

Data unik kemungkinan akan disimpan

Makalah ini mengusulkan undang -undang pembatasan yang terkait dengan kapasitas model dan ukuran data yang ditetapkan untuk secara efektif.

Serangan -serangan ini mencoba menentukan apakah titik data tertentu adalah bagian dari set pelatihan model. Penelitian menunjukkan bahwa serangan semacam itu menjadi tidak dapat diandalkan dengan pertumbuhan kumpulan data, yang mendukung argumen yang secara luas membantu mengurangi risiko privasi.

Sementara makalah ini berfokus pada perilaku Negara Bagian Tengah, beberapa peneliti telah mengindikasikan bahwa jenis data tertentu-seperti menulis yang sangat unik atau logis-masih lebih mungkin dilestarikan.

Para penulis mengakui pembatasan ini dan menekankan bahwa cara mereka dirancang untuk mengkarakterisasi tren publik alih -alih kasus tepi.

Bergerak menuju pemahaman manusia yang lebih besar tentang pemahaman LLM

Dengan memberikan definisi awal dan terukur, penelitian ini memberi pengembang dan peneliti alat baru untuk menilai perilaku model bahasa. Ini tidak hanya dengan transparansi yang khas, tetapi juga dengan kepatuhan, privasi dan standar moral dalam mengembangkan kecerdasan buatan. Hasilnya menunjukkan bahwa lebih banyak data-tidak kurang mungkin menjadi jalur paling aman ketika model bahasa dilatih secara luas.

Untuk menempatkan total bentuk bentuk dalam perspektif:

• Model parameter dapat menghemat 500 km sekitar 1,8 juta bit, atau 225 kilo data.
• Model parameter dapat berisi 1,5 miliar pada sekitar 5,4 miliar bit, atau 675MB informasi awal.
• Tidak dapat dibandingkan dengan menyimpan file model seperti gambar (misalnya, gambar 3,6MB adalah sekitar 30 juta bit), tetapi penting ketika didistribusikan melalui pola teks yang terpisah.

Saya bukan pengacara atau ahli hukum, tetapi saya berharap penelitian semacam itu disebutkan dalam banyak tuntutan hukum yang berkelanjutan antara penyedia kecerdasan buatan dan pencipta/pemegang hak data.