Perusahaan sangat ingin memastikan model AI apa pun yang mereka gunakan Komitmen terhadap keselamatan dan penggunaan yang aman kebijakan, dan menyesuaikan LLM sehingga tidak menanggapi pertanyaan yang tidak diminta.

Namun, sebagian besar keamanan dan tim merah terjadi sebelum penerapan, dan kebijakan “penggabungan” terjadi sebelum pengguna sepenuhnya merasakan kemampuan model dalam produksi. OpenAI Dia yakin hal ini dapat menawarkan pilihan yang lebih fleksibel bagi organisasi dan mendorong lebih banyak perusahaan untuk menerapkan kebijakan keselamatan.

Perusahaan telah merilis dua model open-weight dalam tinjauan penelitian yang diyakini akan membuat institusi dan model lebih fleksibel dalam hal agunan. gpt-oss-safeguard-120b dan gpt-oss-safeguard-20b akan tersedia pada lisensi Apache 2.0 yang permisif. Model-model tersebut merupakan versi open source OpenAI yang telah disempurnakan gpt-oss, dirilis pada bulan Agustusmenandai rilis pertama dalam keluarga OSS sejak musim panas.

Di sebuah Entri blogoss-safeguard menggunakan logika untuk “menafsirkan kebijakan pengembang dan penyedia secara langsung pada waktu inferensi – mengklasifikasikan pesan pengguna, penyelesaian, dan percakapan penuh sesuai dengan kebutuhan pengembang,” kata OpenAI.

Perusahaan menjelaskan bahwa karena model menggunakan Chain of Thought (CoT), pengembang dapat memperoleh penjelasan tentang keputusan model untuk ditinjau.

“Selain itu, kebijakan diberikan selama inferensi, bukan pelatihan model, sehingga lebih mudah bagi pengembang untuk sering meninjau kebijakan guna meningkatkan kinerja.”" OpenAI mengatakan dalam postingannya. "Pendekatan ini, yang awalnya kami kembangkan untuk penggunaan internal, jauh lebih fleksibel dibandingkan metode tradisional dalam melatih pengklasifikasi untuk secara tidak langsung menyimpulkan batasan keputusan dari sejumlah besar contoh yang diberi label."

Pengembang dapat mengunduh kedua templat dari Pelukan wajah.

Elastisitas versus roti

Awalnya, model AI tidak akan mengetahui faktor keselamatan pilihan perusahaan. Sedangkan model pengirim tim merah Model dan platform,Jaminan ini ditujukan untuk penggunaan yang lebih luas. Perusahaan seperti Microsoft Dan Layanan Web Amazon sampai Platform tampilan Untuk membawa Pagar pembatas untuk aplikasi kecerdasan buatan Dan para agen.

Perusahaan menggunakan pengklasifikasi keselamatan untuk membantu melatih model mengenali pola masukan yang baik atau buruk. Ini membantu model mengetahui pertanyaan mana yang tidak boleh mereka jawab. Hal ini juga membantu memastikan bahwa model tidak menyimpang dan jawabannya akurat.

“Pengklasifikasi tradisional dapat memiliki kinerja tinggi, latensi rendah, dan biaya pengoperasian rendah," kata OpenAI. "Namun mengumpulkan contoh pelatihan dalam jumlah yang cukup dapat memakan waktu dan mahal, dan memperbarui atau mengubah kebijakan memerlukan pelatihan ulang pengklasifikasi."

Model mengambil dua masukan sekaligus sebelum mengambil kesimpulan tentang kegagalan konten. Dibutuhkan kebijakan dan konten untuk menentukan peringkat sesuai dengan pedomannya. OpenAI mengatakan model tersebut bekerja paling baik dalam situasi di mana:

• Potensi kerugian sedang muncul atau berkembang, dan kebijakan harus beradaptasi dengan cepat.

• Domain ini sangat bagus dan sulit ditangani oleh pengklasifikasi yang lebih kecil.

• Pengembang tidak memiliki cukup sampel untuk melatih pengklasifikasi berkualitas tinggi untuk setiap risiko di platform mereka.

• Latensi tidak sepenting menghasilkan label berkualitas tinggi dan dapat ditafsirkan.

Perusahaan mengatakan gpt-oss-safeguard “berbeda karena kemampuan logikanya memungkinkan pengembang untuk menegakkan kebijakan apa pun,” bahkan kebijakan yang mereka tulis selama inferensi.

Model ini didasarkan pada alat internal OpenAI, Safety Reasoner, yang memungkinkan timnya lebih sering memasang pagar pembatas. Mereka sering kali memulai dengan kebijakan keamanan yang sangat ketat, “menggunakan komputasi dalam jumlah yang relatif besar bila diperlukan,” dan kemudian menyesuaikan kebijakan tersebut saat mereka menggerakkan model melalui perubahan produksi dan penilaian risiko.

Kinerja keselamatan

OpenAI mengatakan model perlindungan gpt-oss-nya mengungguli GPT-5 Thinking dan model gpt-oss asli dalam hal akurasi multi-kebijakan berdasarkan pengujian benchmark. Model tersebut juga dijalankan pada benchmark ToxicChat secara keseluruhan, dan performanya baik, meskipun pertimbangan GPT-5 dan alasan keselamatan sedikit mengungguli model tersebut.

Namun ada kekhawatiran bahwa pendekatan ini dapat mengarah pada sentralisasi standar keselamatan.

“Keselamatan bukanlah konsep yang didefinisikan dengan baik,” kata John Theakston, asisten profesor ilmu komputer di Cornell University. “Setiap penerapan standar keselamatan akan mencerminkan nilai dan prioritas organisasi yang menciptakannya, serta keterbatasan dan kekurangan modelnya.” “Jika industri secara keseluruhan mengadopsi standar yang dikembangkan oleh OpenAI, kita berisiko melembagakan perspektif tertentu mengenai keselamatan dan menghalangi penyelidikan yang lebih luas mengenai kebutuhan keselamatan dalam penerapan AI di banyak sektor masyarakat.”

Perlu juga dicatat bahwa OpenAI belum merilis model dasar untuk rangkaian model oss, sehingga pengembang tidak dapat mereplikasinya sepenuhnya.

Namun, OpenAI yakin bahwa komunitas pengembang dapat membantu meningkatkan perlindungan gpt-oss. Ini akan menjadi tuan rumah hackathon pada 8 Desember di San Francisco.

Tautan sumber

Tautan sumber

Tautan sumber