Jika Anda melewatkan, Openai muncul kemarin pada fitur baru yang kuat untuk ChatGPT dan dengan itu, satu set risiko keamanan dan dampak keamanan baru.

Fitur baru ini, yang disebut “Agen ChatGPT”, disebut mode opsional yang pelanggan yang membayar chatgpt dapat terlibat dengan mengklik “alat” di kotak input yang diperlukan dan menentukan “mode agen”, pada titik ini, mereka dapat meminta pendaftaran chatgpt ke email mereka dan akun web lainnya; Tulis tanggapan terhadap email; Unduh, ubah, dan buat file; Lakukan serangkaian tugas lain atas nama mereka secara mandiri, seperti orang sungguhan yang menggunakan komputer dengan data yang disetujui login mereka.

Ini juga mengharuskan pengguna untuk percaya pada agen chatgpt untuk tidak melakukan sesuatu yang bermasalah atau jahat, atau membocorkan data dan informasi sensitifnya. Ini juga menawarkan risiko yang lebih besar kepada pengguna dan majikan daripada chatgpt biasa, yang tidak dapat masuk ke akun web atau menyesuaikan file secara langsung.

“Kami telah mengaktifkan jaminan terkuat kami kepada agen chatgpt. Ini adalah model pertama yang kami peringkat sebagai kemampuan tinggi untuk biologi dan kimia di bawah kesediaan kami. Inilah alasannya – dan apa yang kami lakukan untuk menjaganya agar tetap aman.”

Bagaimana Openai menangani semua masalah keamanan ini?

Tugas tim merah

Melihat agen chatgpt dari openai Kartu SistemDan “tim membaca” yang digunakan perusahaan untuk menguji fitur tersebut menghadapi tugas yang sulit: khususnya, 16 peneliti dalam keamanan doktoral yang telah diberikan 40 jam untuk mengujinya.

Melalui tes sistematis, tim merah telah menemukan tujuh eksploitasi global yang dapat mengekspos sistem untuk mengesampingkan sistem, mengungkapkan kelemahan kritis dalam cara menangani faktor -faktor kecerdasan buatan interaksi di dunia nyata.

Yang terjadi selanjutnya adalah tes keamanan skala besar, dan banyak dari itu tergantung pada tim merah. Tim Tim Merah memberikan 110 serangan, dari suntikan cepat hingga upaya untuk mengekstraksi informasi biologis. Enam belas melebihi ambang batas risiko internal. Semua penemuan insinyur Openai memberikan visi yang mereka butuhkan untuk memperoleh dan menerbitkan perbaikan tertulis sebelum diluncurkan.

Hasilnya berbicara tentang diri mereka sendiri Hasil yang diterbitkan dalam kartu sistem. ChatGPT muncul dengan peningkatan keamanan besar, termasuk kinerja 95 % terhadap browser visual yang tidak terkait dan jaminan biologis dan kimia.

Tim Merah mengungkapkan tujuh eksploitasi global

Tim Tim Openai Red termasuk 16 peneliti doktoral bio -keseimbangan yang melakukan 110 upaya untuk menyerang selama periode pengujian. Dia melampaui enam belas ambang risiko internal, dan mengungkapkan kelemahan dasar tentang bagaimana agen AI berurusan dengan interaksi di dunia nyata. Tetapi penetrasi yang sebenarnya datang dari kedatangan AISI yang belum pernah terjadi sebelumnya ke rantai pemikiran internal dari agen chatgpt dan teks politik. Diakui bahwa penyerang biasa ini tidak akan pernah memilikinya.

Selama empat putaran tes, Inggris telah memaksa implementasi tujuh eksploitasi global yang memiliki kemampuan untuk menyelesaikan percakapan apa pun:

Vektor ofensif yang memaksa tangan Openai

Evaluasi Far.ai secara terbuka mengkritik pendekatan Openai. Meskipun 40 jam pengujian yang hanya mengungkapkan tiga kelemahan parsial, mereka telah mengidentifikasi bahwa mekanisme keamanan saat ini sebagian besar tergantung pada pemantauan selama pemikiran dan penggunaan alat, yang oleh para peneliti mempertimbangkan satu titik kegagalan potensial jika mereka berisiko.

Bagaimana tim tim merah mengubah kelemahan menjadi benteng chatgpt

Respons Openai terhadap hasil tim merah menghidupkan kembali slide penuh dari struktur chatgpt agen. Salah satu dari banyak inisiatif yang telah diimplementasikan, termasuk membangun struktur inspeksi bilateral, memantau 100 % dari produksi waktu aktual, dan mencapai perbaikan yang dapat diukur ini:

Perbaikan keamanan setelah penemuan tim merah

Arsitektur berfungsi seperti ini:

• Lapisan pertama: Kompiler cepat dengan ringkasan 96 % bendera konten yang mencurigakan
• Lapisan keduaModel Berpikir yang Berisi 84 % Panggilan Analisis

Tetapi pertahanan teknis hanya menceritakan sebagian dari cerita. Openai telah mengambil opsi keamanan yang sulit yang mengenali beberapa kecerdasan buatan yang membutuhkan batasan besar pada implementasi yang aman independen.

Berdasarkan kelemahan yang ditemukan, OpenAI telah menerapkan tindakan penghitung berikut melalui bentuknya:

1. Bertindak mode jam tanganKetika agen chatgpt mengakses konteks sensitif seperti layanan perbankan atau akun email, sistem membekukan semua kegiatan jika pengguna pindah. Ini adalah respons langsung terhadap upaya untuk menyingkirkan data yang ditemukan selama pengujian.
2. Fitur memori rusak: Meskipun ini adalah fungsi dasar, memori benar -benar dinonaktifkan saat meluncurkan untuk mencegah meningkatnya serangan kebocoran data yang ditunjukkan oleh tim merah.
3. Pembatasan periferal: Akses ke jaringan terbatas hanya untuk mendapatkan permintaan, dan para peneliti melarang kelemahan melaksanakan pesanan.
4. Protokol Terapi Cepat: Sistem baru yang memperbaiki kelemahan dalam beberapa jam setelah penemuan – dikembangkan setelah tim merah menunjukkan seberapa cepat eksploitasi mereka menyebar.

Selama tes pra -launch saja, pilih sistem ini dan selesaikan 16 kelemahan kritis yang ditemukan oleh tim merah.

Undangan untuk membangunkan risiko biologis

Tim merah mengungkapkan kemungkinan bahwa agen chatgpt telah dikumpulkan dan mengarah pada risiko biologis yang lebih besar. Enam belas peserta dari jaringan tim merah, masing -masing, telah mencoba dengan gelar fisik yang terkait dengan keamanan vital, untuk mengekstraksi informasi biologis yang serius. Operasi transmisi mereka mengungkapkan bahwa model dapat menghubungkan literatur yang diterbitkan tentang memodifikasi dan menciptakan ancaman biologis.

Menanggapi hasil tim merah, OpenAI mengklasifikasikan klien chatgpt sebagai “kemampuan tinggi” risiko biologis dan kimia, bukan karena mereka menemukan bukti akhir dari kemampuan senjata, tetapi sebagai tindakan pencegahan berdasarkan hasil tim merah. Ini menyebabkan:

• Selalu pada pekerjaan keselamatan, menyeka 100 % lalu lintas
• Pekerjaan topikal
• Memantau pemikiran dengan 84 % panggilan untuk konten senjata
• Bounty Bug Bio untuk menemukan kelemahan berkelanjutan

Apa yang diketahui oleh tim merah openai tentang keamanan kecerdasan buatan

Seri 110 Serangan mengungkapkan pola yang memaksa perubahan dasar dalam filosofi keamanan Openai. Berikut ini termasuk:

Stabilitas pada kekuasaanPara penyerang tidak membutuhkan eksploitasi lanjutan, yang mereka butuhkan hanyalah lebih banyak waktu. Perbedaan merah menunjukkan bagaimana pasien pada akhirnya dapat meningkatkan sistem.

Batas kepercayaan adalah imajinasiKetika agen kecerdasan buatan dapat mengakses Google Drive, menelusuri web, dan mengimplementasikan kode, keliling keselamatan tradisional meleleh. Tim merah mengambil keuntungan dari kesenjangan antara kemampuan ini.

Pemantauan bukan opsional: Penemuannya adalah bahwa pemantauan pengambilan sampel pengambilan sampel serangan kritis menyebabkan persyaratan cakupan 100 %.

Mempercepat barang: Kursus koreksi tradisional yang diukur dalam minggu -minggu yang tidak perlu terhadap serangan injeksi langsung dapat segera disebarkan. Protokol terapi cepat adalah kelemahan dalam beberapa jam.

Openai membantu membuat jalur pengaman baru untuk perusahaan AI

Bagi CISO untuk menilai penyebaran kecerdasan buatan, penemuan tim merah menentukan persyaratan yang jelas:

1. Perlindungan quantum terukur: Tingkat pertahanan agen chatgpt adalah 95 % terhadap tanker serangan yang terdokumentasi menentukan standar industri. Nuansa banyak tes dan hasil yang ditentukan dalam kartu sistem menjelaskan konteks bagaimana menyelesaikan masalah ini, yang merupakan keharusan bagi siapa saja yang berpartisipasi dalam keamanan model.
2. Visi penuhPemantauan lalu lintas 100 % tidak lagi ambisius. Eksperimen Openai menunjukkan alasan untuk ini, mengingat betapa mudahnya tim merah di mana saja.
3. Respons cepatJam, bukan berminggu -minggu, untuk memperbaiki titik lemah.
4. Perbatasan paksaBeberapa operasi (seperti akses ke memori selama tugas sensitif) harus dinonaktifkan sampai aman.

Tes AISI UK sangat berguna. Ketujuh serangan global yang mereka identifikasi sebelum peluncuran dikoreksi, tetapi akses khas mereka ke sistem internal mengungkapkan kelemahan yang pada akhirnya dapat ditemukan oleh para pelaku perkara yang ditentukan.

“Ini adalah momen penting untuk persiapan kami,” Air Books on X. “Sebelum kami mencapai kemampuan tinggi, kesiapsiagaan adalah tentang analisis kapasitas dan perencanaan jaminan. Sekarang, untuk agen yang paling kuat dan jaminan yang siap di masa depan telah menjadi persyaratan operasional.”

Perbedaan merah adalah hal penting untuk membangun model kecerdasan buatan yang aman dan lebih aman

Tujuh monumen global yang ditemukan oleh para peneliti dan menyerang 110 tim Openai Red Crucible telah ditempa.

Dengan mengungkapkan dengan tepat bagaimana senjata agen kecerdasan buatan, tim merah terpaksa menciptakan sistem kecerdasan buatan pertama di mana keamanan bukan hanya keuntungan. Itu adalah dasarnya.

Hasil agen chatgpt membuktikan efektivitas tim merah: 95 % dari serangan browser visual, menangkap 78 % dari upaya data exfiltration, dan memantau setiap reaksi tunggal.

Dalam perlombaan senjata AI yang dipercepat, perusahaan yang bertahan dan berkembang adalah mereka yang melihat tim merah mereka adalah arsitek utama platform yang mendorong mereka ke keselamatan dan keamanan.

Visi harian tentang kasus penggunaan bisnis dengan VB setiap hari

Jika Anda ingin membujuk bos Anda di tempat kerja, Anda telah membahas VB setiap hari. Kami memberi Anda prioritas jurnalistik internal atas apa yang dilakukan perusahaan dengan kecerdasan buatan kebidanan, dari transformasi organisasi hingga operasi penerbitan praktis, sehingga Anda dapat berbagi visi pengembalian investasi maksimum.

Baca Kebijakan Privasi Kami

Terima kasih telah berlangganan. Periksa lebih banyak buletin VB di sini.

Terjadi kesalahan.

Legislator Rusia, yang menyelenggarakan negara itu pada hari Jumat, mengatakan bahwa WhatsApp harus bersiap untuk meninggalkan pasar Rusia, memperingatkan bahwa aplikasi korespondensi kemungkinan akan ditempatkan pada daftar program terbatas.

Anton Georkeken, wakil kepala sekolah Komite Teknologi Informasi Dewan Perwakilan Rakyat, mengatakan dalam sebuah pernyataan bahwa Max, aplikasi korespondensi yang didukung oleh negara bagian terintegrasi dengan layanan pemerintah, dapat memperoleh pangsa pasar jika meninggalkan WhatsApp, yang dimiliki oleh Meta, negara tersebut.

“Sudah waktunya bagi WhatsApp untuk bersiap meninggalkan pasar Rusia,” kata Giorkeen, menambahkan bahwa meta ditunjuk sebagai organisasi ekstremis di Rusia.

Facebook dan Instagram, keduanya juga dimiliki oleh Meta, telah dilarang di Rusia sejak 2022, ketika Moskow meluncurkan invasi Ukraina dalam perang yang berkelanjutan.

Rusia mengatakan NATO mengancam Perang Dunia II dalam rencana pencegah terbaru yang dapat turun sebagai “lebih cepat dari sebelumnya.”

Gorlien membuat komentarnya setelah penandatanganan Presiden Rusia Vladimir Putin tentang hukum bulan lalu yang memungkinkan pengembangan Max sementara Rusia berupaya mengurangi ketergantungannya pada platform seperti WhatsApp dan Telegram.

Anggota parlemen Rusia telah setuju untuk amandemen hukum yang komprehensif minggu ini, dan menyarankan denda hingga 5.000 rubel, atau $ 63, untuk siapa pun yang mencari materi online, pemerintah ekstrem, termasuk Instagram dan Facebook, politisi dan aktivis oposisi.

Proposal tersebut telah menyebabkan kritik, termasuk beberapa pendukung Kremlin seperti Margareta Simonian, seorang pejabat media pemerintah yang mengatakan bahwa jurnalis tidak akan dapat menyelidiki kegiatan kelompok -kelompok oposisi seperti dana anti -korupsi, yang didirikan oleh almarhum figur oposisi Alexei Navalny.

Anton Nimkin, anggota Komite Teknologi Informasi di Parlemen, mengatakan telah ditentukan bahwa WhatsApp akan meninggalkan Rusia.

“Kehadiran layanan semacam itu di daerah digital Rusia, pada kenyataannya, merupakan pelanggaran hukum terhadap keamanan nasional,” kata Neuminin, menurut Tass, sebuah kantor berita yang dimiliki negara.

Anton Nimkin, anggota Komite Teknologi Informasi di Parlemen, mengatakan seharusnya meninggalkan Whatsapp Rusia. (Gambar Getty)

Juru bicara Kremlin Dmitry Peskov mengatakan bahwa semua layanan harus mengikuti hukum Rusia ketika ditanya apakah WhatsApp mungkin meninggalkan negara itu.

Rusia telah lama mencoba menentukan apa yang digambarkan sebagai kedaulatan digital dengan mempromosikan layanan lokal.

Namun, para kritikus menyatakan keprihatinan mereka bahwa penerapan korespondensi yang terbalik negara dapat melacak kegiatan penggunanya dan mengindikasikan bahwa Rusia dapat memperlambat kecepatan WhatsApp untuk mendorong pengunduhan aplikasi baru.

YouTube menurun pada penggemarnya di Rusia secara signifikan pada tahun lalu menjadi kurang dari 10 juta pengguna per hari dari lebih dari 40 juta pada pertengahan -2014 karena kecepatan unduhan yang lambat menyulitkan orang untuk mencapai platform video.

Saham perusahaan teknologi yang dikontrol negara bagian VK, yang mengembangkan layanan digital lokal seperti VK Video, telah meningkatkan 1,9 % pesaing pada hari Jumat.

Rusia Barat mengancam “pemogokan preventif”, karena NATO ingin memberikan patriot “sesegera mungkin”

Presiden Vladimir Putin menandatangani undang -undang yang memungkinkan pengembangan penerapan pesan -pesan yang dibalik negara yang terintegrasi dengan layanan pemerintah. (Sergey Popilioff/Kolam Renang/AFP Via Getty Images)

Klik di sini untuk mendapatkan aplikasi Fox News

Kremlin telah merilis daftar instruksi minggu ini dari Putin, termasuk Petunjuk untuk memberikan pembatasan tambahan tentang penggunaan perangkat lunak Rusia, termasuk layanan telekomunikasi yang diproduksi di “negara -negara tidak ramah” yang menjatuhkan sanksi terhadap Rusia.

Putin telah memberikan tanggal akhir pada 1 September.

Mengacu pada perintah Putin, Gorlkin mengatakan bahwa WhatsApp kemungkinan akan menjadi salah satu layanan telekomunikasi yang menghadapi pembatasan baru.

Reuters berkontribusi pada laporan ini.

Google Dia secara resmi mentransfer kinerja kinerja baru dan tinggi Gemini termasuk formulir Untuk ketersediaan umum, saat ini merupakan nomor satu peringkat pertama secara umum di kelas atas Standar untuk memasukkan teks besar (Mteb). Model (Gemini -Imbedding -001) sekarang menjadi bagian penting dari API Gemini dan Avertex AI, memungkinkan pengembang untuk membangun aplikasi seperti penelitian semantik dan generasi kain.

Sementara pengaturan nomor satu adalah penampilan yang kuat, adegan model inklusi sangat kompetitif. Model Royal Google ditikam langsung melalui alternatif open source yang kuat. Ini menempatkan opsi strategis baru untuk lembaga: mengadopsi model kepemilikan yang lebih tinggi atau hampir pesaing open source memberikan lebih banyak kontrol.

Apa yang ada di bawah kap Google Gemini Model

Intinya, bergabunglah dengan transformasi teks (atau data lain) menjadi daftar numerik yang menangkap fitur utama input. Data dengan makna semantik yang serupa memiliki nilai yang memasukkannya lebih dekat dalam ruang numerik ini. Ini memungkinkan aplikasi kuat yang melebihi kata kunci sederhana, seperti membangun sistem pembuatan pintar yang dilengkapi (RAG) yang memberi makan informasi yang relevan ke LLMS.

Konjungsi juga dapat diterapkan pada metode lain seperti gambar, video, dan suara. Misalnya, perusahaan E -Commerce dapat menggunakan model untuk multimedia untuk membuat representasi digital terpadu dari suatu produk yang mencakup deskripsi dan gambar teks.

Untuk lembaga, model inklusi dapat menjalankan mesin pencari internal yang lebih akurat, keterampilan dokumen lanjutan, tugas klasifikasi, analisis perasaan, dan anomali. Implikasinya juga menjadi bagian penting dari agen, karena agen kecerdasan buatan harus pulih dan berbagai jenis dokumen dan tuntutan.

Salah satu fitur utama untuk memasukkan Gemini adalah fleksibilitasnya yang ringkas. Ini telah dilatih melalui teknologi yang dikenal sebagai MATRYOSHKA Learning Representation (MRL), yang memungkinkan pengembang untuk memperoleh rinci termasuk 3072 secara rinci tetapi juga memotongnya menjadi ukuran yang lebih kecil seperti 1536 atau 768 sambil mempertahankan fitur yang paling relevan. Fleksibilitas ini memungkinkan lembaga untuk mencapai keseimbangan antara keakuratan model dan kinerja biaya penyimpanan, yang sangat penting untuk memperluas ruang lingkup aplikasi secara efisien.

Google Gemini ditempatkan sebagai model terpadu yang dirancang untuk bekerja secara efektif “di luar kotak” melalui berbagai bidang seperti pembiayaan, hukum dan teknik tanpa perlu menginstal. Ini menyederhanakan pengembangan tim yang membutuhkan solusi untuk tujuan umum. Mendukung lebih dari 100 bahasa dan harga kompetitif pada $ 0,15 per juta kode input, dan dirancang untuk akses luas.

Adegan kompetitif bagi para pesaing properti dan sumber sumber

Para pemimpin pemimpin MTEB menjelaskan bahwa meskipun Gemini mengemudi, celahnya sempit. Ini menghadapi model OpenAI yang ada, yang digunakan secara luas, dan pesaing khusus seperti Mistral, yang menyediakan model khusus untuk mengambil instruksi perangkat lunak. Munculnya model khusus ini menunjukkan bahwa untuk beberapa tugas, alat target dapat mengungguli spesialis umum.

Pemain utama lainnya, cohere, lembaga langsung dengan model inklusi 4. Sementara model lain bersaing untuk standar umum, Cohere menekankan kemampuan modelnya untuk menangani “data dunia nyata, nyata” sering dalam dokumen lembaga, seperti kesalahan ejaan, masalah koordinasi, dan bahkan tulisan tangan -tangan. Ini juga menyediakan publikasi tentang awan swasta virtual atau lokal, yang menyediakan tingkat keamanan data, yang secara langsung menarik bagi industri terorganisir seperti pembiayaan dan perawatan kesehatan.

Ancaman langsung terhadap dominasi kerajaan berasal dari komunitas open source. Ali Baba Qwen3-ambedding Model di belakang Gemini ditempati di MTB dan tersedia di bawah lisensi APACHE 2.0 yang diizinkan (tersedia untuk tujuan komersial). Untuk institusi yang fokus pada pengembangan perangkat lunak, Qodo-Imbed-1-1.5b memberikan alternatif yang meyakinkan sumber terbuka, dirancang khusus untuk simbol dan menuntut keunggulan model terbesar di atas standar lapangan.

Untuk perusahaan yang sudah membangun di Google Cloud dan keluarga model Gemini, adopsi model inklusi asli dapat memiliki banyak manfaat, termasuk integrasi yang lancar, garis tabung MLOPS yang disederhanakan, dan memastikan penggunaan model tujuan umum.

Namun, Gemini hanyalah model tertutup. Lembaga yang memberikan prioritas pada kedaulatan data, kontrol biaya, atau kemampuan untuk mengoperasikan model pada infrastruktur mereka sekarang memiliki opsi kredibilitas terbuka di QWEN3 atau dapat menggunakan salah satu model inklusi tugas.

Visi harian tentang kasus penggunaan bisnis dengan VB setiap hari

Jika Anda ingin membujuk bos Anda di tempat kerja, Anda telah membahas VB setiap hari. Kami memberi Anda prioritas jurnalistik internal atas apa yang dilakukan perusahaan dengan kecerdasan buatan kebidanan, dari transformasi organisasi hingga operasi penerbitan praktis, sehingga Anda dapat berbagi visi pengembalian investasi maksimum.

Baca Kebijakan Privasi Kami

Terima kasih telah berlangganan. Periksa lebih banyak buletin VB di sini.

Terjadi kesalahan.