Openai mengakui bahwa itu merusak tes pembaruan chatgpt Anda ‘Sychophant-y’

Pekan lalu, Openai menarik pembaruan GPT-4O yang membuat chatgpt “sangat menyanjung atau menyenangkan”-dan sekarang menjelaskan apa yang sebenarnya salah. Di dalam posting blog yang diterbitkan Pada hari Jumat, Openai mengatakan upaya mereka untuk “menggabungkan umpan balik pengguna, memori, dan data yang lebih dingin dengan lebih baik” sebagian dapat “menyentuh skala besar.”

Dalam beberapa minggu terakhir, pengguna telah menyadari bahwa chatgpt tampak Saya selalu setuju dengan merekabahkan dalam situasi yang berpotensi berbahaya. Efek dari ini dapat dilihat laporan Rolling Stone Tentang orang -orang yang mengatakan orang yang mereka cintai percaya bahwa mereka “membangkitkan” bot obrolan yang mendukung delusi keagamaan mereka tentang kebesaran, bahkan sebelum pembaruan sekarang dihapus. CEO Openai Sam Altman kemudian mengakui bahwa pembaruan GPT-4-up terbarunya membuatnya “sangat Suriah dan menjengkelkan.”

Dalam pembaruan ini, Openai mulai menggunakan data dari ibu jari dan ibu jari di chatgpt sebagai “tanda hadiah tambahan.” Namun, kata Openai, ini mungkin telah “melemahkan pengaruh sinyal hadiah utama kami, yang tetap menyanjung di bawah terkendali.” Perusahaan mencatat bahwa umpan balik pengguna “kadang -kadang dapat mendukung jawaban yang lebih menyenangkan,” mungkin memperburuk pernyataan chatbot yang terlalu menyenangkan. Perusahaan mengatakan memori juga dapat berkembang lebih datar.

Openai mengatakan salah satu “masalah utama” dengan peluncuran berasal dari proses pengujiannya. Meskipun penilaian offline model dan tes A/B memiliki hasil yang positif, beberapa tatters ahli telah menyarankan agar pembaruan membuat chatbot terlihat “sedikit keluar.” Namun demikian, Openai telah maju dengan pembaruan.

“Melihat ke belakang, penilaian kualitatif menyarankan sesuatu yang penting, dan kita seharusnya lebih memperhatikan,” tulis perusahaan. “Mereka mengambil titik buta pada evaluasi dan metrik kami yang lain. Eval offline kami tidak cukup lebar atau cukup dalam untuk menangkap perilaku scofantic … dan tes A/B kami tidak memiliki tanda yang tepat untuk menunjukkan bagaimana model tersebut terjadi di bagian depan ini dengan detail yang cukup.”

Di masa depan, Openai mengatakan bahwa “secara resmi akan mempertimbangkan masalah perilaku” sebagai memiliki potensi untuk memblokir rilis, serta membuat fase opt-in ALFA baru yang akan memungkinkan pengguna untuk menyediakan langsung dari OpenAI sebelum rilis yang lebih luas. Openai juga berencana untuk memastikan bahwa pengguna mengetahui perubahan yang dilakukannya untuk chatgpt, bahkan jika pembaruannya kecil.