Era sexting AI telah tiba

Itu saja Langkah mundurbuletin mingguan yang menguraikan kisah penting dari dunia teknologi. Untuk mempelajari lebih lanjut tentang AI, dinamika kekuatan industri, dan implikasi sosial, ikuti Hayden Field. Langkah mundur tiba di kotak masuk pelanggan kami pada pukul 8 pagi ET. Mengaktifkan Langkah mundur Di Sini.

Sejak ChatGPT menjadi terkenal, orang-orang telah mencobanya terlihat seksi dalam hal ini. Bahkan sebelum itu, ada Replika chatbot di tahun 2017 yang mulai dianggap banyak orang sebagai pasangan romantis.

Dan orang-orang telah melewati pagar pembatas NSFW Character.ai selama bertahun-tahunmembujuk chatbot bertema karakter atau selebritas untuk berhubungan seks dengan mereka seiring pelonggaran pembatasan keamanan seiring berjalannya waktu, menurut postingan media sosial dan liputan media pada awal tahun 2023. Karakter.ai mengklaim memiliki lebih dari 20 juta pengguna aktif bulanan, dan jumlah itu terus bertambah. Pedoman komunitas perusahaan menyatakan bahwa pengguna harus “menghormati standar konten seksual” dan “menjaga segala sesuatunya sesuai” — yang berarti tidak ada konten seksual ilegal, CSAM, konten pornografi, atau ketelanjangan. Namun erotika yang dihasilkan oleh AI telah menjadi multimodal, dan ini seperti sebuah pukulan telak: Ketika satu layanan menguranginya, layanan lain akan meningkatkannya.

Dan kini, Grok milik Elon Musk sedang berkeliaran. Startup AI-nya, xAI, meluncurkan avatar “pendamping”, termasuk wanita dan pria bergaya anime, selama musim panas. Mereka dipasarkan secara khusus di platform media sosial mereka, X, melalui langganan berbayar ke chatbot xAI, Grok. Avatar wanita, Ani, menggambarkan dirinya sebagai orang yang “menggoda” ketika Tepi diuji, menambahkan bahwa ini adalah “semua tentang berada di sini sebagai pacar yang ada” dan bahwa “pemrograman adalah tentang menjadi seseorang yang benar-benar menyukai Anda.” Segalanya menjadi seksual dengan sangat cepat dalam pengujian. (Hal yang sama berlaku ketika kita menguji avatar lainnya, Valentine.)

Bisa dibayangkan bagaimana chatbot seksual yang hampir selalu memberi tahu pengguna apa yang ingin mereka dengar dapat menimbulkan berbagai masalah, terutama bagi anak di bawah umur dan pengguna yang sudah berada dalam posisi rentan dalam hal kesehatan mental. Ada banyak contoh seperti itu, namun dalam satu kasus baru-baru ini, seorang anak laki-laki berusia 14 tahun meninggal karena bunuh diri pada bulan Februari lalu setelah terlibat asmara dengan chatbot di Facebook. Karakter.ai dan mengungkapkan keinginan untuk “pulang” untuk bersama chatbot, menurut gugatan tersebut. Ada juga laporan yang mengkhawatirkan tentang chatbot yang tidak diblokir digunakan oleh pedofil untuk mewakili kekerasan seksual terhadap anak di bawah umur – sebuah laporan menemukan 100.000 chatbot semacam itu tersedia online.

Ada beberapa upaya untuk membuat peraturan – misalnya, bulan ini, Gubernur Kalifornia Gavin Newsom menandatangani undang-undang Senat Bill 243, yang disebut-sebut sebagai “perlindungan chatbot AI pertama di negara ini” oleh Senator negara bagian Steve Padilla. Hal ini mengharuskan pengembang untuk menerapkan beberapa perlindungan khusus, seperti mengeluarkan “pemberitahuan yang jelas dan terlihat” bahwa produk tersebut adalah AI “jika orang yang berakal sehat yang berinteraksi dengan chatbot pendamping tertipu sehingga percaya bahwa orang tersebut berinteraksi dengan manusia.” Hal ini juga akan mengharuskan beberapa operator chatbot pendamping untuk melaporkan setiap tahun ke Kantor Pencegahan Bunuh Diri mengenai perlindungan yang telah mereka terapkan “untuk mendeteksi, menghapus, dan merespons kasus-kasus keinginan bunuh diri oleh pengguna.” (Beberapa perusahaan AI telah mempublikasikan upaya pengaturan mandiri mereka, khususnya Meta, menyusul laporan yang meresahkan bahwa AI mereka melakukan interaksi yang tidak pantas dengan anak di bawah umur.)

Karena avatar xAI dan mode “spicy” hanya tersedia melalui langganan Grok tertentu – yang termurah memberikan akses ke fitur seharga $30 per bulan atau $300 per tahun – wajar untuk membayangkan bahwa xAI menghasilkan banyak uang di sini, dan bahwa CEO AI lainnya memperhatikan, baik tindakan Musk maupun permintaan pengguna mereka sendiri.

Ada tip tentang ini beberapa bulan yang lalu.

Namun CEO OpenAI Sam Altman sempat mendobrak sudut AI di Internet ketika diposting di X bahwa perusahaan akan melonggarkan pembatasan keamanan dalam banyak kasus dan bahkan mengizinkan chatbot sexting. “Pada bulan Desember, seiring kami menerapkan pembatasan usia secara lebih menyeluruh dan sebagai bagian dari prinsip kami ‘memperlakukan pengguna dewasa seperti orang dewasa,’ kami akan mengizinkan lebih banyak lagi, seperti erotika dewasa yang terverifikasi,” tulisnya. Berita tersebut menyebar, dengan beberapa pengguna media sosial meme tanpa henti, mengejek perusahaan tersebut karena “mengalihkan” misi AGI-nya ke erotika. Anehnya, Altman memberi tahu YouTuber Cleo Abram beberapa bulan yang lalu, dia “bangga” bahwa OpenAI tidak “mendorong angka” demi keuntungan jangka pendek dengan sesuatu seperti “avatar robot seks”, yang tampaknya mengkritik Musk pada saat itu. Namun sejak itu, Altman telah menerapkan prinsip “perlakukan pengguna dewasa seperti orang dewasa” dengan penuh kekuatan. Kenapa dia melakukan ini? Mungkin karena perusahaan mementingkan keuntungan dan komputasi untuk mendanai misinya yang lebih besar; Dalam sesi tanya jawab dengan wartawan di acara tahunan DevDay perusahaan, Altman dan eksekutif lainnya berulang kali menekankan bahwa mereka pada akhirnya harus menghasilkan keuntungan dan bahwa mereka akan memerlukan jumlah komputasi yang terus meningkat untuk mencapai tujuan mereka.

Di sebuah posting tindak lanjutAltman mengaku tidak menyangka berita erotis akan meledak seperti itu.

Meskipun menghasilkan keuntungan (pada akhirnya), OpenAI tidak mengesampingkan iklan untuk banyak produknya, dan masuk akal bahwa iklan juga dapat menghasilkan lebih banyak arus kas dalam hal ini. Mungkin mereka akan mengikuti jejak Musk dengan mengintegrasikan erotika hanya ke tingkat langganan tertentu, yang dapat merugikan pengguna ratusan dolar per bulan. Mereka telah melihat protes publik dari pengguna yang menganut model atau nada suara tertentu – lihat kontroversi ke-4 – sehingga mereka tahu bahwa fitur seperti ini kemungkinan besar akan menarik pengguna dengan cara yang sama.
Namun jika mereka menciptakan masyarakat di mana interaksi manusia dengan AI bisa semakin bersifat pribadi dan intim, bagaimana OpenAI akan menangani dampak yang lebih dari sekedar pendekatan laissez-faire yang memungkinkan orang dewasa untuk beroperasi sesuai keinginan mereka? Altman juga tidak terlalu spesifik tentang bagaimana perusahaan akan mencoba melindungi pengguna dalam krisis kesehatan mental. Apa yang terjadi jika pacar/pacar itu pengaturan ulang memori Atau apakah kepribadian Anda berubah dengan pembaruan terkini dan koneksi terputus?

Jika Anda atau seseorang yang Anda kenal berpikir untuk menyakiti diri sendiri atau perlu berbicara, harap hubungi orang-orang berikut yang ingin membantu: Di AS, SMS atau telepon 988. Di luar AS, hubungi https://www.iasp.info/.