Gubernur California Gavin Newsom (tengah) menandatangani rancangan undang-undang pada hari Senin yang memberikan batasan baru pada cara chatbot kecerdasan buatan (AI) berinteraksi dengan anak-anak dan menangani masalah seperti bunuh diri dan menyakiti diri sendiri.

SB 243, yang disahkan Badan Legislatif negara bagian pada pertengahan September, mewajibkan pengembang “chatbot pendamping” untuk membuat protokol yang mencegah model mereka memproduksi konten tentang ide bunuh diri, bunuh diri, atau menyakiti diri sendiri dan merujuk pengguna ke layanan krisis bila diperlukan.

Hal ini juga mengharuskan chatbot untuk memberikan pemberitahuan yang “jelas dan mencolok” bahwa pemberitahuan tersebut dibuat secara artifisial jika seseorang dapat disesatkan sehingga percaya bahwa dia sedang berkomunikasi dengan manusia lain.

Saat berinteraksi dengan anak-anak, chatbots perlu mengingatkan mereka setiap tiga jam bahwa mereka bukan manusia. Pengembang juga harus menciptakan sistem yang mencegah chatbot mereka memproduksi konten seksual eksplisit dalam percakapan dengan anak di bawah umur.

“Teknologi yang sedang berkembang seperti chatbots dan media sosial dapat menginspirasi, mendidik, dan menghubungkan – namun tanpa batasan yang nyata, teknologi juga dapat mengeksploitasi, menyesatkan, dan membahayakan anak-anak kita,” kata Newsom dalam sebuah pernyataan.

“Kami telah melihat beberapa contoh yang sangat mengerikan dan tragis mengenai generasi muda yang dirugikan oleh teknologi yang tidak diatur, dan kami tidak akan berdiam diri sementara perusahaan terus berjalan tanpa batasan dan akuntabilitas yang diperlukan,” tambahnya. “Kita bisa terus memimpin dalam bidang AI dan teknologi, namun kita harus melakukannya secara bertanggung jawab: melindungi anak-anak kita di setiap langkah. Anda tidak bisa membeli keselamatan anak-anak kita.”

Keluarga seorang remaja California menggugat OpenAI pada akhir Agustus, menuduh ChatGPT mendorong putra mereka yang berusia 16 tahun untuk bunuh diri. Sang ayah, Matthew Raine, memberikan kesaksian di depan panel Senat bulan lalu, bersama dengan dua orang tua lainnya yang menuduh chatbot mendorong anak-anak mereka untuk bunuh diri atau melukai diri sendiri.

OpenAI pada hari Senin memuji penandatanganan undang-undang chatbot sebagai “langkah maju yang berarti dalam hal standar keamanan AI.”

“Dengan menerapkan batasan yang jelas, California membantu membentuk pendekatan yang lebih bertanggung jawab terhadap pengembangan dan penerapan AI di seluruh negeri,” kata seorang juru bicara dalam sebuah pernyataan.

Meningkatnya kekhawatiran tentang bagaimana chatbot AI berinteraksi dengan anak-anak mendorong Komisi Perdagangan Federal (FTC) untuk melakukan penyelidikan terhadap masalah ini, dan meminta informasi dari beberapa perusahaan teknologi terkemuka.

Senator Josh Hawley (R-Mo.) dan Dick Durbin (D-Ill.) juga memperkenalkan undang-undang akhir bulan lalu yang akan mengklasifikasikan chatbot AI sebagai produk sehingga pengguna yang dirugikan dapat mengajukan klaim pertanggungjawaban.

Langkah California ini adalah yang terbaru dari beberapa undang-undang terkait AI dan teknologi yang ditandatangani Newsom menjadi undang-undang pada sesi ini. Pada hari Senin, ia juga menyetujui langkah-langkah yang memerlukan label peringatan pada platform media sosial dan verifikasi usia oleh sistem operasi dan toko aplikasi.

Pada akhir September, ia juga menandatangani SB 53, yang mewajibkan model AI tingkat lanjut untuk menerbitkan kerangka kerja yang merinci cara model tersebut menilai dan memitigasi risiko bencana.

Diperbarui pada 18:50 EDT

Tautan sumber