Claude Ai akan mengakhiri ‘interaksi pengguna yang terus -menerus berbahaya atau kasar’

Claude Ai Chatbot Anthropic sekarang dapat mengakhiri percakapan yang dianggap “terus berbahaya atau kasar”, seperti Spotted lebih awal untuk TechCrunch. Kemampuan sekarang tersedia di model Opus 4 dan 4.1Dan itu akan memungkinkan Chatbot untuk mengakhiri percakapan sebagai “sumber daya terakhir” setelah pengguna berulang kali meminta untuk menghasilkan konten berbahaya, meskipun ada beberapa upaya penolakan dan pengalihan. Tujuannya adalah untuk membantu “potensi baik” dari model AI, kata Anthropio, mengakhiri jenis interaksi di mana Claude menunjukkan “penderitaan yang jelas”.

Jika Claude memilih untuk menghentikan percakapan, pengguna tidak akan dapat mengirim pesan baru dalam percakapan ini. Mereka masih dapat membuat obrolan baru serta mengedit dan mencoba lagi pesan sebelumnya jika mereka ingin melanjutkan topik tertentu.

Selama tes Claude Opus 4, antropik mengatakan ia menemukan bahwa Claude memiliki “keengganan kerusakan yang kuat dan konsisten”, bahkan ketika diminta untuk menghasilkan konten seksual yang melibatkan anak di bawah umur atau memberikan informasi yang dapat berkontribusi pada tindakan kekerasan dan terorisme. Dalam kasus seperti itu, antropik mengatakan Claude menunjukkan “pola kesedihan yang jelas” dan “kecenderungan untuk mengakhiri percakapan berbahaya ketika ia menerima kapasitas.”

Antropik mencatat bahwa percakapan yang memicu jawaban jenis ini adalah “kasus EDGE yang ekstrem,” menambahkan bahwa sebagian besar pengguna tidak akan menemukan hambatan ini, bahkan ketika berbicara tentang topik kontroversial. Startup IA juga menginstruksikan Claude untuk tidak mengakhiri percakapan jika pengguna menunjukkan tanda -tanda bahwa ia mungkin ingin terluka atau menyebabkan “kerusakan yang akan terjadi” kepada orang lain. Mitra Antropik Dengan Throughline, penyedia dukungan krisis online untuk membantu mengembangkan jawaban atas instruksi yang terkait dengan mutilasi diri dan kesehatan mental.

Pekan lalu, Anthropic juga memperbarui kebijakan penggunaan Claude karena model IA dengan cepat meningkatkan lebih banyak masalah keamanan. Sekarang perusahaan melarang orang menggunakan Claude untuk mengembangkan senjata biologis, nuklir, kimia atau radiologis, serta mengembangkan kode berbahaya atau mengeksplorasi kerentanan jaringan.