Dalam sejumlah besar bidang di mana AI generatif diuji, hukum mungkin merupakan titik kegagalan yang paling mencolok. Alat seperti Openai Chatgpt diterima Pengacara yang disetujui dan para ahli secara terbuka malu, menghasilkan ringkasan berdasarkan kasus yang ditemukan dan kutipan penelitian yang tidak ada. Jadi, ketika kolega saya Kylie Robison mendapatkan akses ke fitur “penelitian mendalam” baru Chatgpt, tugas saya jelas: buat alat ini seharusnya superpowered, tulis tentang undang -undang yang terus -menerus membuat kesalahan manusia.
Kompilasi daftar keputusan Pengadilan Federal dan Mahkamah Agung selama lima tahun terakhir terkait dengan Bagian 230 dari Undang -Undang KomunikasiSaya meminta Kylie untuk memberi tahu. Ringkas setiap perkembangan signifikan dalam bagaimana hakim menafsirkan hukum.
Saya meminta chatgpt untuk memberi saya ringkasan negara dari apa yang biasa disebut 26 kata yang menciptakan internet, topik evolusi yang terus -menerus saya ikuti Mengendarai. Kabar baiknya: ChatGPT telah memilih dan secara akurat merangkum serangkaian keputusan hukum baru -baru ini, yang semuanya ada. The So-to-News: melewatkan beberapa poin yang lebih luas daripada yang bisa dikenali oleh seorang ahli manusia yang kompeten. Kabar buruk: mengabaikan satu tahun penuh keputusan hukum, yang, sayangnya, secara kebetulan meningkatkan status hukum.
Deep Research adalah sumber daya Openai baru, yang dirancang untuk menghasilkan laporan yang kompleks dan canggih tentang topik -topik tertentu; Dapatkan lebih dari akses “terbatas” membutuhkan $ 200 per bulan per bulan. Berbeda dengan bentuk chatgpt yang paling sederhana, yang tergantung pada data pelatihan dengan tanggal pemotongan, sistem pencarian web ini untuk informasi baru untuk menyelesaikan tugas Anda. Pesanan saya tampak konsisten dengan semangat CHATGPT Prompt contoh, yang meminta ringkasan tren ritel dalam tiga tahun terakhir. Dan karena saya bukan pengacara, saya meminta pakar hukum Eric Goldman, blog siapa Ini adalah salah satu sumber yang paling dapat diandalkan di Bagian 230 News, untuk meninjau hasilnya.
Pengalaman penelitian yang mendalam mirip dengan penggunaan chatgpt lainnya. Anda memasukkan janji temu dan chatgpt ajukan ikuti -up pertanyaan untuk klarifikasi: dalam kasus saya, jika saya ingin fokus pada area tertentu dari bagian 230 (tidak) keputusan; atau sertakan analisis tambahan tentang undang -undang (baik). Saya menggunakan iringan untuk meluncurkan permintaan lain, memintanya untuk menunjukkan di mana pengadilan yang berbeda tidak setuju dengan apa arti hukum, yang mungkin mengharuskan Mahkamah Agung untuk campur tangan. Ini adalah kerutan yang bagus yang penting, tetapi kadang -kadang sulit untuk mengimbangi – jenis hal yang dapat saya bayangkan menerima dari laporan otomatis.
Penelitian mendalam harus memakan waktu antara lima dan 30 menit dan, dalam kasus saya, sekitar 10 (Laporan itu sendiri ada di siniJadi Anda dapat membaca semuanya jika condong.) Proses ini menyediakan tautan web ke catatan catatan kaki serta serangkaian penjelasan yang memberikan informasi lebih lanjut tentang bagaimana chatgpt mengganggu masalah tersebut. Hasilnya adalah sekitar 5.000 kata dari teks yang padat, tetapi diformat dengan header yang berguna dan cukup mudah dibaca jika Anda terbiasa dengan analisis hukum.
Hal pertama yang saya lakukan dalam laporan saya adalah memeriksa nama semua kasus hukum. Beberapa sudah akrab, dan saya memeriksa sisanya di luar chatgpt – mereka semua terlihat nyata. Jadi saya melewati Goldman untuk pikirannya.
“Saya bisa berdebat dengan beberapa nuansa sepanjang permainan, tetapi secara keseluruhan teks tampaknya secara luas akurat,” kata Goldman. Dia setuju bahwa tidak ada kasus yang ditemukan, dan kasus -kasus yang dimasukkan oleh chatgpt yang dipilih untuk dimasukkan, meskipun dia tidak setuju dengan pentingnya itu menunjukkan bahwa beberapa adalah. “Jika saya mengatur kasus utama saya dari periode ini, daftarnya akan berbeda, tetapi ini adalah masalah penilaian dan pendapat.” Deskripsi terkadang mencakup perbedaan hukum yang luar biasa- tetapi dengan cara yang tidak jarang terjadi di antara manusia.
Kurang positif, Goldman berpikir bahwa chatgpt mengabaikan konteks yang akan dianggap oleh ahli manusia. Hukum tidak dilakukan dalam ruang hampa; Diputuskan oleh para hakim yang menanggapi tren dan kekuatan sosial yang lebih besar, termasuk perubahan simpati terhadap perusahaan teknologi dan blitz politik konservatif terhadap bagian 230. Saya tidak menghitung chatgpt untuk membahas dinamika yang lebih luas, tetapi tujuan penelitian adalah untuk mengidentifikasi pertanyaan yang penting Itu tidak diminta – keuntungan dari pengalaman manusia tampaknya untuk saat ini.
Tetapi masalah terbesar adalah bahwa chatgpt tidak mengikuti elemen paling jelas dari permintaan saya: katakan apa yang terjadi Dalam lima tahun terakhir. Judul Laporan ChatGPT menyatakan bahwa ia mencakup 2019 hingga 2024. Namun, kasus terakhir yang ia sebutkan diputuskan pada tahun 2023, setelah itu ia hanya menyelesaikan bahwa undang -undang tetap “perisai yang kuat” yang batasannya sedang “memperbaiki (d)” . Seorang awam dapat dengan mudah berpikir bahwa ini berarti tidak ada yang terjadi tahun lalu. Pembaca yang terinformasi akan menyadari bahwa ada sesuatu yang sangat salah.
“2024 adalah tahun setelah bagian 230,” kata Goldman. Periode ini menghasilkan a Keputusan di luar sirkuit biru ketiga Terhadap pemberian perlindungan hukum kepada Tiktok, serta beberapa orang lain yang secara dramatis dapat membatasi aplikasi. Goldman sendiri dinyatakan di pertengahan tahun Bagian 230 ini “menghilang” di tengah banjir kasus dan serangan politik yang lebih besar. Meletakkan awal tahun 2025Dia menulis bahwa dia akan “terkejut jika dia bertahan hidup melihat 2026”. Tidak semua orang tampak begitu pesimistis, tetapi saya berbicara dengan beberapa ahli hukum tahun lalu bahwa mereka percaya perisai bagian 230 menjadi kurang besi. Paling tidak, pendapat seperti kasus Tiktok dari Sirkuit Ketiga harus “pasti” muncul dalam “akuntansi yang tepat” dari hukum dalam lima tahun terakhir, kata Goldman.
Hasilnya adalah bahwa produksi chatgpt tampak seperti tren ponsel tahun 2002 hingga 2007 yang berakhir dengan kenaikan Blackberry: Fakta tidak salah, tetapi kelalaian tentu saja mengubah cerita apa yang mereka ceritakan.
Casey Newton de Game platform Nilai Ini, seperti banyak alat AI, penelitian mendalam bekerja lebih baik jika Anda sudah terbiasa dengan subjek, sebagian karena Anda dapat mengatakan di mana Anda merusak hal -hal. (Faktanya, laporan Newton membuat beberapa kesalahan yang dia anggap “memalukan”.) Tetapi di mana dia menemukan cara yang berguna untuk mengeksplorasi lebih lanjut topik yang sudah dia pahami, saya merasa bahwa saya tidak bisa mendapatkan apa yang saya minta.
Setidaknya dua dari saya Berbatasan Rekan kerja juga menerima laporan yang menghilangkan informasi yang berguna dari tahun lalu dan berhasil memperbaikinya dengan meminta chatgpt untuk menjalankan laporan dengan data 2024 (saya tidak melakukannya, sebagian karena saya tidak mengidentifikasi tahun yang menghilang segera dan sebagian karena bahkan Satu level profesional memiliki kumpulan 100 pertanyaan terbatas per bulan.) Biasanya, saya mengaitkan masalah ini dengan pemotongan data pelatihan, kecuali bahwa chatgpt jelas dapat mengakses informasi ini, dan contoh permintaan penelitian openai dalam ke dalam ke dalam.
Ngomong -ngomong, ini tampaknya menjadi masalah yang lebih sederhana untuk memperbaiki daripada keputusan hukum yang ditemukan. Dan laporan itu adalah pencapaian teknologi yang menarik dan mengesankan. AI Generatif berubah dari produksi logika impian yang berliku ke ringkasan hukum-imperfect-so-admitted-yang membuat beberapa legislator federal yang dididik oleh Ivy League in the Dust. Di satu sisi, adalah mesquinho untuk mengeluh bahwa saya harus mengganggunya untuk melakukan apa yang saya tanyakan.
Sementara banyak orang mendokumentasikan keputusan 230 bagian, saya bisa melihat alat penelitian kompeten berbasis chatgpt yang berguna untuk topik hukum yang tidak jelas dengan cakupan yang lebih sedikit. Namun, ini tampaknya sangat jauh. Laporan saya sangat didukung oleh analisis dan laporan sekunder; ChatGPT tidak (sejauh yang saya tahu) terjebak dengan sumber data khusus yang akan memfasilitasi penelitian asli seperti bagian pada catatan yudisial. Openai mengakui bahwa masalah halusinasi tetap ada, jadi Anda juga perlu memeriksa pekerjaan Anda dengan cermat.
Saya tidak yakin seberapa indikasi tes saya adalah utilitas keseluruhan dari penelitian mendalam. Saya membuat permintaan yang lebih teknis dan kurang terbuka daripada Newton, yang bertanya bagaimana Fedivers Media Sosial dapat membantu para editor. Pesanan pengguna lain bisa lebih mirip dengan milik saya. Tapi chatgpt tidak diragukan lagi mencapai penjelasan teknis yang renyah – dia gagal mengisi gambaran keseluruhan.
Untuk saat ini, sangat mengganggu jika saya harus mempertahankan aplikasi komputasi komersial $ 200 pada tugas, seperti anak yang terganggu. Saya terkesan dengan penelitian mendalam sebagai teknologi. Tetapi dari sudut pandang terbatas saya saat ini, itu masih bisa menjadi produk bagi orang -orang yang ingin mempercayainya, bukan mereka yang hanya ingin bekerja.
