Tampaknya hampir setiap minggu dalam dua tahun terakhir sejak peluncuran ChatGPT, model bahasa besar (LLM) baru telah dirilis dari laboratorium pesaing atau dari OpenAI itu sendiri. Dunia usaha berada di bawah tekanan yang kuat untuk mengikuti laju perubahan yang eksponensial, apalagi memahami cara beradaptasi – model baru mana, jika ada, yang harus mereka adopsi untuk mendukung alur kerja mereka dan agen AI khusus yang mereka bangun untuk mengimplementasikannya?

Bantuan tiba: Luncurkan kemampuan observasi aplikasi AI rintik hujan Eksperimen diluncurkansebuah fitur analitik baru yang digambarkan oleh perusahaan sebagai rangkaian pengujian A/B pertama yang dirancang khusus untuk agen AI perusahaan — memungkinkan perusahaan melihat dan membandingkan bagaimana memperbarui agen ke model dasar baru, atau mengubah instruksi dan akses ke alat, berdampak pada kinerja mereka dengan pengguna akhir yang sebenarnya.

Rilis ini memperluas alat pemantauan Raindrop yang ada, memberikan pengembang dan tim cara untuk melihat bagaimana agen mereka berperilaku dan berkembang dalam kondisi dunia nyata.

Dengan menggunakan eksperimen, tim dapat melacak bagaimana perubahan—seperti alat atau perintah baru, memperbarui formulir, atau membangun kembali seluruh alur—memengaruhi kinerja AI di jutaan interaksi pengguna. Fitur baru ini sekarang tersedia untuk pengguna paket berlangganan Pro Raindrop ($350 per bulan) di Tetesan hujan.ai.

Lensa berbasis data tentang pengembangan agen

Salah satu Pendiri dan CTO Raindrop Bin Hallaq Tercatat dalam video pengumuman produk (di atas) bahwa eksperimen membantu tim mengetahui “cara mengubah apa pun secara harfiah”, termasuk penggunaan alat, niat pengguna, tingkat rilis, dan mengeksplorasi perbedaan berdasarkan demografi seperti bahasa. Tujuannya adalah membuat iterasi model lebih transparan dan terukur.

Antarmuka Eksperimen menampilkan hasil secara visual, menunjukkan kapan eksperimen berperforma lebih baik atau lebih buruk daripada garis dasar. Peningkatan sinyal negatif mungkin mengindikasikan kegagalan tugas yang lebih besar atau keluaran kode parsial, sedangkan peningkatan sinyal positif dapat mencerminkan respons yang lebih lengkap atau pengalaman pengguna yang lebih baik.

Dengan membuat data ini lebih mudah diinterpretasikan, Raindrop mendorong tim AI untuk melakukan pendekatan terhadap iterasi agen dengan ketelitian yang sama seperti penerapan perangkat lunak modern – melacak hasil, berbagi wawasan, dan mengatasi regresi sebelum menjadi lebih buruk.

Latar Belakang: Dari observasi kecerdasan buatan hingga eksperimen

Peluncuran uji coba Raindrop dibangun di atas fondasi perusahaan sebagai salah satu yang pertama Platform observasi AI aslidirancang untuk membantu organisasi memantau dan memahami perilaku sistem AI generatif mereka dalam produksi.

Seperti yang dilaporkan VentureBeat awal tahun ini, perusahaan – yang awalnya dikenal sebagai Dawn AI – telah muncul untuk mengatasi masalah tersebut, Mantan perancang antarmuka manusia di Apple, ia menyebut “masalah kotak hitam” kinerja AI, membantu tim menemukan kegagalan “saat terjadi” dan menjelaskan kepada organisasi apa yang salah dan alasannya."

Pada saat itu, Hylac menggambarkan bagaimana “produk AI terus-menerus gagal, dengan cara yang lucu sekaligus menakutkan,” dan menyatakan bahwa tidak seperti perangkat lunak tradisional, yang membuat pengecualian secara eksplisit, “produk AI gagal secara diam-diam.” Platform Raindrop asli berfokus pada pendeteksian kegagalan diam-diam ini dengan menganalisis sinyal seperti komentar pengguna, kegagalan tugas, penolakan, dan anomali percakapan lainnya di jutaan peristiwa harian.

Salah satu pendiri perusahaan — Hilak, Alexis JubaDan Zubin Singh Kotecha Raindrop dibuat setelah menghadapi kesulitan dalam men-debug sistem AI dalam produksi.

“Kami memulai dengan membangun produk AI, bukan infrastruktur,” kata Hilak. venturebeat. “Namun dengan cepat, kami menyadari bahwa untuk mengembangkan sesuatu yang serius, kami memerlukan alat untuk memahami perilaku AI — dan alat tersebut tidak ada.”

Menggunakan eksperimen, Raindrop memperluas tugas yang sama Deteksi kegagalan ke Ukur perbaikan. Alat baru ini mengubah data observasi menjadi perbandingan yang dapat ditindaklanjuti, memungkinkan organisasi menguji apakah perubahan dalam model, klaim, atau saluran membuat agen AI mereka lebih baik atau hanya berbeda.

Selesaikan masalah “Rating lolos, agen gagal”.

Meskipun kerangka evaluasi tradisional berguna untuk mengukur kinerja, kerangka kerja tersebut jarang menangkap perilaku agen AI yang tidak dapat diprediksi yang beroperasi di lingkungan dinamis.

Sebagai salah satu pendiri Raindrop Alexis Juba Dia menjelaskannya Iklan LinkedIn“Evaluasi tradisional tidak benar-benar menjawab pertanyaan ini. Ini merupakan pengujian unit yang hebat, namun Anda tidak dapat memprediksi tindakan pengguna dan agen Anda bekerja berjam-jam, memanggil ratusan alat.”

Juba mengatakan perusahaan terus-menerus mendengar rasa frustrasi yang umum terjadi di antara tim: “Penilaian berhasil, agen gagal.”

Eksperimen ini bertujuan untuk mengisi kesenjangan ini melalui pasokan Apa yang sebenarnya berubah Saat pengembang mengirimkan pembaruan ke sistem mereka.

Alat ini memungkinkan perbandingan berdampingan antara model, alat, maksud, atau properti, yang menunjukkan perbedaan terukur dalam perilaku dan kinerja.

Dirancang untuk perilaku AI di dunia nyata

Dalam video pengumumannya, Raindrop menggambarkan eksperimen sebagai cara untuk “membandingkan apa pun dan mengukur bagaimana perilaku agen Anda benar-benar berubah dalam produksi di jutaan interaksi nyata.”

Platform ini membantu pengguna mendeteksi masalah seperti lonjakan kegagalan tugas, kelupaan, atau alat baru yang menyebabkan kesalahan tak terduga.

Ini juga dapat digunakan secara terbalik – dimulai dengan masalah yang diketahui, seperti “agen terjebak dalam satu lingkaran,” dan melacak pola, alat, atau tag yang mengarah ke masalah tersebut.

Dari sana, pengembang dapat menelusuri implikasi mendetail untuk menemukan akar permasalahan dan segera memberikan perbaikan.

Setiap eksperimen memberikan analisis visual metrik seperti frekuensi penggunaan alat, tingkat kesalahan, durasi percakapan, dan durasi respons.

Pengguna dapat mengklik perbandingan apa pun untuk mengakses data peristiwa yang mendasarinya, sehingga memberi mereka gambaran jelas tentang bagaimana perilaku agen berubah seiring waktu. Tautan bersama memudahkan berkolaborasi dengan rekan satu tim atau melaporkan hasil.

Integrasi, skalabilitas dan akurasi

Menurut Hylak, Eksperimen terintegrasi langsung dengan “platform premium yang dikenal dan disukai perusahaan (seperti Statsig!)” dan dirancang untuk bekerja secara lancar dengan jalur pengukuran dan analitik yang ada.

Bagi perusahaan yang tidak memiliki integrasi ini, mereka masih dapat membandingkan kinerja dari waktu ke waktu — seperti kemarin versus hari ini — tanpa penyiapan tambahan.

Tim biasanya membutuhkan sekitar 2.000 pengguna per hari untuk menghasilkan hasil yang signifikan secara statistik, kata Hilak.

Untuk memastikan keakuratan perbandingan, Eksperimen memantau kecukupan ukuran sampel dan memperingatkan pengguna jika pengujian kekurangan data untuk menarik kesimpulan yang valid.

“Kami terobsesi untuk memastikan bahwa metrik seperti kegagalan misi dan frustrasi pengguna adalah metrik yang dapat Anda ingatkan kepada teknisi yang siap dipanggil,” jelas Hilak. Tim dapat menggali lebih dalam percakapan atau peristiwa tertentu yang mendorong metrik tersebut, memastikan transparansi di balik setiap angka keseluruhan, tambahnya.

Keamanan dan perlindungan data

Raindrop beroperasi sebagai platform yang dihosting di cloud tetapi juga menawarkan redaksi informasi pengenal pribadi (PII) untuk organisasi yang memerlukan kontrol tambahan.

Hylak mengatakan perusahaannya mematuhi SOC 2 dan telah diluncurkan Penjaga PII Sebuah fitur yang menggunakan kecerdasan buatan untuk secara otomatis menghapus informasi sensitif dari data yang disimpan. “Kami menangani perlindungan data pelanggan dengan sangat serius,” tegasnya.

Harga dan paket

Bagian dari pengalaman Raindrop Rencana profesionaldengan biaya $350 per bulan atau $0,0007 per interaksi. Tingkat Profesional juga mencakup alat pencarian mendalam, pengelompokan topik, pelacakan masalah khusus, dan kemampuan pencarian semantik.

tetesan hujan Rencana awal – $65 per bulan atau $0,001 per interaksi – Menyediakan analisis dasar termasuk deteksi masalah, tanda umpan balik pengguna, peringatan Slack, dan pelacakan pengguna. Kedua paket dilengkapi dengan uji coba gratis selama 14 hari.

Organisasi yang lebih besar dapat memilih Rencana perusahaan Dengan harga yang dipersonalisasi dan fitur-fitur canggih seperti sistem masuk tunggal (SSO), peringatan khusus, integrasi, redaksi PII, dan dukungan prioritas.

Peningkatan berkelanjutan pada sistem kecerdasan buatan

Melalui eksperimen, Raindrop memposisikan dirinya di persimpangan antara analitik AI dan observasi perangkat lunak. Fokusnya pada “mengukur kebenaran,” sebagaimana dinyatakan dalam video produk, mencerminkan dorongan yang lebih luas dalam industri menuju akuntabilitas dan transparansi dalam operasi AI.

Daripada hanya mengandalkan tolok ukur offline, pendekatan Raindrop berfokus pada data pengguna nyata dan pemahaman konteks. Perusahaan berharap hal ini akan memungkinkan pengembang AI untuk bergerak lebih cepat, mengidentifikasi akar permasalahan lebih cepat, dan memberikan model berperforma lebih baik dengan percaya diri.

Tautan sumber