Proyek visi komputer jarang berjalan sesuai rencana, dan pengecualian ini tidak. Idenya sederhana: Buat model yang dapat melihat gambar laptop dan menentukan kerusakan fisik – hal -hal seperti layar retak, kunci yang hilang atau engsel yang rusak. Itu tampak seperti keadaan penggunaan langsung untuk model foto dan model bahasa besar (LLM), tetapi dengan cepat berubah menjadi sesuatu yang lebih rumit.

Sepanjang jalan, kami menghadapi masalah dengan halusinasi, output, dan gambar yang tidak dapat diandalkan yang bahkan bukan laptop. Untuk menyelesaikannya, kami akhirnya menerapkan kerangka kerja pada agen -agen di Athuma – bukan untuk mengotomatiskan tugas, tetapi untuk meningkatkan kinerja model.

Dalam posting ini, kami akan melalui apa yang kami coba, kecuali berhasil dan bagaimana kami membantu kami serangkaian metode di akhir membangun sesuatu yang dapat diandalkan.

Di mana kami mulai: klaim yang homogen

Pendekatan awal kami agak standar untuk model multimedia. Kami menggunakan satu router besar untuk meneruskan gambar ke LLM yang mampu dari gambar dan memintanya untuk menentukan kerusakan yang terlihat. Strategi homogen ini mudah diimplementasikan dan berfungsi dengan baik untuk tugas yang bersih dan ditentukan dengan baik. Tetapi data di dunia nyata jarang dimainkan.

Kami menghadapi tiga masalah utama lebih awal:

• HalusinogenikModel tersebut kadang -kadang dapat menemukan kerusakan yang tidak ada atau mencalonkan apa yang dilihatnya.
• Deteksi gambar yang tidak diinginkanItu tidak memiliki cara yang dapat diandalkan untuk merek foto yang bahkan bukan laptop, seperti kantor, dinding, atau orang -orang terkadang menerima laporan kerusakan irasional.
• Tidak konsisten: Campuran masalah ini membuat model tidak dapat diandalkan untuk penggunaan operasional.

Inilah poin yang menjadi jelas bahwa kita akan membutuhkan pengulangan.

Perbaikan Pertama: Mencampur Keputusan Foto

Satu hal yang kami perhatikan adalah jumlah kualitas gambar yang mempengaruhi hasil model. Pengguna telah mengunduh semua jenis gambar mulai dari akurasi tajam dan tinggi hingga kabut. Ini mendorong kami untuk merujuk riset Menyoroti bagaimana akurasi gambar mempengaruhi model pembelajaran yang mendalam.

Kami melatih dan menguji model menggunakan campuran gambar resolusi tinggi. Idenya adalah untuk membuat model lebih fleksibel dalam berbagai karakteristik gambar yang akan dihadapi dalam praktiknya. Ini membantu meningkatkan konsistensi, tetapi masalah dasar halusinasi dan berurusan dengan gambar yang tidak diinginkan berlanjut.

The Multimodal Detour: Text-only LLM Goes Multimedia

Mendorong pengalaman modern dalam bentuk jamak KelompokDi mana ilustrasi dibuat dari gambar dan kemudian ditafsirkan melalui model bahasa, kami memutuskan untuk mencobanya.

Inilah cara bekerja:

• LLM dimulai dengan menghasilkan beberapa komentar yang mungkin untuk gambar.
• Model lain, yang disebut model inklusi multimedia, memeriksa kesesuaian setiap komentar pada gambar. Dalam hal ini, kami menggunakan Siglip untuk merekam kesamaan antara gambar dan teks.
• Sistem ini mempertahankan jumlah ilustrasi tertinggi berdasarkan gelar ini.
• LLM menggunakan ilustrasi atas ini untuk menulis yang baru, mencoba mendekati apa yang sudah ditunjukkan oleh gambar.
• Proses ini diulangi sampai penunjukan penjelasan menghentikan peningkatan, atau mencapai batas tertentu.

Saat teori pintar, pendekatan ini menyajikan masalah baru dengan keadaan penggunaan kami:

• Halusinasi terus menerus: Terkadang ilustrasi termasuk kerusakan palsu, yang telah diberitahu dengan percaya diri tentang LLM.
• Cakupan yang tidak lengkap: Bahkan dengan beberapa komentar, beberapa masalah sepenuhnya terlewatkan.
• Peningkatan kompleksitas, manfaat minimalLangkah -langkah tambahan membuat sistem lebih rumit tanpa andal unggul atas persiapan sebelumnya.

Itu adalah pengalaman yang menarik, tetapi pada akhirnya itu bukan solusi.

Penggunaan kerangka kerja yang kreatif

Ini adalah titik balik. Sementara kerangka kerja biasanya digunakan untuk mengoordinasikan aliran tugas (diyakini bahwa agen undangan kalender atau prosedur layanan pelanggan), kami telah bertanya apakah akan melanggar tugas menafsirkan gambar menjadi agen yang lebih kecil dan khusus yang dapat membantu.

Kami telah membangun kerangka kerja terorganisir seperti ini:

• Agen orkestrator: Periksa gambar dan identifikasi komponen laptop (layar, keyboard, struktur, port).
• Agen karcineFaktor -faktor yang ditunjuk memeriksa setiap komponen dari jenis kerusakan tertentu; Misalnya, satu untuk layar retak, dan yang lainnya untuk sakelar yang hilang.
• Penemuan yang tidak diinginkanAgen terpisah telah ditandai jika gambar adalah laptop di tempat pertama.

Pendekatan standar berbasis tugas ini telah menghasilkan hasil yang lebih akurat dan interpretatif. Halusinasi telah menurun secara signifikan, tanda gambar yang tidak diinginkan dibuat dengan andal dan tugas masing -masing agen sederhana dan cukup fokus untuk mengontrol kualitas dengan baik.

Bintik -bintik buta: Pendekatan Al -Wakeel

Buruknya efektif, itu tidak sempurna. Pembatasan utama muncul:

• Peningkatan jintan: Menjalankan beberapa faktor serial yang telah ditambahkan ke total waktu inferensi.
• Menutupi celahAgen hanya dapat menemukan masalah yang telah diprogram secara eksplisit untuk dicari. Jika sebuah gambar menunjukkan sesuatu yang tidak terduga bahwa tidak ada pekerja yang ditugaskan untuk definisi, itu akan tanpa ada yang menyadarinya.

Kami membutuhkan cara untuk menyeimbangkan akurasi dengan cakupan.

Solusi Campuran: Menggabungkan Agen dan Agen Terjemahan

Untuk kesenjangan, kami membuat sistem hybrid:

1. itu Kerangka kerja Pertama, ia berlari, berhadapan dengan deteksi dengan cermat jenis kerusakan yang diketahui dan gambar yang tidak diinginkan. Kami telah membatasi jumlah agen pada faktor terpenting untuk meningkatkan jintan.
2. Lalu, a Homoing photo router llm Bersihkan gambar hal lain yang dilewatkan oleh agen.
3. Akhirnya, kami Atur formulir Menggunakan serangkaian foto gambar prioritas tinggi, seperti skenario kerusakan yang sering dilaporkan, untuk meningkatkan akurasi dan keandalan.

Campuran ini telah memberi kita keakuratan dan kemampuan persiapan agen, cakupan luas dari aplikasi homogen dan peningkatan kepercayaan pada instalasi yang tepat yang ditargetkan.

Apa yang kami pelajari

Beberapa hal menjadi jelas pada saat kami menyimpulkan proyek ini:

• Kerangka kerja musuh lebih beragam daripada yang Anda dikreditkan: Meskipun biasanya terkait dengan manajemen alur kerja, kami telah menemukan bahwa itu dapat meningkatkan kinerja model yang berguna saat menerapkannya dalam standar yang terorganisir.
• Campur pendekatan berbeda yang mengalahkan hanya satu: Campuran deteksi yang cermat berdasarkan agen di samping cakupan luas LLMS, selain sedikit kontrol karena lebih penting, memberi kami hasil yang jauh lebih dapat diandalkan daripada salah satu cara sendirian.
• Model visual rentan terhadap halusinasiBahkan pengaturan yang paling canggih dapat melompat ke kesimpulan atau melihat hal -hal yang tidak ada. Penting untuk merancang sistem yang bijaksana untuk menjaga kesalahan ini di bawah diperiksa.
• Berbagai kualitas gambar membuat perbedaanPelatihan dan pengujian dengan gambar -gambar yang jelas dan tinggi dan suara harian berkualitas rendah agar tetap fleksibel ketika menghadapi gambar yang tidak terduga di dunia nyata.
• Anda membutuhkan cara untuk mengambil gambar yang tidak diinginkan: Itu adalah gambar gambar yang tidak diinginkan atau tidak diinginkan yang telah kami buat, dan memiliki dampak besar pada keandalan sistem secara umum.

Ide akhir

Apa yang dimulai sebagai ide sederhana, menggunakan klaim LLM untuk mendeteksi kerusakan fisik pada gambar laptop, dengan cepat berubah menjadi pengalaman yang jauh lebih dalam dalam menggabungkan berbagai teknik kecerdasan buatan untuk mengatasi masalah yang tidak terduga dan realistis. Sepanjang jalan, kami menyadari bahwa beberapa alat yang paling berguna pada awalnya tidak dirancang untuk jenis pekerjaan ini.

Berbagai kerangka kerja, yang sering dipandang sebagai alat alur kerja, telah terbukti sangat efektif ketika digunakan kembali untuk tugas -tugas seperti mendeteksi kerusakan terorganisir dan memfilter gambar. Dengan sedikit kreativitas, mereka membantu kami membangun sistem yang tidak hanya lebih akurat, tetapi lebih mudah untuk dipahami dan dikelola dalam praktik.

Shruti Tiwari adalah manajer produk AI di Dell Technologies.

Vadiraj Kulkarni adalah dunia data di Dell Technologies.

Ottawa, Kanada – Sementara serangan militer pembalasan Iran terhadap Israel telah berakhir, Kementerian Pemerintah Kanada yang bertanggung jawab atas keamanan nasional memantau “dampak yang tersisa dari situasi lanjutan di Timur Tengah,” menurut juru bicara keselamatan publik di Kanada.

“Badan -badan penegak hukum di Kanada waspada.”

Sementara itu, Irwin Kotler, mantan Menteri Kehakiman dan Devil Jenderal Kanada dan memiliki hak asasi manusia, yang ditargetkan oleh rezim Digital Fox News Iran dalam sebuah wawancara bahwa Republik Islam mengintensifkan kampanye “penindasan lokal besar -besaran” terhadap lawan -lawannya di rumah dan dapat memulai “represi nasional” terhadap lawan -lawannya.

The American Air Strike pada fasilitas nuklir mengikuti bertahun -tahun plot Iran di tanah Amerika

Kotler telah menjadi kritikus jangka panjang terhadap rezim alkitabiah Iran di bawah perlindungan polisi Kanada kerajaan sepanjang waktu sejak 2023 ketika pejabat intelijen Kanada telah mengidentifikasi ancaman kematian terhadapnya dari Iran.

“Kelompok diaspora Iran, pembela hak asasi manusia, jurnalis, Yahudi dan Israel semuanya memiliki tujuan yang mungkin,” kata Kotler kepada Fox News Digital dalam sebuah wawancara. “Ini adalah momen ketika kita harus waspada.”

Dia menunjukkan bahwa minggu ini, tiga tahanan politik di Iran dieksekusi karena memata -matai Israel, dan selama perang 12 hari dengan Israel, 700 orang Iran lainnya ditangkap mengingat tuduhan bahwa mereka telah bekerja sama dengan Israel.

Kotler, lahir di Montreal, seorang pengacara internasional berusia 85 tahun, sedang berusaha mendirikan Pusat Hak Asasi Manusia Raul dan Linberg 10 tahun yang lalu, untuk mengamankan pembebasan Ahmanda Dalali-an dokter Swedia Iran yang dituduh dituduh berkeliaran minggu ini. Dia menghadapi apa yang digambarkan Kotler sebagai “ancaman yang akan segera diterapkan.”

File- Anggota Maret Revolusioner Iran selama pertunjukan. IRGC ditunjuk sebagai organisasi teroris asing oleh Kementerian Luar Negeri. Sebagian besar pekerjaannya adalah bekerja diam -diam di luar Iran. (Reuters.) (Reuters)

Dia khawatir sel -sel tidur akan diaktifkan di Kanada untuk menargetkan mereka yang menentang rezim Iran dan mendesak pemerintah Kanada untuk memberikan prioritas untuk mendirikan agen independen untuk mengatasi ancaman eksternal terhadap penindasan dan pembunuhan dari negara -negara jahat seperti Iran, Cina dan Rusia.

Kotler juga menunjukkan bahwa pengacara hak asasi manusia Kanada yang lahir di kafe Iran Shahirz, yang mengatakan ia juga ditargetkan oleh rezim Iran, percaya bahwa jumlah agen Pengawal Revolusi Islam Iran (IRGC) yang bekerja di “perwakilan” Kanada dan “ancaman ini lebih besar daripada yang kami bisa.”

Trump mengatakan kita akan menyerang lagi jika Iran membangun kembali program nuklir

Digital Fox News belum dapat mencapai Shahrooz untuk komentar lebih lanjut.

Kanada juga harus mengikuti kemajuan Departemen Kehakiman AS dan persidangan dari mereka yang berkolaborasi dengan sel-sel yang dipimpin oleh Sleeper-of-Iran, kata Kotler, yang pada 2008 menyerukan dimasukkannya IRGC sebagai entitas teroris–penunjukan yang baru-baru ini diadopsi Kanada pada tahun 2024.

Oktober lalu, Kementerian Kehakiman secara resmi menuduh Rohla Bazgandy, seorang pejabat senior IRGC keterlibatan dalam rencana tahun 2022 untuk membunuh fasilitas Amerika -Iranian, Masé Alinejad – seorang teman Lotler – di New York City.

Sebuah tanda yang menunjukkan perbatasan internasional antara Amerika Serikat dan Kanada difilmkan di Taman Perdamaian Negara Bersejarah di Blain, Washington, pada 5 Maret 2025. (Foto oleh Jason Redmond/AFP via Getty Images)

Selama konferensi pers virtual dari KTT NATO di Den Haag pada hari Selasa, Menteri Luar Negeri Kanada Anita Anand mengatakan pemerintahannya “sangat cemas (keduanya) intervensi luar negeri, termasuk spesies yang disorot oleh” Kotler dan “tentang rezim Iran”, dan ini adalah alasan bahwa Kanada mengumumkan bahwa itu adalah “teroris” pada tahun 202 dan hanya memiliki A BITE.

Anand juga mengatakan bahwa dia telah menerima undangan dengan Menteri Luar Negeri Iran Abbas Aragichi Sabtu lalu di depan serangan udara AS terhadap Iran, di mana dia mengkonfirmasi keinginannya yang terus -menerus di Kanada untuk meminta pertanggungjawaban dari Republik Islam karena pendaratannya di udara udara oleh penerbangan udara PS752 pada tahun 2020, yang akibat kematian 55 warga negara dari CANAD dari CANA.

Kotler mengatakan bahwa keluarga para korban di Iran dan Kanada “telah dilecehkan dan diancam” sejak tragedi cuaca.

Klik di sini untuk mendapatkan aplikasi Fox News

Rabu, Dunia dan surat Dia menyebutkan bahwa Badan Layanan Perbatasan Kanada telah mengidentifikasi 20 orang yang menganggap mereka tidak dapat diterima karena mereka percaya bahwa mereka adalah pejabat senior Iran.

Liberal di departemen berita jaringan tidak memiliki visi objektif atau non -partisan ketika datang kepada mereka yang dapat didefinisikan dalam politik sebagai seorang ekstremis. Ketika Anda liberal, Senator Independen Fairmont Bernie Sanders bukanlah seorang ekstremis. Itu tidak jauh dari Anda. Dia mendapat gelombang dan senyuman. Tetapi dari tempat mereka pada spektrum politik, Partai Republik yang konservatif “sangat hamil” dalam seragam.

Di pagi hari ketika Zahran Mamdani memenangkan pusat -pusat demokratis walikota di New York, dan mengalahkan sekadar liberal Andrew Como, jaringan tidak dapat menanggung definisi sosialisme sebagai masalah politik bagi Demokrat. Tetapi mereka bisa menggambarkannya sebagai pesulap.

Aaron Katirrsky dari ABC mengumumkan di “Good Morning America”, para pemilih membuat pilihan tiba -tiba untuk mendukung sosialisme muda dan menarik yang berjanji untuk membuat Kota New York lebih terjangkau, menunjukkan bahwa mereka siap untuk menghabiskan waktu istirahat dari masa lalu.

Gempa politik Mamdani adalah batu -batuan Demokrat, dengan membagi partai dalam perjalanan ke depan

Koresponden Rachel Scott mengatakan bahwa Mamdani adalah “paling kiri”, tetapi tampaknya positif: “Adapun dua kemajuan, ini adalah pertanda baik bagi mereka.

Dalam “CBS Mornings, reporter Jerika Denkan mengatakan bahwa Mamdani adalah” seorang imigran Amerika Amerika yang progresif “dengan” kecerdasan media sosial “yang memasang” gelombang perasaan anti -for -foundasi terhadap kemenangan yang mengejutkan.

Para co -Host, Vladimir Duters, hampir mendukung Demokrat yang menang: “Mewawancarai orang -orang ada di tempat mereka, mendengarkan mereka dan memiliki solusi yang mereka rasa sangat kuat.”

Toko kelontong kota, WWP, dan situs suntikan yang aman: Apa yang harus diketahui tentang walikota New York City berikutnya

Pada “Today” dari NBC, koresponden Emily Ikeeda telah menentukan kandidat ini hanya di sisi kiri Komo: “Mamdani berlari ke kiri Komo, dengan fokus pada kemampuan untuk menanggung biaya dan membayar ide -ide populer, termasuk bus umum gratis menunjukkan ideologis dan kemungkinan generasi di dalam partai.

Saya secara ideologis beralih ke maksimal? Mereka tidak bisa mengatakan itu. Tetapi mereka menyiarkan Mamdani, yang kami sebut “fasisme Donald Trump” tanpa komentar atau koreksi.

“Dia menghadapi kritik terhadap pidatonya yang anti -Israel,” Katersky dari ABC. Tidak ada yang memperhatikan bahwa ia merilis lagu rap berjudul “Saama” di mana ia memuji “Holy Land Five”, yang dihukum karena pengembangan jutaan dolar ke Hamas.

Ahli strategi mengatakan bahwa referensi awal di New York City untuk berlangganan di New York City

Mamdani membenci Israel dan mendirikan cabangnya di kampus mahasiswa keadilan di Palestina di Budwin College pada tahun 2010, dan sebagai anggota Dewan Negara, ia mengajukan RUU yang kontroversial untuk melucuti situasi nirlaba organisasi dengan hubungan apa pun dengan penyelesaian Israel. Lawan -lawannya akan membuat masalah ini, bahkan jika jaringan tidak dapat menghadapinya.

Klik di sini untuk berita lainnya

“PBS News Hour” beralih pada Rabu malam untuk analisisnya ke Errol Louis, yang gagal dalam banyak kampanye utama Demokrat Dewan Kota New York. Amina Nawaz, seorang Muslim Amerika Pakistan, mengangkat sayap kanan yang menakutkan dan keburukan mereka: “Errol, kami juga telah melihat beberapa serangan jelek yang terbangun sebagai tanggapan atas kemenangan Mamdani. Ini termasuk serangan terhadap keyakinannya. Charlie Kirk. Dia menulis: ‘Dua puluh empat tahun yang lalu, sekelompok Muslim menewaskan 2753 orang pada 9/11. Sekarang seorang sosialis Muslim berjalan cepat untuk mengoperasikan New York City. Apa artinya semua ini untuk jenis kampanye yang dapat Anda lihat di masa depan? Lewis berkata, “Benci dan divisi tidak berhasil.”

Dalam “CBS Mornings, reporter Jerika Denkan mengatakan bahwa Mamdani adalah” seorang imigran Amerika Amerika yang progresif “dengan” kecerdasan media sosial “yang memasang” gelombang perasaan anti -for -foundasi terhadap kemenangan yang mengejutkan.

PBS gagal menyebut Mamdani “jauh-kiri”, tetapi mempelajari berita baru oleh Bill D’Gostino menggambarkan gaya PBS. Dari 21 Januari hingga 21 Juni, jaringan yang didanai jaringan berbicara tentang “paling kiri” hanya tiga kali, dan persentase “The Far Right” 127 kali demi satu.

Klik di sini untuk mendapatkan aplikasi Fox News

Bisakah Walikota Mamdani gagal? Chicago Tribune, yang mendukung Joe Biden pada tahun 2020, mengelola pembukaan yang berjudul “Penduduk New York, dan mengambilnya dari Chicago – kami telah menonton film ini sebelumnya, dan akhirnya tidak indah.” Makalah ini menulis: “Sebagian besar ide Mamdani (setidaknya pada prinsipnya) dibagikan oleh Walikota Brandon Johnson, dan banyak dari mereka adalah umum di kota -kota biru. Tetapi pengalaman itu mengajarkan kita di sini bahwa kandidat kiri yang tidak membuatnya menjadi eksekutif yang efektif atau populer dalam ekonomi keseluruhan saat ini.”

Sama seperti jaringan tidak benar -benar peduli dengan bagaimana kinerja Brandon Johnson di Chicago, tidak ada yang berharap Zahran Mamdani mengkritik. Walikota kota Demokrat telah mempekerjakan kota -kota biru yang dalam selama 50 tahun atau lebih, dan tidak ada seorang pun di jaringan ini yang akan bertanggung jawab, lebih dari pemilih Demokrat. Mereka memberikan hadis “akuntabilitas” dengan Partai Republik.

Klik di sini untuk membaca lebih banyak Tim Graham