Artikel ini adalah bagian dari jumlah khusus VentureBeat, “Biaya sebenarnya dari Amnesty International: Kinerja, Efisiensi dan Investasi Skala Besar.” Baca lebih lanjut dari nomor khusus ini.

Kecerdasan buatan telah menjadi Piala Suci perusahaan modern. Apakah itu layanan pelanggan atau sesuatu seperti ini seperti pemeliharaan pipa, lembaga di setiap bidang sekarang menerapkan teknik kecerdasan buatan – dari dasar ke VLA – untuk membuat hal -hal lebih efisien. Tujuannya jelas dan langsung: untuk mengotomatiskan tugas untuk memberikan hasil lebih efisien dan menghemat uang dan sumber daya pada saat yang sama.

Namun, dengan transfer proyek -proyek ini dari pilot ke tahap produksi, tim menghadapi hambatan yang tidak mereka rencanakan: biaya awan yang marginnya terkikis. Kejutan stiker sangat buruk sehingga apa yang saya rasakan sebelumnya adalah cara tercepat untuk berinovasi dan keunggulan kompetitif menjadi lubang yang tidak perlu dalam anggaran – kapan saja.

Ini memanggil CIO untuk memikirkan kembali segalanya – dari arsitektur khas hingga model penerbitan – untuk mengembalikan kontrol aspek keuangan dan operasional. Terkadang, mereka bahkan menutup proyek, mulai dari awal.

Tapi ini adalah kebenaran: Sementara cloud dapat mengambil biaya ke level yang tak tertahankan, mereka bukan kejahatan. Anda hanya perlu memahami jenis kendaraan (infrastruktur internasional amnesti) untuk memilih untuk pergi ke cara apa pun (beban kerja).

Kisah Cloud – tempat Anda bekerja

Awan sangat mirip dengan transportasi umum (kereta bawah tanah dan bus Anda). Anda bisa mendapatkan model sewa sederhana, dan segera memberi Anda semua sumber daya – dari rekan GPU hingga penskalaan cepat di berbagai wilayah geografis – untuk membawa Anda ke tujuan, semua dengan pekerjaan dan persiapan minimal.

Akses yang cepat dan mudah ke formulir layanan memastikan awal yang lancar, dan membuka cara untuk menghapus proyek dari tanah dan melakukan pengalaman cepat tanpa pengeluaran kapitalis yang sangat besar untuk mendapatkan unit pemrosesan grafis khusus.

Sebagian besar startup pada tahap awal menemukan bahwa model ini menguntungkan karena membutuhkan perubahan cepat lebih dari apa pun, terutama ketika mereka masih memverifikasi bentuk model dan menentukan kesesuaian pasar produk.

Suara audio AI tampil di BerbicaraBeri tahu VentureBeat.

Biaya “kemudahan”

Meskipun cloud sepenuhnya logis untuk digunakan pada tahap awal, matematika infrastruktur menjadi gelap ketika proyek bergerak dari tes dan memeriksa kesehatan unit penyimpanan di dunia nyata. Ukuran beban kerja membuat tagihan brutal – sejauh biaya dapat naik lebih dari 1000 % dalam semalam.

Ini terutama benar jika terjadi penalaran, yang tidak harus berjalan hanya 24/7 untuk memastikan waktu layanan tetapi juga dengan permintaan pelanggan.

Pada sebagian besar kesempatan, Sarin menjelaskan bahwa mutasi permintaan untuk penalaran ketika pelanggan lain juga meminta GPU, yang meningkatkan persaingan untuk sumber daya. Dalam kasus seperti itu, perbedaan tersebut mempertahankan kemampuan yang dipesan untuk memastikan bahwa mereka mendapatkan apa yang mereka butuhkan-yang mengarah pada waktu GPU untuk menempatkan ketidakaktifan dalam beberapa jam selain puncak-atau menderita dari waktu kemajuan, yang mempengaruhi pengalaman muara.

Christian Khoury, CEO Kepatuhan dengan Amnesty International Easaudit aiDia menggambarkan kesimpulan sebagai “pajak cloud” baru, untuk memberi tahu VentureBeat sebagai perusahaan yang berkisar antara 5 ribu dolar hingga 50 ribu dolar per bulan semalam, hanya dari gerakan inferensi.

Perlu juga dicatat bahwa beban inferensi yang mencakup LLM, dengan harga pada simbol yang khas, dapat menyebabkan peningkatan biaya yang paling parah. Ini karena model -model ini tidak spesifik dan dapat menghasilkan output yang berbeda saat berhadapan dengan tugas jangka panjang (termasuk jendela konteks besar). Dengan pembaruan berkelanjutan, sulit untuk memprediksi biaya atau mengontrol LLM.

Melatih model -model ini, untuk bagiannya, adalah “ledakan” (terjadi dalam kelompok), yang menyisakan ruang untuk kapasitas untuk ditangkap. Namun, bahkan dalam kasus -kasus ini, terutama dengan menghilangkan kekuatan kompetisi yang meningkat, lembaga dapat memiliki tagihan besar dari saat unit pemrosesan grafis yang tidak aktif, yang berasal dari pendaftaran yang berlebihan.

“Kredit pelatihan pada platform cloud mahal, dan pelatihan yang sering dapat meningkat selama kursus pengulangan yang cepat. Pelatihan panjang membutuhkan akses ke mesin besar, dan sebagian besar penyedia layanan cloud masih menjamin hanya akses jika Anda telah memesan periode satu tahun atau lebih.

Ini bukan hanya itu. Penutupan awan sangat nyata. Misalkan Anda telah memesan reservasi jangka panjang dan membeli kredit dari penyedia. Dalam hal ini, Anda tertutup dalam sistem lingkungan mereka dan Anda harus menggunakan semua yang mereka miliki, bahkan ketika penyedia layanan lain pindah ke infrastruktur yang lebih baru dan lebih baik. Akhirnya, ketika Anda mendapatkan kemampuan untuk bergerak, Anda mungkin harus menahan biaya keluar yang sangat besar.

“Tidak hanya akun biaya. Saya mendapat … otomatis yang tidak terduga, dan biaya keluar gila jika Anda mentransfer data antara daerah atau penjual. Ada satu tim yang membayar untuk mentransfer data lebih dari melatih model mereka,” Sarin mengkonfirmasi.

Jadi, apa solusinya?

Melihat permintaan terus-menerus untuk infrastruktur untuk memperluas ruang lingkup kesimpulan kecerdasan buatan dan sifat pelatihan yang gagal, lembaga bergerak untuk membagi beban keuntungan pengambilan kerja dari cerobong asap atau cerobong internal, sambil meninggalkan pelatihan awan dengan rekan-rekan topikal.

Ini bukan hanya teori – ini adalah gerakan yang meningkat di antara para pemimpin teknik yang mencoba menempatkan kecerdasan buatan dalam produksi tanpa membakar di landasan pacu.

Khoury menambahkan: “Kami telah membantu perbedaan dalam mengonversi ke kelompok dari menyimpulkan penggunaan server GPU khusus yang mereka kendalikan. Mereka tidak menarik, tetapi mereka mengurangi pengeluaran bulanan sebesar 60-80 %,” tambah Khoury. “Hibrida tidak hanya lebih murah – itu lebih cerdas.”

Dia mengatakan bahwa dalam satu kasus, SaaS telah mengurangi tagihan infrastruktur bulanan dari kecerdasan buatan dari sekitar 42.000 dolar menjadi hanya 9.000 dolar dengan mentransfer beban pekerjaan inferensi dari cloud. Transformator berbayar untuk dirinya sendiri dalam waktu kurang dari dua minggu.

Tim lain yang membutuhkan respons tetap terhadap sub-50ms yang ditemukan untuk alat kecerdasan buatan dukungan pelanggan bahwa waktu inferensi berdasarkan kelompok rekan tidak cukup. Konversi inferensi lebih dekat dengan pengguna melalui colocation tidak hanya hambatan kinerja – tetapi juga setengah dari biaya.

Persiapan biasanya berfungsi dengan cara ini: inferensi, yang selalu sensitif dan sensitif terhadap spesifikasi, bekerja pada unit pemrosesan grafis khusus baik di pusat data terdekat (pengumpulan). Sementara itu, pelatihan, yang ditandai dengan akunnya tetapi terputus -putus, tetap di cloud, di mana Anda dapat memutar kelompok yang kuat atas permintaan, berjalan selama beberapa jam atau hari, dan menutupnya.

Secara luas, perkiraan menunjukkan bahwa sewa penyedia layanan cloud superior dapat menelan biaya tiga hingga empat kali setiap GPU lebih dari bekerja dengan penyedia layanan yang lebih kecil, meskipun tim lebih penting dibandingkan dengan infrastruktur lokal.

Hadiah besar lainnya? Kemampuan untuk memprediksi.

Dengan On-Prem atau Collection, tim juga memiliki kendali penuh atas jumlah sumber daya yang ingin mereka berikan atau tambahkan ke jalur fondasi yang diharapkan untuk beban kerja inferensi. Ini membawa kemampuan untuk memprediksi biaya infrastruktur – dan menghilangkan tagihan mendadak. Ini juga menuruni upaya rekayasa agresif untuk mengendalikan penskalaan dan mempertahankan biaya infrastruktur cloud dalam batas yang wajar.

Pengaturan hibrida juga membantu mengurangi waktu akses untuk aplikasi kecerdasan buatan untuk waktu dan memungkinkan kepatuhan lebih baik, terutama untuk tim yang bekerja di industri yang sangat terorganisir seperti pembiayaan, perawatan kesehatan dan pendidikan di mana tempat tinggal data dan tata kelola tidak dapat dinegosiasikan.

Kompleksitas campuran itu nyata – tetapi jarang berurusan

Seperti yang selalu terjadi, transformasi pengaturan hibrida hadir dengan pajak OPS -nya. Mempersiapkan perangkat Anda sendiri atau menyewa fasilitas Kings membutuhkan waktu, dan mengelola unit pemrosesan grafis membutuhkan berbagai jenis otot rekayasa.

Namun, para pemimpin berpendapat bahwa kompleksitas sering dibesar -besarkan dan biasanya dikelola di rumah atau melalui dukungan eksternal, kecuali orang tersebut bekerja dalam skala besar.

“Akun kami menunjukkan bahwa server GPU di kepalanya harganya sekitar enam hingga sembilan bulan sewa yang sama -sama dari AWS, Azure atau Google Cloud, bahkan dengan tingkat satu tahun yang dicadangkan. Karena perangkat alat biasanya bertahan di ibukota yang menghindari formulir selama lebih dari lima tahun. Sarin menjelaskan bahwa sumber kekhawatiran.

Berikan prioritas sesuai kebutuhan

Untuk perusahaan mana pun, apakah itu perusahaan yang muncul atau lembaga, kunci keberhasilan saat mengajar itu-atau pemulihan pekerjaan arsitektur-dapat bekerja sesuai dengan beban pekerjaan tertentu.

Jika Anda tidak yakin dengan beban beban berbagai kecerdasan buatan, mulailah dengan cloud dan memantau dengan cermat biaya yang terkait dengan tanda pada setiap sumber daya dengan tim yang bertanggung jawab. Anda dapat berbagi laporan biaya ini dengan semua manajer dan melakukan penyelaman mendalam dalam apa yang mereka gunakan dan pengaruhnya terhadap sumber daya. Data ini kemudian akan memberikan kejelasan dan membantu membuka jalan bagi efisiensi.

Namun, ingatlah bahwa itu bukan masalah meninggalkan awan sepenuhnya; Muncul untuk meningkatkan penggunaannya untuk meningkatkan efisiensi secara maksimal.

Khoury menambahkan: “Cloud masih bagus untuk uji coba dan Busher.” Perlakukan awan seperti model awal, bukan rumah permanen. Jalankan matematika. Bicaralah dengan insinyur Anda. Cloud tidak akan pernah memberi tahu Anda kapan alat yang salah. Tapi tagihan AWS Anda. “

Duo Inggris punk Bob Vylan menimbulkan kontroversi akhir pekan ini setelah penampilan pembakar mereka di Glastonbury.

Dua bobs – vokalis Bobby Vylan dan drummer Bobbie Vylan – mendapati diri mereka menjadi subjek penyelidikan polisi setelah lagu -lagu “Free Palestina” dan “Death to the IDF” dilakukan selama set pada fase Holts Barat pada hari Sabtu.

Ketika perdebatan berkecamuk jika rapper Irlandia berlutut untuk melakukan acara tersebut, Bob Vylan berkontribusi dengan cengkeraman eksplosif mereka, meninggalkan penyelenggara festival “kesal” dengan apa yang telah dikatakan.

Menurut kinerja kinerja semalam, Bobby Vylan membimbing publik dalam lagu -lagu “Palestina Libera” dan pernyataan lain yang telah ditafsirkan sebagai “mengancam”.

Seorang juru bicara BBC menggambarkan komentar itu sebagai “sangat ofensif” dan berjanji bahwa kinerja tidak akan tersedia berdasarkan permintaan.

Tapi siapa Bob Vylan?

Siapa Bob Vylan?

Dibentuk di Ipswich, di London, pada tahun 2017, Bob Vylan terdiri dari penyanyi dan gitaris Bobby Vylan dan drummer Bobbie Vylan – yang dikenal bersama sebagai “The Bobs”.

Gaya musik mereka digambarkan sebagai kombinasi rap kotoran dan punk rock, lebih baik disorot dalam kesuksesan 2020 mereka bahwa kita tinggal di sini.

Lagu politik ini, yang diterbitkan di Summer of Black Lives Matter, mengenang pembunuhan Stephen Lawrence yang berusia delapan belas tahun dalam kontroversi tentang hubungan rasial di Inggris.

Duo ini telah merilis lima album hingga saat ini, mulai dari Vylan yang diproduksi sendiri dan didistribusikan pada tahun 2017.

Pada tahun 2019, mereka merilis album studio pertama mereka, Dread, yang diikuti dengan We Live Here (2020), Bob Vylan mempersembahkan harga kehidupan (2022) dan Humble as the Sun (2024).

Apakah mereka saudara Bob Vylan?

Bob Vylan tidak terkait dengan darah. Pasangan itu mengadopsi moniker Bobs dalam upaya untuk melindungi anonimitas mereka.

Nama asli mereka saat ini tidak diketahui.

Lima tahun setelah debut mereka, Bob Vylan menandai album terbaik di Kerrang pada tahun 2022! Tekan dan bermain di Chicago Riot Fest di tahun yang sama.

“Band ini dibawa ke titik di mana Anda tidak dapat benar -benar mengabaikan Anda,” kata band dalam sebuah wawancara Fai -da majalah -te.

Apa yang dikatakan Bob Vylan di Glastonbury?

Tentunya sulit untuk mengabaikan band setelah penampilan mereka di Glastonbury akhir pekan ini.

Ketika mereka diluncurkan di set mereka, penyanyi Bobby memimpin para peserta dalam lagu -lagu “Palestina Libera” dan “Death to the IDF (Pasukan Pertahanan Israel)”.

Dia juga menyatakan: “Dari sungai ke Palestina Laut … itu akan bebas”, memicu kritik dari kedutaan Israel.

“Kedutaan besar di Inggris sangat terganggu oleh retorika peradangan dan kebencian yang diungkapkan di atas panggung di Festival Glastonbury,” jawab organisasi itu dalam sebuah catatan.

Sekretaris Britania Raya Wes Streeting menggambarkan kecelakaan itu sebagai “menakutkan”, tetapi menyarankan agar kedutaan harus “menempatkan rumah Anda” sebelum mengkritik Glastonbury.

“Saya pikir ada poin serius oleh kedutaan Israel yang saya anggap serius. Saya berharap mereka mengambil kekerasan warga mereka dengan lebih serius terhadap Palestina, “katanya dalam sebuah wawancara dengan Sky News.

Sekretaris Budaya Lisa Nandy juga mengutuk keputusan BBC untuk mengirimkan set langsung.

Seorang juru bicara politisi mengatakan: “Kami sangat melakukan komentar mengancam yang dibuat oleh Bob Vylan di Glastonbury”.

Deklarasi Glastonbury menyatakan: “Lagu -lagu mereka telah melewati banyak garis dan kami segera mengingatkan semua subjek yang terlibat dalam produksi festival yang tidak ditempatkan di Glastonbury untuk anti -Semitisme, pidato kebencian atau dorongan kekerasan”.

Polisi Avon dan Somerset menimbang, merilis sebuah pos di media sosial, dia berkata: “Kami menyadari komentar yang dibuat oleh Kisah Para Rasul di panggung Holts Barat di Festival Glastonbury sore ini”.

“Tes video akan dievaluasi oleh petugas untuk menentukan apakah kejahatan mungkin telah dilakukan yang akan memerlukan penyelidikan kriminal.”

Sedangkan untuk band, mereka mempertahankan keren dari kinerja kemarin, sementara bobby yang tidak terkejut menerbitkan pembaruan untuk media sosialnya.

Dengan berbagi selfie melalui cerita Instagram -nya, vokalis itu bercanda: “Sementara Zionis menangis di media sosial, saya hanya memiliki es krim (vegan)”.

Apakah Anda punya cerita?

Jika Anda memiliki kisah selebriti, video atau gambar, hubungi tim hiburan metro.co.uk dengan mengirim dan -mail ke celebips@metro.co.uk, menelepon 020 3615 2145 atau dengan mengunjungi halaman pengiriman kami: kami ingin mendengar Anda.

Lainnya: Perselisihan terbesar Sir Rod Stewart setelah mendukung reformasi di depan headliner Glastonbury

LEBIH: Saya streaming gneecap glastonbury diatur dalam streaming ketika BBC tidak akan melakukannya karena

LEBIH: Jam berapa Sir Rod Stewart yang bermain hari ini di Glastonbury dan siapa tamunya?