Connect with us

Berita

Databricks Open Mountakes ETL Framework yang bekerja dengan jaringan pipa 90 % lebih cepat

Published

on

Bergabunglah dengan acara bahwa para pemimpin lembaga telah dipercaya selama hampir dua dekade. VB Transform menggabungkan orang yang membangun strategi AI untuk institusi nyata. Pelajari lebih lanjut


Hari ini, di tahunan Sejarah + Anda memiliki puncakDan Databricks Dia mengumumkan bahwa itu adalah sumber terbuka dari kerangka ETL utamanya, sebagai Apache Spark Pipelines, yang membuatnya tersedia untuk seluruh komunitas Apache Spark dalam versi yang akan datang.

Databricks meluncurkan bingkai sebagai tabel delta live (dlt) pada tahun 2022 dan sejak saat itu Memperluas Bantu tim bantuan dan mengoperasikan jalur pipa data yang andal dan dikembangkan dari ujung ke ujung. Transisi ke open source, ini meningkatkan komitmen perusahaan untuk membuka ekosistem sambil menentukan upaya pesaing, yang baru-baru ini meluncurkan layanan OpenFlow untuk integrasi data-komponen penting rekayasa data.

Snowflake mengambil Apache NiFi menawarkan untuk memfokuskan data apa pun dari sumber apa pun pada platformnya, sementara databrik dengan teknologi rekayasa pipa interior terbuka, memungkinkan pengguna untuk menjalankannya di mana saja Apache Spark- tidak hanya pada platformnya.

Mengumumkan pipa, biarkan percikan berurusan dengan yang lain

Secara tradisional, rekayasa data telah dikaitkan dengan tiga titik nyeri utama: menyusun pipa kompleks, kerajinan tangan umum dan kebutuhan untuk mempertahankan sistem terpisah untuk beban kerja batch dan siaran.

Dengan pipa spark, insinyur menggambarkan apa yang harus dilakukan pipa mereka menggunakan SQL atau Python, dan Apache Spark kesepakatan dengan implementasi. Bingkai secara otomatis dilacak konsekuensi antara tabel, menjalankan konstruksi dan pengembangan tabel dan berurusan dengan tugas operasional seperti implementasi paralel dan titik inspeksi dan melatih kembali dalam produksi.

“Anda mengumumkan serangkaian koleksi data dan aliran data, dan Apache Spark menyetor rencana implementasi yang benar,” kata Michael Armbrost, seorang insinyur perangkat lunak terkemuka di databricks, dalam sebuah wawancara dengan VentureBeat.

Framework mendukung data batch, aliran dan semi -organisasi, termasuk file sistem penyimpanan objek seperti Amazon S3, ADL atau GCS, di luar kotak. Insinyur hanya mengidentifikasi pengobatan aktual dan periodik melalui antarmuka pemrograman aplikasi tunggal, dengan definisi pipa yang benar sebelum implementasi untuk menangkap masalah lebih awal tidak perlu mempertahankan sistem yang terpisah.

“Telah dirancang untuk fakta data modern seperti mengubah database, bus pesan, dan analisis waktu aktual yang mengoperasikan sistem AI. Jika Apache Spark dapat memprosesnya (data), Anda dapat menangani tabung ini,” jelas Armbrust. Dia menambahkan bahwa pendekatan pengantar mewakili upaya lain dari databrik untuk menyederhanakan Apache Spark.

Pertama, kami telah melakukan komputasi fungsional dengan RDD (set data terdistribusi fleksibel). Kemudian kami melakukan implementasi penyelidikan dengan Spark SQL.

Tersebar luas

Sementara bingkai pipa pengantar dijadwalkan berkomitmen untuk mengemas kode percikan, kecerdikannya sudah diketahui ribuan lembaga yang digunakan sebagai bagian dari solusi databrik Lakeflow untuk menangani beban kerja mulai dari laporan pembayaran harian hingga aplikasi aliran sub -cond.

Manfaatnya agak mirip di semua bidang: Anda membuang lebih sedikit waktu dalam mengembangkan jalur pipa atau tugas pemeliharaan dan mencapai kinerja atau waktu atau biaya yang lebih baik, tergantung pada apa yang ingin Anda tingkatkan.

Perusahaan keuangan perusahaan telah menggunakan kerangka kerja untuk mengurangi waktu pengembangan lebih dari 90 %, sementara Navy Federal Credit Union mengurangi waktu pemeliharaan untuk jaringan pipa sebesar 99 %. Spark, yang dirancang pada pipa pengantar, memungkinkan perbedaan untuk menyesuaikan pipa untuk pemukulan yang ditentukan, hingga aliran aktual.

“Sebagai direktur teknik, saya suka fakta bahwa seorang insinyur dapat fokus pada apa yang penting sebagian besar bisnis,” kata Jian Chu, direktur Grand Engineering di Navy Federal Credit Union. “Sangat menarik untuk melihat tingkat inovasi ini sekarang open source, membuatnya dapat diakses lebih banyak perbedaan.”

Brad Turnbio, kepala insinyur data dalam 84,51 derajat, mencatat bahwa bingkai “membuatnya mudah untuk mendukung pembayaran dan siaran tanpa menjahit sistem terpisah” sambil mengurangi jumlah kode yang perlu dikelola oleh timnya.

Pendekatan yang berbeda dari kepingan salju

Snowflake, salah satu databrik terbesar, juga telah mengambil langkah -langkah pada konferensi terakhirnya untuk menghadapi tantangan data, dengan munculnya flowflow. Namun, pendekatan mereka adalah anak laki -laki yang berbeda dari titik data dalam hal ruang lingkup.

OpenFlow, berdasarkan Apache NiFi, terutama difokuskan pada integrasi dan pergerakan data di platform kepingan salju. Pengguna masih perlu membersihkan, mengonversi, dan mengumpulkan data segera setelah mereka mencapai kepingan salju. Di sisi lain, pipa iklan Spark dengan bergerak dari sumber untuk digunakan dapat digunakan.

“Pipa percikan dirancang untuk memungkinkan pengguna memutar pipa data dari ujung ke fokus akhir pada penyederhanaan konversi data dan jaringan pipa kompleks yang mendukung transformasi ini.”

Sifat terbuka dari sumber pipa pengantar dibedakan dari solusi kerajaan. Pengguna tidak perlu menjadi pelanggan dari databrik untuk memanfaatkan teknologi, dan untuk mematuhi sejarah perusahaan untuk berkontribusi pada proyek -proyek besar seperti Katalog Delta Lake, MLFLOW dan Unity dengan komunitas open source.

Jadwal waktu tersedia

Apache Spark akan mematuhi kode Apache Spark dalam versi mendatang. Jadwal yang tepat, bagaimanapun, masih belum jelas.

“Kami sangat senang dengan kemungkinan mendapatkan pipa pengantar terbuka sejak kami meluncurkannya,” kata Armbrust. “Selama 3 tahun terakhir, kami telah belajar banyak tentang gaya yang bekerja lebih baik dan menginstal mereka yang membutuhkan beberapa pengaturan. Sekarang buktikan dan siap untuk makmur di tempat terbuka.”

Program operasi open source juga bertepatan dengan ketersediaan pipa data iklan publik, yang merupakan versi komersial teknologi yang mencakup keuntungan dan dukungan tambahan untuk lembaga.

Data Databricks + KTT AI Itu meluas dari 9 hingga 12 Juni 2025


Tautan sumber
Continue Reading
Click to comment

Leave a Reply

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

Berita

CEO Windsurf Farun Mohan di VB Transform 2025

Published

on

Bergabunglah dengan acara bahwa para pemimpin lembaga telah dipercaya selama hampir dua dekade. VB Transform menggabungkan orang yang membangun strategi AI untuk institusi nyata. Pelajari lebih lanjut


Dengan penyebaran alat yang bekerja dengan bahan AI melalui cerobong asap program lembaga, pertumbuhan cepat platform pengkodean kecerdasan buatan Selancar Studi kasus tentang apa yang terjadi ketika pengembang mengadopsi alat agen yang meluas.

Dalam sesi per hari VB Transform 2025Dan CEO dan co -founder Farun Mohan Diskusikan bagaimana lingkungan pengembangan terintegrasi di Windsurf (IDE) melebihi satu juta pengembang dalam waktu empat bulan setelah diluncurkan. Lebih penting lagi, sistem dasar sekarang menulis lebih dari setengah kode yang dilakukan oleh basis penggunanya.

Percakapan, yang dibuka oleh CEO VentureBeat Matt Marshall, dibuka dengan singkat tetapi catatan: Mohan tidak dapat mengomentari kemungkinan akuisisi besar -besaran Openai on Windsurf.

Kasus Dia menarik perhatian setelah a Wall Street Journal Laporan Secara rinci, konfrontasi bersorak antara Openai dan Microsoft mengenai ketentuan kesepakatan ini dan ketegangan yang lebih luas dalam miliaran dolar dalam kemitraan. Menurut WSJOpenai berupaya mendapatkan Windsurf tanpa memberi Microsoft untuk mencapai kepemilikan intelektualnya – masalah yang dapat membentuk kembali adegan pengkodean Yayasan AI.

Dengan konteks yang dialokasikan ini, sesi ini berfokus pada teknologi Windsurf, traksi lembaga, dan visi agen.

>> Tonton setiap liputan konversi kami 2025 di sini <

Melanggar

IDE WINDSURF dibangun di sekitar apa yang perusahaan sebut sebagai “pikiran” episode-A-usaha patungan antara manusia dan AI yang memungkinkan aliran pengkodean penuh alih-alih saran otomatis tambahan. Menggunakan pengaturan ini, agen dapat melakukan multi -shelves re -equipment, menulis sayap tes, dan bahkan meluncurkan perubahan antarmuka pengguna saat memulai permintaan penarikan.

Mohan menekankan bahwa bantuan pengkodean tidak dapat berhenti saat menghasilkan kode. “Sekitar 20 hingga 30 % dari waktu pengembang menghabiskan kode penulisan kode. Sisanya adalah untuk memperbaiki kesalahan, ulasan, dan tes. Untuk bantuan, sistem kecerdasan buatan perlu mencapai semua sumber data ini.”

Windsurf baru -baru ini memasukkan browser IDE, memungkinkan agen untuk menguji perubahan, membaca catatan dan berinteraksi dengan fasad langsung secara langsung – seperti yang dilakukan insinyur manusia.

Keamanan dan kontrol dengan desain

Ketika kecerdasan buatan mulai berpartisipasi dalam kursus pengembangan kelembagaan secara aktif, konsentrasi Windsurf pada keamanan terintegrasi telah terbukti perlu. “Kami menggunakan model campuran untuk penyebaran lembaga – tidak ada data pribadi yang disimpan di luar penyewa pengguna. Keamanan adalah esensi, terutama dengan fitur -fitur seperti agen browser terintegrasi kami,” kata Mohan.

Kemampuan ini telah menjadikan Windsurf sebagai opsi yang berlaku untuk industri terorganisir. Agen -agennya diterbitkan di pangkalan kode besar, termasuk yang ada di JPMorgan Chase dan Morgan Stanley.

Mohan menambahkan bahwa ketika kecerdasan buatan mendekati peran, keamanan akan menjadi faktor dalam produktivitas. Dia berkata: “Jika setiap orang di perusahaan teknologi berkontribusi beberapa cara, maka bagian yang hilang adalah keselamatan. Anda tidak ingin sistem tunggal -waktu yang dibuat oleh pengguna non -teknis yang menghancurkan layanan lain.”

Tim kecil, tes cepat

Secara internal, WINDSURF diselenggarakan dalam tim yang beranggotakan tiga atau empat insinyur, masing -masing fokus pada pengujian hipotesis produk yang sempit.

“Ada keyakinan bahwa perusahaan dengan satu miliar dolar adalah masa depan. Tetapi pada kenyataannya, lebih banyak orang yang memungkinkan Anda untuk tumbuh lebih cepat dan membangun produk yang lebih baik. Kuncinya mengorganisir dalam tim kecil yang terkonsentrasi yang menguji hipotesis secara paralel,” jelas Mohan.

Model ini membantu perusahaan dengan cepat di area di mana model kecerdasan buatan – dan kebutuhan pengguna – dengan cepat mengembangkan sangat tinggi.

Spesialisasi dalam skala besar

Peningkatan terbesar dalam Windsurf di Enterprise bukanlah generasi simbol khas atau model yang lebih kecil – itu penting. “Dalam skala besar, peningkatan terbesar adalah kustomisasi. Memahami basis blade yang dalam memungkinkan agen untuk membuat perubahan pemeliharaan skala besar yang mencerminkan niat pengguna,” kata Mohan.

Alih -alih hanya mengandalkan generasi kode untuk tujuan umum, sistem Windsurf mempelajari struktur setiap pelanggan, gaya dan preferensi.

Membangun model masa depan

Ke depan, Windsurf merancang platformnya untuk tetap mudah beradaptasi karena model kecerdasan buatan dasar terus tumbuh.

Mohan mengatakan: “Setiap pekerjaan yang ditingkatkan dalam model dasar membutuhkan pemikiran ulang produk -produk utama. Sementara agen lebih mampu, misi kami adalah membangun platform untuk mengelola banyak dari mereka secara efektif.”

Perusahaan sedang mengerjakan protokol terbuka yang memungkinkan lembaga mengintegrasikan setiap model lokal LLM-termasuk dalam kerangka kerja agen di Windsurf, mempertahankan fleksibilitas dan mengurangi kunci penjual.

Nilai Bukti dan Ukur

Windsurf memberikan transparansi dalam kinerjanya dengan analisis ringkas. Mohan mengatakan: “Kami menawarkan transparansi atas pengembalian investasi melalui langkah -langkah – seperti persentase simbol yang ditulis oleh asisten – yang dapat dilampirkan langsung ke kinerja teknik internal.”

Pendekatan ini memungkinkan tim platform untuk menghubungkan produk agen dengan dampak bisnis, yang membantu membenarkan lebih banyak investasi.

Implementasi terkonsentrasi pada flash

Akhirnya, ketika ditanya bagaimana Windsurf berencana untuk membedakan antara kompetisi dari Openai, Microsoft, Google, dll., Mohan fokus pada kecepatan interior. Dia mengatakan: “Tantangannya bukan yang paling jelas hari ini, tetapi siapa yang menerapkan strategi yang benar dengan cukup cepat. Risikonya dipindahkan dengan sangat lambat atau diharapkan sangat jauh dan kehilangan kepentingan dalam jangka pendek.”

Mohan juga menolak gagasan bahwa pemegang pekerjaan pasti diperintah. “Tidak ada alasan dasar bahwa perusahaan lama seperti Salesforce tidak bisa menjadi asli. Penentu nyata adalah kecepatan mereka dalam inovasi, bukan kemampuan mereka.”

Apakah Windsurf menjadi bagian dari masa depan Openai atau berlanjut secara mandiri, seret perusahaan dengan pelanggan institusional – dan desakannya pada landasan AI di tenaga kerja yang aman dan berharga – menjadikannya pemain yang layak dilihat dengan masuknya untuk mengembangkan agen ke arus utama.


Tautan sumber
Continue Reading

Berita

Perawatan sel induk yang menjanjikan dapat tersedia untuk memisahkan rambut dalam waktu lima tahun

Published

on

baruAnda sekarang dapat mendengarkan Fox News!

Mungkin para peneliti di Rumah Sakit Klinis San Carlos di Madrid telah menargetkan solusi yang mungkin untuk kerontokan rambut.

Sebuah studi baru-baru ini menganalisis efek sel induk tikus dengan sel induk dari sel induk lemak manusia-“ASCS)-sebagai cara untuk mengobati alopecia androgenik (AGA), lebih dikenal sebagai kerontokan rambut pria atau wanita.

Tim menemukan bahwa tikus jantan mencapai pertumbuhan rambut terbaik setelah tiga minggu ketika mereka menerima dosis rendah, bersama dengan molekul peningkatan daya yang disebut Adenosine Tripphate (ATP).

Musisi rambut dan ahli medis menegaskan rambut rontok sementara yang memengaruhi pengguna Uzambi

Perawatan dosis rendah dan dosis ASC bersama dengan ATP telah menyebabkan kurangnya peningkatan pertumbuhan rambut wanita, tetapi dosis ASC sedang selain ATP menyebabkan peningkatan pertumbuhan.

Para peneliti menyimpulkan bahwa pertumbuhan rambut telah ditingkatkan dalam “semua kelompok eksperimen” karena tikus jantan menerima solusi sel induk yang harus diselesaikan dengan ATP.

Mungkin para peneliti di Rumah Sakit Klinis San Carlos di Madrid telah menargetkan solusi yang mungkin untuk kerontokan rambut. (ISTOCK)

Hasilnya diterbitkan di majalah penelitian & terapi sel induk.

Penulis utama penelitian ini, Dr. Eduardo Lopez Bran – dokter kulit dan profesor di University of Compluteense di Madrid – berpartisipasi dalam perkiraannya untuk belajar dalam sebuah wawancara dengan Fox News Digital.

Para ahli memperingatkan bahwa rutinitas kecantikan harian ini menghancurkan rambut Anda

“Kami telah mengharapkan hasil yang baik, tetapi bukan tingkat keberhasilan yang tinggi ini,” katanya. “Kita berbicara tentang tingkat pertumbuhan rambut yang sangat tinggi pada tikus jantan dan betina.”

Dengan dosis yang tepat, para peneliti telah mencapai “tarif yang sangat tinggi” untuk Reg Reg atau pertumbuhan, mencatat bahwa 100 % tikus jantan dan hingga 90 % rambut tikus betina.

Tikus laboratorium

Dengan dosis yang tepat, para peneliti telah mencapai “tarif yang sangat tinggi” untuk Reg Reg atau pertumbuhan, mencatat bahwa 100 % tikus jantan dan hingga 90 % rambut tikus betina. (Tikus penelitian yang sebenarnya tidak difoto.) (ISTOCK)

“Hasil ini menunjukkan bahwa perawatan lanjutan dapat mewakili pendekatan pengobatan baru untuk banyak penyakit yang saat ini bukan perawatan yang efektif,” Bran melanjutkan.

“Mencapai hasil yang menjanjikan seperti itu dalam tahap pra -klinis melalui pendekatan yang sama sekali baru untuk trik androgenik – yang menghindari pengobatan kronis dan juga aman – merupakan tanda ilmiah yang penting.”

“Kita berbicara tentang tingkat pertumbuhan rambut yang sangat tinggi pada tikus jantan dan betina.”

Bran menunjukkan bahwa pembatasan utama penelitian ini adalah kulit paling tipis dari tikus, yang “merupakan tantangan dalam manajemen perawatan.”

Klik di sini untuk mendapatkan aplikasi Fox News

“Ini membutuhkan pengembangan protokol untuk mengurangi kontras eksperimental, dan itu akan menjadi faktor utama ketika penelitian dimulai pada manusia,” katanya.

Seorang wanita kehilangan rambut di atas sikat rambut di tangan

“Kemajuan penelitian menunjukkan kemungkinan solusi yang mungkin, di masa depan, memiliki hasil jangka panjang tanpa perlu perawatan berkelanjutan untuk mempertahankan manfaat.” (ISTOCK)

Bran memperingatkan bahwa hasil baru ini “harus ditafsirkan dengan hati -hati dan kekakuan ilmiah.”

“Meskipun hasil pada tikus adalah kemajuan besar, juga benar bahwa perlu menunggu manfaat klinis pada manusia.”

Klik di sini untuk mendaftar di buletin kesehatan kami

Peneliti mendorong mereka yang menderita androgenik alopecia untuk terus berkonsultasi dengan dokter kulit dan mengikuti perawatan yang ditentukan dengan pengembangan penelitian.

“Penting untuk tetap optimis. Perkembangan penelitian menunjukkan solusi yang mungkin, di masa depan, dapat memberikan hasil jangka panjang tanpa perlu perawatan berkelanjutan untuk mempertahankan manfaat,” tambah Bran.

“Studi ini kecil, dan penelitian lebih lanjut diperlukan dalam metode ini sebagai pilihan perawatan yang mungkin.”

Peneliti menunjukkan bahwa para peneliti “menantikan pengalaman klinis manusia,” secara aktif “menegaskan keamanan pria dan wanita berusia antara 18 dan 50 tahun dengan alopecia androgenik moderat.

“Jika semuanya diharapkan, jadwal yang paling optimis menunjukkan bahwa pengobatan tersedia dalam waktu sekitar lima tahun,” katanya.

Seorang pria merobek rambutnya di kamar mandi di rumah

Melihat pengalaman klinis manusia, para peneliti secara aktif “menekankan keamanan untuk pria dan wanita berusia antara 18 dan 50 tahun dengan androgen alopecia sedang. (ISTOCK)

Dalam sebuah wawancara terpisah dengan Fox News Digital, Dr. Brendan Camp, PhD dalam Kedokteran, dokter kulit berbasis di New York yang tidak berpartisipasi dalam penelitian ini, mengomentari kemungkinan metode ini.

“Meskipun tidak tersedia secara komersial, penelitian ini menunjukkan bahwa suntikan sel induk yang diturunkan dengan ATP ke dalam kulit kulit kepala dapat mendorong pertumbuhan rambut pada individu yang menderita alopecia androgenik.”

Untuk lebih banyak artikel kesehatan, kunjungi www.foxnews.com/health.

“Studi ini kecil, dan lebih banyak penelitian diperlukan dalam metode ini sebagai pilihan pengobatan potensial untuk alopecia androgenik.”

Sampai saat itu, Camp mendorong orang untuk fokus pada perawatan yang tersedia dan “dipelajari dengan baik” untuk mengobati kerontokan rambut, dan mengunjungi dokter kulit yang disetujui oleh Dewan Direksi untuk evaluasi.

Tautan sumber

Continue Reading

Berita

Apa itu di dalam ginsbark? Pendekatan kerja baru yang memberikan alur kerja yang kaku untuk faktor independen

Published

on


Agen Genspark membuktikan bahwa lebih sedikit kontrol atas jalannya pekerjaan yang kaku, memaksa para pemimpin AI yayasan untuk memikirkan kembali

Tautan sumber

Continue Reading

Trending