Databricks Open Mountakes ETL Framework yang bekerja dengan jaringan pipa 90 % lebih cepat

Hari ini, di tahunan Sejarah + Anda memiliki puncakDan Databricks Dia mengumumkan bahwa itu adalah sumber terbuka dari kerangka ETL utamanya, sebagai Apache Spark Pipelines, yang membuatnya tersedia untuk seluruh komunitas Apache Spark dalam versi yang akan datang.

Databricks meluncurkan bingkai sebagai tabel delta live (dlt) pada tahun 2022 dan sejak saat itu Memperluas Bantu tim bantuan dan mengoperasikan jalur pipa data yang andal dan dikembangkan dari ujung ke ujung. Transisi ke open source, ini meningkatkan komitmen perusahaan untuk membuka ekosistem sambil menentukan upaya pesaing, yang baru-baru ini meluncurkan layanan OpenFlow untuk integrasi data-komponen penting rekayasa data.

Snowflake mengambil Apache NiFi menawarkan untuk memfokuskan data apa pun dari sumber apa pun pada platformnya, sementara databrik dengan teknologi rekayasa pipa interior terbuka, memungkinkan pengguna untuk menjalankannya di mana saja Apache Spark- tidak hanya pada platformnya.

Mengumumkan pipa, biarkan percikan berurusan dengan yang lain

Secara tradisional, rekayasa data telah dikaitkan dengan tiga titik nyeri utama: menyusun pipa kompleks, kerajinan tangan umum dan kebutuhan untuk mempertahankan sistem terpisah untuk beban kerja batch dan siaran.

Dengan pipa spark, insinyur menggambarkan apa yang harus dilakukan pipa mereka menggunakan SQL atau Python, dan Apache Spark kesepakatan dengan implementasi. Bingkai secara otomatis dilacak konsekuensi antara tabel, menjalankan konstruksi dan pengembangan tabel dan berurusan dengan tugas operasional seperti implementasi paralel dan titik inspeksi dan melatih kembali dalam produksi.

“Anda mengumumkan serangkaian koleksi data dan aliran data, dan Apache Spark menyetor rencana implementasi yang benar,” kata Michael Armbrost, seorang insinyur perangkat lunak terkemuka di databricks, dalam sebuah wawancara dengan VentureBeat.

Framework mendukung data batch, aliran dan semi -organisasi, termasuk file sistem penyimpanan objek seperti Amazon S3, ADL atau GCS, di luar kotak. Insinyur hanya mengidentifikasi pengobatan aktual dan periodik melalui antarmuka pemrograman aplikasi tunggal, dengan definisi pipa yang benar sebelum implementasi untuk menangkap masalah lebih awal tidak perlu mempertahankan sistem yang terpisah.

“Telah dirancang untuk fakta data modern seperti mengubah database, bus pesan, dan analisis waktu aktual yang mengoperasikan sistem AI. Jika Apache Spark dapat memprosesnya (data), Anda dapat menangani tabung ini,” jelas Armbrust. Dia menambahkan bahwa pendekatan pengantar mewakili upaya lain dari databrik untuk menyederhanakan Apache Spark.

Pertama, kami telah melakukan komputasi fungsional dengan RDD (set data terdistribusi fleksibel). Kemudian kami melakukan implementasi penyelidikan dengan Spark SQL.

Tersebar luas

Sementara bingkai pipa pengantar dijadwalkan berkomitmen untuk mengemas kode percikan, kecerdikannya sudah diketahui ribuan lembaga yang digunakan sebagai bagian dari solusi databrik Lakeflow untuk menangani beban kerja mulai dari laporan pembayaran harian hingga aplikasi aliran sub -cond.

Manfaatnya agak mirip di semua bidang: Anda membuang lebih sedikit waktu dalam mengembangkan jalur pipa atau tugas pemeliharaan dan mencapai kinerja atau waktu atau biaya yang lebih baik, tergantung pada apa yang ingin Anda tingkatkan.

Perusahaan keuangan perusahaan telah menggunakan kerangka kerja untuk mengurangi waktu pengembangan lebih dari 90 %, sementara Navy Federal Credit Union mengurangi waktu pemeliharaan untuk jaringan pipa sebesar 99 %. Spark, yang dirancang pada pipa pengantar, memungkinkan perbedaan untuk menyesuaikan pipa untuk pemukulan yang ditentukan, hingga aliran aktual.

“Sebagai direktur teknik, saya suka fakta bahwa seorang insinyur dapat fokus pada apa yang penting sebagian besar bisnis,” kata Jian Chu, direktur Grand Engineering di Navy Federal Credit Union. “Sangat menarik untuk melihat tingkat inovasi ini sekarang open source, membuatnya dapat diakses lebih banyak perbedaan.”

Brad Turnbio, kepala insinyur data dalam 84,51 derajat, mencatat bahwa bingkai “membuatnya mudah untuk mendukung pembayaran dan siaran tanpa menjahit sistem terpisah” sambil mengurangi jumlah kode yang perlu dikelola oleh timnya.

Pendekatan yang berbeda dari kepingan salju

Snowflake, salah satu databrik terbesar, juga telah mengambil langkah -langkah pada konferensi terakhirnya untuk menghadapi tantangan data, dengan munculnya flowflow. Namun, pendekatan mereka adalah anak laki -laki yang berbeda dari titik data dalam hal ruang lingkup.

OpenFlow, berdasarkan Apache NiFi, terutama difokuskan pada integrasi dan pergerakan data di platform kepingan salju. Pengguna masih perlu membersihkan, mengonversi, dan mengumpulkan data segera setelah mereka mencapai kepingan salju. Di sisi lain, pipa iklan Spark dengan bergerak dari sumber untuk digunakan dapat digunakan.

“Pipa percikan dirancang untuk memungkinkan pengguna memutar pipa data dari ujung ke fokus akhir pada penyederhanaan konversi data dan jaringan pipa kompleks yang mendukung transformasi ini.”

Sifat terbuka dari sumber pipa pengantar dibedakan dari solusi kerajaan. Pengguna tidak perlu menjadi pelanggan dari databrik untuk memanfaatkan teknologi, dan untuk mematuhi sejarah perusahaan untuk berkontribusi pada proyek -proyek besar seperti Katalog Delta Lake, MLFLOW dan Unity dengan komunitas open source.

Jadwal waktu tersedia

Apache Spark akan mematuhi kode Apache Spark dalam versi mendatang. Jadwal yang tepat, bagaimanapun, masih belum jelas.

“Kami sangat senang dengan kemungkinan mendapatkan pipa pengantar terbuka sejak kami meluncurkannya,” kata Armbrust. “Selama 3 tahun terakhir, kami telah belajar banyak tentang gaya yang bekerja lebih baik dan menginstal mereka yang membutuhkan beberapa pengaturan. Sekarang buktikan dan siap untuk makmur di tempat terbuka.”

Program operasi open source juga bertepatan dengan ketersediaan pipa data iklan publik, yang merupakan versi komersial teknologi yang mencakup keuntungan dan dukungan tambahan untuk lembaga.

Data Databricks + KTT AI Itu meluas dari 9 hingga 12 Juni 2025