Kegelisahan itu merayapi tulang belakang Anda ketika Anda melihat sesuatu yang dapat digunakan oleh manusia tetapi tidak dapat diterapkan pada robotika — terutama untuk robot yang dibuat agar terlihat dan berbicara seperti kita.
Perasaan luar biasa itu disebut lembah luar biasa. Salah satu cara para ahli robotik menjembatani jurang tersebut adalah dengan mencocokkan suara robot dengan gerakan bibir. Universitas Columbia mengumumkan hal ini Rabu lalu Riset Yang mengeksplorasi bagaimana gelombang baru wajah robot dapat berbicara lebih realistis.
Profesor teknik Columbia Hod Lipson, yang mengerjakan penelitian ini, mengatakan kepada CNET bahwa salah satu alasan utama robot menjadi “aneh” adalah karena mereka tidak menggerakkan bibir seperti yang kita lakukan saat berbicara. “Kami bertujuan untuk memecahkan masalah ini, yang selama ini terabaikan dalam dunia robotika,” kata Lipson.
Jangan lewatkan konten teknologi kami yang tidak memihak dan ulasan berbasis laboratorium Tambahkan CNET Sebagai sumber Google pilihan.
Penelitian ini muncul di tengah hype seputar robot yang dirancang untuk digunakan di rumah dan tempat kerja CES 2026 Awal bulan ini, misalnya, CNET melihatnya Rentang robot Dirancang untuk berinteraksi dengan orang-orang. Semuanya dari yang terbaru Atlas Dinamika Boston dari robotnya Robot keluarga Seperti mereka Lipat cucianDan bahkan satu Bot berbentuk kura-kura Dirancang untuk penelitian lingkungan, dipresentasikan pada pameran teknologi terbesar di dunia Jika CES bisa menjadi indikasinya, tahun 2026 bisa menjadi tahun yang tepat. tahun besar Untuk robotika konsumen.
Yang paling penting di antaranya adalah robot humanoid yang hadir dengan tubuh, wajah, dan kulit sintetis yang meniru milik kita. Termasuk tim CES Robot humanoid Dari Realbotics bahwa bilik informasi dapat bekerja atau bersantai, serta a Robot dari Lovence Dirancang untuk hubungan yang dilengkapi AI untuk “mengingat” percakapan intim.
Namun ketidaksesuaian sepersekian detik antara gerakan bibir dan ucapan dapat menyebabkan perbedaan antara instrumen yang dapat membuat Anda terikat secara emosional dan instrumen yang lebih dari itu. Animatronik gelisah.
Jadi mungkin yang terbaik adalah jika manusia menerima robot humanoid yang “memunculkan” ke dalam diri kita sehari-hari, tanpa membuat kita merasa tidak nyaman setiap kali mereka berbicara.
Lihat ini: Robot sinkronisasi bibir menyanyikan sebuah lagu
Robot sinkronisasi bibir
Untuk membuat robot berwajah manusia yang dapat berbicara seperti kita, bibir robot harus disinkronkan secara cermat dengan audio ucapannya. Tim peneliti Columbia telah mengembangkan teknik yang membantu wajah robot bergerak seperti kita dengan berfokus pada bunyi bahasa.
Pertama, tim menciptakan wajah robot humanoid dengan mulut yang dapat berbicara — dan bernyanyi — sedemikian rupa sehingga meminimalkan efek lembah yang luar biasa. Wajah robot, terbuat dari kulit silikon, memiliki konektor magnet untuk gerakan bibir yang rumit. Hal ini memungkinkan mulut membentuk bentuk bibir yang mencakup 24 konsonan dan 16 vokal.
Lihat ini: Robot sinkronisasi bibir mengeluarkan suara individual
Untuk mencocokkan gerakan bibir dengan ucapan, mereka merancang “jalur pembelajaran” untuk mengumpulkan data visual dari gerakan bibir. Model AI menggunakan data ini untuk melatih, kemudian menghasilkan titik referensi untuk perintah motorik. Selanjutnya, “transformator aksi wajah” mengubah perintah motorik menjadi gerakan wajah yang disinkronkan dengan audio.
Dengan menggunakan framework tersebut, wajah robot bernama Imo tersebut mampu “berbicara” dalam berbagai bahasa, termasuk bahasa yang tidak termasuk dalam pelatihan, seperti Prancis, China, dan Arab. Triknya adalah kerangka tersebut menganalisis kata-kata dalam bahasa tersebut, bukan makna di balik kata-kata tersebut.
“Kami menghindari masalah khusus bahasa dengan melatih model yang beralih langsung dari audio ke gerakan bibir,” kata Lipson. “Tidak ada konsep bahasa.”
Lihat ini: Wajah robot sinkronisasi bibir muncul
Mengapa robot membutuhkan wajah dan bibir?
Manusia telah lama bekerja berdampingan dengan robot, namun mereka selalu tampak seperti mesin, bukan manusia — lengan yang terputus-putus dan terlihat sangat mekanis di jalur perakitan atau cakram tebal yang digunakan penyedot debu robot di lantai dapur kita.
Namun, seiring dengan semakin maraknya model bahasa AI di balik chatbot, perusahaan teknologi bekerja keras untuk mengajari robot cara berkomunikasi dengan kita menggunakan bahasa secara real time.
Seluruh bidang studi disebut Interaksi Manusia-Robot yang mengkaji bagaimana robot harus hidup berdampingan secara fisik dan sosial dengan manusia. Pada tahun 2024, sebuah penelitian Sebanyak 157 peserta yang digunakan di Berlin menemukan bahwa kemampuan robot untuk mengekspresikan empati dan emosi melalui komunikasi verbal sangat penting untuk berkomunikasi secara efektif dengan manusia. Dan Studi tahun 2024 lainnya dari Italia menemukan bahwa pidato aktif penting untuk kerja sama antara manusia dan robot ketika mengerjakan tugas-tugas kompleks seperti perakitan.
Jika kita ingin mengandalkan robot di rumah dan di tempat kerja, kita perlu melakukan percakapan dengan mereka seperti satu sama lain. Kedepannya, kata Lipson, penelitian dengan robot lip-sync akan berguna untuk semua jenis robot humanoid yang perlu berinteraksi dengan manusia.
Mudah juga membayangkan masa depan di mana robot humanoid seperti kita. Lipson mengatakan desain yang cermat dapat memastikan orang memahami bahwa mereka sedang berbicara dengan robot, bukan manusia. Salah satu contohnya adalah robot humanoid membutuhkan kulit berwarna biru, kata Lipson, “agar mereka tidak disalahartikan sebagai manusia.”