Home » Dubbing Film dengan Teknologi AI Deepfake

Dubbing Film dengan Teknologi AI Deepfake

oleh Bintang Akbar Ramadhani

Berbicara dubbing atau sulih suara, sering kita lihat aktor di layar berdialog sementara bibir mereka bergerak tidak wajar, mengucapkan kata-kata dalam bahasa lain.

Selain tidak alami, sulih suara klasik memiliki kelemahan. Kebutuhan untuk menyesuaikan teks dengan ekspresi wajah aktor sering mengubah makna dialog itu sendiri.

Deepfake spotter

Secara umum, ini menghasilkan pengalaman yang kurang menyenangkan bagi pemirsa. Dengan subtitle, meskipun akting aktornya asli, mereka yang membaca subtitle tidak akan menikmati pertunjukan seperti penonton asli karena mereka membaca teks di bagian bawah layar.

Di sinilah Artificial Intelegence (AI) dan teknologi sulih suara sintetis datang untuk menyelamatkan. Proses sulih suara tradisional cukup mudah, meskipun sulit untuk dijalankan.

  1. Pertama, produser menemukan studio dubbing dalam bahasa asing.
  2. Produser mengirimkan materi video asli dan teks untuk setiap dialog ke studio.
  3. Agensi mulai mencari pengisi suara (mereka sering kali adalah orang yang sama yang mengisi suara lusinan film di negara mereka setiap tahun).
  4. Kemudian proses duplikasi yang kompleks dimulai. Aktor bekerja di studio, membaca dialog untuk mencocokkan apa yang terjadi di layar, dengan mempertimbangkan ekspresi aktor asli.
  5. Pengarah audio kemudian mencampur trek audio baru dengan video. Dan, filmnya sudah siap untuk ditayangkan di bioskop-bioskop lokal.

Proses ini memiliki beberapa kelemahan signifikan, baik dari segi pengalaman menonton maupun produksi.

  • Biaya untuk sulih suara tradisional sangat tinggi. Biaya pastinya sulit diperkirakan, tetapi Anda dapat membayangkan bahwa harganya bervariasi dari $100 ribu hingga $150 ribu dolar per bahasa untuk sebuah film. 
  • Dubbing tidak cepat. Meskipun akting suara membutuhkan waktu lebih sedikit daripada membuat konten asli, waktu yang diperlukan untuk menyelesaikan sulih suara yang tepat terkadang diukur dalam hitungan bulan. Dubbing membayangi akting aslinya.

Teknologi sulih suara AI deepfake membantu mengurangi hampir setiap kesulitan yang ditimbulkan oleh pendekatan aslinya. Pada saat yang sama, dan ini penting, itu tidak menimbulkan kesulitan baru.

Singkatnya, teknologi deepfake membantu menyesuaikan konten video dan audio menggunakan teknologi pembelajaran mesin. Contoh paling menakjubkan dari sulih suara dan pelokalan otomatis adalah TrueSync. Flawless AI mengumumkan teknologi dubbing film sintetisnya yang menggantikan bibir aktor dengan bibir yang dibuat dalam bentuk deepfake.

Sinkronisasi bibir secara tradisional merupakan kelemahan paling mencolok yang terkait dengan sulih suara. Ini mungkin terlihat bagus di antara bahasa-bahasa Eropa, tetapi dengan film-film Amerika yang di-dubbing dalam bahasa Cina (misalnya), hampir setiap gerakan bibir benar-benar tidak sinkron.

Gerakan mulut seorang penutur bahasa Inggris hampir tidak mungkin untuk beradaptasi dengan bahasa-bahasa Asia. Dengan mengingat hal ini, lihat apa yang telah dilakukan AI Flawless.

Singkatnya, jaringan saraf, menggunakan contoh konten asli seorang aktor, belajar untuk membedakan fitur karakteristik wajah mereka.

Jaringan yang sama kemudian menganalisis fitur yang sama pada orang yang berbicara dalam bahasa yang berbeda. Jadi, ketika sulih suara bahasa asing sudah siap, jaringan dapat mengedit wajah aktor asli untuk menyelaraskan secara sempurna dengan dialog asing.

Sejauh ini, teknologi ini hanya memiliki satu kelemahan. Bagi beberapa penonton yang sangat perhatian, tampaknya adegan yang dimodifikasi tidak terlihat sepenting penampilan aslinya. Namun perlu diingat bahwa teknologinya masih muda dan terus menyempurnakan metodologinya.

Namun, teknologi kloning suara memperkenalkan seperangkat alat yang sama sekali baru. Respeecher memungkinkan produser film dan pembuat konten untuk membuat siapa pun terdengar seolah-olah mereka adalah orang lain.

Sungguh menakjubkan betapa teknologi ini mendemokratisasikan pasar sulih suara dan menurunkan ambang pintu masuk ke pasar luar negeri untuk studio kecil. 

Dengan menggabungkan kedua teknologi, produsen dapat mencapai kualitas sulih suara yang luar biasa. Animasi wajah yang dimodifikasi memungkinkan suara asli aktor untuk ditransfer ke bahasa lain. Dengan demikian, suara dubbing cocok dengan ekspresi wajah aktor aslinya.

Plus, dubbing sendiri diproduksi untuk memberi kesan bahwa aktor berbicara bahasa Cina atau Jepang, misalnya. Ini berarti bahwa pemirsa tidak dapat mengetahui apakah aktor tersebut berbicara dalam bahasa ibu mereka atau tidak.

Kekhawatiran pertama dan terbesar adalah pertanyaan tentang penggunaan teknologi secara etis. Ketika Anda dapat dengan mudah mensimulasikan suara Presiden AS, Anda harus menganggap serius teknologi. Tanda air tidak terlihat oleh pendengar, tetapi dengan mudah memungkinkan seorang profesional untuk mendeteksi ucapan yang disintesis.

Selain itu, penggunaan algoritme dapat membedakan antara ucapan sintetis dan asli, meskipun tidak diberi watermark. Seperti halnya teknologi maju, masyarakat akan segera mengadaptasinya untuk manfaat luas dengan meminimalkan bahaya. Ini hanya masalah waktu.

Scott Mann

Argumen utama yang mendukung kecukupannya adalah minat studio besar Hollywood. Dalam beberapa tahun terakhir, teknologi sulih suara AI deepfake telah banyak digunakan dalam film laris, termasuk Star Wars, The Irishman, dan lainnya.

Pertanyaan lain yang muncul adalah soal biaya. “Penelitian kami menunjukkan ini akan berbeda berdasarkan kasus per kasus. Tetapi ketika Hollywood kemungkinan akan membayar $60 juta untuk membuat ulang Another Round dalam bahasa Inggris, saya bisa dengan aman mengatakan ini akan menelan biaya hampir $60 juta lebih sedikit,” ungkap Scott Mann, salah satu pendiri Flawless. (bi/dsn-3)

 

Related Posts

Tinggalkan Komentar