ElevenLabs, Dubbing v2 출시: AI 더빙이 '영화 및 TV 현지화'의 주요 전장에 등장

원본 화자의 음색, 입 모양, 감정을 유지하면서 동영상을 수십 가지 언어로 자동 번역합니다. 이것이 바로 ElevenLabs의 더빙 제품이 해왔던 일이며, 영화 및 TV 현지화와 해외 콘텐츠의 핵심 요구 사항이기도 합니다. 5월 28일에 출시된 더빙 v2는 이 기능을 한 단계 더 발전시켰습니다.

v2에서는 무엇이 업그레이드되나요?

Dubbing v2의 업그레이드 방향은 음성 자연성, 음색 충실도, 립싱크 정확성, 정서적 일관성, 긴 콘텐츠 안정성 등 더빙 파이프라인의 거의 모든 측면을 다루며 다국어/다액센트 ​​지원을 강화합니다. 해외 콘텐츠팀의 경우 장편 콘텐츠의 안정성이 특히 중요합니다. 90분짜리 영화의 경우 80분에 더빙이 어긋나면 이전의 모든 노력이 물거품이 되기 때문입니다.

완전한 더빙 파이프라인

더빙 v2는 분리된 기능이 아닙니다. Eleven v3 음성 모델, Scribe v2(ASR) 및 기타 기술과 협력하여 "인식-번역-합성-동기화"의 완전한 더빙 파이프라인을 형성합니다. 이 파이프라인의 의의는 "더빙이 가능하다"는 것이 아니라 "산업화된 일괄 더빙이 가능하다"는 것입니다. 이것이 바로 영화와 TV, 교육, 기업 콘텐츠, 해외 게임 등의 시나리오에 필요한 것입니다.

업계 관점에서 AI 더빙/현지화는 일레븐랩스 상용화의 중요한 축으로, 이 트랙의 경쟁이 치열해지고 있다. 영상번역/립싱크 트랙에도 헤이젠(HeyGen), 신세시아(Synthesia) 등이 노력하고 있다. Dubbing v2의 출시로 이 트랙의 문턱이 한 단계 더 높아졌습니다. "톤 충실도 + 립싱크 + 긴 콘텐츠 안정성"이 표준이 되면 경쟁은 "일치할 수 있는가?"에서 바뀔 것입니다. "잘 어울리는지, 빠른지 아닌지, 비싼지 아닌지." 국내 AI 더빙 및 비디오 내보내기 도구(Alibaba 및 Byte의 더빙 제품)의 경우 이는 직접적인 압력이자 방향을 상기시켜 줍니다. "다국어 콘텐츠 세계화"는 2026년 AI 오디오 및 비디오의 핵심 적용 시나리오이며, 이 파이프라인을 확고히 하는 사람이 콘텐츠 해외 수출의 열쇠를 쥐게 될 것입니다.

앞으로 추적할 가치가 있는 몇 가지 방향은 다음과 같습니다.

1. 립싱크의 실제 정확도: 다국어에서의 립싱크의 자연스러움.
2. 긴 콘텐츠 안정성: 긴 비디오 더빙의 실패율과 수동 개입의 필요성.
3. 가격 및 현지화 비용: 일괄 더빙 단가가 대규모 해외 진출을 뒷받침할 수 있을까?
4. 국내 비디오 수출 도구에 대한 대응: Alibaba와 Byte의 더빙 제품은 "완전한 파이프라인" 기능을 어떻게 추적합니까?