[언론보도]스튜디오 프리윌루전의 테일러더빙, 글로벌 AI 더빙 SaaS를 음성 속도 안정성에서 48% 능가

2026-06-26

오디오 기반 더빙 파이프라인으로 구축된 테일러더빙은 종래의 텍스트 음성 변환 시스템과 달리, 원본 공연의 타이밍, 감정, 억양을 보존합니다. 핵심 기술은 한국의 주요 컴퓨터과학 학회에서 발표된 3개의 학술논문에 상세히 설명되어 있습니다.

AI 미디어 기술 회사 스튜디오 프리윌루전은 오늘 자사의 AI 기반 자동 더빙 기술인 테일러더빙의 성능 결과 및 기술 세부사항을 공개했습니다. 50명의 전문 AI 비디오 크리에이터로 구성된 독립 패널이 5점 척도로 평가한 정성적 평가에서, 테일러더빙은 글로벌 AI 더빙 SaaS 플랫폼을 측정된 모든 카테고리에서 능가했으며, 음성 속도 안정성에서는 약 48%의 우위를 보였습니다.

종래의 텍스트 음성 변환(TTS) 기반으로 구축된 더빙 도구와는 달리, 테일러더빙은 원본 오디오 트랙에서 직접 작동하도록 설계된 오디오 기반 더빙 파이프라인입니다. 이 시스템은 소스 콘텐츠에서 오디오를 분리하고, 음성 구간을 분석한 후, 그 구간에 맞는 번역된 대사를 생성하고 정렬합니다. 그 다음 원본의 감정과 억양을 담은 음성을 렌더링하고, 원본 사운드 믹스와 결합합니다. 단순히 번역된 음성을 출력하는 대신, 테일러더빙은 원본 비디오의 음성 흐름과 음향 환경을 중심으로 더빙 오디오를 재구성합니다.

AI-Kive 웹사이트의 메인 페이지. AI-Kive는 스튜디오 프리윌루전의 AI 콘텐츠 플랫폼이자 새로운 테일러더빙 더빙 기술의 첫 번째 거점입니다. (이미지: 스튜디오 프리윌루전)

스튜디오 프리윌루전 미국 지사의 조동욱 지사자은 이렇게 말했습니다. "오늘날 대부분의 AI 더빙은 여전히 정보 전달에 중점을 두고 있습니다. 명확한 발음과 자연스러운 음성을 만들 수 있지만, 종종 원본 공연의 감정, 톤, 속도를 포착하지 못합니다. 테일러더빙을 통해 우리는 원본 공연을 충실히 재현하는 데 중점을 두었습니다. 이 시스템은 원본 공연자의 톤, 속도, 감정을 따르는 더빙된 대사를 생성합니다. 그것이 시청자가 느낄 수 있는 몰입감의 차이를 만드는 것입니다."

음성 충실도를 넘어, 테일러더빙은 또 다른 도전 과제인 타이밍을 해결합니다. 번역된 문장은 언어마다 길이가 다르기 때문에, 종래의 TTS 더빙은 종종 음성이 급해지거나 느려지거나 화면과 동기화 상태를 벗어납니다. 테일러더빙은 타이밍을 원본 음성 구간에 맞춰 이러한 불일치를 줄이며, AI 에이전트가 각 번역을 검토합니다. 필요한 경우 다시 번역하여 더빙된 대사가 장면의 흐름을 방해하지 않도록 합니다. 오디오 측면에서, 이 시스템은 원본 믹스에서 배경음악과 음향 효과를 보존하여, 대사, 음악, 음향 효과가 겹치는 콘텐츠에서도 전체적인 음향 분위기를 유지합니다.

평가에서 가장 큰 격차는 음성 속도 안정성에 나타났으며, 테일러더빙은 5점 만점에 3.62점을 기록한 반면 경쟁 플랫폼은 2.44점을 기록했습니다. 이는 약 48% 높은 점수입니다. 이 지표는 번역 후 문장 길이 차이를 시스템이 얼마나 잘 처리하는지를 직접 반영합니다. 테일러더빙은 또한 말하기 스타일의 자연성에서 26.9% 높은 점수를, 몰입감 있는 음성-영상 동기화 품질에서 23.0% 높은 점수를 기록했습니다.

테일러더빙의 사례. 한국어 비디오를 자연스러운 영어로 변환합니다. (이미지: 스튜디오 프리윌루션)

조동욱 지사장은 덧붙였습니다. "음성 속도 안정성은 자동 더빙이 보통 실패하는 부분입니다. 왜냐하면 한국어와 영어 문장은 말하는 데 걸리는 시간이 거의 같지 않기 때문입니다. 독립적인 전문 크리에이터들이 바로 그 지표에서 우리를 48% 앞서게 평가했다는 것은 이 파이프라인이 올바른 문제를 해결하고 있다는 것을 우리에게 말해줍니다."

이 기술은 또한 학술 연구로도 뒷받침됩니다. 회사는 한국의 주요 컴퓨터과학 학회에 3개의 관련 논문을 발표했습니다. 2025년 한국소프트웨어총회(KSC)에서 "FLUID: 유창하고 길이가 균일한 AI 더빙을 위한 훈련 없는 반복 프레임워크"를 소개했으며, 이는 추가 모델 훈련 없이 유창성과 일관된 음성 지속 시간을 달성합니다. 2026년 한국컴퓨터학회(KCC)에서 "SLATE: 한국어 AI 더빙을 위한 슬롯 보존 길이 인식 번역 편집"(핵심 의미 단위를 보존하면서 번역 길이를 조정)과 "AFTER: 지속 시간 동기화 자동 비디오 더빙을 위한 오디오 피드백 번역 및 표현적 개선"(음성 지속 시간을 동기화하기 위해 오디오 피드백 사용)을 발표했습니다.

스튜디오 프리윌루전 소개

스튜디오 프리윌루전은 생성형 AI와 VFX를 결합하는 AI 미디어 기술 회사로, 개발 및 제작부터 포스트프로덕션 및 글로벌 배포, AI 콘텐츠 플랫폼인 AI-Kive에 이르기까지 콘텐츠 전체 생명주기에 걸쳐 서비스를 제공합니다. 회사는 2026년 2월 북미 엔터테인먼트 산업과의 협력을 심화하기 위해 로스앤젤레스에 미국 자회사를 설립했으며, 자사의 독점 AFX(AI + VFX) 파이프라인은 현재 할리우드 장편 영화의 포스트프로덕션에 사용되고 있습니다. 제작 작업은 TV 광고, 영화, 애니메이션에 걸쳐 있으며, 수상 경력에는 두바이 국제 AI 영화제의 대상 및 관객상, 구글 스타트업 액셀러레이터: AI First 선정, 한국 과학기술정보통신부의 표창이 포함됩니다.

연락처

스튜디오 프리윌루전 미국지사

이메일: usa_onclecho@studiofreewill.com

웹사이트: www.studiofreewillusion.com

출처: 스튜디오 프리윌루전

연관 기사

📰 전국·비즈니스·대표 브랜드 (18)

🏙 지역 유력 신문·시티 매체 (24)

📺 방송·TV 뉴스 브랜드 (22)

🏭 산업·전문 매체 (16)

💹 금융·시장·투자 노출 채널 (10)

🌐 배포·발견 채널 (10)

스튜디오 프리윌루전, AI 더빙 기술 공개로 K-콘텐츠 영어권 진출 가속화