디지털 콘텐츠 크리에이터와 게임 개발 스튜디오는 항상 높은 성우 녹음 비용, 섭외 일정 조율의 어려움, 사후 대사 수정 및 추가 녹음의 번거로움이라는 문제에 직면합니다. Lovo.ai의 영상 및 오디오 제작 플랫폼인 Genny는 딥러닝 기반의 음성 복제(Voice Cloning) 기술을 지원하여 1분 이상의 깨끗한 육성 샘플 녹음만으로 특정 화자의 고유한 음색을 재현하는 맞춤형 AI 음성 복제본 생성을 가능하게 했습니다. 복제된 음성은 텍스트 입력을 통해 타임라인에서 게임 NPC 대사나 영상 나레이션을 직접 렌더링할 수 있어, 스크립트가 수정될 때마다 성우를 스튜디오로 다시 부르지 않아도 되는 작업 환경을 제공했습니다.
오디오 샘플 규격, 플랫폼 내 복제 절차, 타임라인 세부 튜닝, 게임 엔진 연동으로 이어지는 전반적인 워크플로를 살펴보면, 합성 음성 파이프라인의 핵심 기술 구조를 파악할 수 있을 뿐만 아니라 상업적 프로젝트에서 반드시 고려해야 할 법적·운영적 시사점을 도출할 수 있습니다.
1. 핵심 활용 시나리오: 게임 개발 및 콘텐츠 제작 현장의 필요성
음성 복제 기술은 게임 개발과 디지털 미디어 제작 과정에서 발생하는 현실적인 병목 현상을 해결하는 데 집중적으로 도입되었습니다.
- 게임 대사 신속 프로토타이핑 및 임시 음성(Scratch Tracks): 퀘스트 분기나 컷신을 설계할 때 기획자와 시나리오 작가는 대사의 호흡과 감정 흐름을 현장에서 즉시 확인해야 합니다. 팀원이나 협력 성우의 목소리를 복제해 두면 몇 분 만에 임시 오디오를 생성하여 애니메이션 타이밍과 게임플레이를 검증할 수 있습니다.
- 방대한 NPC 및 주변 환경 대사 확장: 오픈월드 RPG나 어드벤처 게임에는 수많은 경비병, 상인, 마을 주민의 짧은 대사(Barks)가 대량으로 필요합니다. 음성 복제 기술을 활용하면 제한된 녹음 자원으로도 다채로운 NPC 음성을 대규모로 확장할 수 있습니다.
- 업데이트 패치 및 DLC 대사 보완: 게임 출시 후 추가 퀘스트가 도입되거나 일부 대사를 수정해야 할 때, 단 몇 문장을 위해 원 성우를 다시 섭외하는 것은 일정과 예산 측면에서 큰 부담입니다. 정식 권리를 확보한 상태라면 복제 음성을 통해 기존 캐릭터의 톤을 그대로 유지하며 신규 대사를 보완할 수 있습니다.
- 크리에이터 개인 브랜드 유지 및 오류 수정: 유튜브 크리에이터, 팟캐스터, 온라인 강사는 자신의 목소리를 복제해 둠으로써 오탈자나 스크립트 수정 사항이 생겼을 때 장비를 다시 설치하지 않고도 텍스트 수정만으로 매끄러운 오디오를 렌더링할 수 있습니다.
2. 오디오 샘플 녹음 규격 및 전처리 가이드
AI 음성 복제 모델의 품질과 자연스러움은 입력되는 학습용 오디오 샘플의 음향적 순도에 의해 결정됩니다. Genny의 신경망 인코더는 화자의 기본 주파수, 포먼트, 발화 리듬을 추출하므로 입력 오디오에 포함된 잡음이나 울림도 고유 음색의 일부로 학습되는 문제가 발생합니다.
핵심 기술 사양
- 파일 포맷: 비압축 16-bit 또는 24-bit 모노 WAV 파일(샘플링 레이트 44.1 kHz 또는 48 kHz)을 권장합니다. MP3 파일을 사용하는 경우 최소 192 kbps(권장 320 kbps) 이상의 높은 비트레이트여야 합니다.
- 샘플 길이: 음성 복제를 초기화하기 위한 최소 기준은 60초 분량의 깨끗한 음성 데이터입니다. 다만 보다 풍부한 억양과 안정적인 운율을 확보하기 위해서는 다양한 문장 구조가 포함된 2~3분 분량의 낭독 샘플을 제공하는 것이 좋습니다.
- 채널 구성: 반드시 모노(Mono) 파일이어야 합니다. 스테레오 패닝, 위상차, 인위적 리버브가 포함된 파일은 업로드 전 단일 채널로 변환해야 합니다.
녹음 환경 및 마이크 운용 수칙
- 반향 없는 조용한 환경: 벽면 반사음(룸 에코)이 적은 방음 공간에서 녹음해야 합니다. 에어컨, 컴퓨터 쿨링팬, 창밖 교통 소음 등 지속성 잡음을 완전히 차단해야 음성 모델에 금속성 기계음이 섞이지 않습니다.
- 마이크 거리 유지: 팝 필터가 장착된 콘덴서 또는 다이내믹 마이크를 사용하고, 마이크와 입 사이의 거리를 15~20cm로 일정하게 유지하여 파열음(‘ㅍ’, ‘ㅂ’ 발음 시 발생하는 공기 충격)을 억제합니다.
- 단일 화자 음성 격리: 파일에는 오직 한 사람의 목소리만 담겨야 합니다. 배경음악, 효과음, 웃음소리, 기침, 거친 숨소리나 타인의 목소리가 섞여서는 안 됩니다.
- 안정적이고 자연스러운 발화: 기본 샘플을 녹음할 때는 속삭임과 고함을 오가지 않고 안정된 톤과 중간 음량의 일상 대화체로 읽어야 인코더가 정확한 음역대를 분석할 수 있습니다.
3. Genny 내 음성 복제 단계별 실행 절차
Genny 플랫폼에서 커스텀 음성을 생성하는 과정은 브라우저 기반 다중 트랙 편집기 내에서 단계별로 이루어집니다.
[잡음 없는 고품질 오디오 녹음 (WAV/MP3)]
│
▼
[Genny 대시보드에서 프로젝트 생성 ──► "Advanced Mode" 선택]
│
▼
[좌측 메뉴 "Voice Cloning" 클릭 ──► "Create a Voice Clone"]
│
▼
[오디오 파일 업로드 또는 브라우저 마이크 직접 녹음]
│
▼
[기본 감정 톤 선택 (차분한 Monotone 또는 생동감 있는 Excited)]
│
▼
[클라우드 신경망 합성 처리 (약 1~3분 소요)]
│
▼
[완성된 복제 음성이 "My Voices" 보관함에 등록됨]
│
▼
[타임라인 텍스트 블록에 음성을 할당하고 대사 렌더링]
1단계: 고급 모드(Advanced Mode) 프로젝트 생성
Genny에 로그인한 후 New Project를 클릭하고 Advanced Mode를 선택합니다. 단문 생성에 특화된 Simple Mode와 달리, Advanced Mode는 다중 트랙 타임라인, 미디어 동기화, 음성 복제 기능 전체를 제공합니다.
2단계: 음성 복제 메뉴 진입
편집 화면 좌측 도구 모음에서 Voice Cloning 아이콘을 클릭한 뒤, 표시되는 모달 창에서 Create a Voice Clone 버튼을 누릅니다.
3단계: 음성 샘플 입력
두 가지 입력 방식 중 하나를 선택합니다:
- 브라우저 직접 녹음: 화면 안내에 따라 마이크로 텍스트를 낭독합니다. 간편하지만 브라우저 오디오 압축이나 시스템 지연의 영향을 받을 수 있습니다.
- 로컬 파일 업로드(권장): DAW(Reaper, Audacity 등)에서 잡음 제거, 하이패스 필터링, 디에서(De-esser) 처리를 마친 정제된 WAV/MP3 파일을 업로드하여 최고 품질을 확보합니다.
4단계: 기본 음색 성향 설정 및 모델 생성
샘플 등록 후 음성의 기본 낭독 톤(차분하고 명확한 강의 톤 또는 역동적인 연기 톤)을 선택하고 Create a Voice를 실행합니다. 클라우드 신경망 엔진이 음향 특성을 분석하여 1~3분 이내에 맞춤형 모델을 생성하며, 이는 사용자의 My Voices 라이브러리에 저장됩니다.
5단계: 타임라인 텍스트 블록 대사 생성
편집 화면으로 돌아와 타임라인에서 Add Text Block을 생성합니다. 화자 목록에서 방금 생성한 복제 음성을 지정하고 게임 대사를 입력한 뒤 Generate를 클릭하면 자연스러운 합성 음성이 출력됩니다.
4. 대사 미세 조정: 속도, 음높이, 일시 정지 및 발음 사전
원시 텍스트 음성 변환 결과물만으로는 연출의 세밀한 호흡을 만족시키기 어렵습니다. Genny는 타임라인 상에서 대사를 가다듬을 수 있는 다양한 편집 도구를 제공했습니다.
속도 및 음높이 조절 (Producer Mode)
타임라인 상의 각 오디오 블록은 개별 슬라이더를 통해 속도와 피치를 조절할 수 있습니다:
- 속도(Pacing): 전투나 위급 상황에서는 발화 속도를 5%~15% 높여 긴장감을 연출하고, 진지한 설명이나 독백에서는 속도를 늦춰 무게감을 줄 수 있습니다.
- 음높이(Pitch): 동일한 음성 복제 모델이라도 음높이를 ±2%~5% 조절하면 하나의 음성 데이터로도 성격이 다른 복수의 NPC 음성을 파생시킬 수 있습니다.
일시 정지(Pause) 삽입
자연스러운 대화의 생명은 '침묵'의 적절한 배치입니다. 문장 사이나 구절 중간에 0.1초에서 2.0초 사이의 일시 정지를 직접 삽입하면, 캐릭터의 몸짓 애니메이션이나 효과음 타이밍에 맞춰 부자연스럽게 서두르지 않는 대사를 구현할 수 있습니다.
특정 단어 강조(Emphasis)
텍스트 블록 내에서 핵심 단어를 강조 처리하면 합성 엔진이 해당 단어의 음량과 억양 변화를 강화하여 시나리오의 핵심 단서나 극적인 감정을 청각적으로 부각시킵니다.
발음 사전(Pronunciation Editor)
판타지나 SF 장르의 게임에는 고유 명사, 가상 종족, 마법 주문이 다수 등장합니다. 일반 음성 모델은 이를 잘못 발음하기 쉽습니다. 발음 사전에 고유 단어를 등록하고 음소 기호나 대체 철자를 지정하면, 프로젝트 전체의 모든 대사 블록에 올바른 발음이 일괄 적용됩니다.
5. 오디오 에셋 내보내기 및 게임 엔진 파이프라인 연동
타임라인에서 조정이 끝난 대사는 게임 개발 파이프라인으로 전송됩니다:
- 개별 트랙(Stem) 단위 내보내기: Genny는 타임라인의 각 대사 블록을 개별 WAV 또는 MP3 파일로 분할 다운로드할 수 있습니다. 스크립트 작성 단계부터 체계적인 파일명(예:
NPC_Guard_Dialogue_01.wav)을 부여하면 관리가 수월해집니다. - 오디오 미들웨어 연동: 추출된 파일을 Audiokinetic Wwise나 FMOD Studio로 임포트하여 거리 감쇠, 3D 공간 음향, 환경 리버브(동굴 울림, 실내 반사 등)를 설정합니다.
- 게임 엔진 구현: Unreal Engine이나 Unity에서 오디오 컴포넌트를 캐릭터 이벤트, 퀘스트 시스템 또는 대화 트리 데이터 테이블(CSV/JSON)과 연결하여 플레이어의 상호작용에 따라 음성이 재생되도록 구성합니다.
6. 기술적 한계와 2026년 기준 주요 동향
상업적 제작 환경에서 음성 복제 기술을 검토할 때에는 기술적 제약 사항과 최신 산업 법적 동향을 명확히 이해해야 합니다:
언어 지원의 한계
Genny의 공식 프리셋 음성 라이브러리는 100개 이상의 언어를 지원했으나, 사용자 맞춤형 음성 복제 기능은 영어에 국한되었습니다. 영어 샘플로 학습된 복제 음성에 한국어나 타 언어 텍스트를 입력하면 심각한 음소 왜곡과 뭉개짐이 발생하여 다국어 로컬라이제이션에 직접 활용할 수 없었습니다.
2026년 서비스 중단 및 법적 판례
Lovo.ai 플랫폼과 관련하여 반드시 숙지해야 할 중요한 사실은 운영 현황의 변화입니다. 2026년 5월 27일, LOVO, Inc.는 미국 뉴욕 남부 파산법원에 **미국 연방 파산법 제7조(Chapter 7 청산형 파산)**를 신청(사건 번호 1:26-bk-11249)하였으며, 이후 genny.lovo.ai를 포함한 웹 서비스가 전면 중단되었습니다.
이러한 청산의 배경에는 전문 성우들이 제기한 대규모 연방 집단 소송(Lehrman v. Lovo, Inc.)이 있었습니다. 외주 플랫폼에서 '연구 목적'으로 수집된 성우들의 녹음 샘플이 성우들의 사전 인지나 동의, 정당한 보상 없이 상업용 AI 음성 모델로 제작 및 판매된 사실이 드러난 사건입니다. 이 판례는 인공지능 학습 데이터의 계약 위반과 음성 퍼블리시티권(Right of Publicity)에 관한 엄격한 법적 책임 기준을 정립했습니다.
현재 개발자를 위한 실무 권고사항
- 명확한 서면 음성 라이선스 체결: 성우나 화자의 음성을 복제하기 전에 AI 모델 학습 범위, 상업적 배포 권한, 로열티 보상 조건을 명시한 정식 계약을 체결해야 분쟁을 예방할 수 있습니다.
- 단일 클라우드 종속성 탈피: 특정 독점 SaaS 도구의 서비스 중단 위험에 대비하여, 원본 녹음 파일, 발음 사전, 대사 스크립트는 항상 자체 로컬 저장소에 체계적으로 백업 및 관리해야 합니다.
- 활성 대체 플랫폼 검토: 현재 합법적이고 안전한 음성 복제 파이프라인을 구축하려는 팀은 화자의 명시적 동의 확인 프로토콜을 갖춘 ElevenLabs(즉각 복제 및 전문 고정밀 복제 지원)나 게임 엔진에 최적화된 Resemble AI(저지연 API 및 위변조 방지 워터마크 지원)를 고려할 수 있습니다. 데이터의 완전한 사내 보안이 요구되는 프로젝트라면 RVC(Retrieval-based Voice Conversion)나 GPT-SoVITS 등 오픈소스 기반의 자체 온프레미스 파이프라인 구축을 권장합니다.