Lovo Genny에서 음성 샘플을 녹음하고 맞춤형 AI 보이스 클론을 보정하는 방법

Lovo.ai Genny에서 맞춤형 AI 보이스 클론(Voice Clone)을 제작하는 작업은 두 가지 핵심 단계로 이루어졌습니다. 첫째는 1~2분 분량의 잡음 없는 고품질 음성 샘플을 녹음하여 업로드하는 것이고, 둘째는 Genny의 멀티트랙 동영상 편집기 타임라인에서 피치(음높이), 속도(Tempo), 무음 구간(Pause), 발음 사전(Pronunciation)을 정밀하게 캘리브레이션(보정)하는 과정입니다. 이 워크플로는 영상 제작자, 마케터, 교육자가 매번 스튜디오 녹음을 진행하지 않고도 일관된 브랜드 보이스를 효율적으로 생성할 수 있도록 지원했습니다.

그러나 현재 이 도구를 검토하는 콘텐츠 제작자는 업계의 결정적인 변화를 인지해야 합니다. 2026년 5월, Lovo, Inc.는 무단 음성 복제를 둘러싼 대규모 집단소송(뉴욕 남부 연방지방법원의 Lehrman & Sage v. Lovo, Inc.)의 여파로 미국 연방파산법 제7장(Chapter 7)에 따른 파산 청산을 신청했으며, 이로 인해 공식 웹사이트 lovo.ai와 Genny 서비스는 완전히 운영을 중단했습니다. 따라서 Genny의 녹음 및 보정 원리를 파악하는 것은 신경망 음성 합성의 기술적 기준을 이해하는 동시에, 음성 저작권 준수 요건과 현재 활용 가능한 대체 도구를 파악하는 데 매우 중요한 실무 지침이 됩니다.

1. 고품질 음성 샘플 준비 및 녹음 기준

신경망 보이스 클로닝 모델의 품질과 자연스러움은 학습용 입력 데이터의 음향적 순도에 절대적으로 좌우됩니다. Genny의 알고리즘은 오디오 샘플에서 고유한 음색, 운율, 주파수 분포, 호흡 간격을 분석하여 음성 벡터를 생성합니다. 공간 반향음이나 배경 잡음, 디지털 클리핑이 포함된 오디오를 입력하면 인공지능이 이를 모델의 영구적인 특성으로 학습하게 됩니다.

음향 환경 제어 및 하드웨어 구성

• 음향 흡음 환경: 벽면이 단단하거나 타일, 대형 창문이 있는 방은 반사음이 발생하므로 피해야 합니다. 카펫이 깔려 있고 두꺼운 커튼이 있는 작은 서재나 옷이 가득 걸린 드레스룸을 활용하면 자연스러운 흡음 효과를 얻어 펄럭이는 에코(Flutter Echo)를 효과적으로 제거할 수 있습니다.
• 마이크 선택: 오디오 인터페이스에 연결하는 지향성(단일지향성/Cardioid) 콘덴서 마이크 또는 방송용 다이내믹 마이크를 사용하십시오. 노트북 내장 마이크나 스마트폰 핸즈프리, 블루투스 무선 이어폰은 극심한 디지털 압축 노이즈와 대역폭 손실을 유발하므로 절대 권장하지 않습니다.
• 마이크 위치 및 발성 요령: 마이크 캡슐과 입 사이의 거리는 15~20cm(6~8인치)를 일정하게 유지합니다. 파열음(‘ㅍ’, ‘ㅂ’, ‘ㅌ’ 발음 시 튀는 공기)을 차단하기 위해 반드시 팝 필터(Pop Filter)를 장착하고, 마이크를 입 정면이 아닌 45도 각도로 비스듬히 배치하여 치찰음과 거친 호흡 유입을 방지합니다.
• 게인 및 레벨 모니터링: 입력 게인을 조절하여 음성 최대 피크가 -6 dB에서 -3 dB 사이에 위치하도록 하고, 평균 음량(RMS)은 -23 dB에서 -18 dB를 유지합니다. 0 dB를 초과하는 디지털 클리핑 왜곡은 파형을 파괴하므로 철저히 방지해야 합니다.

샘플 분량 및 연기 일관성

• 권장 녹음 시간: Genny의 인스턴트 보이스 클로닝은 최소 1분의 정제된 음성을 요구하며, 1~2분 분량이 가장 안정적인 결과물을 도출합니다. 3분을 초과하는 긴 오디오를 입력할 경우 추가적인 품질 향상이 미미하며, 오히려 음조 편차로 인해 모델 안정성이 저하될 수 있습니다.
• 톤의 일관성: 최종 콘텐츠에서 의도하는 발화 톤과 속도, 에너지를 그대로 유지하며 녹음해야 합니다. 기업 홍보용 영상이라면 차분하고 신뢰감 있는 톤을, 소셜 미디어용 콘텐츠라면 친근하고 생동감 있는 톤을 일정하게 유지합니다. 한 샘플 내에서 속삭임과 고함을 섞어 녹음해서는 안 됩니다.
• 대본 리딩: 모음과 자음이 고르게 분포된 문장을 낭독하고, 문장 부호(의문문, 평서문)를 자연스럽게 살려 읽습니다. 헛기침이나 입술 부딪히는 소리, 종이 넘기는 소리가 들어가지 않도록 주의합니다.

2. Genny에서 샘플 업로드 및 보이스 모델 생성

음성 녹음 및 잡음 편집을 완료한 후, 제작자는 Genny 웹 인터페이스를 통해 보이스 모델을 생성했습니다.

1. 파일 포맷 규격: 편집을 마친 오디오는 무손실 WAV 포맷(16비트 또는 24비트, 44.1 kHz 또는 48 kHz) 또는 고음질 MP3 포맷(192 kbps 이상)으로 내보냅니다. 배경 음악이나 다른 사람의 목소리가 섞이지 않아야 합니다.
2. 보이스 클로닝 메뉴 진입: Genny 편집기에서 목소리 선택 패널로 이동한 후 Voice Cloning 또는 Create Custom Voice를 클릭합니다.
3. 오디오 등록: 사전에 외부에서 편집된 전문 오디오 파일을 업로드하거나, 브라우저 내장 녹음기를 통해 직접 녹음합니다. 사전 정제된 스튜디오 오디오를 업로드하는 것이 웹 브라우저 직접 녹음보다 항상 뛰어난 결과를 제공합니다.
4. 메타데이터 지정: 보이스 프로필의 이름을 지정하고, 화자의 성별 및 기본 언어/억양 태그(예: English - US, English - UK 등)를 설정하여 언어별 음소 매핑을 최적화합니다.
5. 권리 확인 및 동의: 업로드하는 음성이 본인의 소유이거나, 화자로부터 명시적인 상업적 권리 양도 동의를 받았음을 확인하는 약관에 동의합니다.
6. 생성 및 모델 추출: 제출을 완료하면 Genny의 인공신경망이 음향 특성을 추출하여 통상 1~3분 내에 개인 라이브러리에 맞춤형 보이스를 생성합니다.

3. 타임라인 상의 정밀 캘리브레이션 기법

기본 생성된 보이스 클론은 복잡한 문장 구조에서 다소 어색한 억양을 보일 수 있습니다. Genny는 타임라인 상에서 합성된 음성을 정밀하게 다듬을 수 있는 보정 도구들을 제공했습니다.

피치(Pitch) 및 발화 속도(Speed) 조절

• 피치 미세 조정: 텍스트 블록 설정 패널에서 피치 슬라이더를 조정합니다. 복제된 음성이 지나치게 둔탁하거나 기계적인 공명이 느껴질 경우, 피치를 2%~5% 상향 조절하여 전달력과 선명도를 높일 수 있습니다. 중후한 다큐멘터리 해설 톤을 원할 때는 피치를 약간 낮춥니다.
• 속도 제어: 발화 속도는 0.5배속에서 2.0배속까지 조절 가능합니다. 유튜브 영상이나 마케팅 콘텐츠에서는 속도를 1.05배속에서 1.1배속으로 소폭 올려 경쾌한 리듬감을 부여하고, 전문 교육 강좌에서는 1.0배속 또는 0.95배속으로 설정하여 정보 전달력을 극대화합니다.

커스텀 무음(Pause) 삽입과 문장 부호 제어

• 밀리초 단위 포즈 삽입: 합성 음성은 문장 사이의 호흡 간격이 부족해 숨 가쁘게 들리는 경향이 있습니다. Genny는 단어 사이에 사용자 지정 무음 마커(Pause)를 삽입할 수 있도록 지원했습니다. 쉼표에는 200~300ms, 마침표나 단락 전환에는 500~800ms의 포즈를 지정하여 자연스러운 호흡을 모사합니다.
• 문장 부호 활용: 말줄임표(...)를 사용하여 문장 끝 음정이 급격하게 떨어지는 현상을 방지하거나, 대시(—) 기호를 통해 자연스러운 생각 전환의 틈을 형성합니다.

발음 사전(Pronunciation Editor)

• 전문 기술 용어, 브랜드 이름, 영어 약어는 텍스트 음성 변환 엔진이 잘못 발음하기 쉽습니다.
• Genny의 발음 사전을 활용하면 특정 단어에 대해 음소 기호나 대체 발음(예: "SaaS"를 "sass"로 치환)을 등록할 수 있으며, 이 규칙은 전체 프로젝트에 일괄 적용되어 전문 용어 발음의 정확성을 보장합니다.

멀티트랙 동기화 및 오디오 더킹(Audio Ducking)

• Genny 멀티트랙 타임라인에서 보이스 클론 트랙을 비디오 영상 클립, 배경음악, 효과음 트랙과 정렬합니다.
• 오디오 더킹 기능을 활성화하여 내레이션이 재생되는 동안 배경음악 볼륨을 자동으로 10~15 dB 낮추고, 말이 끝나는 지점에서 서서히 복원하여 목소리가 묻히지 않도록 조정합니다.

4. Lovo.ai 서비스 종료 및 Lehrman v. Lovo 판례의 교훈

Genny의 기능은 올인원 콘텐츠 제작에 큰 편의성을 제공했으나, 이후 발생한 심각한 법적 분쟁과 파산 사태는 AI 음성을 활용하는 모든 제작자에게 중대한 교훈을 남겼습니다.

파산 청산과 서비스 폐쇄

2026년 5월 27일, Lovo, Inc.는 미국 뉴욕 남부 연방파산법원에 미국 연방파산법 제7장(Chapter 7)에 따른 파산 청산 절차를 신청했습니다(사건 번호: 26-11249). 이에 따라 회사는 모든 영업 활동을 영구 중단했고, 서버 인프라 해체와 함께 공식 도메인인 lovo.ai 접속이 차단되었으며, 이용자의 프로젝트와 보이스 모델도 영구적으로 소멸했습니다.

Lehrman & Sage v. Lovo, Inc. 집단소송

이러한 파산의 직접적 원인은 전문 성우 Paul Skye Lehrman과 Linnea Sage가 제기한 집단소송(사건 번호: 24-CV-3770, S.D.N.Y.)이었습니다. 원고들은 Lovo의 직원이 프리랜서 플랫폼에서 '학술 연구 목적'이라며 녹음 샘플을 의뢰한 뒤, 실제로는 동의 없이 Genny의 AI 상업용 음성 모델을 학습시키는 데 사용하고 가명(예: "Kyle Snow", "Sally Coleman")으로 판매했다고 주장했습니다.

2025년 7월 연방지방법원이 내린 주요 판결 요지는 다음과 같습니다:

• 연방 저작권법의 한계: 법원은 연방 저작권법이 고정된 실제 음성 녹음물 자체를 보호할 뿐, 추상적인 목소리의 음색이나 모방 자체까지 보호하지는 않는다고 판단하여 일부 연방 저작권 및 상표권 청구를 기각했습니다.
• 계약 위반 및 퍼블리시티권(인격권) 침해 인정: 그러나 법원은 계약 위반과 뉴욕주 민권법(New York Civil Rights Law) 제50조 및 제51조에 따른 퍼블리시티권 침해 주장을 정당한 것으로 인정했습니다. 타인의 목소리를 AI 학습에 활용하여 상업적 복제 음성을 지속적으로 생성·판매하는 행위는 개인의 정체성과 인격권에 대한 명백한 무단 침해에 해당한다고 판시했습니다.
• 소송 중단과 실무적 경각심: 회사의 파산 신청으로 소송은 법적으로 중지되었으나, 이 판결은 명시적인 서면 상업적 동의가 없는 음성 복제는 중대한 법적 배상 책임으로 이어진다는 명확한 선례를 남겼습니다.

5. 현재 제작자가 활용 가능한 주요 대체 플랫폼

Lovo Genny의 폐쇄에 따라 고품질 보이스 클로닝 워크플로가 필요한 제작자는 현재 안정적으로 운영되며 법적 라이선스 체계가 완비된 플랫폼을 선택해야 합니다:

보이스 클로닝을 성공적으로 수행하기 위해서는 흡음 처리가 완비된 환경에서의 정확한 마이크 녹음과 타임라인 보정을 준수하는 것은 물론, 반드시 서면화된 상업적 이용 동의서와 원본 오디오 백업을 로컬에 보관하는 체계적인 관리가 필수적입니다.

참고 자료

• New York Court Tackles the Legality of AI Voice Cloning | Insights | Skadden, Arps, Slate, Meagher & Flom LLP
• Instant Voice Cloning | ElevenLabs Documentation
• Lehrman v. Lovo Inc. | Loeb & Loeb LLP