인공지능 음성 합성 기술로 8만~10만 단어에 달하는 장편 오디오북을 제작할 때, 가장 흔히 직면하는 실패 원인은 두 가지입니다. 20분 이상 청취 시 음색의 일관성이 무너지는 '음성 표류(Voice Drift)' 현상과, 낭독 전반이 지나치게 단조롭거나 반대로 감정 기복이 제어 불가능하게 튀는 '호흡·감정 템포의 붕괴'입니다. ElevenLabs는 텍스트 프롬프트로 고유한 인공 음성을 창작하는 Voice Design과, 장편 낭독의 멀티캐스팅 및 타임라인 편집에 특화된 **ElevenCreative Studio(구 Projects)**를 통해 이 문제를 체계적으로 해결합니다.
본 가이드에서는 전문 오디오북 프로듀서와 독립 출판 작가들이 현장에서 검증한 캐릭터 캐스팅, 음향 슬라이더 조율, 유기적 호흡 제어, 무손실 마스터링의 전 과정을 상세히 정리합니다.
1. 음성 아키텍처: Voice Design과 보이스 클로닝의 전략적 분담
장편 오디오북은 음향의 일관성, 상업적 저작권, 음색의 다양성을 동시에 만족해야 합니다. ElevenLabs 작업 흐름에서 배역별 생성 방식을 올바르게 선택하는 것이 프로젝트의 완성도를 좌우합니다.
+--------------------------------------------------------------------------+
| 오디오북 배역 설계 및 캐스팅 구조 |
+--------------------------------------------------------------------------+
| 메인 내레이터 (전체 서사 중심) 조연 및 군상극 대사 배역 |
| - 방식: Professional Voice Cloning - 방식: Voice Design (텍스트 기반 |
| (PVC) 또는 공식 검증 PVC 음성 인공 음성 생성) |
| - 장시간 청취에도 무너지지 않는 안정성 - 프롬프트당 3개 샘플 동시 생성 |
| - 수십 시간 분량 다권 시리즈 톤 유지 - 방언, 연령대, 성격 세밀 지정 |
| - 서사의 중심축 역할 - Guidance scale: 25% - 40% 권장 |
+--------------------------------------------------------------------------+
|
v
+--------------------------------------------------------------------------+
| ELEVENCREATIVE STUDIO (장편 오디오 프로젝트) |
| - 원고 업로드(EPUB / DOCX / PDF) 및 목차 기반 챕터 자동 분할 |
| - 단락 내 다중 배역 분할(Multi-cast) 및 색상 태그 시각화 |
| - 발음 사전 연동(.pls 표준 사전 파일 / alias 치환 규칙) |
+--------------------------------------------------------------------------+
|
v
+--------------------------------------------------------------------------+
| 감정 호흡 및 연출 제어 엔진 |
| - 기본 슬라이더 기준점: Stability ~50% | Similarity ~75% | Speed 1.0 |
| - 극적 클라이맥스 구간은 단락별 Override settings 적용 |
| - 연출 태그([whispers] 등) 및 Actor Mode 육성 디렉팅 |
| - 테이크당 2회 무료 재생성 | 문장/구 단위 핀포인트 부분 재생성 |
| - 검수 완료 단락 잠금(Lock paragraph)으로 일괄 수정 사고 방지 |
+--------------------------------------------------------------------------+
|
v
+--------------------------------------------------------------------------+
| 마스터링 및 무손실 파일 익스포트 |
| - 자동 QA 재생성(볼륨 왜곡, 누락, 발음 이상 자동 감지 및 무료 재시도) |
| - 16-bit 44.1 kHz WAV 무손실 포맷 + ID3 메타데이터(도서명, 저자, ISBN) |
+--------------------------------------------------------------------------+
Voice Design을 활용해야 하는 이유
Voice Design은 자연어 설명문만으로 세상에 없던 새로운 인공 음성을 합성해 내는 기능입니다. 다음과 같은 작업에 최적화되어 있습니다:
- 명확한 개성이 필요한 소설 속 대화(예: 스코틀랜드 억양의 노년 약초상, 성격 급한 젊은 형사).
- 공개 보이스 라이브러리(Voice Library) 사용 시 발생할 수 있는 타 작품과의 음성 중복이나 저작권 조건 변경 리스크 회피.
- 단역 대사를 위해 매번 실제 성우를 섭외해 클로닝하지 않아도 되므로 제작비 대폭 절감.
Voice Design 프롬프트 작성 공식
경로는 Voices -> My Voices -> Add a new voice -> Voice Design입니다. 1회 생성 시 3가지 음성 후보가 생성되며, 비용은 미리듣기 텍스트("Text to preview")의 글자 수에 대해서만 1회분 차감됩니다. 일관된 음색을 얻으려면 다음 구조를 따르는 것이 좋습니다:
Native <언어 및 지역 방언>. <성별>, <연령대>. <오디오 품질 수준>.
Persona: <배역 및 성격 특성>. Emotion: <기본 감정 톤>.
<음색 질감, 공명 특성, 말하기 템포, 발음 특징에 관한 구체적 묘사>.
실전 프롬프트 예시:
- 노련하고 냉소적인 사립탐정:
Native English, American Pacific Northwest. Male, late 40s. Broadcast quality. Persona: cynical noir detective. Emotion: guarded, weary, observant. Deep gravelly timbre with close-mic proximity. Speaks with measured, deliberate pacing and low pitch variations, letting pauses carry weight. - 신경질적이고 예민한 젊은 연구원:
Native English, Received Pronunciation British. Female, early 30s. Studio quality. Persona: impatient archival researcher. Emotion: tense, intellectually hyperactive. Light, crisp, slightly breathless timbre with brisk cadence and sharp consonant articulation.
음성 설계 핵심 원칙
- Guidance Scale 조율: 프롬프트 준수율과 발화 자연스러움 사이의 균형을 잡습니다. 캐릭터 음성은 25%~40% 사이를 권장합니다. 60%를 초과하면 특이 음색에서 쇳소리나 금속성 아티팩트가 섞일 위험이 있습니다.
- 미리듣기 텍스트(Text to preview)의 일치성: 미리듣기 텍스트는 일종의 오디션 대본입니다. 차분한 노인 캐릭터를 만들면서 비명이나 급박한 문장을 넣어서는 안 됩니다. 해당 인물의 호흡과 문체에 맞는 2~3문장의 서술문을 배치해야 정확한 음색이 안착됩니다.
- 메인 내레이터 선정 전략: 대사 캐릭터에는 Voice Design이 탁월하지만, 10시간 이상 책 전체를 이끌어가는 3인칭 서술자에는 Professional Voice Clone(PVC) 혹은 라이브러리 내 공인 PVC를 권장합니다. 장시간 연속 재생 시의 안정성은 PVC가 독보적입니다.
2. ElevenCreative Studio에서 장편 프로젝트 구축하기
ElevenCreative Studio는 장편 오디오북과 다중 배역 오디오 제작을 위해 설계된 전용 워크스페이스로, 챕터 트리 관리, 문장 단위 배역 분할, 멀티트랙 편집을 지원합니다.
플랫폼 규격 및 제한 사항
원고를 불러오기 전, 플랫폼의 기술적 한계를 숙지해야 합니다:
- 챕터 수 제한: 프로젝트당 최대 500개 챕터.
- 단락 수 제한: 챕터당 최대 400개 단락.
- 단락당 글자 수 한도: 단락당 최대 5,000자.
- 프로젝트 생성 한도: Free 플랜 5개, Starter 20개, Creator 1,000개, Pro 플랜 3,000개.
원고 업로드 및 배역 지정 실무
- 원고 불러오기: Studio에서 Upload를 클릭하고 EPUB, DOCX 또는 PDF를 업로드합니다. 헤더 구조를 자동 분석하여 좌측 Chapters 사이드바에 각 챕터가 생성됩니다.
- 프로젝트 내 음성 별칭(Alias) 지정: Project Settings > Voices에서 각 음성 슬롯의 이름을 소설 속 등장인물 이름(예:
반스 경감)으로 변경합니다. - 단락 내 멀티캐스트 배역 할당: 소설은 한 단락 안에 서술과 대사가 혼재하는 경우가 많습니다.
- 마우스로 대사 문장을 드래그하여 선택합니다.
- 좌측 사이드바의 음성 드롭다운에서 해당 캐릭터 음성을 지정합니다.
- 해당 문장에 캐릭터 고유의 컬러 구체(Voice Orb)와 하이라이트 배경색이 적용됩니다.
- 단축키
Cmd+Opt+A(macOS) 또는Ctrl+Alt+A(Windows)를 누르면 챕터 전체의 캐릭터별 배역 컬러 배치를 즉시 확인할 수 있습니다.
3. 감정 템포 조율: 파라미터 기준점과 단락별 오버라이드
합성 오디오북에서 가장 경계해야 할 문제는 '단조로운 책 읽기'와 '제어되지 않는 감정 폭주'입니다. ElevenLabs는 비결정론적 모델이므로, 슬라이더 수치는 절대적인 강도가 아니라 생성 무작위성의 허용 범위를 결정합니다.
| 슬라이더 | 권장 기본값 | 극적 사건 / 고조된 갈등 | 비문학 / 차분한 해설 | 실제 음향 효과 |
|---|---|---|---|---|
| Stability (안정성) | 50% | 30% – 40% | 65% – 75% | 낮추면 풍부한 감정 진폭, 피치 변화, 숨소리가 반영됩니다. 높이면 차분해지지만 80%를 넘기면 로봇처럼 굳어집니다. |
| Similarity (유사도) | 75% | 70% – 75% | 75% – 85% | 원본 음성 특징을 유지하는 정도입니다. 원본 소스에 노이즈가 있다면 85%를 초과할 경우 잡음까지 복제됩니다. |
| Speed (말하기 속도) | 1.0 | 0.95(침통/압박) / 1.05(긴박) | 1.0 | 0.7~1.2 범위 지원. ±0.05 단위의 미세 조정만으로 음정 왜곡 없이 긴박감과 호흡을 바꿀 수 있습니다. |
| Style Exaggeration (스타일 과장) | 0% | 0% – 3%(극히 예외적) | 0% | 화자 스타일을 과장하지만 생성 지연과 불안정성을 유발합니다. 장편 오디오북에서는 0% 유지가 원칙입니다. |
| Speaker Boost (화자 부스트) | 활성화 | 활성화 | 활성화 | 연산 부하를 최소화하면서 화자 고유 특성을 미세하게 강화합니다. |
단락별 오버라이드(Override settings) 적용
한 장면의 격렬한 대립이나 오열을 처리하기 위해 전체 음성 설정을 변경해서는 안 됩니다.
- 해당 단락 또는 특정 문장을 선택합니다.
- 사이드바에서 Override settings를 켭니다.
- 해당 단락의 Stability를 30%~35%로 일시적으로 낮추어 목소리의 떨림과 격양된 톤을 유도합니다.
- 클라이맥스가 끝나면 다음 단락부터는 기본 50% 기준점을 유지하여 전체 서사의 톤을 일정하게 지켜냅니다.
4. 연출 디렉팅: 문장부호, 감정 태그, 그리고 Actor Mode
인공 음성에 인간다운 생명력을 불어넣기 위해 프로듀서들은 다음 세 단계의 디렉팅 기법을 결합합니다:
1단계: 문장부호와 휴지(Pause) 태그
- 말줄임표(
...): 망설임, 여운, 생각에 잠긴 묵직한 호흡을 연출합니다. - 줄표(
—): 말의 급작스러운 단절이나 급변하는 호흡을 유도합니다. - 대문자 표기(영단어): 찌그러짐 없이 특정 단어의 강세를 부각합니다.
- 휴지 태그(
<break time="1.0s" />): 0.1초에서 3.0초 사이의 의도된 정적을 부여합니다.제작상 주의사항: Eleven v4와 같은 최신 표현력 모델에서는 SSML break 태그를 과도하게 연속 배치할 경우 문장이 갑자기 빨라지거나 음성 결함이 생길 수 있습니다. 장면 전환의 긴 여백은 Studio 타임라인에서 수동으로 간격을 벌리는 방식을 권장합니다.
2단계: 연기 연출 태그 (Eleven v4 및 Eleven v3)
Eleven v4 모델은 대괄호 안에 들어간 동작 연출 태그를 기본적으로 이해합니다:
- 발화 제어 태그:
[whispers](속삭임),[sighs](한숨),[exhales](내쉬는 숨),[laughs](웃음),[starts crying](울먹임),[sarcastic](냉소). - 실제 적용 문장:
[frustrated sigh] "We spent three months gathering that evidence... and you left it in the car?" - 환경 효과음으로 오인되지 않도록 발성 행위를 정확하게 표현해야 합니다(예:
[wind]대신[whispers]사용).
3단계: Actor Mode (육성 직접 디렉팅)
중요한 대사가 여러 번 재생성해도 의도한 뉘앙스를 살리지 못할 때, Actor Mode가 결정적인 해결책이 됩니다:
- 대상 문장을 마우스로 선택합니다.
- 사이드바 AI Tools 메뉴에서 Direct speech with your voice를 선택합니다.
- 마이크로 직접 대사를 읽어 녹음하거나 가이드 오디오 파일을 업로드합니다.
- 프로듀서가 직접 억양, 호흡, 강세, 속도를 살려 시범을 보입니다.
- Generate를 누르면, ElevenLabs가 녹음된 가이드의 리듬과 감정 굴곡을 대상 합성 캐릭터의 목소리 톤에 그대로 입혀줍니다.
5. 발음 사전(Pronunciation Dictionaries)과 고유명사 통일
판타지, SF, 의학 전문 서적 등에서 등장인물 이름이나 학술 용어가 장마다 다르게 발음되면 독자의 몰입도가 완전히 깨집니다.
발음 사전 구성 및 규칙
Studio 툴바의 Pronunciations Editor에서 프로젝트 전역 사전을 연결할 수 있습니다. W3C 표준 .pls XML 파일을 업로드하거나 편집기에서 직접 규칙을 등록합니다:
<?xml version="1.0" encoding="UTF-8"?>
<lexicon version="1.0"
xmlns="http://www.w3.org/2005/01/pronunciation-lexicon"
alphabet="ipa" xml:lang="en-US">
<!-- 약어 치환 alias 규칙 -->
<lexeme>
<grapheme>UNCLOS</grapheme>
<alias>United Nations Convention on the Law of the Sea</alias>
</lexeme>
<!-- 국제음성기호(IPA) 강제 교정 규칙 -->
<lexeme>
<grapheme>Elysian</grapheme>
<phoneme>ɪˈlɪziən</phoneme>
</lexeme>
</lexicon>
모델별 발음 표기 특성
- Eleven v4: 본문 내에 슬래시로 감싼 국제음성기호(IPA)를 직접 지원:
The city of "/ˌsænfrənˈsɪskoʊ/" was foggy. - Eleven Multilingual v2: 소리 나는 대로 적은 표기나 사전 내
<alias>태그 치환이 가장 안정적입니다. - Eleven Flash v2: SSML
<phoneme>태그(CMU Arpabet 또는 IPA)를 지원합니다.
검색 우선순위: 사전은 위에서 아래로 순차 탐색하며 가장 먼저 일치한 규칙 하나만 적용됩니다. 복합 명사나 긴 단어를 단일 단어 규칙보다 위에 배치해야 합니다.
6. 제작 예산 방어와 품질 보증(QA) 워크플로
방대한 텍스트를 무작정 반복 생성하면 월간 크레딧이 순식간에 소진됩니다. 전문 스튜디오는 다음 안전장치를 통해 비용을 엄격히 통제합니다:
2회 무료 재생성(Regenerate) 규칙
Studio에서는 텍스트를 수정하지 않고, 배역 음성을 바꾸지 않으며, 음성 슬라이더를 건드리지 않은 상태라면 각 단락이나 선택 영역을 **2회까지 크레딧 차감 없이 무료로 재생성(Regenerate)**할 수 있습니다.
- 문장·단어 단위 국소 재생성(Inpainting): 100단어 분량의 단락에서 마지막 단어 하나만 발음이 뭉개졌다면 단락 전체를 다시 돌리지 마십시오. 끝부분의 단어들만 드래그하여 Regenerate를 누르면, 완벽히 녹음된 앞부분은 그대로 둔 채 문제 구간만 정밀하게 교체됩니다.
단락 잠금(Lock paragraph)과 버전 복원
- 승인 단락 보호: 마음에 드는 테이크가 나오면 즉시 자물쇠 아이콘(Lock paragraph)을 클릭하여 잠급니다. 잠긴 단락은 이후 전체 챕터 렌더링 시 실수로 덮어써지지 않습니다.
- 생성 히스토리 롤백: 새로 뽑은 테이크가 이전보다 마음에 들지 않을 경우, 사이드바의 Generation history를 열어 과거 생성된 모든 버전을 미리 듣고 원하는 테이크로 즉시 복원(Restore generation)할 수 있습니다.
일괄 익스포트 시 자동 결함 감지(Auto-regeneration)
Export 메뉴를 통해 챕터나 프로젝트 전체를 출력할 때, ElevenLabs의 자체 검수 엔진이 오디오를 자동 분석합니다:
- 볼륨 클리핑 및 왜곡
- 음색의 급격한 이탈
- 단어 누락이나 중복 발화
- 심각한 발음 결함 결함이 발견되면 시스템이 추가 크레딧 청구 없이 해당 구간을 최대 2회까지 자동으로 재합성하여 완성도를 높입니다.
7. 플랜 선택, 오디오 스펙 및 유통 플랫폼 기준
Audible(ACX), Apple Books 등 글로벌 오디오북 플랫폼은 44.1 kHz 샘플레이트, 192 kbps 이상의 MP3 또는 비압축 WAV, 균일한 RMS 음량을 규격으로 요구합니다.
오디오북 제작 관점의 플랜별 비교
| 플랜 등급 | 월 구독료 | 월 크레딧 제공량 | 출력 오디오 품질 | 오디오북 제작 적합성 |
|---|---|---|---|---|
| Free | $0 | 10,000 | 128 kbps MP3 | 비상업적 테스트 전용. 상업 유통 불가. |
| Starter | $6 | 30,000 | 128 kbps MP3 | 단편 맛보기용. 무손실 WAV 미지원. |
| Creator | $22 | 121,000 | 128 kbps MP3 / 변환 WAV | 중단편 소설(~2만 단어) 적합. PVC 슬롯 1개 제공. |
| Pro | $99 | 600,000 | 16-bit 44.1 kHz WAV 및 192 kbps MP3 | 업계 표준 플랜. 10만 단어 장편 1권 제작 및 재시도 버퍼 충족. |
| Scale / Business | $299 / $990 | 180만 / 600만 | 16-bit 44.1 kHz WAV (Ultra Lossless) | 출판사 다작 동시 제작 및 다중 캐릭터 양산. |
최종 마스터 익스포트 단계
- Project Settings > Export로 이동합니다.
- Volume Normalization을 체크하여 챕터 간 RMS 음량을 표준화합니다.
- 필수 ID3 메타데이터를 입력합니다: Title(도서명), Author(저자명), ISBN, Description(소개글).
- **Export as ZIP (Individual chapter files)**를 선택하여 챕터별로 명확하게 분할된 납품용 무손실 오디오 파일을 다운로드합니다.
오디오 프로듀서 종합 점검 체크리스트
- 사전 캐스팅: Voice Design으로 인물별 음성을 설계(Guidance Scale 25%~40%); 메인 내레이터에는 Professional Voice Clone 배치.
- 사전 어휘 구축: 본문 렌더링 전 인명, 지명, 특수 고유명사를 Pronunciations Editor에 등록 완료.
- 기준 파라미터 확립: 내레이션 기준값을 Stability 50%, Similarity 75%, Speed 1.0으로 고정하고 감정 장면은 Override로 대응.
- 대사 입체 연출: 감정 연출 태그를 적극 활용하고, 난이도 높은 대사는 Actor Mode 육성 녹음으로 호흡 고정.
- 프로젝트 보안: 검수된 단락은 즉시 Lock paragraph로 잠그고, 미세 수정은 영역 지정 후 2회 무료 재생성 혜택 활용.
- 무손실 마스터 납품: Pro 플랜 이상을 유지하며 16-bit 44.1 kHz WAV 포맷으로 메타데이터를 포함해 최종 익스포트.