로컬 AI 음성 복제, ElevenLabs 없이 내 컴퓨터에서 내 목소리 만들기

내레이션 하나 넣자고 매번 마이크 앞에 다시 앉아본 사람은 그 피곤함을 압니다. 톤이 조금만 어긋나도 처음부터 다시 녹음하고, 그게 싫어서 유료 음성 서비스를 결제하면 분량만큼 요금이 빠져나가죠. 그런데 이 수고를 통째로 덜어주는 방법이 생겼어요. 인터넷 연결도, 매달 나가는 구독료도 없이 내 컴퓨터 안에서 내 목소리를 그대로 복제하는 겁니다. 핵심만 먼저 말하면 Voicebox라는 무료 오픈소스 앱과 그 안의 Chatterbox 엔진이면 끝나요. 한 번 세팅해두면 그다음부터는 글자만 넣어도 내 목소리가 알아서 읽어줍니다.

성우 섭외도, 매번 재녹음도 없이

가장 크게 달라진 건 반복 노동이 사라진다는 점입니다. 예전에는 영상 자막을 음성으로 바꾸려면 직접 읽어 녹음하거나, 일레븐랩스(ElevenLabs) 같은 클라우드 서비스에 돈을 내고 맡겨야 했어요. 전자는 시간이 들고 후자는 돈이 듭니다. 로컬 음성 복제는 둘 다 비켜갑니다. 모델을 한 번 받아두면 그 뒤로는 전기료 말고 드는 게 없고, 대본이 수정돼도 그 부분만 다시 입력하면 같은 목소리로 다시 읽어줘요.

내 목소리를 입히는 과정도 부담이 없습니다. 제로샷 음성 복제(zero-shot voice cloning)라고 부르는 방식인데, 길게 학습시킬 필요 없이 10초에서 30초 정도 깨끗한 음성 샘플 하나면 충분해요. 모델이 그 샘플에서 목소리의 특징을 뽑아내고, 그다음부터는 어떤 문장을 넣어도 내 목소리로 읽어줍니다. 몇 시간씩 녹음해 며칠 학습시키던 시절과는 체감이 완전히 달라요.

엔진을 골라 쓰는 재미, Voicebox

Voicebox는 제이미 파인(Jamie Pine)이 만든 오픈소스 데스크탑 앱입니다. 흩어져 있던 최신 음성 모델을 한 앱에 모아두고, 드롭다운에서 엔진만 바꿔 끼우게 해주는 게 매력이에요. 모델마다 따로 환경을 잡고 명령어를 외울 필요가 없습니다. 무료에 오픈소스라 부담 없이 깔아볼 수 있고, 무엇보다 음성 데이터가 내 컴퓨터 밖으로 나가지 않아요.

항목	내용
가격	무료, 오픈소스 (깃허브 jamiepine/voicebox, 2026년 4월 기준 스타 2만 개 이상)
동작 방식	100% 로컬 처리, 음성 데이터가 외부로 나가지 않음
번들 엔진	Chatterbox, Kokoro, Qwen3-TTS, LuxTTS, TADA 3B 등 일곱 개
지원 언어	23개 언어 (한국어 포함)
운영체제	macOS, Windows (Linux는 소스 빌드)

직접 만져보면 엔진마다 성격이 달라서 고르는 재미가 있습니다. 내 목소리를 복제하려면 Chatterbox처럼 클로닝을 지원하는 엔진을 고르면 되고, 내 목소리가 아니라 깔끔한 기본 내레이션이 필요할 때는 Kokoro를 씁니다. Kokoro는 복제 기능은 없지만 용량이 가볍고 기본 목소리 54종의 발음이 또렷해요. 작업 성격에 맞춰 엔진을 갈아 끼우다 보면 상황별로 손에 맞는 조합이 생깁니다.

유료를 안 써도 되는 이유, Chatterbox

내 목소리 복제의 실제 주인공은 Chatterbox입니다. 음성 AI 회사 Resemble AI가 공개한 오픈소스 모델이에요. Resemble AI는 자체 블라인드 평가에서 Chatterbox가 일레븐랩스보다 더 선호됐다고 밝혔습니다. 회사 측 주장이라 그대로 다 믿을 필요는 없지만, 공짜 모델이 유료 1위 서비스와 비교 선상에 올랐다는 것만으로도 분위기가 바뀐 셈이에요. 라이선스도 MIT라 상업적 제품에 넣거나 직접 고쳐 쓰는 것까지 허용됩니다.

단순히 또박또박 읽기만 하는 것도 아닙니다. exaggeration이라는 값으로 감정의 과장 정도를 조절할 수 있어서, 같은 문장이 담담하게도 격앙되게도 읽혀요. 한국어를 포함해 23개 언어를 지원하고, 앱이 번거로우면 파이썬에서 pip install chatterbox-tts 한 줄로 설치해 직접 돌릴 수도 있습니다. 클릭으로 끝내고 싶으면 Voicebox, 내 손으로 파이프라인을 짜고 싶으면 직접 설치, 이렇게 취향대로 가면 됩니다.

직접 써보고 건진 팁 몇 가지

먼저 샘플 품질이 결과를 거의 다 결정합니다. 복제용 음성 샘플은 에어컨 소리나 울림이 없는 조용한 곳에서, 평소 말하는 톤으로 또박또박 녹음하세요. 화려한 문장보다 10초짜리 깨끗한 음성 하나가 훨씬 낫습니다. 샘플이 지저분하면 아무리 좋은 엔진도 어색한 목소리를 내놓아요.

엔진은 가벼운 것부터 시작하는 편이 마음이 편합니다. 모델 용량이 가벼운 Kokoro는 350MB 수준이지만 큰 모델인 TADA 3B는 8GB까지 가요. 처음부터 무거운 모델을 받기보다 가벼운 엔진으로 감을 잡고, 품질이 아쉬울 때 큰 모델로 올라가면 시간과 저장 공간을 아낄 수 있습니다. 속도가 답답하면 그래픽카드를 확인해보세요. 엔비디아 CUDA는 물론 애플 실리콘의 Metal, AMD ROCm, 인텔 Arc까지 가속을 지원해서, 맥북이라면 별도 그래픽카드 없이도 꽤 쾌적합니다. CPU만으로도 돌아가긴 하지만 느린 건 감수해야 해요. 마지막으로 본 작업 전에는 꼭 짧은 문장으로 먼저 테스트하세요. 언어나 문장에 따라 품질이 들쭉날쭉할 수 있어서, 한 줄 뽑아 들어보고 들어가면 헛고생을 줄입니다.

쓰기 전에 알아둘 점

가장 중요한 건 목소리의 주인입니다. 음성 복제는 본인 목소리이거나 명확히 동의를 받은 목소리에만 써야 해요. 남의 목소리를 허락 없이 복제하면 사칭이나 딥페이크 문제로 이어질 수 있고, 이건 기술이 아니라 책임의 문제입니다. 도구가 쉬워질수록 이 선은 더 분명히 지켜야 합니다.

로컬로 두는 또 다른 이유는 안정성이에요. AI 도구를 클라우드 서비스에만 맡기면 어느 날 갑자기 막히는 일이 생깁니다. 실제로 바이브코딩에 쓰던 모델이 사흘 만에 막힌 일도 있었죠. 모델을 내 PC에 두면 요금 정책이 바뀌거나 서비스가 닫혀도 흔들리지 않습니다. AI가 수고를 덜어주되, 그 도구가 내 손안에 있을 때 비로소 마음이 놓이는 셈이에요.

자주 묻는 질문

정말 완전히 무료인가요? Voicebox와 Chatterbox 모두 오픈소스라 소프트웨어 사용료는 없습니다. 드는 비용은 모델을 돌리는 내 컴퓨터의 전기료와 하드웨어뿐이에요. 클라우드처럼 쓴 만큼 요금이 누적되지 않습니다.

상업적으로 써도 되나요? Chatterbox는 MIT 라이선스라 상업적 제품에 넣어도 됩니다. 다만 복제 대상 목소리에 대한 권리와 동의는 별개의 문제이니 그 부분은 반드시 확인하세요.

인터넷이 꼭 필요한가요? 처음 모델 파일을 내려받을 때만 필요합니다. 한 번 받아두면 그다음부터는 오프라인에서도 음성을 만들 수 있어요.