Voicebox

Voicebox는 Qwen3‑TTS 모델을 사용하여 어떤 목소리든 합성하고 복제할 수 있는 오픈소스 데스크톱 앱입니다. Voicebox로 생성된 모든 것은 PC에서 로컬로 처리되므로, 토큰이나 유료 구독에 의존할 필요가 없습니다.

Qwen3‑TTS를 사용한 음성 복제 및 합성

Voicebox에서 Qwen3‑TTS의 기능을 사용하여 최대 30초의 참조 오디오로부터 몇 초 만에 목소리를 복제할 수 있으며, 이를 통해 톤, 음색, 억양을 높은 충실도로 재현할 수 있습니다. 참조 오디오를 사용하려면 먼저 음성 파일을 업로드하거나 마이크에서 직접 녹음해야 합니다. 그 후, 당신이 말한 것을 앱에 알려주거나 내장된 전사 기능을 사용하여 텍스트로 변환해야 합니다. 이 정보만으로 앱은 프로필을 저장하며, 이를 사용하여 다시 훈련할 필요 없이 오디오를 생성할 수 있습니다.

모든 목소리로 오디오 생성

프로필이 생성되면, 원하는 음성을 입력하면 Voicebox가 해당 오디오를 생성합니다. 예를 들어, 이는 번역을 생성할 때 당신의 어조를 유지하면서 다른 언어로 텍스트를 번역하는 데 유용합니다. 또한 재미있는 자작 더빙을 하거나 비디오 게임을 더빙할 수도 있습니다. 또한, 각 음성 프로필을 내보내어 다른 사람에게 보내면 그들이 자신의 PC에서 해당 프로필로 오디오를 생성할 수 있습니다.

Whisper와 오디오 캡처를 통한 전사

Voicebox Whisper를 네이티브로 통합하여 입력 오디오를 전사하고 생성된 음성과 텍스트를 정렬합니다. 타임라인에서 직접 텍스트를 편집하고 발음이 어떻게 변하는지 확인할 수 있어, 오류를 수정하거나, 일시 정지를 조정하거나, 동일한 복제 음성을 유지하면서 대화를 편집할 때 매우 유용합니다. 또한 시스템 오디오 캡처가 포함되어 있어 PC에서 나오는 소리(예: 게임이나 통화)를 녹음하여 음성을 복제하는 참고 자료로 사용하거나 오디오 장면의 기초로 사용할 수 있습니다.

로컬 API 및 음성 서버

그래픽 인터페이스를 넘어, Voicebox는 다른 프로젝트에 통합되도록 설계되었습니다. 게임, 앱 또는 AI 에이전트에서 음성 생성을 사용하기 위해 단 한 번의 클릭으로 시작할 수 있는 REST API와 로컬 서버를 제공합니다. 이 API를 통해 텍스트를 전송하고, 음성 프로필을 선택하며, 생성된 오디오를 표준 형식으로 받을 수 있습니다. 이를 통해 클라우드 서비스를 거치지 않고도 내레이션, 대화 또는 음성 알림을 자동화할 수 있습니다. 이 앱은 Tauri, Rust, Python으로 구축되어 있어 Electron 기반 솔루션에 비해 상대적으로 가볍고, 주요 하드웨어 요구 사항 없이 로컬 실행이 가능합니다. 그럼에도 불구하고 성능은 GPU/CPU와 Qwen3-TTS 모델이 기기에 어떻게 구성되어 있는지에 따라 달라질 것입니다. 모든 처리는 귀하의 장비에서 수행됩니다.

목소리로 이야기를 생성하세요

오디오 생성 외에도 Voicebox에는 목소리를 사용하여 이야기를 생성할 수 있는 섹션이 있으며, 그곳에서 이야기에서 일어나길 원하는 내용을 입력할 수 있습니다. 아이들을 즐겁게 해주기 위한 콘텐츠를 생성하거나, 다양한 목소리로 농담을 하는 데 이상적입니다.

Voicebox를 이용해본 경험

내 PC에서 Voicebox를 테스트할 때, 몇 초의 오디오만으로 목소리를 복제하고 프로필을 저장한 후 여러 텍스트 클립을 생성하여 타임라인에 작은 대화를 구성하는 것이 매우 쉽다는 것을 알 수 있었습니다. 그러나 더 많은 오디오를 추가하거나 더 현실적으로 들리도록 고급 음성 조정을 할 수 있는 기능이 부족합니다.

가장 좋아했던 점과 개선되어야 할 점

• 가장 마음에 들었던 점: 모든 클로닝 및 합성 처리가 로컬에서 이루어지며, 클라우드 및 구독이 필요하지 않다는 점.

• 개선하고 싶은 점: 목소리를 사용자 정의하고 여러 샘플을 사용하여 최종 생성된 오디오가 더 나아지도록 하는 것. 또한, PC의 성능에 따라 콘텐츠 생성에 몇 분이 걸릴 수 있습니다. 콘텐츠를 생성하는 데 사용할 수 있는 더 가벼운 모델이 있지만, 모델이 복잡할수록 결과가 더 좋습니다.

Voicebox는 다음과 같은 경우에 좋습니다.

✓ 클라우드 서비스에 의존하거나 구독료를 지불하지 않고 음성을 복제하고 음성을 생성하고 싶은 경우.

✓ 팟캐스트, 더빙, 게임 또는 AI 에이전트와 함께 작업하며 음성 장면을 편집할 타임라인 편집기가 필요한 경우.

✓ 다른 프로젝트에 통합할 수 있는 로컬, 개인, 개방형 솔루션을 선호하는 경우.

Voicebox를 다운로드하여 Qwen3‑TTS 및 Whisper를 지원하는 음성 합성 및 복제 스튜디오를 컴퓨터에서 완전히 실행해 보세요.