방송 소리와 짧은 클립
이런 일을 도와드려요.
Mac에서 마이크 잡음을 줄이고, 말할 때는 배경음악이 알아서 작아집니다. 방금 지나간 15초나 30초를 바로 남길 수 있습니다.
- 잡음 줄이기·음성 필터
- 말할 때 작아지는 BGM
- 15초·30초 클립
설치와 출시 일정
스푼 승인 후 Mac 버전부터 출시합니다. 출시 소식은 이메일로 받아 보실 수 있습니다.
macOS 26 이상 · Apple Silicon. Windows 버전은 준비 중입니다.
지금까지 만든 것
- Mac 마이크와 가상 케이블 연결확인
- 목소리에 맞춰 배경음악 줄이기완료
- 자막이 들어간 영상 클립 만들기확인
기술과 구조마이크에서 방송, 그리고 클립까지.구조 살펴보기
세 단계로 보는 동작 원리
잡음 제거부터 방송 믹싱과 자막 클립까지, 하나의 오디오 흐름으로 이어집니다.
Tract에서 480프레임씩 신경망을 실행하고 잔향·목소리 필터를 적용합니다. 전용 작업자가 계산을 맡아 장치 콜백과 무거운 모델 처리를 분리합니다.
마이크와 AI 음성의 RMS를 기준으로 BGM의 크기를 부드럽게 바꿉니다. 최종 리미터를 거친 마스터 출력은 BlackHole 또는 가상 케이블로 이어집니다.
로컬 Whisper와 Silero가 음성과 발화 구간을 분석합니다. 네이티브 인코더나 실제 동작을 확인한 FFmpeg 경로가 영상을 만들고 완료된 작업에 맞춰 진행률을 표시합니다.
Tract에서 480프레임씩 신경망을 실행하고 잔향·목소리 필터를 적용합니다. 전용 작업자가 계산을 맡아 장치 콜백과 무거운 모델 처리를 분리합니다.
보안과 설계 원칙
오디오 콜백과 계산 분리
Bounded SPSC · Preallocated buffers장치 입출력은 미리 할당한 메모리와 원자적 상태를 사용하고, 신경망 작업자는 용량이 정해진 큐로 연결합니다.
로컬 오디오와 GPU 음성
Rust / Tract CPU · CUDA / TensorRT마이크·BGM·클립은 로컬에서, 선택형 CosyVoice3 합성은 인증된 별도 GPU 서버에서 처리합니다. GPU 응답 기록은 Azure T4 기준입니다.
기기별 처리 경로
Apple Silicon · macOS 26+Mac의 가상 케이블 출력과 자막 클립을 확인했습니다. Windows·RTX 기기와 영상 인코더 호환성, 전체 지연 목표는 추가 검증 단계입니다.