配信用オーディオ・クリップ
こんなことができます。
Macでマイクの音を整え、話している間はBGMの音量を自動で下げます。直前の15秒・30秒をクリップとして保存できます。
- ノイズ除去・音声フィルター
- 声に合わせて音量が下がるBGM
- 15秒・30秒のクリップ
インストールとリリース予定
Spoonの承認後、Mac版からリリースします。リリースのお知らせはメールで受け取れます。
macOS 26以降 · Apple Silicon。Windows版は準備中です。
これまでにつくったもの
- Macのマイクと仮想ケーブルを接続確認
- 話し声に合わせてBGMを下げる完成
- 字幕付きの動画クリップを作成確認
技術と仕組みマイクから配信へ。そのままクリップへ。仕組みを見る
処理の流れ
3つのステップで見る仕組み
ノイズ除去から配信ミックス、字幕付きクリップまで、ひとつの音声経路でつなぎます。
Tractが480フレーム単位でモデルを処理し、残響や声のフィルターを適用します。専用ワーカーが計算を担当し、機器の入出力とニューラル処理を分けています。
マイクとAI音声のRMSをもとにBGMをなめらかに調整します。最終リミッターを通した出力は、BlackHoleや選択した仮想オーディオケーブルへつながります。
ローカルのWhisperとSileroが音声と発話区間を解析します。ネイティブまたは動作確認済みのFFmpegエンコーダーで動画を作り、処理の進み具合を表示します。
48 kHz · DeepFilterNet3 LL · RNNoise
Tractが480フレーム単位でモデルを処理し、残響や声のフィルターを適用します。専用ワーカーが計算を担当し、機器の入出力とニューラル処理を分けています。
設計に組み込んだ方針
セキュリティと設計方針
入出力と計算を分ける
Bounded SPSC · Preallocated buffers機器の入出力には事前確保したメモリーと原子的な状態を使い、ニューラルワーカーとは容量制限付きキューで接続します。
ローカル音声とGPU合成
Rust / Tract CPU · CUDA / TensorRTマイク・BGM・クリップはローカルで処理し、任意のCosyVoice3合成は認証済みの別GPUサーバーで行います。応答記録はAzure T4で取得しています。
機器ごとの処理経路
Apple Silicon · macOS 26+Macの仮想ケーブル出力と字幕クリップは確認済みです。Windows・RTXの実機、動画エンコーダーの互換性、全体の遅延目標は検証中です。