DiffSinger

ビートルズに始まり、バッハ、サティ、モーツァルトまで。「無限音楽機関」はどこまで来たのか、YouTube番組で話してきました(CloseBox) 画像
テクノロジー

ビートルズに始まり、バッハ、サティ、モーツァルトまで。「無限音楽機関」はどこまで来たのか、YouTube番組で話してきました(CloseBox)

無限音楽機関というのは、筆者が Claudeと一緒に作っている、音楽を無限に生成し続けるブラウザアプリ群の総称です。7月から取り組んできたことと現在地をまとめておきます。

くちパク&立体字幕も。DGX Spark、RTX 5090、4090の3台で分散処理する自作AIミュージックビデオ制作システムで時短を追求してみた(CloseBox) 画像
テクノロジー

くちパク&立体字幕も。DGX Spark、RTX 5090、4090の3台で分散処理する自作AIミュージックビデオ制作システムで時短を追求してみた(CloseBox)

前回は、リップシンクMV自動生成システム「LaViale」(ラヴィアーレ)を自作したという話をしましたが、今度はそれをどう改良していったかについてです。主に3点。分散化とアバター、そして立体字幕への対応です。

作曲からリップシンクMV制作までがローカルだけで完結するようになった。MiniMax H3、LTX 2.5、ACE-Step、Qwen 3.8 27BをiPhoneから連結し動かすワークフロー(CloseBox) 画像
テクノロジー

作曲からリップシンクMV制作までがローカルだけで完結するようになった。MiniMax H3、LTX 2.5、ACE-Step、Qwen 3.8 27BをiPhoneから連結し動かすワークフロー(CloseBox)

初音ミクが登場し、ボカロP(松尾P)となって以来の念願だった、リップシンク動画が、ついに俺史上最も手軽にできるようになりました。MiniMax H3とRTX 5090、そしてClaude Code with Fable 5のおかげ。

自分と妻の歌声をAIボーカルシンセ「DiffSinger」に進化させた。もうボイチェン不要。アルゴリズムベースの自動作曲ソフトとも統合(CloseBox) 画像
テクノロジー

自分と妻の歌声をAIボーカルシンセ「DiffSinger」に進化させた。もうボイチェン不要。アルゴリズムベースの自動作曲ソフトとも統合(CloseBox)

前回は、ゼロショットSVS(Singing Voice Synthesis、歌唱合成)の「SoulX-Singer」を妻の歌声で実験してみました。英語と中国語でしか使えないこのAIボーカルシンセに日本語をなんとか歌わせるところまではできました。では、次の段階へ。

  • 4件中 1 - 4 件を表示