Sora 2が公開され、日本のiPhoneユーザーはおおいに遊んでいるようで何よりです。筆者は以前からやっているミュージックビデオ制作でSora 2を活用してみたので、そのやり方を書き留めておきます。
きっかけは、Sora 2で作った女性シンガーによる歌が思いのほかよかったこと。10秒だけで終わらせるのはもったいない。
これをSuno v5に読み込ませ、1曲丸ごと作ってもらうことから始めました。
Sunoのオーディオトラック読み込みはMP4でもいけるので、そのまま読み込み、Cover機能で完成させます。歌詞は、「優しい風に呼ばれて、心」までのフレーズをLyrics Editorに突っ込み、補作詞させます。
すると、初手から完成されたいい曲（2分40秒）が生まれてしまいます。
Sora 2の中の人が歌っているのは10秒だけ。残りの2分30秒をどうするか……。
Sora 2で作るしかないでしょう！ というわけで、Sora 2を駆使してミュージックビデオの素材作りを始めることにしました。
プロンプトの手がかりは必要なので、ChatGPTにストーリーボードを作ってもらいます。
歌詞を読み込んで、プロンプトを提案してもらいます。主人公の女性（歌ってる人）の一貫性はある程度あったほうがいいので、そのプロフィールもできるだけ詳細に入れておきます。
Sora 2ではリアルな人物のImaget to Videoは禁止されているので、一貫性を確保するにはこの方法しか今のところありません（もしくは著名人を使う→当然避ける）。
歌詞の内容にあったプロンプトと、主人公のプロフィールを合わせたものをSora 2に入力して作っていきます。
オリジナルの歌の部分だけはリップシンクしています（というか、元歌なので）そのままに。その前後をSora 2が作ったクリップの長さを調整しながら作っていきます。
Sora 2の制作本数については今のところ制限はないようですが、一つ気になるのはウォーターマーク。画面の左右にランダムに現れるのを消すことができません。
Soraアプリの中では表示されないのですが、ビデオ編集時には邪魔。そこは、クリップの拡大率を調整することで表示させないようにします。その分画面は粗くなるけれど今のところ仕方ありません。
筆者は月額3万円のProプランに入っているので、ウォーターマークは外して欲しいのですが、その辺りはこれからということなのでしょう。
合計29本のクリップを生成。4分50秒分を、延べ1時間くらいをかけて作りました。ただし、Sora 2では並行した生成が可能なので、実時間はもっと短いです。
あとは、歌詞の展開にクリップを位置合わせしていくだけ。
このようにして 「優しい風に呼ばれて」のミュージックビデオは完成しました。画像が粗い以外は、満足です。
使ったツールはSora 2、Suno v5、ChatGPT、そしてビデオ編集用のFinal Cut Proと最小限。
問題は、素材となったクリップにもそこそこいい曲が使われていて、それを中の人が歌っていること。
これらも生かしてあげたいなあと思ってしまうのです。無限ループになりそうでこわい……。
しかし、Veo 3もそうですが、動画生成AIで曲を作って歌えるということは、ボーカル入り作曲AIの能力がすでにあるということですよね。
Sunoの優位性がGoogleやOpenAIにひっくり返される日が来るかもしれません。
