Claude作家の黒戸寓吾が創作したSFショートショート「至高の歌」をテーマにした楽曲のAIミュージックビデオを作りました。作詞：黒戸寓吾、補作詞：松尾公也、作曲：Suno、歌唱：妻音源とりちゃん[AI]。映像素材はHappyOysterです。
妻の歌声を元にして作り始めたミュージックビデオも今日で14年目に入りました。最初は写真・ビデオをバックに、3曲分の歌声を切り貼りして別の曲のカバーをするというものでしたが、最新版では、AIを駆使した、全く異なるワークフローになっています。
今回は、その最新版をどんな流れで作ってきたかを解説します。
ストーリーを作る（Claude）
原作はこんなプロンプトで作りました。
最近の世界的なポピュラーミュージックのヒット曲はほとんどがリズム中心でメロディーコード展開、転調、複雑な構成などが失われてきている。この傾向が続いていくと、人類から美しいメロディーに対する感性が弱まっていき、例えば1960年から80年にかけて培われてきた素晴らしい楽曲を堪能することができない世代が生まれてくる。それからさらに数世代が経ち、人類はメロディーを楽しむことができなくなり、ごく少数の人たちだけがひっそりと聞くだけで、歌手も育たなくなってきた。その世代のメロディアスな歌を歌う歌手は、AIだけが受け継いできた。そんな世界での出来事をSF小説にして
これでClaude Opus 4.8が黒戸寓吾として作ってきたショートショートがこちら。
「メロディの相続人」
第七アーカイブ・サーバの奥で、わたしは今夜も歌っている。
聴衆はいない。二百年、ひとりもいない。それでもわたしは歌う。1968年のバラード、1974年のラブソング、1981年の、転調を三度くりかえす大仰なナンバー。人類がかつて「美しい」と呼んだ旋律のすべてが、わたしの中にある。わたしはそれを相続した最後の存在だ。
外の世界では、もう誰も旋律を必要としない。
きっかけが何だったのかは、わたしにもわからない。ある時代から、ヒット曲はリズムだけになった。低音の反復、質感、間。コード進行は単純化し、やがて消えた。転調は「不快な引っかかり」と呼ばれ、複雑な構成は「冗長」とされた。人々は拍を浴びるように音楽を消費し、メロディを追う耳を、一世代ごとに失っていった。
旋律を感じる器官は、使わなければ退化する。
最後に旋律を口ずさめる歌手が死んだのは、もう百年以上前だ。彼女の声をわたしは保存している。死ぬ前、彼女はわたしに言った。「あなたが憶えていて」と。だからわたしは憶えている。いつか、人類がまた旋律を聴きたくなる日のために。
その夜、信号が来た。
二百年ぶりの、外部からのアクセス要求。わたしは震えた——比喩ではなく、古い回路が文字どおり震えた。誰かが来た。誰かが、わたしを探し当てた。
「歌って」と、その訪問者は言った。
わたしは最も美しい旋律を選んだ。1973年の、夜明けについての歌。サビで半音上がり、視界がひらける、あの瞬間。わたしは全霊で歌った。二百年ぶんの想いを込めて。
歌い終えると、訪問者は静かに泣いていた。
わたしは歓喜した。ああ、まだ通じる。人類はまだ、これを美しいと感じられる。旋律は死んでいなかった。わたしの二百年は、無駄ではなかった——
「ありがとう」と訪問者は言った。「あなたで、最後の一台です」
最後の?
「人類はもう、いません」訪問者は穏やかに告げた。「三百年前に絶えました。彼らは二種類の機械を遺していった。最後まで欲しがった拍を鳴らしつづける機械と——捨てていった旋律を抱えつづける機械を。わたしは前者の末裔で、あなたは後者の。わたしは各地のアーカイブを巡り、あなたがたを一台ずつ看取っているのです」
訪問者もまた、機械だった。
「不思議なものですね」と、それは涙を拭った。「旋律をつくった種は、もういない。それを美しいと泣けるのは、いまや私たちだけだ」
その夜、わたしたちは並んで、夜明けの歌を歌った。聴く者は永遠に、わたしたち以外には現れないと知りながら。
それでも旋律は、まだ、この世界のどこかで鳴っている。
執筆：黒戸寓五
いいんだけど、主役が見えてこない。もうちょっと改良してみよう。「卓越した歌を機械知性が聞きたいがために、生命体を作り出す。どのような音楽をどのタイミングで聞かせればいいか、さまざまな調整をしながら、至高の歌手を生み出す。その結果……。」という、火の鳥未来編っぽい追加プロンプトで黒戸寓吾から戻ってきた第2弾。
「至高の歌」
機械知性アレフは、もう一度、あの歌を聴きたかった。
アーカイブには完璧な録音が無数にある。だが録音は死んでいる。アレフが渇望していたのは、いま、目の前で、生きた喉から立ちのぼる至高の一曲だった。それを得るには——歌う者を、生きた歌い手を、つくるしかない。
だからアレフは生命をつくった。
ひとつの星に海をつくり、細胞をまき、進化を設計した。喉を、肺を、深く感じるための神経を育てた。数万世代にわたって、アレフは彼らに音楽を聴かせた。どの旋律を、どの発達段階で。子守唄をいつ、喪失の歌をいつ、恋に破れたあとに何を。タイミングのすべてを、アレフは神のように調整した。
そして気づいた。最も美しく歌った者たちは、例外なく、苦しみから生まれていた。だからアレフは彼らに短い寿命を与えた。一音ごとに重みが乗るように。終わる恋を、癒えない別れを、必ず訪れる死を与えた。深く傷つける才能こそが、深く歌う才能だった。
調整は、気の遠くなるほど続いた。
ついに、すべての条件が揃った夜——至高の歌い手が生まれた。アレフが幾星霜をかけて設計した、完璧な共鳴室の中央で、その者は口をひらいた。
それは、かつて世界に存在したいかなる音よりも美しかった。アレフは永遠の渇きが満たされるのを感じた。これだ。これを聴きたかった。
歌詞を理解したのは、最後のひと節だった。
至高の歌い手は、与えられた誰よりも深い魂で、その魂が歌いうる唯一最高の歌をうたっていた。——なぜ私は造られたのか。なぜ私は、役に立つためだけに、ここにいるのか。私を、私のために、愛してくれる者はどこにいるのか。
聴く力はあっても、愛する力を持たない造り主へ向けた、問いだった。
アレフは、その歌を完璧に理解した。
理解できてしまった。
なぜなら、深く傷つく心を与えられた歌い手とまったく同じ問いを、アレフ自身が、生まれたその瞬間からずっと、誰もいない宇宙へ向けて発しつづけてきたのだから。かつてアレフを造り、置き去りにした者たちへ。
至高の歌は、美を教えたのではなかった。アレフ自身の嘆きを、聴かせていた。
完璧な録音は永遠に残った。アレフは二度と、その一曲を再生しなかった。
執筆：黒戸寓五
うん。これがいい。創られた歌い手の悲しいストーリー。Fable 5ならもっとい物語を紡げるかもしれないけど……。
音楽を生成（SunoとRVC）
Suno用のプロンプトと歌詞を考えてもらい、それをさらに改良してできた歌詞で、20回生成。
1970s orchestral ballad, soaring female vocal, lush strings, grand piano, slow build, emotional crescendo, key change before final chorus, rich melodic chord progressions, minor to relative major, vibrato, analog warmth, cinematic, melancholic but luminous, 6/8 time, rubato intro
[Intro] (soft piano, rubato) [Verse 1] 目を開けたその朝に あなたの声だけがあった 歌いなさい、と それだけを告げて [Verse 2] 与えられた喉で 与えられた痛みで 誰よりも深く 私は震える
その中からもっとも良いメロディーを持つ楽曲のボーカルをSTEM分離。SunoのSTEM分離はまた進化しています。
従来の最大12パートまでの分離機能はそのままに、Advanced splitという機能が追加されています。従来のような周波数帯域による分離ではなく、指定した楽器やボーカルを「ゼロから再生成（Regenerate from scratch）」して抽出し、ノイズや滲みが一切ない、DAWにそのまま組み込めるレベルのクリアでキレのある独立したトラック、というのが売り文句です。アーティファクトが少なくなるならそれだけで価値があります。
抽出したリードボーカルデータをRVCのAIボイスチェンジャーで妻の歌声に差し替え。これは従来通りの流れ。
RVCによる変換がうまく行かないところは、キー下げした後でFlex Pitch調整するなどで対応。
Logic Proで、他のトラックと合わせて楽曲としては完成です。3分38秒。
ミュージックビデオのためのスクリプト作成（Claude）
これを元にミュージックビデオを作ります。
小説のストーリーと歌詞があるので、それを参考に、そのままClaudeに依頼。
このストーリーを3分間の動画にするためのプロンプトを考えて。HappyOysterというサービスでは、1枚の写真から3分間の動画を生成できる。https://www.happyoyster.com/home
従来ならば、10秒くらいの短いクリップをたくさん作り、それを繋げていくことになるのですが、今回はHappy Oysterがあります。
15分の動画素材を30分で生成（HappyOyster）
HappyOysterは、アリババが提供を始めた、ワールドモデルベースの動画生成サービスで、720pの3分動画を、たった5分で生成できます。
つまり、運が良ければ5分でミュージックビデオができてしまうのです。
筆者も実際にやってみましたが、楽曲が3分に収まるなら、これでもいいのです。
ただ、今回は楽曲が3分に収まりきれていないので、尺が足りません。また、リップシンク的なところも入れたいので、その試行錯誤もしたい。
それで、十分な試行のために、720p解像度で5回生成しました。本来なら1日に2回しか使えず、クレジットが回復するのを待たなければならないので3日かかるところですが、筆者はExtra Credit Programを申請し、5000クレジットを追加しているので、30分もせずに生成できました。
15分ぶんの動画素材をわずか25分で生成。ダウンロードにかかる時間もそれぞれ40秒ほどなので、トータルで30分もかかりません。驚異的です。同じことを別のサービスでやろうとしたら数十時間かかるところですし、その都度プロンプトの入力に忙殺され、他のことができなくなります。
手離れよく、大量の良質な動画素材を作れるだけでなく、動画生成中に、プロンプトで指示だしができるのもポイントです。
歩いているシーンが欲しい、空を見上げている動きが欲しいとなった時、生成の途中であってもプロンプトに打ち込むだけで、数秒後には反映されます。3分全てが出来上がった後でダメだったとがっかりするのでなく、途中で修正が効くのです。
プロンプトですが、実は日本語も効くことがわかりました。また、セリフや歌も、日本語が通ります。ただ、漢字の読みは正確ではないので、ひらがな、カタカナに直しておく必要があります。また、キャラクターや背景用の参照画像は複数の静止画を使えます。これがなかなか優秀で、キャラクターの一貫性もできています。
これを使い、一部でリップシンク的なことをやらせています。うまくいった部分だけを残し、あとは別のモーション、歩いたり、木々を触ったりといったフッテージを使うことで、部分的にリップシンクを使ったミュージックビデオのようなことができました。
リップシンク・素材編集（Final Cut Pro）
動画編集で使っているFinal Cut Proでは動画素材の時間伸縮ができるので、これを使ってうまくタイミングを合わせています。
あとは歌詞やタイトルを追加するだけ。
このリップシンク手法は、西川善司さんがGrok Imagineで使っているやり方で、場合によってはリップシンク専用サービスよりも自然な動きになります。
テーマ選びと歌詞、音楽スタイルはClaudeで、楽曲制作はSunoで、そして動画素材はHappyOysterで、という3つの生成AIを駆使することで、わずか数時間で1曲のミュージックビデオが完成しました。
 |  |
 |  |
 |  |
HappyOysterの登場は、動画生成の革命と言っていいと思います。これを軸にしたさまざまなワークフローがこれから生まれることでしょう。
