連載「歌うテックニュース」第9回:Transformer論文を読めば、倦怠期カップルも愛を取り戻せるはずなのだ(西川善司)

テクノロジー AI
西川善司

テクニカルジャーナリスト。東京工芸大学特別講師。monoAI Technology顧問。IT技術、半導体技術、映像技術、ゲーム開発技術などを専門に取材を続ける。スポーツカー愛好家。

特集

今回の楽曲は、先日掲載された、ローカルSLMに対応したNVIDIAのゲーム向けAI技術のACEの記事にちなんだ歌です。


▲ジャケット

ところで、人間がプレイしない、ゲームに登場する味方キャラ、商人、町の人などは、ノン・プレイアブル・キャラクター(NPC:Non Playable Character)といいますが、これを言語型生成系AIで動かす……というのは,結構誰もが妄想するAIの活用パターンです。

そんな典型的なAI活用事例を、NVIDIAが見過ごすはずがありません。NVIDIAは、まさに「その技術」を、2023年に「NVIDIA ACE」(Avatar Cloud Engine)として発表しました。その技術デモは、未来を感じさせてくれて面白かったですし、2023年といえば「AIに何をやらせてもウケが取れる時代」でしたから、業界も大注目しました。

▲NVIDIA ACEのシステム概念図

▲実際に公開されたNVIDIA ACEのデモの1シーン。サイバーパンク風SF世界のラーメン屋で、プレイヤーが聞き込みを行う情景が公開された

その後、ゲーム開発側でも,冷静な目線で、このNVIDIA ACE技術が評価されたものの、一般的なゲームでは、その導入が、コストパフォーマンス的に全く釣り合わないことが判明しました。

確かに、ゲームの脇役に過ぎない、街の商人や村人との会話だけのために、クラウド上に設置されたAIを活用するのは、いくらなんでも、採算が合いません。サーバーの設置は、誰からも使われなくても、運用費用が掛かりますからね。

こうした業界からの反応に対し、NVIDIAは、このACE技術を、より現実的な形へとリファインして再提案することにしました。

そう、ゲームのNPCをクラウドの向こう側に置いたLLMではなく、メモリ負荷の小さいSLMを、ゲームが動作している同じマシン……すなわち、ローカルSLMとして動かせるACEを、2025年暮れごろに、再発表したのです。

▲クラウドを使わない、ローカルSLMベースのNVIDIA ACEのパイプライン

全然クラウド技術じゃないのに、ACE(Avatar Cloud Engine)という名前なのが、ちょっとおかしげですが、こういうことは,技術の進化の過程ではよくあることです。我々の身近な存在のChatGPTの開発元の「OpenAI」は、AI技術を巨大企業が独占することを防ぐため、「非営利団体」として技術を「オープン(公開)」にするという理念から名付けられたにもかかわらず、今ではAIモデル構造や学習データなどを非公開(クローズド)にするようになりました。

この分野の競合事業を行うイーロン・マスク氏は「OpenAIは実質的にClosedAIだろ」と投稿して皮肉った話はあまりにも有名です(笑)

冗談はさておき、NVIDIAのACEがローカルSLMに対応した話は、既に寄稿済みですので、より詳しく知りたい人、こちらの記事をご覧下さい


■最新AIアーキテクチャの根底には「愛」があった

曲名は「恋のローカルSLM~私たちのContext Awareness」です。

今回の楽曲はラブソングです。「若い青春時代の恋」ではなく、テーマは「付き合って3年が過ぎた刺激を失ったカップル」あるいは「離婚がよぎる倦怠期を迎えた夫婦」へ送る応援ソングとなっています。もしかすると、そうした境遇にある人で、なおかつ、ゲームやAIが好きな人には、是非聞いて欲しい曲です。

なぜ、そんなプロットが思い浮かんだのか。そこには理由があります。

なんとなく、冷たいイメージのあるAI技術ですが、近代AI技術の根幹技術となっている「Transformerモデル」は、実は、「温度を失った、かつての熱愛カップル」が、もう一度、愛を取り戻すための「指針」を示しているんです。

少なくとも、自分が、このTransformerモデルというAIアーキテクチャを理解したときには、胸が熱くなり、目から一筋の涙を滴らせるほどでした(笑)

ダジャレみたいですが、「AIは愛(AI)」だったのです。どういうことか解説していきましょう。

▲バンドメンバー1

■実際問題、Transformerモデルには「愛」が詰まっていた

現在の生成AIの多くは、Transformerアーキテクチャを技術基盤としたAIとなっています。

初期AIブームを支えたCNN型AIは、特徴や形状を抽出する、コンピュータビジョン的な処理系に適していました。

その後、一世を風靡して台頭したTransformer型AIは、基本アーキテクチャとして、すべての要素データの相関性を総当たり的に計算することで、深い「文脈理解」(Contextual Awareness)が得られる特性があります。

CNNの文脈理解は、結局、カーネルサイズ(上図でいうところのオレンジの2x2のマス)に依存します。ネットワークを多層化してカーネルサイズを広げて行くことで文脈理解を広げていくことは出来ますが、層をまたぐほど初期層との関連性は薄まってしまいます。

一方で、Transformerでは、空間的な距離(データの構成の仕方によっては時間的な距離まで)を無視して、ダイレクトな結びつきの相関性(Attention Weight)を算出します。

上図で言えば、「はし」と「食べた」は、日本語という言語体系においては強い相関性が算出されますし、「そば」と「食べた」も同様です。ここで「はし」に着目すると「端」(はし)と「傍」(そば)の相関性は弱くはないですが、「はし」「そば」「食べた」の組み合わせで強い相関性があることは自明ですね。なので「はし」は「端」ではなく「箸」である可能性が強まります。同様に「そば」は「傍」ではなく「蕎麦」であるという文脈である可能性が高いと、Transformerは推論できるのです。

こうした登場要素の相関性の総当たり計算を「Self Attention」(自己注意機構)と言います。

ちなみに、このTransformerモデルは、2017年にGoogleによって発表されました。入力情報のどこに注目するべきかを学習する仕組み、つまり、「Attention機構」の重要性について論じられています。そして、その論文のタイトルは「Attention Is All You Need」となっています。

Transformer論文が発表されてから、汎用AIとしての実用化に5年近い時間が掛かっていますが、これには、「総当たり計算」を行うにあたり、より高いプロセッサの演算性能が必要だったことと無縁ではないでしょう。

ちなみに、NVIDIAのHopper世代のGPUの推論アクセラレータ(Tensorコア)には、このTransformerモデルを超高速に動作させるための工夫が盛り込まれたことで、あえて「Transformerエンジン」という名前が付与されました。Transformerエンジンについて,より詳しく知りたい人は、筆者が執筆したこちらの記事をご覧下さい。ちなみに、Blackwell世代のGPU(GeForce RTX 50シリーズ)のTransformerエンジンは第二世代へと進化していますよ。


▲TransformerEngineはHopper世代から搭載された。GeForceブランドではAda世代(40シリーズ)から搭載された。

結局、温度を失ったカップルは、お互いへの関心が薄まっている状態といえます。つまり、Transformer論文にあたれば、相手に対する「Attention」の弱まりが原因だと仮定できるでしょう。そうなっていれば「相手の気持ちの理解」……つまり「文脈理解」(Contextual Awareness)が切れかかっているのも当然といえます。

自分に対する、自分のパートナーの「Attention」の弱まりを感じているならば、今一度、登場要素の相関性の総当たり計算「Self Attention」(自己注意機構)をやり直してみてください。出会ったあの頃のAttention Weightパラメータで。

「登場要素の総当たり計算」といったって、恋愛の場合の登場要素は「自分と相手」の二人だけのはずです。必要なのは相手への自己注意機構だけ。

「Attention Is All You Need」なのです。

■たとえ恋は盲目でも、愛はローカルSLMなのです

……という感じの妄想を経て、今回の曲の歌詞は、前述したTransformer型AIに加えて、改良版のNVIDIA ACEからも大きな着想を得て作詞をしています。

二人の恋の登場人物は私とあなただけ。であれば、その恋を動作させるには、世界中の知識を搭載したクラウド側で動作するような大規模言語モデル(Large Language Model)じゃなくていい。

新版のNVIDIA ACEのように、そのゲーム(私とあなたの関係)に関連した知識要素を学習しただけのローカルマシンで動作する小規模言語モデル(Small Language Model)でいいはず。そんな感じです。

▲ローカルSLMで恋を動かして

そして、改良版のNVIDIA ACEは、面白いことに、ゲーム自体の開発手法は、NVIDIA ACEに特別に寄せる必要はない、そのままでいい……という特徴があります。

NVIDIA ACEは、SLMで自然言語を理解しますが、それを踏まえた上でのNPCのゲーム世界の行動は、従来のゲームのNPC動作を記述した制御スクリプトをそのまま動かすだけでいいのです。

たとえば、味方NPCを連れ回って,チーム戦で戦い合う対戦ゲームにおいて、味方NPCへの命令は,ゲームパッドのボタン操作で発行出来る「攻撃重視」「回避重視」「援護重視」程度のものが実装されている事例はよくありますよね。新版NVIDIA ACEも、基本メカニズムはこれを流用できます。

プレイヤーが音声で「前方右側の赤い建物の近くに隠れている敵をあぶり出せ」と命令した場合、AIが「前方右」「赤い建物の近く」を理解して、ゲームエンジン側に「プレイヤー視界内」の「進行方向右側付近の赤い建物のワールド座標を特定して」というスクリプトなりAPIを活用して取得。

その後は、行動スクリプトベースで、NPCをその座標まで行かせて「攻撃重視」の状態切り換えるだけで、プレイヤーの自然言語による指示は達成されます。ゲーム側は、言語系AIへの特別な事前対応は不要なわけです。

というわけで「私の愛する、あなた自身の行動原理はそのままでいい。あなたが私の言葉に耳を傾けてくれるだけで、あなたの中のゲームエンジンが、昔のような暖かい行動を実行してくれるはず」……途中、そんな歌詞も入っています。

それと、この唄の歌詞は、ゲームファンなら耳にしたことがあるゲーム用語、古典的なルールベースAIの専門用語や、最新のTransformerモデル型AIの最新AI用語を、かなりワイドに詰め込みましたので、ゲームやAIに関心が強い人をニヤリとさせられたら本望です。

それと、ゲーム初心者やAI初心者は、この曲の歌詞を引用してそれっぽく話すだけで、ゲームやAIに詳しそうな雰囲気を出すことができると思います。「君のことを想うと、オレのBehavior Treeが硬くなっちまったぜ」みたいな、直接的なシモネタへの転用だけはやめてくださいね。

気になる、あのIT系のカワイコチャン(死語)を口説くときなど、「君へのContext Awarenessが止まらないんだ」とか「結果、その思いが、こんないっぱいのトークンが出てきてしまったよ」とかいって口説いてみてください。

ストーカー認定される危険性もありますが、シャレが分かる人ならば笑ってもらえるはずです。筆者および、テクノエッジ編集部は責任を持ちませんけども。

ところで、今回の歌詞では、個人的に気に入っているのは、

あなたのSelf Attention、私にくれるなら
私からあなたへのContext Awareness
溢れるほどのトークンで返してあげる

の部分ですかね。日常でも、うまくアレンジしてお使いください。

▲溢れるほどのトークンで返してあげる

■今作から,本格的なリップシンクに挑戦開始

動画の方ですが、Grok Imagineを用いて2026年5月のゴールデンウィーク中に制作しました。この作品から、本格的なリップシンクに挑戦しています。初めて使うAIだったので、勝手が分からず、混迷を極めました。

先に「歌つきの楽曲」が出来ているので、動画の方を歌詞の音声に合わせる必要があります。しかし、単体独立しているGrok Imagineでは、当然、楽曲側と、同期を取る手段がありません。しかし、発話は1文字単位で制御できますし、発話しながらの表情演技指導も可能なので、どのように発話させたらどんなタイミングになるかを時間を掛けて研究しました。今作は、その実験作的な第一弾となります。

本来は完全なるミュージックビデオ風にしたかったのですが、それは次回作に譲り、図版の間にリップシングに成功した動画をインサートする感じで仕上げています。

この曲の制作を経て、Grok Imagineのリップシンク生成技術を,自分なりに確立することができたため、その後の次回作、次々回作では、このテクニックをほぼ自分のものにできるようになりました(既に筆者のYouTubeチャンネルでは公開済み)。そのあたりの詳しい話はいずれ改めて。

▲最初は試行錯誤だったリップシンク。今作では、まだ、その試行錯誤感が垣間見れるが、その後の次回作、次々回作では、このテクニックがだいぶ洗練された

途中、漫画のような図版がでてきますが、これは、新しくなったChatGPT5.5で生成しています。それまでは、図版生成については、GeminiのNano Bananaに絶大なる信頼を置いていましたが、4月に出た新ChatGPT(GPT-5.5)の作図能力は、Gemini を完全に超えてしまいましたね。

動画の途中で出てくる、NVIDIA ACEの解説ポスターは、すべてChatGPTで制作しています。また、後半に出てくる漫画テイストの同内容の解説ポスターは、今作前半に出したものをChatGPTに「学習漫画風にして」とスタイル変換しただけのものです。

先生役のロボットの名前は「ウサエドン」、生徒役の少年は「チヂムくん」と設定しました。何かを連想させますが、偶然です(笑)。ChatGPTの作図能力、恐ろしいです。

▲ローカルSLMに対応したNVIDIA ACEの解説ポスター。作図用の原稿さえしっかり書けば、このレベルの図解が自在に作れる。

歌と演奏は、前作から設定された架空バンドの「Nostrils」ですが、メインボーカルを,この作品から、ベース担当の眼鏡女子にしています。


▲ジャケットではGeForceを被っているGPU仮面は、動画本編ではRadeonを被っています

▲ドラマーは任天堂ゲームのキャラの配色のダメージデニムを毎回着ています。今作ではルイージです。次回作ではワリオ配色を着ています

前作の「鼻の穴に咲く花」では、あまり目立たない存在で、数カットでアップになる程度の脇役でしたが、「歌うテックニュース」を楽しんでいらっしゃるファンの方から「もっと、めがねちゃんを活躍させて」との声をいただき、今作制作にあたり、新規にモデリングしました。

Nostrilsの金髪ギタリストを主役にしていくつもりだったので、ベースのめがねちゃんは、「メガネを掛けた日本人女性。地味かわいい20代ベーシスト」くらいで適当に作っていたのです。つまり、モデリングの際の生成プロンプトが適当すぎたため、再現出来ないメンバーだったわけです。

そこで、今作では、改めて、量産型AI美女にならないよう、モブキャラっぽい地味顔になるよう、顔面を細かく描写し、現在の顔立ちに落ち着きました。

下に、前作までの「ベースのめがねちゃん」と、今作からの「ベースのめがねちゃん」は見比べると全然顔が違います。

▲適当に生成したモブキャラだったベース担当のめがねちゃん

▲AI美女に落ち込まないように、かなり工夫してモデリングした新めがねちゃん。25歳設定。次々回作では18歳バージョンが登場しています(既に筆者のYouTubeチャンネルでは公開済み)

次回作は、修行して獲得した、Grok Imagineでリップシンクを行う技をフル活用して、ほぼフルリップシンクさせたミュージックビデオに挑戦しています。ではまた次回に。

《西川善司》

Amazon売れ筋ランキング

西川善司

テクニカルジャーナリスト。東京工芸大学特別講師。monoAI Technology顧問。IT技術、半導体技術、映像技術、ゲーム開発技術などを専門に取材を続ける。スポーツカー愛好家。

特集

BECOME A MEMBER

『テクノエッジ アルファ』会員募集中

最新テック・ガジェット情報コミュニティ『テクノエッジ アルファ』を開設しました。会員専用Discrodサーバ参加権やイベント招待、会員限定コンテンツなど特典多数です。