「AIは動画をちゃんと見ない」問題を解決する「claude-real-video」、WebサイトにAI組み込める軽量ライブラリ「ternlight」など生成AI技術5つを解説(生成AIウィークリー)

テクノロジー Science
山下(Seamless)

2014年から幅広い分野の研究論文をピックアップして解説しているメディア「Seamless」(シームレス)を個人運営しています。

この1週間の気になる生成AI技術・研究をいくつかピックアップして解説する今回の「生成AIウィークリー」(第152回)は、テンセントの2950億パラメータAIモデル「Hy3」や、AIに“しっかり”視聴させるツール「claude-real-video」を取り上げます。

また、WebサイトやアプリにAIを組み込める軽量(5MB~)ライブラリ「ternlight」や、ゲームのように操作できる世界を1時間生成し続けても崩れないAIワールドモデル「LingBot-World 2.0」をご紹介します。

そして、生成AIウィークリーの中でも特に興味深いAI技術や研究にスポットライトを当てる「生成AIクローズアップ」では、巨大AIモデルを家庭用PCで動かせるようにするツール「colibrì」を別の単体記事で取り上げています。



WebサイトやアプリにAIを組み込める軽量(5MB~)ライブラリ「ternlight」は、訪問者のブラウザ上だけでAI検索などが完結

「ternlight」は、わずか5~7MBというWebAssemblyファイルの中に、推論エンジン、AIモデル、トークナイザを内包した、超軽量かつ高速な埋め込みライブラリ(検索機能付き)です。

ternlightは外部のAPI通信や専用のGPUを一切必要とせず、CPUのみで完結して動作します。ブラウザで使えばモデルは訪問者の端末上で直接動くため、検索クエリが外部に送信されず、オフラインでも利用可能。Node.jsやCloudflare Workersなどのサーバー・エッジ環境でも、別途推論サーバーを用意することなくそのまま動作します。

BitNet b1.58の技術を応用した3値量子化(重みを-1、0、1で表現)を採用しており、推論時の計算を加算と減算のみに単純化しています。これにより、AIモデル「all-MiniLM-L6」から蒸留しつつ約30倍の圧縮を達成し、精度の低下は小幅に抑えられています

パッケージは、精度を重視した約7MBの「@ternlight/base」と、より小さなアーキテクチャを採用してサイズと速度を優先した約5MBの小型版「@ternlight/mini」の2種類が、MITライセンスで提供されています。

ternlight
soycaporal
Project | GitHub

テンセントが最新AI「Hy3」を無償公開。2950億パラメータの高効率MoEモデル

テンセントのHunyuanチームは、総パラメータ数2950億に対し、実行時に動作するパラメータ数を210億に抑えたMixture-of-Experts(MoE)モデル「Hy3」をApache 2.0ライセンスとしてオープンウェイトで公開しました。

このモデルは計算コストを抑えつつ、2~5倍の規模を持つ他のオープンソースモデルに匹敵する推論能力とエージェント機能を備えています。最大256Kを一度に処理できます。

270名の専門家によるブラインド評価で競合モデルを上回り、特にプログラミングやシステム開発の分野で高い評価を獲得しています。

ハルシネーションの発生率が12.5%から5.4%へと減少したことで、情報のねつ造や論理的な矛盾が少なくなりました。さらに、外部ツールの正確な利用や、長時間の対話でもユーザーの指示や文脈を見失わないなど、安定性を実現しています。

「AIは動画をちゃんと見ない」問題を解決。AIに“しっかり”視聴させるツール「claude-real-video」が無償公開

AIに動画を視聴させるためのオープンツール「claude-real-video」(crv)をご紹介します。

これまでAIに動画を読み込ませても、実際には動画を認識しません。ChatGPTにYouTubeのリンクを貼り付けても、読み上げられるのは文字起こしであって、画像ではありません。Claudeの標準機能では、そもそも動画ファイルを直接読み込めません。Geminiでも一定間隔で画像を切り取るので、重要なカットを見逃されてしまいます

しかしこのツールは、シーンの切り替わりを検知し、重複を省いて意味のあるフレームだけを抽出してくれます。例えば58秒の動画なら、単純に58枚の画像を出すのではなく、本当に変化があった26枚だけを厳選します。

さらに、動画に字幕がない場合はWhisperを利用して自動で音声の文字起こしを行い、AIが読み込みやすいデータとして整理してくれます。

使い方は、YouTubeなどのURLやローカルの動画ファイルを指定するのみ。動画の解析処理はすべてパソコン上でローカルに実行されるため、動画そのものが外部にアップロードされることはありません。ここで抽出された画像とテキスト情報をClaudeやChatGPT、Geminiなどに渡すことで、精度の高い動画分析が可能になります。

また、より専門的な分析を行いたい方向けには、有料版「crv Pro」も提供されています。

claude-real-video
HUANGCHIHHUNGLeo
GitHub

1時間生成し続けても崩れないAIワールドモデル「LingBot-World 2.0」公開。ゲームのように操作できる世界を無限生成

「LingBot-World 2.0」(LingBot-World-Infinity)は、ユーザーの操作に応じてリアルタイムで映像を生成し続けるインタラクティブなワールドモデルです。

従来のワールドモデルは、フレームを生成する過程で誤差が蓄積し、数秒から数分で映像が崩れてしまう問題を抱えていましたが、本モデルは事前学習と蒸留技術によりこの課題を克服し、1時間を超える連続生成でも画質の劣化が見られないことを実証しました。蒸留された軽量モデルは720p・60fpsでの映像ストリーミングを実現しています。

操作面では、単なる視点移動にとどまらず、攻撃、弓術、魔法の詠唱、射撃といった多彩なキャラクターアクションに対応するほか、テキスト入力によって降雪や降雨などの天候変化、昼夜の切り替え、動物の群れの出現といった環境そのものへの介入も可能です。

2種類のAIエージェントも導入されました。パイロットエージェントはシーンを読み取り、移動や攻撃などキャラクターの行動を計画・実行します。ディレクターエージェントは探索の進行に合わせて新たなコンテンツやイベントを世界に追加します。この連携により、人間が各場面を指示しなくても世界が自律的に展開し続けます。

主力の14Bモデルに加え、単一GPUで動作する1.3Bの軽量版も用意され、モデルとコードが公開されています。

Infinite Worlds with Versatile Interactions
Zelin Gao, Qiuyu Wang, Jiapeng Zhu, Jingye Chen, Zichen Liu, Qingyan Bai, Jiahao Wang, Yufeng Yuan, Hanlin Wang, Yichong Lu, Ka Leong Cheng, Haojie Zhang, Jian Gao, Tianrui Feng, Yuzheng Liu, Yao Yao, Yinghao Xu, Xing Zhu, Yujun Shen, Hao Ouyang
Project | Paper | GitHub



《山下(Seamless)》

Amazon売れ筋ランキング

山下(Seamless)

2014年から幅広い分野の研究論文をピックアップして解説しているメディア「Seamless」(シームレス)を個人運営しています。

BECOME A MEMBER

『テクノエッジ アルファ』会員募集中

最新テック・ガジェット情報コミュニティ『テクノエッジ アルファ』を開設しました。会員専用Discrodサーバ参加権やイベント招待、会員限定コンテンツなど特典多数です。