1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。
今回は、巨大AIモデルを家庭用PCで動かせるようにするツール「colibrì」を取り上げます。
colibrìは、通常であれば動作に高価な機材を必要とする7440億パラメータという巨大なMoE（Mixture-of-Experts）モデル「GLM-5.2」を、25GBのメモリしか積んでいない普通の家庭用パソコンで動かしてしまうツールです。
これを可能にしたのは、MoEモデルの構造を利用した工夫です。MoEは多数の「エキスパート」（専門家）の集合体で、7440億のパラメーターがあっても1トークンの生成で動くのはごく一部（約400億）だけ。
そこでcolibrìは、常に使われる部分（約9.9GB）だけをメモリに置き、2万個以上のエキスパート（合計約370GB）はSSDに保存して必要な時だけ読み込む方式を採りました。
さらに、よく使われるエキスパートは利用履歴から学習され、自動的にメモリに固定されるため、使うほど速くなる性質もあります。
この仕組みにより、高価なGPUを何枚も買わなくても、Linux（またはWSL2）が動くAVX2（Advanced Vector Extensions 2）対応のPCに、16GB以上のメモリと約370GBの空きがある高速なSSDがあれば、個人の環境でAIを動かすことができます。Metalに対応しており、Apple Silicon Macにも最適化されています。
ただし、毎回SSDから大量のデータを読み込むため、文章が生成されるスピードはどうしてもゆっくりになります。具体的にはキャッシュが温まっていない状態で毎秒0.05～0.1トークンです。とはいえメモリとSSDの性能に応じて速くなり、128GBメモリ搭載のApple M5 Max（18コア）では毎秒1トークン程度まで向上した報告もあります。
