1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。
今回は、文章を生成せず判断だけする、オープンソースの意思決定AIモデル「Laya」を取り上げます。インドのAI企業Convai Innovationsが開発しました。
▲LayaのGitHubリポジトリのスクリーンショット
一般的なLLM（大規模言語モデル）は文章を1単語ずつ生成していく仕組みのため、文章生成までが遅く、ハルシネーションが発生するリスクも避けられません。
しかしLayaは、文章を生成するのではなく、あらかじめ設定した選択肢に対する確率を1回の計算で直接予測するモデルです。そのため、ハルシネーションを排除しつつ、システムが直接扱えるデータを一瞬で出力できるのがLLMとの違いです。
Layaがどのような処理を行っているかというと、ユーザーからのメール本文やJSONといった入力データと、あらかじめ用意した型指定の質問（選択式、スコア式、Yes/Noなど）をセットで読み込みます。そして、文章を生成するのではなく、どの選択肢が最適なのかを1回の計算（GPU環境で約33ミリ秒）で直接予測し、それぞれの確率を算出して出力します。
この分野の先行サービスとして、元OpenAI研究者が創設したTypeSafeが開発した「Jev」という意思決定AIがあり、世界的に話題になりました。Jevも同じように文章を生成せず高速に判断するクローズドシステムですが、利用料が発生します。
一方のLayaは、オープンソース（Apache 2.0）で提供されています。また、処理速度においてもLayaはJevの約7.8倍高速に動作するといいます。ただし、50個を超えるような大量の選択肢を一度に処理する場面においては、現状Jevの方が高い精度を出せるといいます。
Layaは100以上の言語を瞬時に自動検知して最適なモデルへ振り分ける機能や、最大8192トークン（多言語版）の長文処理能力を備えています。独自データを用いたファインチューニングや、LangChainなどの主要フレームワークへの組み込みも容易です。
▲Layaの長文処理能力と推論速度を示すデータ
▲LayaがJevに対し、速度や精度、コスト面で優位であることを示す比較データ
