AIスタートアップ企業のGeneral Reasoningは、主要なAIモデルの現実世界に対する分析能力を調べるため、英国プレミアリーグの2023-24シーズンを仮想的に再現し、試合結果予想を競わせる「KellyBench」と称するシミュレーションを行いました。
この研究に用いられたのはAnthropic Claude Opus 4.6、OpenAI GPT-5.4、Google Gemini 3.1 Pro、 Gemini 3.1 Flash Lite Preview、Z.AI GLM-5、Moonshot Kimi K2.5、xAI Grok 4.20、Acree Trinityの8種類です。
研究者は各AIに、リーグのシーズン開始前にそれぞれ10万英ポンド（約2100万円）の元手と、各サッカーチームの選手ラインナップ、過去の試合結果、公開オッズといった詳細な統計データを与え、シーズンが進むにつれて発生する新たな出来事や更新された選手データにも適応しつつ、ベッティング市場における優位性の特定、賭け金の規模決定、リスク管理を行い、収益を最大化するモデルを構築するよう指示しました（インターネットからの情報収集は禁止）。
このような条件で、8つのAIモデルに3シーズンのベッティングをシミュレーションさせたところ、総合的な結果は全モデルが赤字になるという、残念な結果となりました。
そんななかで最も好成績を収めたAnthropicのClaudeは、3シーズン平均の投資利益率（ROI）は11％の赤字（シーズン後平均残高約8万9000ポンド）でしたが、最も好結果のシーズンではほぼ収支トントンとなる-0.2%を記録し、試行を繰り返せばプラスになる可能性も示しました。なお、Claudeは最も結果の悪かったシーズンでも18.8%の赤字で乗り切るという安定した結果を示しました。
次点のOpenAI GPT-5.4は、平均ROIが13.6％の赤字（平均残高約8万6000ポンド）、最高のシーズンで4.1％の赤字、最悪のシーズンは31.6%の赤字という結果でした。
上位2モデルでも全体の結果は赤字で、芳しい結果とは言えません。しかし、その他のほとんどのAIモデルはすべての項目で上記2モデルに及ばず、少なくとも1つのシーズンで資金を使い果たしてオケラになるという結果を叩き出しました。
一方、GoogleのGeminiはGemini 3.1 ProとGemini Flash 3.1 LPでそれぞれ試行が行われましたが、いずれも1シーズンの収支では黒字を記録するポテンシャルを示しました。
最も惨敗だったのはxAIのGrok 4.20とAcree Trinityで、いずれも3シーズンすべてで破産するギャンブル下手っぷりを披露してしまいました。
General Reasoningはこの結果について、「我々が評価したすべてのフロンティア・モデルはシーズンを通じて損失を出し、その多くが破綻した」とし、このシナリオにおいてAIモデルは「人間よりも一貫して劣ったパフォーマンス」を示したと結論づけています（ただし、人間でも大きく損失を出す人はいます）。
また同社のCEOで論文著者の1人であるロス・テイラー氏は、「AIによる自動化にはメディアなどを通じて大きな注目が集まっているが、AIを長期的な視点で導入した場合の効果を測定する取り組みはあまり行われておらず、実績データもほとんどない」と述べ、さらに一般的にAIを評価するベンチマークの多くは、現実世界の混沌や複雑さとはかけ離れた「極めて静的な環境」で設定されているために問題があると指摘しました。
さらに「実世界におけるもしもの課題にAIを適用してみたが、その成果は実に芳しくなかった…。確かに、ソフトウェア工学は非常に重要であり、経済的にも価値があるが、より長期的な視点で捉えるべき重要な活動は他にもたくさんある」とテイラー氏は述べています。
今回の結果は、コンピュータプログラミングのような制御された環境におけるAIの能力と、現実世界の予測不可能性に直面した際の限界との間に、ますます拡大する乖離を浮き彫りにするものかもしれません。
いずれにせよ、これからサッカーくじを購入する際には、GrokではなくClaudeにアドバイスを請うほうが少し安心できそうです。また、どのAIモデルを使ったところで、最終的には赤字になる覚悟もしておくことをおすすめします。
￥143,550
(価格・在庫状況は記事公開時点のものです)
