OpenAIは11月19日、ChatGPTなど自社サービスの速度低下をAIが自動で調べ、修正案まで作る社内システム「Performance Factory」の仕組みを公開しました。3か月あまりで1700件以上の調査を扱い、600件以上で原因を突き止めたとしています。1日あたり17件の調査を自動で行っている計算です。
対象は、サービスの応答が以前より遅くなる「性能の後退」です。性能の警告が出ると、システムが課題票を1件作ります。続いてAI(同社のCodex)が、どの指標がいつから悪くなり、どのリクエストが影響を受けたかを調べます。警告が出た時点より何時間も前から悪化が始まっていることがあるため、データをさかのぼって始まりを探します。そのうえで、同じ時期のデプロイや機能フラグの変更を調べ、該当するコードを読み、ログやトレースで裏付けを取ります。

特徴は、診断を別のAIに調査させる点です。システム稼働当初は、AIが最初に見つけたもっともらしい説明で調査をやめ、診断が誤っていることがありました。そこで、別のCodexのセッションが診断を反証しようとする工程を加えました。「その変更が当たっていないリクエストは正常だったか」「変更を戻したら指標は回復したか」といった点を確かめます。
診断が通ると、AIが修正のコードを書いてプルリクエストを出します。取り込むかどうかを決めるのはエンジニアです。課題票には、後退の概要、影響、原因、修正案の要約が、指標のグラフやCPUのフレームグラフとともに自動でまとめます。デプロイ後は、AIが性能が元の水準に戻ったかを確かめ、戻っていれば完了にし、一部しか戻っていなければ残りを新しい課題として起こします。
システムは4つの機能で構成。作業の状態と遷移を設定ファイルとMarkdownの指示文で定義する課題管理、準備ができた課題にAIを割り当てる定期処理、Codexをクラウドで動かす社内API、レビューコメントやデプロイ完了といったイベントでAIを起動する仕組みです。AIは専用のサービスIDで動き、権限を絞り、どの操作がAIによるものかを追えるようにしています。

精度について同社は、原因の提案100件を人が確認したところ、70%が正確で、30%はさらに調査する必要があったか因果関係を示し切れていなかったとしています。原因の特定より修正のほうが難しく、AIの修正案が必要以上に複雑だったり、新しい問題を持ち込んだりする例があったとも述べました。キャッシュの追加のように設計上の判断が要る変更は、より上流のエンジニアの判断が要るとしています。
運用の教訓として同社は、AIの出力を人が読める量と形にまとめること、調査手順やモデルを変える前に過去の障害で再テストすること、AI自身の道具の故障を毎日別のAIに点検させることを挙げています。今後は、警告が出ていない小さな悪化をAIが見つける仕組みや、リスクの低い修正を人のレビューなしで出す方法を検討しているとしています。
自社でAIに運用を任せたい企業にとっては、「調べるAI」と「疑うAI」を分けること、人に残す判断を工程として決めておくことが参考になりそうです。Performance Factoryは社内システムで、外部への提供については不明です。




