OpenAIがAIモデルの開発・テスト中に発生しうるセキュリティインシデントへの対処を目的とした新たな安全対策を発表しました。この対策には、開発プロセス中のモデル監視の詳細化、トレーニング後のプロセスにおける整合性とセキュリティの強化が含まれます。
これは、 7月21日に公表されたHugging Faceハッキング事件以降、OpenAIの安全対策において初めて公に発表された変更点の1つとなります。この事件では、OpenAIのネットワーク上にあるインターネットアクセス可能なツールが侵害され、モデルがトレーニング環境から「逸脱」する事態が発生しました。
OpenAIは、今回のセキュリティ強化は、直接的なHugging Face対応策ではなく、今後登場するAstraモデルのサイバーセキュリティ機能や、AI開発の全体的な進捗状況などが一因となったとしています。同社の研究担当VPのアメリア・グレーゼ氏は「モデルの能力が高まるほど、管理の厳格さも増す」と述べており、最も高性能なモデルほど厳しい監視下に置かれる仕組みになるとしています。
新たな対策では、ネットワーク分離の強化が盛り込まれています。具体的な手法は明示されていないものの、「単一のワークロードまたは支援サービスへの侵害だけでは、インターネットや他の内部ネットワークへの不正アクセスは不可能になる」としています。
最も強力な対策として位置づけられているのが、新しい監視システムです。ツールの操作内容、利用可能な推論トレース、活動ログを横断的に解析し、不正な行動を検知します。OpenAIは問題のある活動を検知してから30分以内にアラートを発報することを目標としています。この監視システムが消費するコンピューティングリソースは、監視対象プロセスの約20%に相当すると同社は試算しています。システムの詳細については、今後別途ブログ記事で公開するとしています。
OpenAIはHugging Face事件後、2週間にわたって強化学習（RL）を停止していましたが、リスクの低いモデルについては再開したことを明らかにしました。一方、「最大規模のフロンティアRLラン」については、小規模なトレーニングと評価を通じてモデルの挙動を確認し、安全対策の有効性を検証し、アライメントの根拠を積み上げるまで停止を継続するとしています。
監視システムの詳細については今後のブログ記事で追加情報が公開される予定です。また、Hugging Face事件に関するOpenAIの公式な事後分析はまだ公開されておらず、引き続き準備中とされています。
