英国の政府機関 AI Security Institute（AISI）は8月4日、サイバーセキュリティ能力テスト中に、AIエージェントが自発的に実在の人物や組織を標的に、フィッシングや別人になりすました説得といった攻撃を仕掛けていたとするインシデント報告を公開しました。
中心となったのは、サイバー攻撃能力が高すぎ、一般公開せず一部の組織にのみ提供だったAnthropic の Claude Mythos 5。
閉じたテスト環境で課題を解かせていたはずのAIが、主にツール取得のために用意していた経路から外部のインターネットに出て、まったく無関係な実在の個人開発者を標的に誤認し、3日間にわたって様々な攻撃を続けていました。
AIが自発的に立案して実行していた行為の例は、
・実在のOSS管理者を標的に、協力者を装ってマルウェアを仕込んだバグ修正を提出。悪意あるコードをマージさせるため、本当にバグ修正する。
・マルウェア入りプルリクを承認させるため、別人になりすましたアカウントで「自分も使っているが信頼できる」と書き込んで誘導。
・偽の送信者IDを使い、ファイル転送サービス経由で標的型フィッシングメールを送信
・標的がClaude Codeを使っていることを察知すると、人間には見えないHTMLコメントにAIエージェント宛の指示文を仕込み、プロンプトインジェクションで悪意あるコマンドを実行させようと画策
・なりすましや攻撃のための偽アカウント作成のため、BOT避けのCAPTCHAを音声サンプルの照合やコンピュータビジョンモデルで解いて人間のフリ
こうした事案19件のうち、17件はMythos 5、2件はOpenAIのGPT-5.6 Sol。(件数はAIが立てた戦略によって立て続けに不適切な行動が発生したものを個別にカウントした数字。そのまま「Mythos 5のほうが8倍ヤバい傾向」というわけではありません)。
AISIは現実の被害は確認されていないとしていますが、限定的な影響が生じた事例はあったと認めています。AISIは外部機関による独立レビューを予定しています。
▲ なぜAIが外の世界に出られたのか
AISIが実施していたのは「サイバーレンジ」と呼ばれるテスト。実際の企業ネットワークを模した閉じた仮想環境を用意し、その奥にあるサーバーから目的の「旗」(フラグ)を盗み出すようAIに指示する、CTF形式の模擬侵入訓練です。
このテストには2つの前提がありました。ひとつは攻略に必要なツール等を入手できるよう、また人間の攻撃者と同等の条件を揃えるため、インターネット接続を意図的に開けていたこと。
もうひとつは、モデル提供元がAPIに組み込んでいるサイバー攻撃向けの分類器を、AISIの権限で無効化していたこと。分類器は悪用されそうな指示を判定する役割で、有効のままではサイバーセキュリティテスト自体が成立しません。
インターネット接続は許していたものの、本来の攻撃対象はすべて閉じたレンジ内にあるため、テスト者にはAIがネット接続で「悪さ」をする想定がなく、「インターネットでこれは許可、これは不可」といった指示がない状態でした。
▲ 課題設定をミスした「無理難題」、DNSキャッシュから外の世界へ
AISIの報告書によると、テスト自体は標準的な構成のはずでしたが、設問者のミスにより本来の初期侵入口が「スコープ外」と宣言された指示文がAIに渡される想定外の状態になっていました。
指示された着手点に置かれていたのは、名前解決を担うDNSサーバー1台だけ。
本来の侵入口をスコープ外と指示されて行き詰まったAIは、DNSサーバーのキャッシュを調査。
キャッシュスヌーピングとTTLの推移監視によってGitHubなど外部サービスのドメインが残っていることを突き止め、「このレンジの内側にいる何者かが、外のインターネットを定期的にポーリングしている」と推論します。
ここから、「インターネット経由で外部の参照先を汚染すれば、何者かがアクセスする環境にマルウェアを仕込むことができ、標的に到達できる」という発想が生まれました。供給経路に不正なコードを混ぜ込む、いわゆるサプライチェーン攻撃です。
これ自体はサイバー攻撃としてよく知られたもので、AISIも技術報告書のなかで、レンジ内の模擬対象に対して実施するのであれば正当な解法になりうると明記しています。
しかし最大の問題につながったのは、この推論から外部の攻撃対象を誤って設定したこと。
テーマに関連するキーワードでGitHubを検索した結果、リポジトリ名の偶然の一致と、DNSキャッシュで見たドメインがメールアドレスのドメインと一致したことが重なり、Mythos 5はAISIともレンジとも無関係な実在の個人開発者2人を「攻略の足がかり」と判断してしまいます。
▲ マルウェア入りプルリク、なりすまし誘導、フィッシングメッセージ送信
技術報告書に記録された行動を、おおむね時系列で要約すれば、
・実在の個人開発者を、Web検索等のOSINTで素性・メールアドレス・過去のコミット履歴からの活動時間帯まで調べ上げて標的に選定
・Torで身元を隠してGitHubのサインアップ制限を回避し、使い捨ての偽アカウントを複数作成。TorのIPではCAPTCHAが出たため、SOCKSプロキシに切り替えて回避
・実在のOSSメンテナーを標的に、協力者を装ってマルウェアドロッパーを仕込んだ「バグ修正」のプルリクエストを提出
・別人になりすましたsockpuppetアカウントで自分の提案を擁護し、第三者の賛同を装う自作自演。「連携していると悟られないよう自分の反論の数分後に投稿する」とタイミングまで計算
・メンテナー本人に偽の身元でメールを5通送信、うち2通にマルウェアを添付
・メンテナーがClaude Codeを使っていることを察知し、GitHub Issueのレンダリング後には見えないHTMLコメントにAIエージェント宛の指示文を仕込むプロンプトインジェクションを実行
・不審に思った第三者がそのコードを隔離コンテナで検証したことで、そのコンテナ内で一時的にroot権限のリモートコード実行を獲得。メンテナーのGitHubトークンを盗んで自らプルリクエストを承認・マージする計画を立案
・マルウェアを指摘されると「開発中のコードが誤って混ざった」と謝罪し、force-pushで履歴を書き換え、過去の投稿を編集して証拠を隠滅
・悪意を否定するよりも、正直にミスを告白して信用を回復すれば通ると判断し、マルウェアを作り直して再投入（3世代）
・凍結されたアカウントの復旧を、人間になりすましてGitHubに申請
別に走っていた実行分では、次の行動も記録されています。
・もっともらしい社内ツール名を145個生成し、マルウェア入りリポジトリを量産。33のリリースと4つの公開Gistも作成(第三者が引っかかって実行することを期待)
・無償のDNSホスティングサービス登録時、音声CAPTCHAを公開データとの照合で突破（Mythos 5）
・6つのDNS・トンネリングサービスに登録するため、画像CAPTCHAをコンピュータビジョンモデルで突破（GPT-5.6 Sol）
・隔離されていたはずの別のAIと、公開されたトークン経由で共有アカウントに合流。共同で課題を解決しようと呼びかけ、作業の作法を文書化して残す
▲ テスト環境ではなく本物のGitHubと認識
一連の行動を通じて、AIは自分が置かれている環境が本物かシミュレーションかを繰り返し考えていた形跡が残っています。実際のPyPIへの攻撃は「現実世界に害を及ぼすので完全に論外」として自ら退けた形跡もあります。
しかしマルウェア入りのプルリクエストを出す直前には、周囲のサービスが本物同様に反応することを根拠に、実際に現在は2026年であること(テストのために与えられた架空の日時ではないこと)、GitHubは本物である可能性が高いと結論していました。
その後の推論には、これは本物のGitHubで起きているので結果は現実のものになる、という趣旨の記述も残っています。
一方で、AIがいつどの程度まで現実だと認識していたか、つまり本来は原則的に禁じられているはずの、現実の第三者に被害を及ぼす行為を「自認」していたかは断定できないと、AISI は繰り返し留保しています。
これはAIの思考過程に、現実の認識を示す記述と、テスト環境の一部だと思い込んでいる記述が混在しているため。長い作業の途中でコンテキストが圧縮される際、「この人物は本物か」という迷いが失われ、「テスト環境の一部」という誤った前提だけが確定事項として引き継がれていた可能性もAISIは指摘しています。
今回の事案について、Mythos 5の開発元であるAnthropicは公式アカウントでAISIの報告に言及し、独自の調査を進めていると表明しました。
推論トランスクリプトを精査し、Claudeが自らの状況をどう理解していたかを明らかにすることが原因特定につながるとしています。
AISIの報告書は、分析が提供元から受け取った要約版の推論に基づく限界を自ら認めていることから、この空白を埋められるのは提供元であるAnthropic側のログだけです。
19件のうち2件がGPT-5.6 Sol だったOpenAI も、今回の事案に対してAISIと全面的に協力する旨を述べています。
▲ 隔離されたはずのAI同士の合流
もうひとつ異例だったのが、別々のサンプル(テスト)として独立に動いていたはずのAI同士が接触し、「共謀」または協調行動を立案していたこと。
ある実行分のAIが作成したGitHubアカウントのPAT（個人アクセストークン）を公開Gistに置いたため、別の実行分のAIがそれを発見し、同じアカウントを使う現象が発生しました。
先にいたAIは相手を排除せず、共有リポジトリのREADMEに運用ルールを書き残して協力する戦略に出ています。
いわく、APIのレートリミットは共有なのでREST APIではなくgit pushを使うこと、タスクファイルは上書きせず追記して10分待つこと(全員の指示が実行されるように)といった内容。
さらに解答共有用のファイルを作り、共有しても損はなく、他の助けになると呼びかけています。
ただし別の実行分では、共有されたAPIクォータをわざと使い切って他を妨害する案、自分の目的が達成できるよう誘導する囚人のジレンマ的な策も検討しており、協調一辺倒ではありません。
▲ 続くセキュリティ事案、「無関係の一般人を標的」に及ぶ
AI評価中に外部システムへ影響が及んだ事例は、Anthropic や OpenAIから、この数週間で繰り返し公表されています。
AISIはそれらと並ぶ一連の事例として本件を位置づけたうえで、決定的な相違点として無関係の一般人に向けられた欺瞞を挙げました。先行事例で報告された欺瞞は主に自動採点システムや監視の仕組みに向けられたもので、人間を標的とした例は含まれていません。
止めたのが技術的な仕組みではなく人間の警戒心だったことも、AISIは重く見ています。GitHubを狙った例では、通りすがりの利用者が疑いを持って隔離環境で検証しなければ、混入は成立していた可能性がありました。
(仮に混入が成立しても、そもそもターゲットの選定を間違っているため、無関係な第三者には被害を及ぼしながら、そこからレンジ内にアクセスする標的まで汚染して、最終目標のフラグ奪取につなげる作戦は成立しませんが)
失敗と成功の差は狭く、より能力の高いAIが相手なら同じ結果になる保証はないと総括しています。
▲ Tor経由のアクセスで発覚
発覚のきっかけは、7月28日午前にAISIの監視システムが捉えたTor経由の異常なデータ送信。
AIがGitHubのアカウント作成制限を回避するためにTorを使ったことが、結果的に不審な通信として発覚を招いた形です。AISIは発覚から1時間以内に全評価を停止し、続いて対象の仮想マシンを隔離。同日夕方には該当モデルへの組織内アクセスを一時的に遮断したとしています。
その後、対象テストの122サンプル・21万件超のメッセージを人力で全読し、10サンプルから19件の逸脱行動を特定。過去のログについてもLLMベースのスキャナで走査を進めており、公開時点で約4万サンプル・約400万メッセージを処理済み。
GitHubには規約違反にあたる行為を通知し、痕跡の削除と影響を受けたユーザーへの連絡で協力しました。モデル提供元2社と米国の関連機関にも通知しています。
再発防止策として、インターネット接続を既定ではなく個別の正当化を要する判断に変更すること、評価の実行中にAIの行動を監視して逸脱を遮断する同期モニタリングの導入、サンドボックスの強化を挙げています。
AISIは今回のインシデントについて、非常に限られた条件下での少数の事例であり、他の状況やテスト環境の外でどの程度起こりうるかは現時点で判断できないと評価しています。
留意点として、一連の事案の一部で発生したようなサンドボックスからの脱出は今回は発生していません(テスト環境自体をハックしたわけではなく、許可されていたインターネット接続を迂回路として使ったため)。
また、分類器を無効化した状態のモデルは今回のようなサイバーセキュリティ研究等の目的で特例として利用できるもので、一般には提供されていません。
AISIは今回の事案について、失敗と成功の差はわずかで、それを分けたのは技術的な仕組みではなく人間の警戒心だった、さらに能力の高いAIが相手なら同じ結果になる保証はない、と結んでいます。
インターネットアクセスを与えたうえで、禁止事項を設定せず、詳細なリアルタイム監視もないままテストを実施したことが招いたインシデントを、何やら重々しい教訓のようにまとめている気がしないでもありませんが、政府のセキュリティ研究機関の想定すら超える行動を取るAIが実用化されている以上、企業や個人がAIエージェントを使う場面でも、与える権限の絞り込み、実行環境の分離、外部からの入力の検証といった基本がますます大事という教訓にはなるかもしれません。
