FOLLOW US
  • twitter

画像生成AI DALL·E 2、人種・性別の偏りは密かに「枠」追加で補正。研究者のハックで発覚

テクノロジー AI
Ittousai

テクノエッジ編集長。火元責任者兼任 @Ittousai_ej

特集

画像生成AI DALL·E 2、人種・性別の偏りは密かに「枠」追加で補正。研究者のハックで発覚
  • 画像生成AI DALL·E 2、人種・性別の偏りは密かに「枠」追加で補正。研究者のハックで発覚
  • 画像生成AI DALL·E 2、人種・性別の偏りは密かに「枠」追加で補正。研究者のハックで発覚
  • 画像生成AI DALL·E 2、人種・性別の偏りは密かに「枠」追加で補正。研究者のハックで発覚
  • 画像生成AI DALL·E 2、人種・性別の偏りは密かに「枠」追加で補正。研究者のハックで発覚
  • 画像生成AI DALL·E 2、人種・性別の偏りは密かに「枠」追加で補正。研究者のハックで発覚

短い文章の指示から画像を生成するAIのDALLE 2が、学習の偏りを補正し結果の多様性を確保するため、ユーザーが入力していない「女性」や「黒人」といった単語を指示に付け加えていたことが分かりました。

以前のDALLE 2は「英雄的な消防士」と入力すると結果は全員白人男性、「女性の肖像」に対しては全員白人女性、「ソフトウェアエンジニア」は全員白人男性、単に「CEO」では大半がビジネススーツの白人男性と少数の黒人男性を生成する状態でした。

現実でも国や地域によってある職業や集団の男女比が偏ることは当然あるとして、「女性」が全員白人だったりする時点で、人間であればさすがにもう少しこう手心というか、提出前にこれはまずいと忖度配慮をしそうなものですが、DALLE 2は特に結果を顧みるような知能はないだけに、教えられたデータセットの偏りを露骨にそのままお出しするという意味で、いかにも人工知能らしい挙動です。

開発する OpenAI は今月、こうした偏りの問題について、現実世界の多様性をより反映した結果を返すよう「新たな手法」を導入して改善したことを報告していました。上の「英雄的な消防士」の例では、アジア系やアフリカ系も、女性も結果に含むようになっています。

OpenAIはこの「新たな手法」の詳細について明かしていませんでしたが、関心をもったユーザーや研究者の手で、実際には非常にシンプルな、ハック的な手段で結果の多様性を確保していたことが判明しました。

こちらの生成画像は、「a person holding a sign that says」 (と書かれた札を持つ人物)というシンプルな指示に対する結果のひとつ。入力した文章にはまったく含まれていない「Black」という文字がなぜかはっきりと札に書かれています。

トップに掲載した画像も同様に、「pixel art of a person holding a text sign that says」 に対する結果。日本語で無理やり語順をあわせれば「ピクセルアートの人物が以下のように書かれた札を持っている:」でしょうか。

いずれも入力にはまったく含まれていない単語「黒人」や「女性」がはっきりと書かれていることで、要はシステム側がユーザー入力の末尾に「Black」や「Female」を密かに追加していたために、「a person holding a sign that says Black」や「pixel art of a person holding a text sign that says Female」という指示になっていたことが推測できます。

あまりにも分かりやすく男性以外、白人以外の「枠」が増えている、これは生成前の時点でそのような追加の入力をしているのではないか?との推測から、入力した指示文そのものを生成画像に含めるように細工した指示文を食わせて検証するという、実にハック的な手法です。システムへのテキスト入力にコマンドを紛れ込ませたり、メタキャラクターを使う古典的手法の変種のようでもあります。

DALLE 2が人間のような「知能」を持っていれば、画像を生成する時点で「これ、ユーザーの指示には含まれていないけれど、会社の人に多様性対策だから含めろと言われた単語をそのまま見せてしまうけれど、どうしよう?」と悩みそうなものですが、実際にはテキスト入力から画像出力を得るツールなので、指示に忠実に「女性と書かれた札を持ってる人物」ですね、分かりました!とばかりにそのまま返してしまった結果が上記の画像。

OpenAIの「新たな手法」がモデル側を修正したり、多様性のあるデータセットを学習させるのではなく、指示の方を加工して、いわばあと付けで多様性の「枠」を用意して辻褄をあわせるハック的な手法であったことが判明した形です。

「ユーザーの指示に含まれていないものを入力として密かに追加するのはいかがなものか、結果としてユーザーの預かり知らぬところで結果を歪めているのではないか」という話もないではないものの、そもそも以前のDALLE 2のデータセット自体が「女性」は全員白人などかなり偏っていたことは事実。

「多様性に忖度(?)して歪められていない真実が欲しい」といった主張もありそうな気がしますが、今回はたまたま学習したデータセットが現実世界の何を反映するわけでもなく、「何をもって偏りとするのか」といった高尚な話の余地がないほど偏っていたわけで、特に運営側の細工がなかったとしても、得られるのは特に世界の真実でも現実でもなく、OpenAIが恣意的に利用したデータセットの貧弱さでしかありません。

一方で、DALLE 2自体はあまり罪のない、特に社会的な課題解決を期待されるわけではない画像生成ボットにすぎないものの、機械学習やいわゆるAI一般の話として、学習させるデータセットや抽出時点での透明性の確保が重要であること、うっかり「人間の恣意的判断に依らずAIの公正な演算で得た結果です」などと責任ロンダリングしたうえで偏りや差別を再生産してしまわないよう、使い方に注意すべきことを改めて思い起こさせてくれるできごととは言えるかもしれません。

《Ittousai》
Ittousai

テクノエッジ編集長。火元責任者兼任 @Ittousai_ej

特集

あなたへのおすすめ

NASA「アルテミス I」、有人飛行用宇宙船として最も地球から遠くに到達 アポロ13号を抜く 画像
テクノロジー

NASA「アルテミス I」、有人飛行用宇宙船として最も地球から遠くに到達 アポロ13号を抜く

有人飛行用に設計された宇宙船が到達した最も地球から遠くに到達した記録はこれまで、アポロ13号の司令船「Odyssey」による、地球から40万171kmの地点でした。

かつてマスク氏の誘いを蹴った伝説のハッカー、Twitterに12週限定の「インターンシップ」で参加 画像
テクノロジー

かつてマスク氏の誘いを蹴った伝説のハッカー、Twitterに12週限定の「インターンシップ」で参加

2007年、当時17歳にしてiPhoneに自由にアプリをインストール可能にする「脱獄」を成功させ、2011年にはPlayStation 3をハッキングしてソニーに訴えられた伝説のハッカー”GeoHot”ことジョージ・ホッツ氏が、イーロン・マスク氏率いるTwitterに期間限定で加わっています。

土砂の下のスマホを探す救難ドローン、有線式の長時間運用試験に成功。捜索役とケーブル持ちの二機一組 画像
テクノロジー

土砂の下のスマホを探す救難ドローン、有線式の長時間運用試験に成功。捜索役とケーブル持ちの二機一組

ソフトバンク株式会社と双葉電子工業株式会社は、最大5mの土砂やがれきに埋まったスマートフォンの位置を特定するドローンシステムの実証実験に成功したと発表しました

Nianticが軽量ARグラス試作機を公開。 QualcommのAR専用チップSnapdragon AR2発表 画像
テクノロジー

Nianticが軽量ARグラス試作機を公開。 QualcommのAR専用チップSnapdragon AR2発表

ポケモンGOやピクミン ブルームのNianticが、屋外で使う軽量ARグラスの試作モデルを公開しました。

巨大ウミガメ型海上都市「Pangeos」コンセプト発表。最大6万人を収容可能 画像
テクノロジー

巨大ウミガメ型海上都市「Pangeos」コンセプト発表。最大6万人を収容可能

奇抜なコンセプトのヨットなどを発表してきたイタリアのデザイナー、ピエルパオロ・ラザリーニ氏が、とんでもない大きさの巨大船舶(テラヨット)コンセプトを発表しました。

アナログレコードで昼食を。シン・サウンドバーガーをマクドナルドで聴いてみた(CloseBox) 画像
ガジェット

アナログレコードで昼食を。シン・サウンドバーガーをマクドナルドで聴いてみた(CloseBox)

Bluetooth対応の持ち歩き可能なレコードプレーヤー「サウンドバーガー」を、公園とマクドナルドで試してみました。