1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。
今回は、子どもが11歳のときに書いた短い作文から、その子の将来の最終学歴や認知能力をAIが予測できるかを調査した論文「Large language models predict cognition and education close to or better than genomics or expert assessment」を取り上げます。
研究では、1958年に生まれたイギリスの子どもたち約1万人が11歳の時に書いた「25歳の自分を想像して」というテーマの作文を分析しました。これらの作文は平均して約250語という短いものでしたが、AIを用いて分析したところ、次のような結果が得られました。
▲研究の概要
作文の内容から読解力、言語能力、数学的能力などの認知能力を予測したところ、教師による評価とほぼ同等の精度を達成しました。例えば、11歳時点での読解力の予測精度は、作文分析で59%、教師評価で57%という値を示しています。一方、遺伝子データを用いた予測は14%にとどまり、作文分析の有効性が際立つ結果となりました。
また、作文、教師評価、遺伝子データの3つを組み合わせると、標準的な知能検査に近い水準で予測精度が向上しました。さらに、11歳の作文から22年後の33歳時点での最終学歴などの教育達成度も高い精度で予測できました。
研究者は、OpenAIのGPTモデルを含む大規模言語モデルを使用して、作文から1536次元の特徴量を抽出し、さらに534の言語指標、読みやすさ、文法・綴りの誤りなどを測定しました。これらの情報を機械学習アルゴリズムで統合的に分析することで、高い予測精度を実現しています。
