Googleは11月19日(現地時間)、Mac版のGeminiアプリにAIがパソコンを操作して作業を進める「computer use」機能を追加しました。まず米国での提供を始めています。
やってほしい作業を文章で伝えると、Geminiがクリックや文字入力、メニュー操作、フォームへの記入を代わりに行います。対象はMac内のファイル、デスクトップアプリ、Webサイトで、複数のアプリをまたぐ手順もこなせるとしています。
Geminiの操作は、ユーザーの画面とは切り離されたバックグラウンドのウィンドウの中で進みます。チャット画面にライブプレビューが表示され、ユーザー側の画面とカーソルはそのまま使えるため、Geminiが作業している間も入力や通話を続けられます。
安全面では、Geminiに操作を許すアプリをユーザーが選んで手順をリアルタイムで確認し、いつでも一時停止できます。重要な操作は実行前にユーザーの承認を求めます。
Googleは使い方の例として、デザインソフトで写真の色調整をまとめて行う、PDFから重量・寸法・住所を抜き出して配送見積もりのフォームに入力する、複数地域のダッシュボードから数値と画面写真を集めてGoogleスライドの資料にする、フォルダー内の服の写真を分析して価格を調べ、フリマサービスへの出品を準備する、の4つを挙げています。
AIにMacを操作させる機能は、OpenAIのCodexアプリやAnthropicのClaudeなどが先に提供しています。Googleは後発ですが、一般向けのGeminiアプリにそのまま入った点が特徴です。日本での提供時期は不明です。



