マイクロソフトは、Microsoft Storeを通じてMicrosoft Copilotのアップデート提供を開始するとし、その最新の更新プログラムで、Copilot Visionに「Desktop Share(デスクトップ共有)」機能を追加すると発表しました。
デスクトップ共有と言えば、近年ではビデオ会議システムなどでよく使われる機能を思い浮かべます。企業の情報システム部門の人なら、Remote Desktop(現Windows App)やVNCといった遠隔GUI操作アプリケーションを想起するかもしれません。これらのアプリとVision Shareが異なるのは、デスクトップ(または特定のアプリウィンドウ)の共有相手がAIだというところです。
Copilot アプリのメガネアイコンをクリックし、表示するデスクトップまたはアプリウィンドウを選択して共有機能を有効化すると、Copilotがユーザーのデスクトップ操作を継続的に監視・認識し、何か困ったことがあったとき、たとえば何らかのクリエイティブプロジェクトの改善に関するヒントやビジネスにおけるドキュメント作成から、ゲームの操作方法に至るまで「リアルタイムで話しかけ」、音声でコーチングしてくれるようになるとマイクロソフトは述べています。ユーザーからの音声その他の方法による質問にも回答を提供します。
Vision を有効にするには、まず Copilot アプリで特別なモードに入る必要があります。Copilot は自動的に画面を確認することはありません。そのため、ユーザーが見ているものを AI アシスタントに認識させるには、まずデスクトップを AI アシスタントと明示的に共有する必要があります。
もちろん、この機能は完全にオプションであり、ユーザーが明示的に有効化しない限り、Copilotが画面にアクセスすることはありません。また、この機能を含むCopilotアプリのアップデート(Ver.1.25071.125以降)は、まずはWindows Visionが有効な市場から段階的に展開されるとのことです。
ちなみにMicrosoftは昨年10月にCopilot Visionを発表し、12月には Edgeブラウザーを使うユーザーを対象に、ウェブ閲覧中に、何を見て何をしているかを読み取り、適宜ユーザーからの質問に回答可能な機能を試験的に提供開始していました。