アップルの空間コンピュータことAR/VRヘッドセット「Apple Vision Pro」は専用コントローラーを備えず、アイトラッキングとハンドジェスチャーで操作します。
まさに目の前にある仮想現実のオブジェクトやアイコンを、目線で選んでから手や指で触って動かすというコンセプトです。
これまでもキーノートでのデモや体験した人の説明で一端は伝わっていましたが、具体的にどのようなインタラクションになるのか、実際のハンドジェスチャーの詳細をAppleが開発者向けセッションで明らかにしました。
タップ - 親指と人差し指を合わせると、目で見ている画面上のアイコン等がタップされたことになります。要はiPhoneの画面をタップするのと同じです。
ダブルタップ - 2回タップすると、iPhoneでダブルタップに相当するジェスチャーとなります
ピンチ＆ホールド - 親指と人差し指を合わせたまま行う操作。iPhoneのタップ＆ホールド（タップして押しっぱなし）に似ており、テキストのハイライト等ができます
ピンチとドラッグ - スクロールやウィンドウを動かすことに使用。横方向またはタテにスクロールでき、手を速く動かすと速くスクロールできます
ズーム- 両手で行う主要ジェスチャーの1つ。両横を引っ張るように指をつまんでズームイン、逆の操作でズームアウト。またウィンドウのサイズを、四隅をつまむことで調整できます。
回転 これも両手ジェスチャーで、指をウィンドウ等をつまんで手を回転させて、仮想オブジェクトを操作できるようです
これらジェスチャーは、すべて目の動きと連動しています。Vision Proに搭載された多くのカメラが、ユーザーがどこを見ているかを正確に追跡することで、まるでiPhoneの画面を直接タップするような精度が実現するというわけです。
またハンドジェスチャーは大げさにする必要はなく、膝の上に手を置いたままでも大丈夫です。むしろ手を宙に浮かせたままだと疲れるため、アップルがそちらを推奨しているほど。そして手や指もカメラにより正確に追跡しているため、タップ操作も小さな動きだけで済みます。
その一方で、目の前にあるSafariのウィンドウを、手を伸ばして直接にスクロールさせるような、大きなジェスチャーも想定しています。またお絵描きの場合は、描きたいキャンバスを見つめ、手でブラシを選び、空中でジェスチャーを使って描くことに。さらに目線を移せば、その場所にすぐにカーソルを移動できます。
アップルが明かした主なハンドジェスチャーは上記の6つですが、開発者が特定アプリ専用のカスタムジェスチャーを作成することも可能。ただし、システム標準のジェスチャーや一般的な手の動きとは違うものにすること、また手が疲れずに何度も繰り返せる操作にする必要があります。
ほかBluetoothキーボードやトラックパッド、マウス、ゲームコントローラーもヘッドセットに接続することができ、音声ベースの検索や書き起こしツールも用意されています。
