ポケモンGOやピクミン ブルームのNianticが、屋外で使う軽量ARグラスの試作モデルを公開しました。
協力するQualcommのARプロセッサを搭載し、約250gの軽さ、ヘッドバンド部分を折り畳めるコンパクトさが特徴です。
装着すれば現実の地形にゲームのキャラクターが現れたり、現実の看板を最新のオンライン情報で補完したり、道の上に光のラインを引いて経路を案内するなど、リアルとデジタルを重ね合わせた世界、ナイアンティックの呼び方では「リアルワールド・メタバース」が実現します。
ナイアンティックが新型のARグラス試作機デモ動画を披露したのは、チップメーカー Qualcommが主催するイベント Snapdragon Summit の壇上。
ゲームコンテンツやAR開発プラットフォームで先駆者であるナイアンティックと、プロセッサメーカーのQualcommは、ARヘッドセットのハードウェア・ソフトウェア開発で協力関係にあります。
今回の発表では Qualcommが展開するXRプラットフォーム Snapdragon Spacesに、ナイアンティックのARプラットフォーム Lightship の「VPS」機能が2023年から対応することが示されました。
ナイアンティックのLightship VPSは、カメラ映像から端末の正確な位置や周囲の環境を取得する「Visual Positioning System」機能。
地図アプリなどで使われるGPSの位置情報は、人工衛星からの信号を使うため数メートルから数十メートル単位でズレることがあるのに対して、VPSではカメラが捉えた映像中の特徴点と、あらかじめ保持している世界の精緻な3Dマップを照合することで、センチメートル単位で正確な位置を割り出すことが特徴です。
地図的な意味の位置情報だけでなく、現実世界の複雑な地形や物体の立体形状と、端末の相対的な位置関係を精密に認識できるため、現実の視界にデジタル情報やキャラクターを自然に溶け込ませる拡張現実の鍵となる技術といえます。
デモ動画は何やらゲームらしいロボットのキャラクターが飛び回ったり、看板にデジタルの追加情報を重ねたり、道に線を引いてルートを示すなど。
ポケモンGOなどスマホARで以前からできたものと何が違うのかあまり分かりやすいとはいえませんが、複数人で同じAR情報やキャラクターを同時に、同じ場所にある現実のように観ていること、操作が全員にリアルタイムに反映されていること、漠然と「平らな場所」ではなく特定の看板や遠方のビルにあわせているのは技術的な先進性です。
またロボットが陣取りゲームをしているようなこちらのスクリーンショットでは、視点よりも上の屋根の上に旗が立ち、ロボットが戦っていることに注目。ロボットの足元が隠れるオクルージョンの表現も使われています。
現状のスマートフォンの簡易的なARでは、スマホのカメラやセンサで捉えられる範囲の水平面や壁などを認識して基準とするため(カメラを平らな面に向けてくださいetc)、離れた建物の、見えていない屋上に何かを合わせることは原理的に困難、あるいは特別な処理を組まなければ実現できない表現です。
デモ映像ではVPSでこの場所の立体形状データがすでにあり、見えない部分にロボットが立っているのか、あるいは画像中の「建物」「空」「地面」などを切り分けるセマンティックセグメンテーションで「建物の境界線上の空部分」に重ねている表現のようです。
(よく見ると現実の形状と、AR的に認識されるバウンダリが微妙にずれている。画面右手の下側、撃たれているほうのロボットの足元部分は、現実の屋根が手前に広がっているのに対してAR的には直線的に処理されており、隠れるはずのロボットの足元が手前に描かれてしまっている)。
試作機の外見はなかなかにゴツいゴーグル状ですが、約250gと軽く、コンパクトに畳めるようになっています。
ナイアンティックが披露したARグラスの試作機は、ハードウェアメーカーが自社製品を開発するうえで参考にする参照設計(リファレンスデザイン)。ナイアンティック自身がARグラスハードウェアを販売するわけではありません。
今年6月、ナイアンティックのジョン・ハンケCEOがインタビューで語ったところでは、
ハンケ：(開発中のARグラスは)最新のリファレンスデザインでもかなり使えるようにはなっていますが、まだコストは高く、屋外で身につけるにはやや大きく、取り回しもあと一歩といったところです。
なので一般消費者向けの発売には少なくとも一世代、もしかすると二世代分のプロトタイプか、少数生産が必要になるでしょうね。時間で言うとすれば、まあ1、2年後でしょうか。(略)
Qualcommが発表した初のAR専用プロセッサ Snapdragon AR2の特徴は、
分散処理アーキテクチャ。マルチチップ構成で基板サイズを40%縮小し、ウェアラブルデバイス等の小型化に貢献。低レイテンシのWiFi 7に対応し、スマートフォンやPC等に低遅延で処理をオフロード。リアルタイム性が重要なタスクはデバイス側で、高度な処理はスマートフォン等へ分散させる。
AI性能がSnapdragon XR2比で2.5倍。ARでは現実環境を認識するため多数のセンサとAI処理が並列して動くため、AI性能は重要。
低消費電力。XR2比で半分。4nmプロセスノードで製造
パートナー企業にはナイアンティックのほかレノボ、LG、Nreal、Pico、Oppo、QonoQ、シャープ等が名を連ねており、各社のメガネ端末に期待できそうです。
Qualcomm Launches Snapdragon AR2 Designed to Revolutionize AR Glasses | Qualcomm
