XREALが発表した新型ARグラス XREAL 1Sと、ニンテンドースイッチ2ドックにもなる「ポータブルARステーション」ことXREAL Neo を試してみました。
特に1Sの目玉機能である3D変換と、XREAL Neoを使った Switch ゲームの3D化について。
あくまで短時間の試用によるインプレッションですが、「メガネ単体で何でも3D化 is 何？」「Switch 2ドック兼用バッテリー？？」が気になる方はどうぞ。
XREAL 1S と XREAL Neo とは
概要はこちらの発表＋ハンズオン記事をどうぞ。
『XREALも1200p新型『XREAL 1S』発表、単体2D - 3D変換対応。Switch 2出力対応バッテリーXREAL Neoも。面白くなって来やがった』
簡単にいえば、XREAL 1SはスマホやPCとUSB-Cケーブルで接続すると、眼の前に仮想の大画面が浮かんだように見えるサングラス型ディスプレイ、いわゆるARグラス。最大手XREALの最新モデルです。
(▲画像：手前が新機種XREAL 1S。かなり暗いネイビー。奥は従来モデルXREAL One。)
特徴は、
・1200p (1920 x 1200)解像度。XREAL製品はこれまで1920 x 1080の1080p解像度だったのが、同社としては初めて1200pに対応。他社でもごく最近出た VITURE Lumaシリーズなどしか存在しない最新仕様です。
・2D信号をメガネ内でステレオ3Dに変換するリアル3D機能。ボタンをひとつ押すだけで、USB-C (DP Alt mode)で入力した映像信号をAIで奥行き推定してリアルタイムに3D化。動画でもゲームでも、写真でも漫画でも、被写体が前面に浮き出したような立体映像になる。
・X1チップ搭載。単体で低遅延トラッキング。従来の最新世代モデル XREAL One / XREAL One Pro と同じく、メガネ側に独自の映像処理チップ XREAL X1を搭載。スマホやPC、ゲーム機など接続先のデバイスやアプリを問わず、メガネ側の処理で映像を空間に固定したり、ウルトラワイドディスプレイとして認識させて頭の動きで見渡す等が可能に。
外付けのカメラセンサXREAL Eyeを装着すれば、首を振る動きだけでなく前後に近づく・離れる動きや上下左右の動きも認識して、より自然な仮想ディスプレイに。
XREAL 1S とスマホ直結で動画を3D化
まず試したのは、XREAL 1S の3D変換機能。X1チップ内蔵のNPU(AI処理ユニット)により、あらゆる2D映像信号をリアルタイムに、1コマずつ解析して奥行きを推定、結果に応じて視差をつけた映像を2枚生成して、左右の目に表示することで立体的に見せる機能です。
画像の奥行き推定や立体化はとくに目新しい技術ではなく、たとえばスマホカメラのポートレートモードでも、奥行きを推定したうえで背景をぼかして、被写界深度の浅いレンズで撮ったように見せる機能として搭載しています。
またXREALのようなサングラス型ディスプレイ向けとしても、競合のVITUREは以前から3D変換を推しており、スマホやPC向けのアプリ SpaceWalkerを経由することでリアルタイムの3D化を売りにしています。
今回のXREAL 1S が世界初を謳うのは、メガネ側だけで3D化するスタンドアロン処理を実現したこと。XREALのメガネは外部機器から映像信号と電力の供給がなければそもそも動きませんが、3D化の映像処理についてはメガネ内部で完結することで、接続機器側にアプリが要らず、どんな映像でも3D化できてしまう利点があります。
実際の使い方は、XREAL 1S の右側のツルの上にあるボタンを1度押すだけ。実際には注意書きのダイアログが表示され、同意にもう一度ボタンを押す必要があります。
約5秒ほどの暗転を置いてモノクロのデプスマップ(明暗で奥行きを表現した画像)に切り替わり、ワイプで3D表示が始まります。
実際の様子はこちら。歪んだりボケたりしているのは、デモ中のフロアで急いで手持ちスマホ撮影したため。じっさいにはクッキリと安定して映っています。
まずは iPhone の Disney+ アプリでCGアニメ映画や実写映画を試しましたが、背景と被写体が分かりやすい場面であるかぎり、リアルタイムとは思えないほどはっきりと奥行きが感じられ、没入感があります。
一方で、場面やキャラクターによっては奥行き推定の品質が落ち、3D変換の弱点であるアーティファクト(不自然な部分)が目立つことも。たとえば『ズートピア』は、もともと奥行き情報を持った3D CGを2D出力した映画なので相性は悪くないものの、キャラクターのふわふわした毛など、境界部分に注目すると不自然さが目立ちます。
ただこれは、X1チップによる変換だけが持つ弱点ではなく、奥行き推定で一般的に難しいとされている処理。Appleが新型 iPhoneのポートレートモードについて「どんな髪型でも自然に」などとアピールすることがあるのは、裏を返せば非リアルタイムかつNPUが強力なスマホで、奥行きの手がかりをカメラ側からも得られる場合でも、髪の毛などの複雑な輪郭を切り出すのは難しいことを示しています。
スマホを接続して面白いのは、ホーム画面のアイコンや、ユーザーインターフェースもなんとなく、それらしく立体化すること。背景と前景、被写体として解釈しやすいものであれば、明確に立体というよりはやや浮いて見えるような感覚になります。Twitter / X のタイムラインをスクロールすれば、アイコンや埋め込まれた画像のサムネイルに奥行きがあるような見え方に。
XREAL Neo は Nintendo Switch 2の映像出力対応
次に試したのは、XREAL Neoを使った Nintendo Switch 2 の映像出力と3D変換。
XREAL Neo は「メガネ出力端子、スマホやPCなど外部機器の映像入力用ケーブル、さらに充電用端子」で計3つのUSB-C端子を備えたモバイルバッテリーです。
XREAL 1Sを含め、メガネ型ディスプレイはUSB-C直結でも使えますが、大多数のスマホなどUSB-C端子がひとつで充電用も兼ねている場合、メガネに映像出力と給電しつつでは充電ができなくなってしまい、長時間使えない問題があります。
これに対して「スマホや接続機器側のバッテリーを減らさずにメガネ出力できる」ことがXREAL Neoの意義。さらにもうひとつUSB-C端子があるため充電しつつの利用もできます。
本体は一般的なモバイルバッテリー形状で、背面にはMagSafe互換のマグネットも。スマホ等の背中にくっつけて持てます。
Neoはマグネット面と反対側に簡易的なスタンドも備えており、スマホ等を立てて使うことも。そこそこのサイズがあり、重ねた状態では大きめのスマホよりも下にはみ出る格好になりますが、これはNeo本体直付けのスマホ接続用ケーブルとL字型USB-C端子をスマホの下側に接続するための余裕。
モバイルバッテリーがNintendo Switch とどう関係するのかといえば、試した方はご存知のとおり、スイッチのUSB-C端子にメガネを直結しても映像出力はしてくれないため。
これは 初代のニンテンドースイッチからの仕様で、本来はドックに載せた「TVモード」時に、携帯モードより多くの電力を消費してテレビ向けの高解像度出力をする仕組みであるためです。
純正のドック以外にスイッチの映像出力をうたうモバイルドックやアダプタといった製品は、特定の仕様でスイッチ本体に給電することで、ドックに乗ったテレビ接続状態だと騙して映像出力させる原理。
Switch 2からはこの「TVモードだと騙す」部分で仕様変更があり、従来の互換ドック系製品は大半が使えなくなったり、ファームウェア更新による対応を迫られる状態でした。
2に対応していたものはVITUREのモバイルドックProやアップデートした各社アダプタなど少数だったところ、つい先日にはSwitch 2の本体ソフトウェアアップデートがあり、対応したばかりの製品がまた機能しなくなる騒ぎも。
XREAL 1S と XREAL Neo を試した際、持ち込んだ私物の Nintendo Switch 2 は最新のv21.0アップデート適用後でしたが、問題なくメガネに映像出力できていました。
どうぶつの森やゼルダの伝説、ナイトストライカーで試す
試したのは『どうぶつの森』『ゼルダの伝説 Tears of the Kingdom』、令和に蘇った疑似3Dシューティング完全新作『ナイトストライカー Gear』、遅延体感のためにだけに音ゲー『初音ミク Project DIVA MEGA39s』の4本。
誌面では3D動画や画像をそのまま掲載できず、載せたところで環境によって見え方がかなり変わることで逆効果になりかねないため今回は見送りますが、奥行き推定がどの程度機能しているかは、 グレースケールのデプスマップを見ればだいたい分かります。
結論としては、落ち着いて観察するヒマのある『どうぶつの森』『ゼルダの伝説』については比較的相性が良く、キャラクターが手前に立体的に見える効果ははっきり感じられます。
逆に相性が悪かったのは、疑似3Dシューティングの『ナイトストライカー GEAR』。これは無理もなく、奥行き推定アルゴリズムにとって平面スプライトの疑似3Dはかなり特殊な映像であり、元から自然な奥行きがあるわけではないため、推定が難しいようです。
具体的には、画面の奥に向かって自機が疾走するオープニング等では、地面、左右の背景、機体はそれらしく、中央に向かって奥行きがある映像にちゃんとなります。シンプルな障害物が向かってくるような場面、ゲートをくぐるような場面も立体的で大迫力。
しかし敵が現れて弾を撃ってくるようになると、ゲームの論理としての当たり判定的な「奥行き」と推定による奥行きに齟齬が出るため、プレーヤーとしては「やや奥にあるように見えるが実は眼の前で当たる敵弾」「自機と同じ平面まで迫っているようで実際は奥にある敵」などが超高速に入り乱れ、もはや笑ってしまうような状態。
もともと忙しいゲームで、敵弾の大きさや色、動きで当たり判定を感じて処理するため、立体化で余計な情報が殺しに来る状態でした。またリアルタイム処理ながら3D化では30fpsに落ちること、やや遅延が増えることで、よくわからないうちに当たって死ぬことに。
ポリゴンで、素直な3D空間を演算するタイプのゲームならば、fps低下と遅延は別として、映像としての相性はぐっと良くなるはずです。
奥行き推定は今後のアップデートと最適化に期待
3D変換全体の課題は、現時点では推定の精度があまり高くなく、輪郭にアーティファクトが目立つこと。
これは2Dからの奥行き推定による3D化全般にいえることで、XREAL 1Sだけの問題ではありませんが、エッジが気になる程度ならばともかく、一体のキャラクターに強い奥行きがつくことで前後に分離したようになることも。
立体的というより「同じキャラクターが前後に重なったように見える」「キャラが自分の看板の前に重なって立っている」ように見える症状すら頻発します。
3Dの効果量は1S側の設定で調整も可能。これは全体の奥行き感の強さを変えるもので、アーティファクト自体は相対的に目立たなくなる程度でした。
30fps化と遅延に関しては、60fpsなど滑らかに動くゲームでは、切り替わった瞬間に知覚できます。録画してfpsを計測したわけではないため、30fpsを維持することを優先に3Dの品質を抑えているのか、変動するのかも不明。たとえばPCのデスクトップを表示して、マウスを動かせば明らかにカクカクしたことが分かるはずです。
とはいえ、もともと30fpsで動作するゲームや環境も多く、その場合はヌルヌルがカクカクというより、動きが一拍遅れることのほうが気づきやすくなります。
(▲画像：初音ミク Project DIVAのタイミング調整画面。同じ環境でも人によって大きく変わるため数字は参考にしないこと)
遅延については、瞬間のパリィや回避が必須のゲームについてはおそらく厳しいはず。初音ミクでは環境による表示・入力遅延にあわせるタイミング調整を何度か試しましたが、3Dオンとオフでは明確にタイミングが変わります。
とはいえこれも、ストリーミングゲームの遅延同様に使いどころの問題。反応が重要なゲームや初見ボス、対戦では避けて、シングルプレイでさほど難度の高くない場面で没入感を楽しんだり、好きなゲームのグラフィックがもし立体になったら？を体験してみるといった使い方はありそうです。
逆に入力からの反応は無視できる映像コンテンツや写真では好相性。自然画だけでなく元から平面的なイラストや、漫画ですら「それらしく」立体化するため、様々なコンテンツを試すと意外と迫力が出たり、楽しめたりします。
(あくまで「それらしく」なので、たとえば「二行の字幕が下段だけ手前になる」「TAITOロゴのOだけ何故か飛び出す」など、気にしはじめると気になる点は多々。テキストの余計な3D化問題は、XREAL 1Sよりも大掛かりなGPU/NPUで処理する製品でも発生するため、なかなか難しいようです。)
(▲画像：XREAL 1S ARデモのスクリーンショット。Switchゲームではありません)
今回は発表直後のデモ会場で発売前のXREAL 1Sを試用させてもらいましたが、展示機でも3Dは使えるものと使えないものがある、つまり新しいファームウェアで有効になったばかりの機能でした。
奥行き推定や3D化には様々なパラメータの調整やアルゴリズムの改良があり、いまも各社の製品がアップデートを重ねています。
XREAL 1S も、現状では使いどころを選び、遅延やアーティファクトもありますが、来年の発売時には、あるいはその後のアップデートでは品質向上に大いに期待したいところです。
