iPhone 15 Proへの実装が予定されていた「空間ビデオ撮影」機能が、iOS 17.2に実装された。
▲iOS 17.2へアップデートしたiPhone 15 Proでは、空間ビデオが撮影可能に。「カメラ」の「フォーマット」から設定。動画でゴーグルのマークをオンにすると空間ビデオになる
空間ビデオといっても、左右の目それぞれ向けの映像を記録する、いわゆる「ステレオペア映像」。古典的なものなので、「空間ビデオ」という表現を大げさなものに感じられる人もいるかもしれない。
だが、この機能が多くの人が持つスマートフォンに搭載されたことには、非常に大きな価値がある。
ここで3D写真・3D動画の歴史とその視聴方法等について、歴史と今の状況をまとめておきたい。
※この記事は、毎週月曜日に配信されているメールマガジン『小寺・西田の「マンデーランチビュッフェ」』から、一部を転載したものです。今回の記事は2023年12月18日に配信されたものです。メールマガジン購読（月額660円・税込）の申し込みはこちらから。コンテンツを追加したnote版『小寺・西田のコラムビュッフェ』（月額980円・税込）もあります。
3D写真・3D動画はどう扱われてきたのか
人間は左右の目の間に「視差」があり、この違いを生かして作られたのがステレオグラム、いわゆる立体写真である。
歴史は古く、19世紀前半からあり、非常に古典的な技術だ。日本でも、江戸末期から明治初期には作られていたようだ。すなわち、写真そのものの歴史と並行して進んでいったのだろう。
子供の頃、学習雑誌のおまけなどで立体写真を楽しんだ人もいるはずだ。そのぐらい仕組みとしては単純であり、最新の技術を使わなければ作れないというものではない。
そんなこともあって、デジタルでの写真・動画においても、初期からステレオグラムは作られ続けており、デジカメやデジタル記録のディスクが生まれる前から、ステレオグラムを見るデバイスはあった。ファミコンやレーザーディスク用の3Dメガネを覚えている人もいるだろう。そこからさらに、1990年代の第一次VRブームにつながるのだが、今回その話は割愛する。
再び注目を集めるようになったのは、2010年代になって、3Dテレビやヘッドマウントディスプレイが市場に広がってからである。
3Dコンテンツの視聴に向いたディスプレイデバイスや機器が登場すると、それに引きずられるように、コンテンツ制作の側も注目が集まることになる。3Dテレビの登場に同期するように「視差バリア液晶」技術が注目されると、それを搭載した機器が登場する。
スマートフォンもいくつか出たが、最大のヒットは「ニンテンドー3DS」だ。3DSは二眼のカメラを搭載しており、カジュアルにステレオグラムが撮影できた。現在に至るも、「世界で一番普及したステレオカメラ」はニンテンドー3DSであるのは疑いない。このままiPhoneが「空間ビデオ」を搭載し続けるなら、数年の間に抜いていくのかもしれないが、3DSは間違いなく、当時として画期的な製品だった。
その後、VRの盛り上がりとともに3Dコンテンツ制作の流れはもう一度注目される。2018年にはGoogleが主にYouTube向けに、ステレオペアの動画を流す「VR180」という規格を作り、レノボが「Mirage Camera」という専用カメラを作っていたりもした。
▲レノボの3Dカメラ「Mirage Camera」（2018年発売）。コンパクトで安価だったが画質はそれなり
とはいえ、3DSにしろその後の専用カメラにしろ、コストやサイズの問題はいかんともしがたいところがあった。立体で映像を見る場合には十分な解像度などが必要になるのだが、どうしても撮像素子やレンズの解像度の問題から、クオリティーが上がってこなかったのだ。
キヤノンなどが発売している業務用機器ではハイクオリティーなものが撮影できたし、GoProなど単体のカメラを2つ組み合わせることで、高画質な3D映像を撮ることもできた。アダルトビデオを含む、業務として撮影された3D映像のほとんどは、そうした機器で撮られたものだ。
だが、それでは手軽という面でマイナスだ。
この流れでお分かりのようにステレオグラム・3D動画は、必ず表示のための機器と撮影システムがセットになって注目される。見るための機器がなければ、結局コンテンツが生かせないからだ。
一方で、「ハイクオリティーで」「皆が持っている機器で」「簡単に」という3つの要素を備えた状況というのはなかなか生まれてこなかった。
今回、iPhone 15 Proの空間ビデオ撮影は、「ハイクオリティーで」「皆が持っている機器で」「簡単に」という要素をようやく満たす。
アップルとしては、本来Vision Pro向けに用意した要素であり、ここでもまた表示のための機器と撮影システムがセットになるという原則が守られている。
▲空間ビデオは、アップルが来年発売を予定しているVision Proの差別化要因として用意したものでもある
iPhone 15 Proの「空間ビデオ」はなにが違うのか
iPhone 15 Proの空間ビデオは、左右の目のための動画をセットにした「ステレオペア動画」であり、ファイルフォーマットとしてはMultiview High Efficiency Video Coding (MV-HEVC)と呼ばれるものだ。
「ステレオペア動画なら、撮影の方法はいくらでもあるのでは。別に新しくない」
そう、その通り。まったく新しくない。
ただしポイントは、「iPhoneでやっている」という点にある。
iPhoneはこれまでに出た3Dカメラと比較しても、センサーや画像処理の能力が高い。一部の業務用レンズをのぞけば、トップクラスの3D画質になる。
しかもどうやら、アップルは撮影時に「立体感が自然で誇張された感じになるなにかの処理」をしているっぽい。撮影映像の立体感のクオリティが妙に高いからだ。
そもそも、iPhoneで空間ビデオを撮る場合、何らかのソフトや処理は必須だ。なぜなら、空間ビデオはiPhoneにある「広角」と「標準」の2つのカメラを使って撮影しているのだが、それぞれ画角も解像度も違うカメラである。だから単純に両方で撮影し、ステレオペアにしてもちゃんとした3D画像にはならない。画角合わせを含めたいくつかの画像処理を行なった結果として、空間ビデオとして見られる映像になっているはずである。
同じ発想を使えば、他社のアンドロイドスマホで空間ビデオ撮ることも十分にできる。ただスマホによってカメラの配置や価格の違いは大きく、それを製品ごとにチューニングしてビデオにするのは大変なことだろう。
アップルは自社製品のためだけに空間ビデオの機能を搭載しているので、調整も比較的容易なのである。
まずVision Proの計画があり、その後でiPhone 15 Proに空間ビデオの機能を搭載するという話になったのではないかと予測している。だが、そういう組み合わせをうまく実現できることこそ、アップルの強みとはいえるだろう。
「ステレオペア」と「3Dデータ」
アップルの空間ビデオは、あくまで1つの視点から見た立体映像の記録である。ステレオペアでできる映像というのは、必ずそうなるからだ。Vision Proの上では「空間の中に空間ビデオが浮いているような形にすることによって、立体感を強調する演出がなされている。
とはいえ結局のところ、「空間の中を自由に歩き回れる空間そのものの記録」とは違うので、その点は要注意だ。
ただ、空間そのものの立体記録も、最近は充分可能になってきている。スマートフォンの上でフォトグラメトリーアプリを使えば、品質や用途は限定されるものの、3Dモデルをキャプチャーすることもできるようになっているからだ。
以下の画像とリンクは、筆者が先日ラスベガスに取材に行った際に、iPhoneを使って空間をキャプチャしたものだ。
▲Luma AIを使ってキャプチャした、ラスベガスのホテルのロビー。このリンクから飛べば、好きな角度から見られる
使ったのは「Luma AI」というアプリ。オブジェクトの周りを移動しながら撮影するため、時間はかかるものの、ご覧のようにかなりのクオリティーで撮影ができる。
こうしたものは、VRデバイスやVision Proで楽しむのはもちろん、先日クラウドファンディングが始まった「Looking Glass Go」のような立体可能なディスプレイで楽しむこともできる。
▲現在クラウドファンディング中の裸眼立体視ディスプレイである「Looking Glass Go」
こうしたデバイスの特徴は、単に1視点から見た3D映像を見るだけではなく、より自由な方向から見られることにある。そのためには、データが「自由な視点から見られる3Dデータ」として作られている必要がある。
3Dデータを自分でモデリングするのは大変だが、フォトグラメトリーという技術の登場により、写真からAI処理によって奥行きや因果関係を推測し、結果的に3Dのデータを作るということも可能になってきている。
ここも現状では、一眼レフなどで大量の写真を撮って、それをもとにハイクオリティーなデータを作った方が良いのだが、それでは手軽さの面で問題がある。
というわけで、スマートフォンを使って、「完全ではないが、立体にちゃんと見えるデータをフォトグラメトリーで作る」というアプローチが広がるものと考えられる。
なお、フォトグラメトリーに使うのであれば、別にiPhoneである必要はなく、アンドロイドでもいい。カメラの画質が高く、性能もできるだけ良いものである方が望ましいが。
撮影と視聴が手軽になれば「思い出を3Dで残す」時代が来る
VR機器は有望ではあるが、見るためだけに、頭に何かをかぶるというのは、定着する行為とは思えない。Vision Proのように、PCや映像機器の代替として使える、すなわち「ずっとかぶりっぱなし」の機器であるならばそういう使い方もありかとは思うが、もっと手軽な機器も必要になるだろう。
そこでは、Looking Glass Goのような裸眼で3Dを見られる表示デバイスが重要になってくる。
Looking Glass Goの場合には、見る方向によって映像を変える技術を採用、多数の視点（Looking Glass Go の場合で100前後）の画像を作り出すことで、見る方向を変えると立体感を感じる。
そのため、2視点しかないステレオペア画像で立体感を出すには、表示に多少工夫が必要になる。
裸眼で3Dを見られるデバイスとしては、ソニーの「空間再現ディスプレイ」やACERの「SpatialLabs」のように、視線を認識して映像の表示を最適化する方法もある。実は「Newニンテンドー3DS（2014年発売）」も同じ仕組みで、東芝（現REGZA）がテレビでも使っていたことがある。
▲ソニーが2022年12月に技術公開した、55インチサイズの空間再現ディスプレイ。人が実物大で立体に表示されるので、実在感がすごい
この方法は同時視聴者が1人に制限されるものの、ディスプレイが作りやすく、解像度・画質を上げやすいという利点もある。
こうしたデバイスを「ホログラム」と表現する場合も多いが、実際には違う。ホログラフィーには「光の色（波長）や強さだけでなく、位相も記録したもの」という明確な定義があり、必ずしも立体映像のことを指すわけではない。ホログラムを使った立体ディスプレイもあるが、現在実用化されているもののほとんどは、別の方式によるものだ。「立体が浮かぶホログラムっぽい表示」だからそう呼ばれている、と考えるべきだろう。
どちらにしろ、先ほど説明したように「表示デバイスとコンテンツは必ず同時に現れる」ものだ。
今回、iPhoneでの撮影はVision Proと同時に登場する。他の形のデバイスもまた、同時期にいろいろ出てくることになるので、改めて「3D撮影」「ステレオペア撮影」が注目される時代が来るのかもしれない。
本来、思い出を残すという意味では、やはり平面の画像よりも立体感のある画像の方が望ましい。そこにはある種の「生々しさ」が存在していて、写真とはまた別の楽しさがあるからだ。もし家族や友人との楽しい思い出を残しておくのであるならば、立体の形で残しておきたいと思うはずだ。
これまではそうしたことが簡単にはできなかったが、ようやく誰でもできる形で人々の前に現れようとしている。
これは意外と大きなことかもしれない。
「現実空間の中でゲームができる」といってもそれに惹かれる人はそんなに多くないかもしれないし、「4Kの画面を空間に3つ浮かべられる」といっても、もっと響かないだろう。
だが「子供の思い出をいつまでも3Dで残しておける」ということになるなら、意外と誰もがそこにお金を払いたいと思うのではないだろうか。
Vision Proでも見られるし、もちろんXREAL Airのようなサングラス型ディスプレイ、Looking Glass Goのような製品でも見られる。特にLooking Glass Goについてはウェブサービスと連動し、フォトスタンドのように自動的に3Dの思い出写真が切り替わっていく……というような使い方もできるようになっている。
機能としてはあくまで、OSのアップデートの1要素に過ぎない。だが今回のiPhone 15 Proの「空間ビデオ撮影」は、そういう変化が起こるきっかけの1つだと考えている。
ただそのためには、「視聴デバイスがちゃんと普及しなければいけない」という大きな条件があるが。
