Insta360の新フラッグシップ360度カメラ、「Insta360 X6」で新機能「空間キャプチャ」を試してみました。
Insta360 X6は、ソニー共同開発のデュアル1/1.1型センサで360度全天周を同時に撮れるアクションカメラ。
センサ面積が約33%増えて暗所に強く、360度カメラ初のDolby Vision対応などダイナミックレンジも拡大したほか、高精細を活かした平面4K動画切り出しで「ジンバル不要ジンバルカメラ」や、単眼で170度超広角アクションカメラにもなる一台三役が特徴です。
ソフトウェア面の売りは、素材選びすら不要な全自動AI編集、そして自由に歩き回われる3D空間を再現する新機能「空間キャプチャ」。
ハードウェア・ソフトウェアともに一挙にアップグレードした一台ですが、まずは新機能「空間キャプチャ」から試してみました。
(Insta360からお借りした評価機と、ベータ版ソフトウェアを使用しています。市販版とは異なる可能性があります)。
■ 360度動画からワンタップで3Dガウシアンスプラット生成、簡単にシェア
Insta360の「空間キャプチャ」は、カメラで撮影した360度動画をもとに、自由に動き回って好きな方向を眺められる3D空間を再現する機能。
技術的には、三次元座標に色のついた楕円形の点群を配置する「3Dガウシアンスプラッティング」(3DGS)技術を用いています。
原理はともかく実際の使い方は、
キャプチャしたい場所で移動しながら、Insta360 X6 (またはX5など他のカメラ)で360度動画を撮影
撮り終わったら Insta360アプリ内の「空間キャプチャ」から動画を選んで待つ
だけ。クラウドで処理されるため、スマホの性能を気にしたりアプリを起動しっぱなしにする必要もありません。
例として、8月13日に開店したばかりの Google Store 表参道の様子はこちら。
Insta360空間キャプチャ Google Store 表参道1F(ブラウザでビューアが開きます)
作成した「空間キャプチャ」はInsta360のクラウドにホストされ、リンクで簡単に共有できます。
リンクはブラウザで開くことができ、アプリのインストールや会員登録などは不要。スマホならバーチャルパッドやジャイロで、PCならばドラッグやキーボード・マウスで撮影した一定範囲を自由に動いたり、向きを変えて「空間」を再体験できます。
写真や動画から空間を再現する技術には様々な手法があります。たとえば以前から使われてきたフォトグラメトリ＋3Dメッシュ生成では、立体形状そのものをゲームのようなポリゴンとして推定することで、物体を切り出したり、壁や床の推定、壁は抜けられない等の「当たり判定」の付与が得意。
一方で、枝のような細かい物体の推定が苦手、ガラスや反射等はどんな形状なのか再構成できずめちゃくちゃな立体になりやすいといった弱点があります。
Insta360の「空間キャプチャ」が採用する3Dガウシアンスプラッティングは、反射や細かい形状も含めて、画像としては非常に自然に再現できる点が特徴。一方で、色と光の向きの情報を持った点の集まりなので、立体形状や面のデータは持っておらず、視点位置を動かせばそのまま貫通してしまいます。
■ Insta360「空間キャプチャ」の制限とコツ
Insta360アプリから使える「空間キャプチャ」は非常に簡単ですが、現状ではまだベータ版で、ちょっとしたコツや制限もあります。
まず3Dガウシアンスプラッティング(3DGS)生成そのもののコツとしては、キャプチャしたい範囲が様々な角度から撮影されるようにまんべんなく移動すること、画像がブレないよう、ゆっくりと歩くこと。
写り込む撮影者や、動く物体は3DGS生成の段階で無視されるか、ぼんやりしたゴースト状になりますが、360度映像にできるだけ多く周囲が写るように、いわゆる自撮り棒や一脚の先端につけて、頭上または前方に離して構えることが推奨されています。
現状の制約としては、生成元に選べる動画は1本のみ、長さは2分まで。できるだけ網羅するために同じ場所を長時間移動していると狭い範囲しかキャプチャできず、かといって大きく動けば撮れていない方向も増え、映像もブレるため、ちょうど良いバランスを探る必要があります。
こちらは特に空間キャプチャを意識せずに撮影した、夜の秋葉原駅近辺。
Insta360 空間キャプチャ 夜のJR秋葉原駅前 (ブラウザでビューアが開きます)
JR秋葉原の電気街口(UDX方面)を出たところから、アトレに沿って中央通り側に歩いた1分ほどの短い動画をもとに生成してみました。
歩いた範囲が狭いため、離れた場所は背景として見えているだけで近づけません。また、回り込んでいない柱の反対側などは、記憶から欠落したように粗い空白。
とはいえ、画質的に不利な夜間と強いLED光源で、キャプチャを意識せず往復もせず歩いたにしては、それなりに大きく移動して探索できます。実際に歩いて撮影した本人でも、気づいていなかった・見ていなかった方向に新しい発見があることも。
■ 買ってすぐ、ワンタップで作れる手軽さ。「丸ごと記録」が進化
3DGS自体は Insta360の発明ではなく、X6やInsta360アプリでしか作れないわけではありません。他社含む360度カメラや、スマホカメラの動画・写真からでも生成でき、すでに様々なツールやサービスが存在しています。
すでにあるサービスやアプリでも同様のことができ、もっと広い範囲も、もっと高精細も再現できるのは事実ですが、Insta360の「空間キャプチャ」は撮って1タップの手軽さ、カメラを買えば標準アプリですぐ使えるのが大きな魅力。
ある場面をあらゆる方向から記録したい、再体験したいのが360度カメラを手にする理由のひとつなら、「空間キャプチャ」はまさに本来の価値を大きく向上させる新機能。
欲を言えばもっと長い素材で、複数クリップを使いたい、生成した3DGSの使い方や編集も、などいくらでもリクエストは出てきますが、360度動画自体は残るため、これをきっかけに様々なツールを使って3DGSデビューもできます。
