無料で使えるスマホ用3Dスキャンアプリ Scaniverse が、最新技術『3Dガウシアンススプラッティング』に対応しました。
従来は難しかった細かい・細い物体や、ガラスや水など反射・透過する物体や場面も、信じられないほどリアルに3Dで保存できます。
Scaniverse はスマートフォンのカメラで動画を撮影して3Dに変換することで、小さな物体から部屋全体、建物などまで3Dで保存できるアプリ。
iPhone 15 Proで標準機能になった「空間ビデオ」などは、視点が少し違う二つの動画を撮影して、視差から奥行きが感じられるステレオ3D動画ですが、Scaniverse ではキャプチャした範囲をまるごと3Dで保存して、グリグリと向きを変えて見たり、自由な視点から見回す動画が作れます。
以前は iPhone の奥行きセンサーを使うため iPhone 12 Pro以降の「LiDARセンサ」搭載機種のみ対応でしたが、2022年のアップデートでは画像(動画)のみから3D化する手法「フォトグラメトリ」に対応してLiDAR非搭載のデバイスでも使えるようになりました。
最新アップデートで使えるようになった新たなスキャンタイプ「スプラット」は、今のところ iPhone 11以降の端末で利用できます。Androidスマートフォン対応は開発中。
従来の「メッシュ」と新方式「スプラット」の違い、使い分け
従来のスキャン方式「メッシュ」では、画像や奥行き情報を元に立体形状をポリゴンとして、つまり面とテクスチャのかたちで保存していました。
従来の「メッシュ」では精度の限界から、木の枝やフェンスなど細い・細かいものが認識できなかったり、ガラスや水、金属のように光が透過したり反射する物体も、立体形状が認識しづらいため正確に取り込めず、結果が不自然なかたちになることが弱点でした。
スキャン開始時、最新アップデートで新たに加わった「スプラット」を選んでキャプチャすると、スキャンした範囲の光を向きを持った点(楕円)の集合として取り込むことで、従来は難しかった対象でも非常にリアルに、どの方向からも写真のように見える精度で取り込めます。
処理はサーバ側に動画をアップロードする必要なく、iPhoneのローカルだけで完了。スマホを動かしながらさまざまな角度で被写体を撮影して、「Process」をタップすると、1分ほどでスプラットが完成します。
精度を上げるには、もういちど「Enhance」をクリック。繰り返しEnhanceもできます(最初に撮影していない角度や光は再現できないため上限はあります)。
撮影後はiPhone上で視点を動かして見られるほか、ぐるぐるとカメラが回る動画としても出力が可能。他の3Dツール等に取り込むため、PLY形式の点群データとしてエクスポートもできます。
注意点は、「スプラット」では点群としてシーン全体の光を保存するため、物体の面や立体形状までは認識していないこと。
このため、「メッシュ」では選べるポリゴン形式のエクスポートはできず、iPhoneがネイティブ対応するUSDZ形式で保存してAR機能で好きな場所に表示するといったこともできません。
小物などをポリゴンとして保存して別のアプリで使いたい場合などは、従来の「メッシュ」を選びましょう。
また「メッシュ」でスキャンした場合、Scaniverseアプリ上で余分な部分を取り除くクロップ機能が使えましたが、「スプラット」では今のところ非対応。
たとえばテーブルのうえの花瓶だけをスキャンしたくても、背景となる部屋ごとスキャンしてしまいます。
(撮影時にカメラを向けなかったものは含まれませんが、向きを変えながら様々な角度を収める必要があるため結局は取り込んでしまいます)
Scaniverse アプリは無料で利用可能。以前は一部の機能のみ無料・サブスク課金でエクスポートなどの機能がアンロックされる仕組みでしたが、2021年にポケモンGOのNianticが開発チームごと買収したことで、誰でも無料で使えるアプリになりました。
写真と違い瞬間を切り取るのは難しく、動くもののキャプチャも苦手ですが、場面や部屋全体、消えてしまう被写体などをまるごと記録しておく立体カメラ的に使えるアプリです。
Scaniverseが3D Gaussian Splattingをサポート ～ スマホからフォトリアルな3Dシーンを迅速に作成 ～ – Niantic Labs
