筆者は2022年から、妻の写真からAI画像を生成したり、動画を作る活動をやっていますが、今回、写真から立体像を製作するプロジェクトが進展しました。
生成AIを使い、写真1枚からリアルな人間の3Dプリントができるところまで、技術が進化したのです。
 |  |  |
妻の立体像を3Dプリンタで製作する取り組みは、生成AIという言葉が一般的ではなかった、5年前の2020年から進めています。
・光造形3Dプリンタで作る、世界で一つだけのフィギュア リアルな人体モデルを作る最短の方法
このときに使っていたのはCharacter Creatorという、3Dキャラクターモデルを作るためのソフトのオプションとして販売されているHeadshotというプラグインで、顔写真を取り込み、パラメータを微調整して全体像にするというもので、当時としては非常に精度が高い技術でした。
AIを使って写真から3Dモデルを作るというやり方は、Meta（当時はFacebook）などが研究しており、コードも公開されていましたが、解像度が低く、顔も判別できません。精度においてはHeadshotを使う方が現実的でした。
・PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization
Character Creator + Headshotで制作した3Dモデルを最初は光造形方式のプリンタで、次はFDM（熱溶解積層方式）でより大型の3Dプリンタを購入し、徐々に大きなサイズで出力できるようになり、最終的には最大出力で400×400×450mmのサイズをプリントできる「ANYCUBIC Chiron」というプリンタを購入。4～5個のパーツに分割して等身大フィギュアを製作できるようになりました。
現在は、「ELEGOO OrangeStorm Giga」という、800×800×1000mmという、コンシューマー機としては最大の出力が可能な超大型FDMプリンタを購入しましたが、9カ月経った今もまだ組み立てが終わっていません。
組み立てを進めていない理由の一つが、3Dモデル自体の問題。Character Creator + Headshotによる3Dモデルは、体のパラメータを微調整できるし、ちゃんとボーンが入ったヒューマンモデルなのでポージングも自由にできるというメリットがあるのですが、肝心の顔が期待したほど似ないという問題があります。
特に、目、鼻、唇といったところは、いくらパラメータ調整ができるとはいえ、相当に想像力をたくましくしないと再現が難しい。
また、正面の顔写真から推定した場合、背面の髪型が不自然なままになります。これをちゃんとしようと思うと、本人に近いオプションヘアスタイルを探し、さらにカスタマイズしないといけません。いくつか購入して試してみましたが、これもあまり似ない……。ヘアスタイルのデザインツールを使うところまでいかないとダメなのか。
そんな感じでこちらの技術が追いつかず、あまり気持ちが盛り上がらないまま、3Dプリンタ本体の設置も進められずにいた、というのが言い訳です。
写真からの3D推定を一気に高度化したSparc3D
2020年には技術が登場していた、AIによって静止画から3Dモデルを推定するという手法は、現在でも進化が続いています。Tripo、Hunyuan 3Dなどが頻繁にバージョンアップし、徐々に精度を高めています。
バージョンが上がるたびに妻の写真をアップロードして試していますが、まだリアルな人物を高精度で3D化するところまでは到達していません。どうしても顔の一部が崩れてしまいます。デフォルメキャラであればなんとかなる、くらいのレベルです。来年くらいには実用レベルに達するといいなあ、くらいに考えていました。
そんな予想をいい意味で打ち砕いたのが、Sparc3Dというソフトの登場です。高解像度で効率的なメッシュ再構成と生成が可能な次世代3D モデリング技術をうたっています。
コードはまだ公開されていませんが、Hugging Faceにデモページがあったので、試してみたところ、非常に良い結果が出ました。
 |  |  |
 |  |  |
 |
生成された3Dモデルファイル（.glbの拡張子で記述されるglTFフォーマット）を拡大してみても、非常に精度が高いことがわかります。
これなら3Dプリントもそのままいけるのでは、と考えて、試してみました。watertightとうたうだけあって、3Dプリント用にスライスしても破綻がありません。1kgのフィラメントの半分くらいを使い、ほぼ1日かけてプリントしました。
今回印刷したのは速度を優先するドラフトモードなので、まだ目が粗いですが、それでもHeadshotベースのモデルと比べると格段に良い出来栄えです。
 |  |  |
 |  |  |
 |  |  |
24時間と2分で印刷は完了しました。特に鼻腔のあたりの膨らみ方などは本人のものをよく再現しているのが、指で触ってみてわかります。これだけで感動です。
 |  |  |
筆者がこの取り組みをXに投稿すると、Sparc3Dの開発者であるZhihao Liさん（シンガポール南洋理工大学）から、Xでメッセージをもらいました。
Sparc3Dでは、ポートレート（人物）モデリングに最適化した特別バージョンに取り組んでいるそうなのです。現時点でも非常に優れた結果を出しているのに、さらに高度な人物モデリングが期待できるというのはうれしいかぎり。
がぜんやる気が出てきました。その新バージョンが登場するまでに、1メートル3Dプリンタのセッティングを完了させなければ。
