今年も、Adobeの年次イベント「Adobe MAX 2023」の取材で米ロサンゼルスに来ている。
Adobeのイベントでは多数の新技術が発表になるが、やはり「華」でありハイライトは、開発途上の技術を先出しする「Sneaks」だ。
SneaksはAdobe内で開発中の技術を先行公開するものだが、すべてが製品に組み込まれると決まっているわけではない。製品への導入判断には、Sneaksでの盛り上がりも加味されるという。
というわけで、Sneaksでの発表について現地での盛り上がりを含めてご紹介しよう。記事に加え現地からのビデオを大盛りで用意したので、できれば音を出して、記事より先に動画を見ながら驚きを楽しんでいただきたい。少々手ブレがあるがご容赦を。
なお、Sneaksでは毎年10のプロジェクトが公開されるのだが、今年は「特例の大物」が最後に1つ追加された。これがまた本当にすごいのだが、あえて最後に紹介するので、記事もじっくり最後までお読みいただきたい。
ビデオでも「生成塗りつぶし」を実現する「Project Fast Fill」
Googleの「消しゴムマジック」やAdobeの「生成塗りつぶし」のように、不要な部分を生成して別のものに差し替える技術は静止画では当たり前になってきた。
この技術はその動画版だ。
ビデオの1フレームで書き換えたい範囲を指定すると、後の動画でもちゃんと書き換わる。
もう「画伯」も怖くない。走り書きからイラストを生成する「Project Draw & Delight」
なにかを作るにはアイデアスケッチがいる。といってもアイデアスケッチの段階で上手い人は少ないもの。「これは何の絵だろう」という走り書きレベルの人も多いはず。
そこでProject Draw & Delight。マウスで描いた味のある（婉曲表現）絵でも、プロンプトと一緒に使うことでちゃんとした絵が出来上がる。
もちろん最終的にはIllustrator用のデータになり、再編集も可能だ。
簡単に3Dオブジェクトをモデリング「Project Neo」
3Dツールは他のグラフィックツールに比べて特殊な部分が多い。使った経験がない人は戸惑う部分が多いだろう。
そんな課題の一部を解決するのがこの技術。よりシンプルに3Dの要素を2Dのグラフィックスの中に取り込める。
簡単に使えるウェブベースの3Dツールでありながら、そこからワンタッチでIllustrator上から使えるベクターデータになる。
背景をバッチリ合わせて動画を合成する「Project Scene Change」
複数のカメラで撮影された動画があったとしよう。それらをうまく「同じ軌道で動く1つのカメラで撮ったもの」のように合成するのは大変なことだ。モーショントラックカメラが欲しくなるところだが、それを演算と生成の力でなんとかしてしまうのがこの技術だ。
背景となるビデオを3D化し、自分の映ったビデオからモーションや画角を把握し、双方を自然に重ねる。
ドレスをインタラクティブに変える「Project Primrose」
これはかなり「物理的」なプロジェクトだ。
ドレスに反射ディスプレイ技術を使ったディスプレイを組み込み、Adobeのツールで作った作品を反映することで、「無限のパターンを持つドレス」が作れる。
好きなグリフを簡単にイラレの中へ「Project Glyph Ease」
フォントには「グリフ」という概念がある。文字種・フォントと同じようなものだが、同じフォントでもイタリックとボールドでは異なるものと扱われ、「デザインにあったグリフを選んで使う」のは意外とめんどくさいものである。
このプロジェクトでは扱いを簡略化する。手書き文字やスキャンした画像上の文字のグリフを認識し、近いグリフ一式を自動生成する。
なので、手書きのレタリングに「含まれない文字のグリフ」を用意し、あとはタイプでまとめることもできるわけだ。
3Dとプロンプトの組み合わせで思った通りの絵を生成する「Project Poseable」
自分が思った通りのポーズの絵を描くのは難しいものだ。3Dだとテイストの問題があるし、そもそも思った姿勢にするのにちょっと手間がかかる。
この技術では、ポーズを簡単に付けられる技術とテキストから3D画像を作る技術とを組み合わせて、考えた通りの画像を簡単に作れるようにするものだ。
簡単一発超解像「Project Res Up」
この技術の説明は簡単。いわゆる超解像だ。ただ、その品質が異なる。結果は画像や動画をご覧いただきたいが、一気にスッキリとした画質に生まれ変わる。
その人の声で吹き替えを多国語化する「Project Dub Dub Dub」
動画の多国語対応は面倒なものだが、これはその労力をワンクリックで行うものだ。
音声トラックについて、その人の声色で各言語に変換した上で、さらに動画全体について、発話のタイミングまで各言語のものに合わせてくれる。これは動画の「音」をご確認あれ。
ガラスの映り込みよさようなら「Project See Through」
ガラスやショーケース越しに撮った写真の照り返しや映り込みには、多くの人が困っているはず。この技術はそれを救うものだ。
能力は写真の通り。びっくりするくらいスカッと映り込みが消える。
言葉にするとシンプルなのだが、結果を見るとなかなかすごい。この機能はスマホのカメラやLightroomにぜひつけて欲しい。
もはやレイヤーいらず?! 画像内を自由に操作する「Project Stardust」
この技術は簡単に言えば写真内のオブジェクトを正確に、簡単に選択する技術。今もPhotoshopに「オブジェクト選択」技術があるが、これはそれよりも高い品質で簡単に使えるものを目指している。
どのくらいかと言えば、オブジェクト選択精度が高すぎて、まるで写真内にある要素がすべてレイヤーに分かれているかのように扱えるほどだ。
しかも、本来の写真には存在しない「前にあるオブジェクトで隠れていた」ような部分まで生成し、まさに「本当は隠れていたものが移動したら出てきた」ように見せる。
これはきっと、次世代のPhotoshopに入ってくること間違いなしだ。
マーク・レヴォイ先生はAdobeでも元気でした
なお最後に、1つ追加情報。
多くの写真系機能の開発には、コンピュテーショナル・フォトグラフィーの大家であり、GoogleでPixelのカメラ開発を指揮したマーク・レヴォイ氏が、Adobeに移籍したのちに関わっている。レヴォイ氏は現在、Adobeのバイスプレジデント兼フェローを務めている。
久々に現場でレヴォイ氏に会ったが、あいかわらず楽しげにコンピュテーショナル・フォトグラフィについて語っていたのが印象的だった。
お元気そうでなによりです。
