私もHeyGen（AIアバター生成サービス）でデジタルツインを作成して、しゃべらせてみました。まずは、こちらの動画をご覧ください。
（本来の私がどんな感じかは、テクノエッジのYouTubeチャンネルをご覧ください、あんま比べられたくないけど…）
デジタルツイン（表記はHyper-Realistic）の作成は、ウェブカメラで自分自身を撮影して登録するところから始めます。
▲上のDigital Twinを選択
写真からのアバターも作成可能ですが、これだと“いかにもAI”な感じになっちゃうんですよね。デジタルツインのほうは非常にリアルにつくれますが、小さく書いてある通り2つまでしか所有できません。差し替えは月に二度まで可能です。このような制限は、セキュリティの問題（後述）と、サーバー負荷の回避のためのようです。
▲カメラに向かってパフォーマンスを強いられる
▲ウェブカメラが対応していれば4K撮影も可
ここでのパフォーマンスは、非常に重要です。雰囲気、話し方の間とか、かなりそのまま反映されます。追って、会話速度など少しはパラメーターをいじれるのですが、オリジナルがしっかりしてないと結局いい感じには仕上がりません。また、完璧にカメラ目線で話さないと、目線の合っていないアバターが出来上がってしまいます。
最低でも2分、何を話していいか迷うところですが、一応、プロンプト（セリフ）は画面に表示されます。しかし、それを読んでいるとやっぱり目線が合わないんですよね。カメラの近くでもダメでした。なので、カメラ目線でフリートークするのが最善策のようです。ここは頑張りどころです。
さらに言うと、本当は9分くらいあったほうがいいそうです。ただ、私は2分でもキツかったので断念しました。周囲の音も結構拾ってしまう（のちに生成するセリフに微妙に入ってしまう）ので、密室でやるのがおすすめです。
撮影が終わると、今度は本人であることを証明するため、カメラに向かってパスコードを発声する必要があります。悪用に対するセキュリティですね。こんなものでオレオレ詐欺などやられたら、たまったものではありません。他人のアバターは所有不可ということです。証明が完了すると、自分が急に流暢な英語で話しかけてきて、まぁまぁビビります。
▲パスコードまでしっかり読み上げる
アバターが使えるようになると、メールで通知が届きます。かかる時間はまちまちでしたが、長くても数十分程度でした。
プロジェクトページから作成したアバターを選択し、出てくる画面の左ペインにプロンプト（セリフ）を入力していくと、アバターがその通りに自分の声で話すようになります。
▲プレビュー時はリップシンクしない（口元にマスクがかかる）
どうも日本語の発声がしっくりこないので、ボイスエンジンをいろいろ試したところ、私の場合“Fish”が最も自然になりました。声によって相性あるようなので、これは全部試すしかありません。アクセントはJapaneseを選択すると不自然になってしまうので（プリセットボイスを使う場合は、これを選択したほうがいいようです）オリジナル＝自分の声にしておきます。
▲しっくりくるまであらゆる設定を試す必要あり
ほかの言語を話させたい場合、目的の言語を選択したのち、ボイスエンジンも自分の声に近くなるよう、再度変更しました。今回、私が作ったような複数の言語を話させる場合は、こんな短い動画でも結構手数は多くなります（まぁ、そんな動画作らなければいいんですけど）。それぞれの言語のプロンプトは、ChatGPTに翻訳をお願いしました。
プレビューで問題なかったら、生成（Generate）ボタンを押して、あとは待つだけ。
アバター登録時同様、終わるとメールが届くので、あとは出来上がった動画をダウンロードして、必要に応じて動画編集ソフトでテロップを入れたりします。
ちなみにプロンプトを字幕ファイルとして出力もできますが、より発声が自然になるように漢字やアルファベットをあえてひらがなやカタカナにする必要があったため、いずれにせよ編集は必要になります。
デジタルツインの作り方は、以上になります。なんか難しそうになってしまいましたが、いい感じのアバターさえ登録できれば、あとは机上でカタカタ頑張るだけです。
ご自身が活舌よく、トークも得意というのであれば、自分で話したほうが早いのは間違いありません。さらに多言語を流暢に話される方にも必要ないでしょう。
HeyGenはウェブ上のサービスなので、GPUパワーはまったく関係なく、そういう意味では敷居は低いのですが、現状、日本語UIは用意されていません。また、無料版はほぼ使い物にならず、最低でも月29ドルかかります。
日本語の発声に関して言えば、もっと得意なサービスがいくらでもあるので、実際にHeyGenのアバターを活用しているYouTuberは、ほかのサービスと併用している方が多いようです。いずれアップデートで改善されると思いますが、それ以前にUIのバグ（削除したプロジェクトが復活したり）や、動作が重たいときがあったので、そっちを先にを直していただきたいなと……。
とはいえアバター登録以降、ひと言もしゃべらず動画がつくれるのは、さほどトークに自信のない私には非常に魅力的でした。実は、すでにAIアバターを活用したショート動画をいくつか公開していますので、よろしかったらご参考までにご覧ください。
動画の収録を自分の顔と声でやりたいけれど、その都度カメラの前で話すのは面倒という方は、ぜひ試されてみてはいかがでしょうか。女性の場合、キメッキメのアバターさえ作れば、毎回お化粧しなくて済むのも便利ですよね。
この分野、これからどんどん進化していくと思います。そのうちスマホだけでもやれるようになるでしょう。会員制コミュニティ、テクノエッジ アルファのDiscordでは、このような最新の生成AIサービスについて盛んに情報交換しております。ご興味ある方は、ぜひ。
