Twitterの共同創業者として知られるジャック・ドーシー氏のフィンテック企業Blockが、同社の研究部門が開発した音声AIモデル「Dessa」を発表しました。
Dessaは人間の音声データのみで学習した全二重（フルデュプレックス）音声モデルで、Blockは「MacBook Pro M4 Max以上の機種でローカルに動作する」と述べています。
音声AIといえば、最近はOpenAIのGPT-4oリアルタイム音声機能やElevenLabs、Fish Audioなど多くのサービスが登場しています。すべてがそうというわけではないものの、音声AIシステムの多くでは「音声→テキスト→AI処理→音声」という変換パイプラインを経由するため、声のトーンや感情といった情報が途中で失われてしまうという課題がありました。
Blockはこの点を問題視しており、「現在の音声AIとのやりとりは率直に言ってひどい体験になりえる。声をテキストに変換することで、テキストだけでは伝えられない膨大な情報が捨てられてしまう」と公式ブログで述べています。Dessaはテキスト変換を介さず音声から直接応答を生成する設計を採用しており、感情表現が自然に組み込まれているとしています。ただし、その感情制御に何らかのタグや外部パラメータが使われているかどうかは明らかにされていません。
Blockが公開したデモ音声では、ボットが「仕事で疲れた」と話す場面で本当に疲れているような口調・声色になったり、感情的な話題では声が震えるような表現をしたりする様子が確認できます。また、BlockのチームメンバーがDessa音声アシスタントとゲームをするデモも公開されています。
Dessaの主な特徴と技術的な詳細は以下のとおりです。
・学習データ: 人間の音声データのみを使用（テキストデータは不使用）
・モデル方式: 全二重（フルデュプレックス）音声対音声モデル。話しながら同時に聞くことが可能
・動作環境: M4Max搭載のMacBook Pro以上の性能を持つコンピューターでローカル動作が可能
・学習インフラ: NVIDIA GB200 NVL72 1基
・知識の源泉: 外部の事前学習済みモデルに依存せず、人間の会話音声から言語や事実に関する知識を学習
・感情表現: 笑い、間、泣き声、疲れた声など、文脈に応じた感情を伴うような音声表現を生成するとしている
Blockは現在、Dessaの一般公開に先立ち、安全性研究者を対象にテスト参加者を募集しています。音声AIに伴う未発見のリスクを洗い出すことなどが目的とみられます。
Blockはすでに音声AIを活用した注文受付機能を、同社の決済サービス事業であるSquareで提供しています。自社開発のオンデバイス動作可能な音声モデルを持つことで、ビジネス向け・コンシューマー向けの幅広いサービスをより低コストで提供できる可能性があります。ただ、Dessaの公開時期や価格などの詳細は現時点では発表されていません。
￥329,800
(価格・在庫状況は記事公開時点のものです)
￥239,555
(価格・在庫状況は記事公開時点のものです)
￥278,000
(価格・在庫状況は記事公開時点のものです)
