生成AIアバターはもはや一般的な技術となっています。SNSなどでは実在しないインフルエンサーがスポンサーを獲得し、マネタイズを始めているのはご存知の通りです。
一方で、まだディープフェイクや画像モデリング編集のみの場合がほとんどです。動画コンテンツでは実際には踊る人間が必要です。
「Multi-Track Timeline Control」はAIアバターを自由に動かす技術です。本記事ではこの技術の仕組みや具体的な活用方法を解説します。
Multi-Track Timeline Controlとは？
「Multi-Track Timeline Control」は、テキストから3D人間の動きを合成するための新しい手法です。アニメーション作成において、より詳細な制御と表現の自由度が可能になります。
何が新しい？
これまでの方法では、短いプロンプトと指定された期間からキャラクターのアニメーションを生成することができましたが、アニメーターが必要とする細かな制御、例えば複数のアクションの組み合わせや動きの部分的な正確な期間の定義には対応できませんでした。
Multi-Track Timeline Controlは、この問題に対処するために導入されたもので、ユーザーに直感的でありながら細かな入力インターフェースを提供します。ユーザーは単一のプロンプトではなく、時間的区間に組織された複数のプロンプトを持つマルチトラックのタイムラインを指定できます。これにより、各アクションの正確なタイミングを指定し、複数のアクションを連続または重なる区間で構成することが可能になります。
もっと具体的に！クリエイターにとってどんなメリット？
アニメーションやゲームの開発、映画制作、インタラクティブメディアなど、幅広いクリエイティブな分野において、作業の効率化と創造性の向上を実現します。
アニメキャラの詳細な動きの制御
複数の動きやアクションを正確なタイミングで組み合わせることが可能になり、アニメーションの細かな調整が容易になります。
ストーリーテリングの柔軟性の向上
異なるシナリオやキャラクターの動きを同時に制御できるため、より複雑でリッチなストーリーラインを作成できます。
効率的なリソース管理
複数の動きやアクションを一度に管理できるため、作業時間が短縮され、プロジェクトのリソースをより効率的に活用できます。
リアルタイムのフィードバックと調整
モーションの合成や調整をリアルタイムで行えるため、試行錯誤のプロセスがスピードアップします。
カスタマイズ可能なキャラクターアニメーション
特定のキャラクターに特有の動きや表現をカスタマイズして作成することができ、より個性的なアニメーションが可能になります。
インタラクティブなコンテンツの開発
ゲームやVR/ARコンテンツの開発において、インタラクティブな要素を効果的に組み込むことができます。
Multi-Track Timeline Controlの技術
マルチトラックタイムライン制御
マルチトラックタイムライン制御では、細かいタイミング指定と並列実行が可能なインタフェースを実現しています。
トラック定義
まず、タイムライン上に複数のトラック(行)を定義します。
各トラックには、実行したいモーションのテキストとその実行区間(開始時刻と終了時刻)を指定します。
テキスト指定
テキストには、モーションを行う体の部位(腕、脚など)も指定します。
複数のトラックを定義することで、異なるモーションを同時並行で実行できます。
モデリング
モデル内部では、各テキストの実行区間でモーションを個別に生成します。
生成したモーションを、指定された体の部位に基づき繋ぎ合わせます。
隣接するモーションの接続部分は、スムーズに移行するよう調整します。
これを繰り返すことで、タイムラインに沿った複合的なモーションを生成します。
STMC
STMC（(Spatio-Temporal Motion Collage）はマルチトラックタイムラインからリアルな複合モーションを生成する手法です。
テスト時にのみ適用される手法で、事前学習済みのモーション拡散モデルを活用します。
マルチトラックタイムラインを入力として、各テキストのモーションを個別に生成し、体の部位ごとに接続する
モーションのクロップとデノイジング
入力のノイズモーションを時間方向にクロップし、各テキストの区間を抽出します。抽出した各クロップに対して、拡散モデルでデノイジングを適用し、クリーンモーションを生成可能です。
空間的ステッチング
各テキストに体の部位ラベルを付加し、部位ごとのタイムラインを作成します。デノイジング後、同じ部位のモーションを繋ぎ合わせることで空間的複合を実現させます。
時間的ステッチング
クロップの区間を拡張し、重複区間を設けます。DiffCollageを用いて隣接するモーションの接続をスムーズにすることが可能です。
メリット
空間的および時間的複合動作の生成ができます。リアルで意味的に正しいモーションが生成できるメリットがあります。
まとめ
生成AIアバターを動画コンテンツとして昇華させる技術こそが「Multi-Track Timeline Control」です。SNSマーケティングを進める皆様にとって、非常に重要なイノベーティブ技術となることは間違いありません。
Multi-Track Timeline ControlがいずれかのSNSプラットフォームなどに統合された際は、かなりのインパクトになるでしょう。独自にプロダクトを展開するかもしれません。
以上、Multi-Track Timeline Controlについて解説させていただきました。本サイトでは最新のビジネスAI情報を毎日配信しています。ぜひ、ブックマークをしてお見逃し無いようにしてください。