自分の顔や体を別の人に変えて、リアルタイムで動かしたいと思ったことはありませんか？ 例えば、有名人やアニメキャラクターになってみたり、年齢や性別を変えてみたり、といったことです。 そんなあなたの夢を叶えるのが、Gaussian Avatarsという技術です。
Gaussian Avatarsとは、人間の3Dアバターの動きを再構築する手法で、静止画や動画からキャラクターの動きや表情を自動的に生成することができます。 本記事ではGaussian Avatarsの特徴や仕組みについて、詳しく解説します。
GaussianAvatarsとは？
Gaussian Avatars（ガウシアンアバター）は、人間の3Dアバターの動きをリアルタイムで再現する革新的な手法です。3Dガウス分布を使って人間の体形や衣服などを表現し、多層パーセプトロン（深層学習の一種）を用いてこれらを変形させることにあります。AIがこのプロセスを通じて、アバターの動きや表情をリアルに再現することが可能になります。
参照：GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussian
GaussianAvatarsはどこが開発？
この技術はShenhan Qian、Tobias Kirschstein、Liam Schoneveld、Davide Davoli、Simon Giebenhain、Matthias Nießnerによって開発され、arXivのプレプリントに2023年に発表された論文「GaussianAvatars Photorealistic Head Avatars with Rigged 3D Gaussians」で紹介されています。
まだ特定の企業として活動しておらず、資金調達もないようです。「ガウシアン」というのは3D生成、もしくは研究のタイトルとして使われています。特定のプロダクト名ではありません。
無料で使えるの？
2023年12月時点で「技術」の発表があっただけです。まだ試験的な使用もできません。もちろん、公式サイトもありません。SNSでいくらかの発表があるだけです。YouTube動画もコンセプト動画です。
どこかの企業が注目し、資金を出すことで実現性が出てくるでしょう。もしかしたら、この記事を読んだ日本企業が注目し、投資するかもしれませんね。
GaussianAvatarsの作成プロセス
- ビデオ入力
- 3D顔追跡（FLAMEトラッキング）
- 局所座標系の設定
- 3Dガウス関数の配置
- 最適化
- 密度制御
- レンダリングと損失関数
ビデオ入力
まず、表情の写ったビデオを入力します。リアルタイム反映なのでカメラ接続だけで済みます。
3D顔追跡（FLAMEトラッキング）
ここでは、顔の3Dモデルをビデオの顔に合わせて調整します。これにより、顔のどの部分が動いているのかをコンピュータが理解できるようになります。
局所座標系の設定
3D顔モデルの表面を小さな三角形に分割し、それぞれに独自の位置や方向を設定します。これが、顔の形を再現する基盤となります。
3Dガウス関数の配置
各三角形の中心に、光や色を表現するための3Dガウス関数（小さな点）を置きます。
最適化
これらの点の大きさ、位置、方向を微調整して、よりリアルな顔の見た目を作り出します。
密度制御
顔の表面の質感をリアルにするために、点の密集度を調整します。これにより、陰影や質感が自然に見えるようになります。
レンダリングと損失関数
最後に、アバターを「描画」します。ここでは、色や明るさなどを自然に見えるように調整するために、損失関数という計算式を使用します。
まとめ
GaussianAvatarsは、AI技術を駆使して、簡単に3Dアバターを作成できる革新的な技術です。 GaussianAvatarsを使えば、自分の顔や体を別の人に変えて、リアルタイムで動かすことができます。