ブログ/メディア様にビジネス記事を定期納品
掲載依頼はこちら

【PR】お気軽にお問合せください。

人物/商品/ビジネス情報掲載を依頼

GaussianAvatarsとは?AIがリアルタイムで自分を別人に変換

【景品表示法対応】本ページはプロモーションが含まれています。

AI

自分の顔や体を別の人に変えて、リアルタイムで動かしたいと思ったことはありませんか? 例えば、有名人やアニメキャラクターになってみたり、年齢や性別を変えてみたり、といったことです。 そんなあなたの夢を叶えるのが、Gaussian Avatarsという技術です。 

Gaussian Avatarsとは、人間の3Dアバターの動きを再構築する手法で、静止画や動画からキャラクターの動きや表情を自動的に生成することができます。 本記事ではGaussian Avatarsの特徴や仕組みについて、詳しく解説します。

GaussianAvatarsとは?

Gaussian Avatars(ガウシアンアバター)は、人間の3Dアバターの動きをリアルタイムで再現する革新的な手法です。3Dガウス分布を使って人間の体形や衣服などを表現し、多層パーセプトロン(深層学習の一種)を用いてこれらを変形させることにあります。AIがこのプロセスを通じて、アバターの動きや表情をリアルに再現することが可能になります。

参照:GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussian

GaussianAvatarsはどこが開発?

この技術はShenhan Qian、Tobias Kirschstein、Liam Schoneveld、Davide Davoli、Simon Giebenhain、Matthias Nießnerによって開発され、arXivのプレプリントに2023年に発表された論文「GaussianAvatars Photorealistic Head Avatars with Rigged 3D Gaussians」で紹介されています。

まだ特定の企業として活動しておらず、資金調達もないようです。「ガウシアン」というのは3D生成、もしくは研究のタイトルとして使われています。特定のプロダクト名ではありません。

無料で使えるの?

2023年12月時点で「技術」の発表があっただけです。まだ試験的な使用もできません。もちろん、公式サイトもありません。SNSでいくらかの発表があるだけです。YouTube動画もコンセプト動画です。

どこかの企業が注目し、資金を出すことで実現性が出てくるでしょう。もしかしたら、この記事を読んだ日本企業が注目し、投資するかもしれませんね。

GaussianAvatarsの作成プロセス

  1. ビデオ入力
  2. 3D顔追跡(FLAMEトラッキング)
  3. 局所座標系の設定
  4. 3Dガウス関数の配置
  5. 最適化
  6. 密度制御
  7. レンダリングと損失関数

ビデオ入力

まず、表情の写ったビデオを入力します。リアルタイム反映なのでカメラ接続だけで済みます。

3D顔追跡(FLAMEトラッキング)

ここでは、顔の3Dモデルをビデオの顔に合わせて調整します。これにより、顔のどの部分が動いているのかをコンピュータが理解できるようになります。

局所座標系の設定

3D顔モデルの表面を小さな三角形に分割し、それぞれに独自の位置や方向を設定します。これが、顔の形を再現する基盤となります。

3Dガウス関数の配置

各三角形の中心に、光や色を表現するための3Dガウス関数(小さな点)を置きます。

最適化

これらの点の大きさ、位置、方向を微調整して、よりリアルな顔の見た目を作り出します。

密度制御

顔の表面の質感をリアルにするために、点の密集度を調整します。これにより、陰影や質感が自然に見えるようになります。

レンダリングと損失関数

最後に、アバターを「描画」します。ここでは、色や明るさなどを自然に見えるように調整するために、損失関数という計算式を使用します。

まとめ

GaussianAvatarsは、AI技術を駆使して、簡単に3Dアバターを作成できる革新的な技術です。 GaussianAvatarsを使えば、自分の顔や体を別の人に変えて、リアルタイムで動かすことができます。

コメント

error:Content is protected !!
タイトルとURLをコピーしました