AIの力で数分という速さで動画の登場人物をリアルな3Dアバターへと変換する時代が到来するようです。Alibabaグループが進める革新的なAI技術は、ビジネスやSNSマーケティングの風景を一新します。
本記事ではMotionshopの概要やシステムを分かりやすく解説します。
Motionshopとは？
Motionshopは、ビデオ内のキャラクターを3Dアバターに置き換えるフレームワークです。ビデオの背景を抽出し、ポーズ推定とアバター生成のプロセスを経て、数分でビデオシーケンスを完成させます。
Motionshopの開発元は？
| 名前 | 現職地位 | 教育背景 |
| Junfei Zhang | Alibaba A.I. Labsの科学者/技術グループディレクター | 光科学とエンジニアリングのB.Eng.,電子・コンピュータエンジニアリングのM.Phil. |
| Xiaodan Ye | Cooper Medical Schoolの助教授Lawrence Berkeley National Laboratoryの科学者 | – |
| Chao Xu | Shanghai General Healthy Information and Technology Co Ltdの副社長 | – |
| Feng Wang | UC Berkeleyの物理学部の教授Lawrence Berkeley National Laboratoryの科学者 | – |
| Qing Ran | 陸上競技選手 | – |
| Kejie Qiu | Synopsysの科学者技術グループディレクター | 光科学とエンジニアリングのB.Eng.,電子・コンピュータエンジニアリングのM.Phil. |
| Guangyuan Wang | China Tontine Wines Group Ltdの会長兼CEO兼エグゼクティブディレクター | – |
| Jianfeng Luo | Shanghai General Healthy Information and Technology Co Ltdの副社長 | – |
| Junyao Wu | University of Aucklandの博士候補生 | 化学および材料工学 |
Alibabaグループの進めるAI技術開発です。
ウェイボーなどに将来的に統合されるかもしれません。
Motionshopの技術的プロセスは？
- キャラクター検出
- セグメンテーションと追跡
- ポーズ推定
- モデル選択
- アニメーション再ターゲティング
- ライト推定
- レンダリング
- インペインティング
- コンポジシング
キャラクター検出
ビデオから対象のキャラクターを検出します。
セグメンテーションと追跡
対象のピクセル単位のエリアを追跡し、ビデオオブジェクトのセグメンテーションを行います。
ポーズ推定
検出されたキャラクターのポーズを推定します。
モデル選択
選択した3Dモデルに推定されたポーズを適用します。
アニメーション再ターゲティング
推定されたポーズを3Dモデルにマッピングし、オリジナルのビデオのキャラクターの動きを再現します。
ライト推定
新しい3Dモデルがオリジナルのビデオの照明条件に合わせます。
レンダリング
3Dモデルをレンダリングします。
インペインティング
キャラクターが取り除かれた背景を補完します。
コンポジシング
レンダリングされたイメージをオリジナルのビデオと合成し、最終的なビデオを生成します。
Motionshopの可能性
Motionshopは、特に動画やアニメーションが頻繁に必要とされるビジネスやブランド、エージェンシーに対して、フルタイムの雇用や高額なスタジオを利用することなく、質の高い動きのあるデザインを提供します。SNSでのコンテンツ制作が高速かつ費用効果的になり、マネタイズの可能性を高めます。
まとめ
Motionshopの技術は、わずかな時間で映像コンテンツを変革する力を私たちに提供します。この新たな地平は、マーケティング戦略やクリエイティブな表現において、無限の可能性を秘めています。
コメント