Motionshopとは？AIが数分で動画の人物を3Dアバターにチェンジ

稲村操

10か月前

AIの力で数分という速さで動画の登場人物をリアルな3Dアバターへと変換する時代が到来するようです。Alibabaグループが進める革新的なAI技術は、ビジネスやSNSマーケティングの風景を一新します。

本記事ではMotionshopの概要やシステムを分かりやすく解説します。

Motionshopとは？

Motionshopは、ビデオ内のキャラクターを3Dアバターに置き換えるフレームワークです。ビデオの背景を抽出し、ポーズ推定とアバター生成のプロセスを経て、数分でビデオシーケンスを完成させます。

名前	現職地位	教育背景
Junfei Zhang	Alibaba A.I. Labsの科学者/技術グループディレクター	光科学とエンジニアリングのB.Eng.,電子・コンピュータエンジニアリングのM.Phil.
Xiaodan Ye	Cooper Medical Schoolの助教授Lawrence Berkeley National Laboratoryの科学者	–
Chao Xu	Shanghai General Healthy Information and Technology Co Ltdの副社長	–
Feng Wang	UC Berkeleyの物理学部の教授Lawrence Berkeley National Laboratoryの科学者	–
Qing Ran	陸上競技選手	–
Kejie Qiu	Synopsysの科学者技術グループディレクター	光科学とエンジニアリングのB.Eng.,電子・コンピュータエンジニアリングのM.Phil.
Guangyuan Wang	China Tontine Wines Group Ltdの会長兼CEO兼エグゼクティブディレクター	–
Jianfeng Luo	Shanghai General Healthy Information and Technology Co Ltdの副社長	–
Junyao Wu	University of Aucklandの博士候補生	化学および材料工学

Alibabaグループの進めるAI技術開発です。

ウェイボーなどに将来的に統合されるかもしれません。

ビデオから対象のキャラクターを検出します。

対象のピクセル単位のエリアを追跡し、ビデオオブジェクトのセグメンテーションを行います。

検出されたキャラクターのポーズを推定します。

選択した3Dモデルに推定されたポーズを適用します。

推定されたポーズを3Dモデルにマッピングし、オリジナルのビデオのキャラクターの動きを再現します。

新しい3Dモデルがオリジナルのビデオの照明条件に合わせます。

3Dモデルをレンダリングします。

キャラクターが取り除かれた背景を補完します。

レンダリングされたイメージをオリジナルのビデオと合成し、最終的なビデオを生成します。

Motionshopは、特に動画やアニメーションが頻繁に必要とされるビジネスやブランド、エージェンシーに対して、フルタイムの雇用や高額なスタジオを利用することなく、質の高い動きのあるデザインを提供します。SNSでのコンテンツ制作が高速かつ費用効果的になり、マネタイズの可能性を高めます。

Motionshopの技術は、わずかな時間で映像コンテンツを変革する力を私たちに提供します。この新たな地平は、マーケティング戦略やクリエイティブな表現において、無限の可能性を秘めています。