米Metaが2023年11月30日にFAIRの10周年を記念して開催したイベントで、新しい技術「Ego-Exo4D」を発表しました。この技術は、VR/ARヘッドセットを使用して人間の動きをAIが学び、直接技能を教えるものです。料理、スポーツ、楽器の演奏など、様々なスキルを伝える新たな可能性を提供します。
「未来の学び、AIの手で – Ego-Exo4Dでスキル習得を革新」
Ego-Exo4Dとは？
Ego-Exo4Dは、Meta AIによって作られたデータセットで、人々の日常活動（スポーツ、音楽、料理など）を映した100,000以上のビデオが含まれています。このデータセットは、ARデバイス（Quest）と非常に相性がよく、AIが人間の行動をリアルタイムで指導するのに役立ちます。
Ego-Exo4Dを使うために必要なデバイスは？
ARデバイスであればよいですが、Questが推奨されます。
AIはARでしっかり指導してくれる？
Ego-Exo4Dのビデオは、MetaのAriaグラス、GoProを使用して撮影されています。コンテンツには7チャンネルのオーディオ、慣性測定ユニット（IMU）、広角グレースケールカメラなどのセンサーからの情報が含まれています。プロフェッショナルな視点をユーザーに提供し、スポーツや作業などを洗練化、誘導する上で非常に有効です。
指導者によるナレーションや第三者による解説など、多様なビデオ言語リソースも提供されます。
Ego-Exo4Dのデータセットを作成する方法
Ego-Exo4Dのデータセットを作成する容量をステップバイステップで解説します。専門用語が出てくる場合、そのつど簡単な説明をします。
1.ウェアラブルデバイス着用
まず、データ収集のために、参加者(指導者)にはGoPro Hero 8とAriaという名前のウェアラブルカメラを着用してもらいます。GoPro Hero 8は、高画質で広角の映像を撮影できるアクションカメラです。AriaはMetaが開発したプロトタイプのARデバイスで、顔の表情や視線を検出できるカメラを搭載しています。
2.撮影カメラ設置
次に、参加者の周囲に最大4台のGoPro Hero 8を設置します。これらのカメラは、参加者の活動を第三人称の視点からキャプチャします。第三人称の視点とは、他者の視点や客観的な視点のことです。
3.測定機器の設置
さらに、7つのマイクロフォン、2つのIMU、気圧計、磁力計を使用します。これらのデバイスは、音声や動きや環境の情報を記録します。マイクロホンは、音を拾う装置です。IMUは、加速度や角速度を測る装置です。気圧計は、気圧を測る装置です。磁力計は、磁場を測る装置です。
4.データセット作成
スポーツや音楽やダンスや自転車修理などの技能を持つ人間の活動を行ってもらいます。これらの活動は、約10分間ずつ録画されます。
最後にデータ処理のために、録画されたビデオや音声やセンサーのデータを同期します。同期とは、異なるデバイスから得られたデータを、時間的に揃えることです。
また、Ariaの自由度のローカリゼーションとGoProの自由度のローカリゼーションも利用可能です。自由度のローカリゼーションとは、空間上の位置や向きを6つのパラメータで表すことです。
Ego-Exo4Dのデータセットを使用する方法
Ego-Exo4Dのデータセットを使用する方法として、具体的にQuestなどのAR/VRデバイスを用いてどのような方法があるのかをサーチしました。
Ego-Exo4Dのデータセットを使用する方法として、具体的にQuestなどのAR/VRデバイスを用いてどのような活用方法があるのかをサーチしました。以下に、それぞれ事例として150文字程度で解説します。
スキル学習
自分の興味のあるスキルを学ぶことができます。例えば、自転車のタイヤを修理する方法や、ギターを弾く方法などです。QuestなどのAR/VRデバイスを着用すると、第一人称と第三人称の視点を切り替えながら、専門家の動きを見たり、音声やテキストの指示に従ったりできます。より効果的にスキルを習得できると考えられます。
スキル評価
自分のスキルレベルを評価することもできます。例えば、ダンスやスポーツなどの身体的なスキルです。QuestなどのAR/VRデバイスを着用すると、自分の動きを録画したり、センサーのデータを取得したりできます。そして、Ego-Exo4Dのデータセットと比較して、自分のスキルの強みや弱みを分析したり、フィードバックを受けたりできます。
スキル共有
自分のスキルを他の人と共有することもできます。例えば、料理や手芸などの創造的なスキルです。QuestなどのAR/VRデバイスを着用すると、自分の作品を撮影したり、コメントや評価を付けたりできます。そして、Ego-Exo4Dのデータセットと共有して、他の人の作品を見たり、コミュニティに参加したりできます。
Ego-Exo4Dのデータセット×AR/VRデバイス活用事例
BtoB（ビジネス対ビジネス）
専門技能トレーニングプログラム
OJTビジネスでも有効です。企業が社員に対して特定の技術や作業プロセスを効率的に教育するために、Ego-Exo4Dのデータセットを活用できます。例えば、製造業での機械操作や、医療業界での手術手順の学習などです。
職場の安全トレーニング
Ego-Exo4Dを使用して、建設現場や化学工場などの危険な職場環境での安全プロトコルを教育します。AR/VRを通じて、実際の危険を伴わずにリアルなシミュレーションが可能です。
BtoC（ビジネス対顧客）
スポーツ・フィットネスコーチング
ジムやフィットネスセンターが顧客に対して、Ego-Exo4Dを用いたパーソナライズされたトレーニングプログラムを提供します。例えば、ヨガやピラティスのポーズの正確な実行方法を指導します。
教育・趣味の教室
音楽学校や料理教室が、Ego-Exo4Dのデータセットを使って、生徒に対してインタラクティブな学習体験を提供します。楽器の演奏方法や料理のレシピを学ぶためのクラスに導入してみましょう。
CtoC（消費者対消費者）
スキルシェアリングプラットフォーム
個人が自分の特技や知識をEgo-Exo4Dを通じて他の個人に教えるプラットフォームとなりえます。例えば、手芸や写真撮影の技術を共有します。コミュニティはより洗練されていくでしょう。
パフォーマンス評価コミュニティ
ユーザーが自分のスキル（例えば、ダンスやスポーツのパフォーマンス）を録画し、他のユーザーからフィードバックや評価を受けるオンラインコミュニティでの活用。Ego-Exo4Dのデータセットを使用して、パフォーマンスの改善点を特定します。
まとめ
「Ego-Exo4D」の発表は、AIとAR/VR技術の融合におけるMetaの進歩といえます。人間のスキルを習得し、それをユーザーに直接伝授するこの技術は、学習と練習の未来を形作ります。Ego-Exo4Dを通じて、私たちはAIによる直接指導の新しい時代へと歩みを進めています。
「AIと人間の共創、Ego-Exo4Dで新たなスキル習得の地平を開く」