Amphionとは？AIが歌声を自由にカスタマイズ

稲村操

11か月前

歌声のカスタマイズに関する可能性は、音楽制作の世界において常に追求されてきました。多くの音楽クリエイターや研究者が、より柔軟で独自の音声を生み出す方法を探求しています。

「音楽の未来を形作る、Amphionで歌声を自在に操ろう」

Amphionとは？

Amphionはオープンソースのオーディオ、音楽、話し言葉生成AIです。初心者でもモデルの仕組みを理解しやすいように、視覚化する機能も備えています。

また、様々な評価基準やデータセットにも対応しており、オーディオ生成の分野での研究や開発を進める上で役立つでしょう。

機能	説明	開発状況
TTS（Text to Speech）	テキストを音声に変換	⛳ サポート済み
SVC（Singing Voice Conversion）	歌声を異なる歌声に変換	⛳ サポート済み
TTA（Text to Audio）	テキストをオーディオに変換	⛳ サポート済み
SVS（Singing Voice Synthesis）	歌声を合成	👨‍💻 開発中
VC（Voice Conversion）	一つの声を別の声に変換	👨‍💻 開発中
TTM（Text to Music）	テキストを音楽に変換	👨‍💻 開発中

Amphionを使えば、テキストから音声を生み出す（TTS: テキスト・トゥ・スピーチ）、歌を別の声に変える（SVC: 歌声変換）、そして文章から特定の音を生成する（TTA: テキスト・トゥ・オーディオ）といったことが可能です。

Amphionの開発と運営は、香港中文大学（深セン）、上海AIラボ、および深センビッグデータ研究所によって行われています。Zhizheng Wuが対応する著者であり、このプロジェクトはオープンソースで、GitHubで利用できるようになっています

Amphionの主な機能をわかりやすい日本語で説明します。

Amphionはテキストを音声に変換するシステムにおいて、最先端の性能を発揮します。FastSpeech2、VITS、Vall-Eなどの設計構造になっています。以下は統合される設計構造一覧です。

高速なTransformerブロックを使用する音声合成アーキテクチャです。

敵対的学習を取り入れた変分オートエンコーダーを利用する、終端までの一貫したアーキテクチャです。

離散コードを使うニューラル言語モデルに基づく、ゼロショット（事前学習なしで使用可能）のTTSアーキテクチャです。

自然な音声を生成するために拡散モデルを使用するアーキテクチャです。

Amphionは、WeNetやWhisper、ContentVecなどのさまざまな事前学習モデルから得られたコンテンツベースの特徴をサポートしています。

これらのモデルがSVCにどのように役立つかは、NeurIPS 2023ワークショップの論文で調査されています。

Amphionは、テキストをオーディオに変換する機能もサポートしており、拡散モデルを使用しています。これは「AudioLDM」、「Make-an-Audio」、「AUDIT」のような設計になっています。

AudioLDM（Latent Diffusion Model）は、音声生成のための拡散モデルです。このモデルは、音声データを高品質で自然な音声に変換することを目的としています。

Make-an-Audioは、特定のテキストや音声プロンプトに基づいてオーディオを生成するシステムです。この技術は、テキストから直接、または既存のオーディオから新しいオーディオを生成することができます。

AUDITはオーディオ生成のためのAI技術で、特にテキストからオーディオへの変換に焦点を当てています。この技術は、自然言語のテキストを基にして、対応するオーディオコンテンツを作成します。

本記事を通じて、AmphionがいかにしてAIを用いた歌声のカスタマイズを実現し、クリエイティブな音楽制作に革命をもたらすかをご紹介しました。この革新的な技術は、ビジネスのプレゼンテーションから日常の趣味、教育の場まで、多岐にわたるシーンでの活用が期待されます。

「音楽の可能性を広げる、Amphionの力を体験してみませんか？」