一枚のアニメキャラが動く？Animate Anyoneの使い方を徹底解説

あなたは、アニメーションを作るのに高度なスキルや機材が必要だと思っていませんか？実は、画像と動きのガイドさえあれば、誰でも簡単にアニメーションを生成できるAIツールがあります。その名は、Animate Anyoneです。

以下をご覧ください。

Animate Anyoneより引用

この記事では、Animate Anyoneとは何か、そして、その始め方と使い方を紹介します。Animate Anyoneで、画像を動かしてみませんか？あなたの想像力が、現実になります。

【2024年最新】AIでラクに自動生成！AI動画作成ツール６選！初心者向けに編集方法も解説

【Outfit Anyone】使い方解説！ファッション界に衝撃、ルフィがファッションショーし始めるｗ

おすすめのAIツール総まとめはこちら！！

Animate Anyoneとは？

Animate Anyoneとは、静止画1枚と動きを指定するガイドから、なめらかなキャラクターの動画を生成できるAI技術です。アリババの研究グループが開発し、GitHubで公開しています。

Animate Anyoneは、キャラクターの静止画像からアニメーション動画を生成できる新しい方法です。この方法では、画像のキャラクターがどんな風に見えるかをしっかりと覚えて、それを動画にします。キャラクターがどう動くかを決める「ポーズガイダー」という機能があります。その機能によって、キャラクターが自然に動くように見えるのです。さらに、「テンポラルレイヤー」という機能が動きをスムーズにつなげてくれます。

この方法は、いろいろなキャラクターに使えて、作った動画は写真と同じように見えるし動きもちゃんとコントロールできます。そのため、Animate Anyoneはこれからのアニメ作りにとって、とても役立つものになると期待されています。

Animate Anyoneの例として、以下の動画をご覧ください。この動画は、左の画像と真ん中の動きのガイドから生成されたものです。画像のキャラクターが、動きのガイドに沿って踊っているのが分かります。

Animate Anyoneより引用

Animate Anyoneの使い方は？

まだ公開されていません。使えるようになりましたら解説致します。

しかし、同じアリババが開発を進めている「Outfit Anyone」は一部機能が使えるようになっていますので、いち早く同じような技術を活用したい方は下記記事をご参照ください。

Animate Anyoneの仕組み

Animate Anyoneは、画像のような仕組みになっています。Animate Anyoneに導入されている4つの機能が組み合わさることで、静止画像から高品質な動画が生成できるのです。どのような機能が導入されているのか、参考にしてください。

Animate Anyoneより引用

・Stable Diffusionモデルの使用
・ReferenceNet
・ポーズガイダー
・テンポラルレイヤー

Stable Diffusionモデルの使用
Animate Anyoneでは、キャラクターアニメーションの生成に「Stable Diffusion」という拡散モデルが利用されています。この拡散モデルは、ビジュアルコンテンツの生成において非常に効果的です。これらのモデルは、画像やビデオの詳細を高い精度で再現する能力を持ち、特に複雑な画像の合成や変換において優れた結果を示します。具体的には、拡散モデルは与えられた静止画像からキャラクターの動きや表情をリアルに再現するビデオを作成できます。そのため、アニメーション制作において、よりリアルで自然なキャラクターの動きを実現できるのです。

ReferenceNet
Animate Anyoneでは、キャラクターアニメーションのための新しいフレームワークとして「ReferenceNet」が導入されています。ReferenceNetの主な役割は、アニメーション化されるキャラクターの外観特徴を、元の参照画像に忠実に保持することです。キャラクターアニメーションでは、元の画像の詳細な特徴を正確に再現することが重要ですが、これは技術的に難しい問題です。しかし、ReferenceNetはこの問題に対処するために設計されており、空間的注意を用いて参照画像からの詳細な特徴を統合しアニメーションビデオ全体で一貫性を保つことができます。例えば、あるキャラクター画像が特定の服装や表情の特徴を持っている場合、ReferenceNetはこれらの特徴を捉えアニメーション化されたビデオの各フレームにわたって特徴を維持します。ReferenceNetにより、ビデオ内のキャラクターは、元の画像と同じ外見を保ちながら動くことが可能です。

ポーズガイダー
Animate Anyoneでは、キャラクターアニメーションのビデオ生成において「ポーズガイダー」という機能が導入されています。ポーズガイダーの役割は、キャラクターの動きを正確に制御し、自然なアニメーションを作成することです。キャラクターの動きは、ビデオ内での表現が重要であり、ポーズガイダーはこれを実現するために必要な信号をおくります。例えば、キャラクターが走っているシーンを生成する場合、ポーズガイダーは走る動作に必要なポーズのシーケンスをエンコードし、それに基づいてビデオ内でのキャラクターが自然に動くようにします。そのため、キャラクターの動きがリアルで滑らかになり、視覚的な一貫性が保たれるのです。

テンポラルレイヤー
Animate Anyoneは、「テンポラルレイヤー」を使用して、ビデオフレーム間の滑らかな遷移を保証しています。テンポラルレイヤーの役割は、ビデオ内の連続するフレーム間での動きの自然さと一貫性を確保します。アニメーションでは、キャラクターの動きが不自然だと視聴者の没入感が損なわれるため、この一貫性は非常に重要です。キャラクターが歩いているシーンを考えてみましょう。各フレームでキャラクターのポーズが急激に変わってしまうと、ビデオはカクカクして見えます。しかし、テンポラルレイヤーは、各フレームでキャラクターのポーズが滑らかに変化するように調整し、ビデオはなめらかに見えます。テンポラルレイヤーにより、ビデオ内のキャラクターは、自然な動きを維持しながら歩くことができます。

Animate Anyoneができる事

Animate Anyoneは、静止画像からアニメーション動画を生成するという画期的な技術ですが、それだけではありません。Animate Anyoneには、他の技術と比べて優れた特徴があります。Animate Anyoneの特徴として、以下の点が挙げられます。

・高品質なビデオ生成
・アニメキャラクターへの凡庸性
・高度で多様なトレーニング
・動画技術としての高評価

高品質なビデオ生成
Animate Anyoneは、高品質なアニメーションビデオを生成できます。生成されたビデオは、元の画像のキャラクターの外観や特徴を忠実に再現し、動きも自然で滑らかです。また、ビデオは、画像と同じ解像度で生成されるため、鮮明で美しいです。Animate Anyoneは、拡散モデル、ReferenceNet、ポーズガイダー、テンポラルレイヤーという4つの機能を組み合わせて、高品質なビデオを生成します。これらの機能は、それぞれがキャラクターの外観や動きに関する重要な情報を処理し、最終的には一つのビデオに統合されます。このように、Animate Anyoneは、画像からビデオへの変換において、高い精度と一貫性を保証します。

アニメキャラクターへの凡庸性
Animate Anyoneは、多様なキャラクターに対応できます。Animate Anyoneは、画像のキャラクターの外観や特徴を学習し、それをビデオに反映します。そのため、画像のキャラクターがどのようなものであっても、Animate Anyoneはそれに合わせてアニメーションを生成できます。例えば、画像のキャラクターが人間であれば、人間の動きに沿ったアニメーションを生成します。画像のキャラクターが動物であれば、動物の動きに沿ったアニメーションを生成します。画像のキャラクターが架空のものであれば、架空の動きに沿ったアニメーションを生成します。Animate Anyoneは、画像のキャラクターの種類やジャンルに関係なく、アニメーションを生成できる汎用性の高い技術です。

高度で多様なトレーニング
Animate Anyoneは、多様なトレーニングを積んできました。Animate Anyoneは、事前にトレーニングされたモデルを利用するため、ユーザーはトレーニングに時間や労力をかける必要がありません。また、Animate Anyoneは、画像と動きのガイドだけでアニメーションを生成できるため、ユーザーは複雑なデータセットを用意する必要がありません。Animate Anyoneは、GitHubで公開されているので、誰でも簡単にダウンロードして使うことができます。

動画技術としての高評価
Animate Anyoneは、他社と比較しても優れた結果を示しています。Animate Anyoneは、他の技術と比較して、以下の点で優位性を持っています。

PSNR（ピーク信号対雑音比）：PSNRは、画像やビデオの品質を測る指標です。PSNRが高いほど、品質が高いと言えます。Animate Anyoneは、PSNRで他の技術よりも高い値を示しています。これは、Animate Anyoneが、元の画像のキャラクターの外観や特徴を正確に再現し、動きも自然で滑らかに生成できることを意味します。

FID（フレシェ・インセプション距離）：FIDは、画像やビデオの多様性や一貫性を測る指標です。FIDが低いほど、多様性や一貫性が高いと言えます。Animate Anyoneは、FIDで他の技術よりも低い値を示しています。これは、Animate Anyoneが、画像からビデオへの変換において、高い精度と一貫性を保証できることを意味します。

LPIPS（学習された感覚に基づく画像パッチの類似性）：LPIPSは、画像やビデオの感覚的な品質を測る指標です。LPIPSが低いほど、感覚的な品質が高いと言えます。Animate Anyoneは、LPIPSで他の技術よりも低い値を示しています。これは、Animate Anyoneが、画像とビデオの間で、感覚的に近い関係を維持できることを意味します。

これらの評価から、Animate Anyoneは、静止画像からアニメーション動画を生成するというタスクにおいて、他の技術を上回る性能を持っていることが分かります。

Animate Anyone まとめ

Animate Anyoneは、静止画1枚と動きを指定するガイドから、なめらかなキャラクターの動画を生成できるAI技術です。

アリババの研究グループが開発し、GitHubで公開しています。Animate Anyoneは、拡散モデル、ReferenceNet、ポーズガイダー、テンポラルレイヤーという4つの機能を組み合わせて、高品質なアニメーションを作成します。

Animate Anyoneは、PythonとPyTorchがインストールされた環境で動作し、コマンドラインから実行できます。Animate Anyoneは、アニメーション制作において、新しい可能性を提供する技術です。Animate Anyoneで、あなたも、自分の好きなキャラクターを動かしてみましょう。Animate Anyoneで、あなたの想像力が、現実になります。