Adobe、Fireflyの動画生成AIをアップデート、効果音生成やスタイル設定で演出強化

Adobeは7月17日（米国時間）、生成AI「Firefly」の動画生成AI「Firefly Video Model」のアップデートを発表した。映像制作効率を高める新機能に加え、映像に音の深みを与える「効果音生成（ベータ版）」が追加され、物語性や臨場感のあるコンテンツ制作がより容易になった。
○サウンドエフェクトを生成

効果音を加えることで、映像に感情やエネルギー、説得力を与えることができる。今回追加された「効果音生成」には、「テキストから効果音生成」と「音声から効果音生成」の2つの方法があり、いずれも商用利用が可能である。

「テキストから効果音生成」では、「ライオンの咆哮」「車のエンジン音」「風に揺れる木々の音」など、テキストによる入力から効果音を生成できる。

さらに、「音声から効果音生成」を用いることで、音のタイミングや強弱の調整も可能になる。たとえば、馬が歩く映像に対して「パカッ、パカッ」といった声を録音し、「コンクリートの上を歩く馬の蹄の音」というテキストを組み合わせることで、Fireflyは録音された声の抑揚やリズムを解析し、映像に合った効果音を生成する。「ライオンの咆哮」であれば、低い唸り声から徐々に盛り上がり、大きく口を開くタイミングで迫力ある咆哮に変化する、といった演出が可能になる。

今回のアップデートでは、動画生成のワークフローを効率化する以下のような新機能も追加された 。

「構図参照」が動画に対応

参照したい動画をアップロードすることで、Fireflyがその構図やレイアウトを新たに生成する動画に反映する。これにより、異なるシーン間でも一貫したビジュアル構成を保つことが可能になる。

○スタイルプリセット

「クレイメーション」「アニメ」「ベクターアート」など、多彩なビジュアルスタイルをワンクリックで動画に適用できる。

○キーフレーム画像の切り抜き

開始フレームと終了フレームの画像をアップロードし、シーンの内容をプロンプトとして入力することで、その間の動きが自然につながる映像を生成できる。

これらの機能に加え、Firefly Video Model自体もアップデートされ、動きの忠実度が向上した。風景の描写や動物の動き、天候表現、2D・3Dアニメーションなどが一層自然かつ滑らかに表現されるようになっている。

また、4月のアップデートで導入されたサードパーティ製AIモデルへの対応も拡充される。Topazの画像およびビデオのAIアップスケーラーや、Moonvalleyの動画生成AI「Marey」が近日中にFireflyボードで利用可能になる。Fireflyボードで利用可能なLuma AIの「Ray2」およびPika Labsの「Pika 2.2」がまもなく動画生成機能に追加される予定となっている。