在視頻擴散生成領(lǐng)域，如何精準操控視頻中的運動(dòng)細節而又不犧牲畫(huà)面質(zhì)量，一直是研究者共同追逐的目標。

來(lái)自 Neflix、Stony Brook 大學(xué)等機構的研究人員創(chuàng )新性地提出通過(guò)結構化的潛在噪聲采樣控制運動(dòng)。

實(shí)現方法很簡(jiǎn)單，只要對訓練視頻做預處理，生成結構化噪聲。這一過(guò)程不涉及擴散模型的設計，無(wú)需改變其架構和訓練流程。

研究提出了一種全新的噪聲扭曲算法，速度超快，能實(shí)時(shí)運行。它用光流場(chǎng)推導的扭曲噪聲，取代隨機的時(shí)序高斯噪聲，同時(shí)保持了空間高斯性。由于算法高效，能用扭曲噪聲以極小的成本微調視頻擴散基礎模型。

這為用戶(hù)提供了全面的運動(dòng)控制方案，可用于局部物體運動(dòng)控制、全局攝像機運動(dòng)控制以及運動(dòng)遷移等場(chǎng)景。

此外，算法兼顧了扭曲噪聲的時(shí)序一致性和空間高斯性，既能保證每幀畫(huà)面的像素質(zhì)量，又能有效控制運動(dòng)。

論文鏈接：https://arxiv.org/pdf/2501.08331

本研究的貢獻如下：

創(chuàng )新的視頻擴散模型解決方案：提出一種簡(jiǎn)單新穎的方法，將運動(dòng)控制轉化為可用于噪聲變形的流場(chǎng)，在潛在空間采樣時(shí)能直接使用。它不僅能與任意視頻擴散基礎模型搭配，還可和其他控制方式協(xié)同使用。

高效的噪聲變形算法：研發(fā)出高效的噪聲變形算法，它既能保持空間高斯性，又能追蹤跨幀的時(shí)間運動(dòng)流。這讓微調運動(dòng)可控的視頻擴散模型時(shí)，花費的成本最小，操作也更方便。

實(shí)驗和用戶(hù)研究充分驗證了該方法在各類(lèi)運動(dòng)控制應用中的優(yōu)勢。這些應用涵蓋局部物體運動(dòng)控制、運動(dòng)傳遞到新場(chǎng)景、基于參考的全局相機運動(dòng)控制等。在像素質(zhì)量、可控性、時(shí)間連貫性以及用戶(hù)主觀(guān)偏好等方面，表現十分優(yōu)異。

Go-with-the-Flow

當前的視頻擴散模型存在局限性，研究者提出了一種創(chuàng )新且簡(jiǎn)單的方法，旨在把運動(dòng)控制當作結構化組件，融入到視頻擴散模型潛在空間的無(wú)序狀態(tài)中。

具體實(shí)現方式是關(guān)聯(lián)潛在噪聲的時(shí)間分布。

先從二維高斯噪聲片入手，把它和根據訓練視頻樣本提取的光流場(chǎng)算出來(lái)的扭曲噪聲片，按照時(shí)間順序連接起來(lái)。下圖清晰展示了該方法的流程。