在視頻中插入手繪動(dòng)畫(huà)！傳統(tǒng)上這是一項(xiàng)非常困難的任務(wù)，但 VideoDoodles 讓它成為可能。

VideoDoodles是Adobe公司聯(lián)合多所大學(xué)推出的AI視頻編輯框架。支持用戶在視頻中輕松插入手繪動(dòng)畫(huà)，實(shí)現(xiàn)與視頻內(nèi)容的無(wú)縫融合。通過(guò)預(yù)處理視頻幀，系統(tǒng)提供平面畫(huà)布，用戶可以視頻上繪制動(dòng)畫(huà)，系統(tǒng)自動(dòng)處理透視和遮擋效果。

與此同時(shí)，VideoDoodles也是是一種創(chuàng)新的交互式系統(tǒng)，允許用戶在視頻中添加手繪動(dòng)畫(huà)。VideoDoodles的跟蹤算法能夠使動(dòng)畫(huà)跟隨視頻中的物體移動(dòng)，簡(jiǎn)化了動(dòng)畫(huà)制作流程。而這些動(dòng)畫(huà)不僅能跟隨視頻中的物體移動(dòng)，還能自動(dòng)調(diào)整大小和角度，看起來(lái)像是原本就屬于視頻中的一部分。這對(duì)于想要給視頻增添個(gè)性化效果或教育性內(nèi)容的創(chuàng)作者來(lái)說(shuō)，非常有用。

與傳統(tǒng)的視頻編輯軟件不同，該系統(tǒng)利用先進(jìn)的3D場(chǎng)景重建技術(shù)，使得插入的繪畫(huà)能夠自然地融入視頻場(chǎng)景，實(shí)現(xiàn)追蹤、透視變形和遮擋等復(fù)雜視覺(jué)效果。

VideoDoodles的技術(shù)原理

• 視頻預(yù)處理：VideoDoodles對(duì)輸入的視頻進(jìn)行分析，提取每幀的攝像機(jī)姿態(tài)、深度圖和光流信息，為后續(xù)的動(dòng)畫(huà)合成打下基礎(chǔ)。

• 平面畫(huà)布映射：用戶在3D空間中放置虛擬的平面畫(huà)布，畫(huà)布可以映射到視頻的特定區(qū)域。VideoDoodles利用攝像機(jī)姿態(tài)和深度圖信息，自動(dòng)渲染出具有正確透視和遮擋效果的畫(huà)布。

• 跟蹤算法：VideoDoodles采用自定義的跟蹤算法，畫(huà)布能夠跟隨視頻中的靜態(tài)或動(dòng)態(tài)物體移動(dòng)。用戶可以通過(guò)設(shè)置關(guān)鍵幀來(lái)控制畫(huà)布的位置和方向，系統(tǒng)會(huì)自動(dòng)計(jì)算出最佳的3D軌跡。

3D位置和方向跟蹤：

• 位置跟蹤：基于關(guān)鍵幀的2D跟蹤算法，構(gòu)建有向圖來(lái)搜索物體的軌跡，畫(huà)布與物體的相對(duì)位置能保持一致。

• 方向跟蹤：用戶可以在關(guān)鍵幀中指定畫(huà)布的旋轉(zhuǎn)矩陣，通過(guò)優(yōu)化算法來(lái)保持畫(huà)布方向與運(yùn)動(dòng)物體方向一致。

• 自動(dòng)化動(dòng)畫(huà)生成：一旦用戶在關(guān)鍵幀上繪制了動(dòng)畫(huà)元素，VideoDoodles就會(huì)自動(dòng)生成整個(gè)動(dòng)畫(huà)過(guò)程，無(wú)需用戶逐幀繪制。

• 用戶界面設(shè)計(jì)：VideoDoodles提供了一個(gè)直觀的用戶界面，使用戶能夠輕松地選擇、繪制和調(diào)整動(dòng)畫(huà)元素。

藝術(shù)家通常以視頻為背景，逐幀繪制 2D 動(dòng)畫(huà)來(lái)創(chuàng)作視頻涂鴉。按照這種手動(dòng)工作流程，面臨的主要困難是讓繪制的內(nèi)容與視頻內(nèi)容進(jìn)行令人信服的互動(dòng)。

而VideoDoodles建議通過(guò)用戶界面來(lái)協(xié)助創(chuàng)建視頻涂鴉，該界面利用深度和運(yùn)動(dòng)先驗(yàn)來(lái)固定捕獲視頻中的場(chǎng)景感知畫(huà)布，用戶可以在其上添加手繪的逐幀動(dòng)畫(huà)。

用戶可以通過(guò)設(shè)置位置和方向的關(guān)鍵幀，在其中的2D 圖像空間 UI中精細(xì)控制畫(huà)布。我們的系統(tǒng)會(huì)通過(guò)跟蹤視頻中移動(dòng)物體的運(yùn)動(dòng)來(lái)插入關(guān)鍵幀。

簡(jiǎn)而言之，VideoDoodles引入了一種新穎的用戶界面和跟蹤算法，以解鎖使用深度和運(yùn)動(dòng)數(shù)據(jù)（通過(guò)現(xiàn)有的計(jì)算機(jī)視覺(jué)方法獲得）增強(qiáng)的視頻的新版本功能。根據(jù)通過(guò)任意數(shù)量的位置和方向關(guān)鍵幀表達(dá)的用戶意圖，我們的算法可以在視頻的任何幀上渲染具有正確遮擋和透視變換的場(chǎng)景感知畫(huà)布，并使畫(huà)布跟隨移動(dòng)物體。

VideoDoodles是如何工作的呢？

剛剛介紹了一些技術(shù)原理，以下是一些具體的執(zhí)行步驟：

• 3D場(chǎng)景重建：首先，系統(tǒng)會(huì)分析你上傳的視頻，自動(dòng)構(gòu)建出一個(gè)3D場(chǎng)景。

• 放置畫(huà)布：在這個(gè)3D場(chǎng)景中，你可以放置虛擬的"畫(huà)布"，就像在現(xiàn)實(shí)世界中放置一塊畫(huà)板一樣。

• 繪制動(dòng)畫(huà)：在這些畫(huà)布上，你可以自由地創(chuàng)作你的動(dòng)畫(huà)。

• 智能追蹤：這是VideoDoodles最神奇的部分。你可以讓畫(huà)布"附著"在視頻中的物體上。比如，你可以讓一只畫(huà)好的小鳥(niǎo)跟隨視頻中的一輛移動(dòng)的汽車。系統(tǒng)會(huì)自動(dòng)確保小鳥(niǎo)的位置、大小和角度隨著汽車的移動(dòng)而正確變化。

• 自動(dòng)調(diào)整：當(dāng)你的動(dòng)畫(huà)與視頻中的其他元素互動(dòng)時(shí)，VideoDoodles會(huì)自動(dòng)處理遮擋關(guān)系。例如，如果有一棵樹(shù)擋在你畫(huà)的小鳥(niǎo)前面，系統(tǒng)會(huì)確保小鳥(niǎo)被樹(shù)正確遮擋，看起來(lái)就像真的在場(chǎng)景中一樣。

在操作界面設(shè)計(jì)上，VideoDoodles采用了直觀的2D圖像空間UI。用戶通過(guò)關(guān)鍵幀控制畫(huà)布的位置和方向。系統(tǒng)會(huì)智能地在關(guān)鍵幀之間進(jìn)行插值，追蹤視頻中物體的運(yùn)動(dòng)，確保動(dòng)畫(huà)的流暢性。

實(shí)際測(cè)試顯示，用戶僅需十幾分鐘就能創(chuàng)作出簡(jiǎn)短而精彩的動(dòng)畫(huà)片段。專業(yè)創(chuàng)作者則對(duì)VideoDoodles的速度和易用性給予了高度評(píng)價(jià)，認(rèn)為它比現(xiàn)有工具更加高效。