<p>很多可以在（毫秒）秒內(nèi)改變。 慢動(dòng)作視頻通常是精確關(guān)鍵時(shí)刻的仲裁者，例如，足球越過球門或賽車沖過終點(diǎn)線。 它可以幫助航空航天和無人機(jī)工程師更好地了解昆蟲、蝴蝶和蜂鳥快速扇動(dòng)的翅膀，并有可能模仿它們的動(dòng)作。</p> <p>&nbsp;</p> <p>無論是在體育時(shí)刻、自然紀(jì)錄片還是動(dòng)物行為研究中，加州大學(xué)圣地亞哥分校計(jì)算機(jī)科學(xué)家開發(fā)的一項(xiàng)新技術(shù)都可能產(chǎn)生深遠(yuǎn)的影響。 為了消除慢動(dòng)作，他們?cè)谝环N稱為視頻幀插值的視頻處理技術(shù)上開辟了新天地&mdash;&mdash;一種在現(xiàn)有幀之間以數(shù)字方式&ldquo;夾入&rdquo;額外動(dòng)畫幀的方法，同時(shí)消除任何模糊以實(shí)現(xiàn)流暢影響。</p> <p>&nbsp;</p> <p>這個(gè)過程&mdash;&mdash;它解釋了背后的大部分電影科學(xué)，例如，假的慢動(dòng)作效果&mdash;&mdash;在歷史上是通過手工設(shè)計(jì)的、計(jì)算量大的視頻處理模塊來完成的，比如流變形，它將輸入圖像變形為 所需的框架。</p> <p>&nbsp;</p> <p>但是，視頻并不總是可預(yù)測(cè)的，因?yàn)檫\(yùn)動(dòng)模式并不總是線性的。 例如，由于視頻幀必須跟上用戶在虛擬現(xiàn)實(shí)環(huán)境中的移動(dòng)，因此彼此相鄰的幀基本上可能會(huì)滑開，從而導(dǎo)致所謂的遮擋。 遮擋導(dǎo)致虛擬現(xiàn)實(shí)幻覺的&ldquo;中斷&rdquo;&mdash;&mdash;視覺故障破壞了存在于虛擬世界中的效果。</p> <p>&nbsp;</p> <p>使用 FLAVR 框架可以更好地捕捉網(wǎng)球或其他運(yùn)動(dòng)的關(guān)鍵時(shí)刻。</p> <p><br />為了克服這些限制，由計(jì)算機(jī)科學(xué)與工程 (CSE) 副教授 Manmohan Chandraker 領(lǐng)導(dǎo)的計(jì)算機(jī)科學(xué)家提出了一種新的視頻幀插值框架，稱為 FLAVR，即用于快速幀插值的與流無關(guān)的視頻表示。 這種端到端的可訓(xùn)練軟件架構(gòu)使用 3D 時(shí)空卷積&mdash;&mdash;一種機(jī)器學(xué)習(xí)方法，可以學(xué)習(xí)推理視頻中的非線性運(yùn)動(dòng)并防止任何時(shí)空故障。</p> <p>&nbsp;</p> <p>這項(xiàng)工作是與 CSE 博士生和第一作者 Tarun Kalluri 以及來自 Meta AI（前身為 Facebook AI Research）的研究科學(xué)家 Du Tran 和 Deepak Pathak 合作完成的。</p> <p>&nbsp;</p> <p>最佳速度與準(zhǔn)確性權(quán)衡</p> <p><br />&ldquo;我們的工作在視頻幀插值方面開辟了新天地，其中我們?nèi)∠舜蟛糠质止ぴO(shè)計(jì)的、計(jì)算量大的模塊，如流扭曲，并為此目的使用了一個(gè)完整的端到端可訓(xùn)練和可部署架構(gòu)&mdash;&mdash;因此 ，我們?cè)谶\(yùn)行時(shí)間、輸出質(zhì)量以及在硬件上部署的便利性方面取得了巨大的進(jìn)步，&rdquo;Kalluri 說。</p> <p>&nbsp;</p> <p>他們發(fā)表的結(jié)果被選為 2023 年冬季計(jì)算機(jī)視覺應(yīng)用會(huì)議的最佳論文入圍者，與當(dāng)前最先進(jìn)的方法相比，多幀插值的速度提高了六倍。 結(jié)果證明了最佳的速度與精度權(quán)衡，即使不需要額外的視覺數(shù)據(jù)（例如光流率或深度圖）也是如此。 FLAVR 還可用于將慢動(dòng)作濾鏡應(yīng)用于實(shí)時(shí)捕獲的視頻。</p> <p>&nbsp;</p> <p>Chandraker 表示，與 Vimeo-90K、Adobe-240FPS 和 GoPro 等流行基準(zhǔn)測(cè)試的先前方法相比，該團(tuán)隊(duì)&ldquo;始終如一地展示出卓越的定性和定量結(jié)果&rdquo;。</p> <p>&nbsp;</p> <p>&ldquo;最重要的是，與以相同速度運(yùn)行的架構(gòu)相比，F(xiàn)LAVR 提高了 14%，與提供相同精度的方法相比，速度提高了 6 倍，從而實(shí)現(xiàn)了最佳的速度與精度權(quán)衡，&rdquo;他說。</p> <p>&nbsp;</p> <p>飛行中的昆蟲和鳥類、賽車等</p> <p><br />FLAVR 的潛在應(yīng)用包括體育分析（回放、視頻輔助推薦、玩家分析等）、游戲和動(dòng)畫（以更便宜的成本生成每秒高幀數(shù)的圖形）或美學(xué)改進(jìn)視頻（例如添加慢動(dòng)作 過濾實(shí)時(shí)從手機(jī)捕獲的視頻）。</p> <p>&nbsp;</p> <p>例如，在體育比賽和廣播中，這種超慢動(dòng)作可能會(huì)影響圍繞&ldquo;幀間&rdquo;發(fā)生的模糊事件做出的關(guān)鍵決策，例如板球擊球手在完成跑步時(shí)伸入折痕內(nèi)。 FLAVR 還可以提高廣播的視覺質(zhì)量，例如在射擊或射箭中可視化快速射彈，或在賽車中可視化瞬間運(yùn)動(dòng)。</p> <p>&nbsp;</p> <p>FLAVR 的另一個(gè)應(yīng)用已經(jīng)在動(dòng)物研究領(lǐng)域得到證實(shí)。 Chandraker 和他的同事使用該技術(shù)處理由北卡羅來納州立大學(xué)助理研究教授 Adrian Smith 提供的昆蟲飛行運(yùn)動(dòng)視頻。 由此產(chǎn)生的項(xiàng)目視頻展示了 FLAVR 創(chuàng)建慢動(dòng)作飛行模式的能力，即使在 960FPS 的極端速率下也是如此。</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學(xué)態(tài)度觀點(diǎn)。</p> </blockquote>