當前位置: 妍妍網 > 資訊

破解「一秒懸案」,老電影「復活」太驚艷!

2024-06-06資訊

◎ 采寫丨科技日報記者 楊雪

◎ 策劃丨劉恕 李坤

電影【A計劃】中有段經典橋段——

只見卓一飛(洪金寶飾)怒吼一聲,七步上前,一刀砍斷羅三炮(狄威飾)的長劍。失去了武器的狄威再無招架之力,被逼退至角落倒地。

然而,一秒之內,局勢逆風翻盤。

就在洪金寶大刀即將砍下之際,狄威雙手著地,向後倒立,兩腳一蹬,大刀瞬間掉落,狄威緊接著一個回旋踢,擊中洪金寶的右下顎。

狄威是怎麽一瞬間站起來並踢掉大刀的?自1983年電影上映以來,困擾了很多觀眾。

因為從動作連貫性來看,這關鍵的「一秒」不符合常理。

在日前舉辦的第十四屆北京國際電影節「致敬·修復」單元,首映的全新4K版【A計劃】揭開「一秒謎團」——狄威腰部發力,用雙腳絞住洪金寶的手,洪金寶失去力氣,大刀掉落,發出清脆聲響。

4K版【A計劃】【賣身契】電影海報。

2023年8月,中國電影資料館、抖音、火山引擎啟動「經典香港電影修復計劃」,套用生成式人工智慧(AIGC)技術,使電影在解析度、流暢度、色彩等方面實作質的提升。全新4K版【A計劃】是該計劃修復的百部影片之一。上述 「一秒」謎團的破解,就是利用智慧插幀技術生成了「關鍵幀」,還原了電影畫面的完整性。

近年來,越來越多經典電影的數位高畫質修復版重登院線,國內外主流電影節紛紛開設「修復經典」單元。5月23日,修復完成的【飛鷹計劃】在第77屆坎城電影節的「坎城經典」沙灘放映單元首次亮相,令全球影迷耳目一新。

坎城現場。

「電影修復是保護電影遺產的重要舉措。」中國電影資料館副館長張小光說, 修復不僅是對經典作品的致敬,更是科技與藝術交融,助力電影文化產業新發展。

AIGC技術如何讓老電影「復活」?視覺大模型如何拓展視訊套用場景?科技與文化的融合又會催生哪些新業態? 科技日報記者就此進行了深入采訪。

1

增效提「質」,大模型「修舊如舊」

張小光說,入選「經典香港電影修復計劃」的百部電影制作時間主要集中在1970年至1990年間。這些影片見證了香港電影應對國際市場與文化潮流進行的多種型別化探索。 「對這批電影進行修復,初衷是為了搶救瀕危影片。我們希望透過技術修復,讓這些經典影像煥發新光彩,延續經典作品的活力和生命力。」

然而,傳統的電影修復流程繁雜,時間漫長。以往4K修復過程,一般要經過對底片本身的物理修復、數位修復和最佳化效果進行的藝術修復3個步驟。其中,數位修復環節最復雜,要將底片轉為4K分辨率的數據圖檔,並逐幀摳掉畫面中被破壞的部份。一位經驗豐富的修復師需要1個月時間,才能修復完成一部電影。

現在,這項工作可以交給工程師。他們利用電腦螢幕上一行行跳動的程式碼,讓修復效率成倍提升。

火山引擎視訊雲技術架構總監王悅介紹,「經典香港電影修復計劃」中,火山引擎首次將AIGC技術套用於老電影修復, 借助視覺大模型強大的生成能力和豐富的先驗知識,實作修復效果在解析度、色彩、流暢度和瑕疵消除等方面的全方位提升。

參與4K修復計畫的火山引擎多媒體實驗室,日常工作是在短視訊供需兩端做畫質上的提升:一方面,在創作者上傳視訊至伺服器時,盡量減少畫質的損耗;另一方面,當使用者開啟抖音觀看時,無論其手機終端是多落後的硬體,也能保證觀看的最佳效果。這一過程,需要工程師針對不同的手機效能設定不同的演算法。

「大模型具有強大的資訊結構化能力,在學習了海量數據對後,可以從中提煉出大量的知識並‘儲存’在模型參數中,其生成空間更豐富,能夠應對更多的修復場景。」王悅說。

於是,這類演算法找到一類新的套用場景——電影修復。

根據影片需要修復的問題,工程師通常會先參考前沿的論文,然後跑程式碼、調方案,最終找到最優方案。

例如,【飛鷹計劃】是動作片,鏡頭多且轉換快,修復難度大,原有技術方案並不能完全解決這些問題。幾經周折,當工程師拿出修復的第一版,從技術上已一一達標。但中國電影資料館專業人員給出的反饋卻是:這樣的修復失去了電影本身的質感。

【飛鷹計劃】修復前後對比。

針對這一問題,技術團隊專門研發出一款全新演算法, 利用AI模擬出底片噪點,在提升畫質的同時,遵循「修舊如舊,尊重原創」的修復原則,保持老電影的復古風格和質感。

偵錯過程中,網民也參與了方案的選擇。當時,火山引擎發起影迷線上測評,使用者掃碼進入抖音上的測評界面,便能看到兩個不同版本的修復方案。最終,他們選擇了多數使用者投票的方案。

2

精益求精,老電影煥新如新

由於拍攝條件、儲存方式等諸多因素,老電影往往帶有嚴重的底片噪點,且分辨率較低,畫面品質也參差不齊,很多畫面模糊不清。傳統的修復方法主要關註光影、色彩、美學等因素,AI修復則擅長從解析度、流暢度等方面提升畫面品質。

火山引擎多媒體實驗室工程師張英傑告訴記者, 在提升流暢度方面,可以利用智慧插幀演算法,透過對前後幀的內容進行光流估計,並根據光流資訊生成中間幀,提升視訊幀率。

修復【A計劃】就是典型的例子。「特別是武打片段,比如用AI預測出一個90度轉頭動作的中間值,插入一個虛幻的45度角畫面,就能讓轉頭動作更順滑流暢。」張英傑解釋。

提升影片的解析度,則需要修復模糊的畫面。但模糊成因復雜,在拍攝、儲存、拷貝翻印、底片數位化以及壓制匯出的過程中,都可能對解析度造成影響。過去,修復人員通常很難獲得精準的「模糊核」。

火山引擎多媒體實驗室研究員趙世傑介紹,AI可以從低質數據中抽取不同程度的模糊視訊,利用相關統計方法進行真實的退化和損失估計,並透過主觀驗證進一步篩選視訊。同時,在自建的高畫質影視數據集中,生成「模糊—清晰」匹配數據對,來訓練機器學習從低質到高畫質的潛在對映關系。這樣就能快速分辨出不同影片、不同畫面模糊的原因,提升修復效率。

在老電影修復中,人像是需要重點關註和最佳化的。 這次修復百部經典港片,AI提供了老舊人像修復和人像超清化等不同的解決方案。使用基於AIGC的人像修復模組,可在保持人像真實特征的前提下,進行高畫質五官重建。

「對於畫質低的人像,我們最佳化了人像模型在時域上的解析度和穩定性,對遠中近景不同大小、不同姿態角度、不同遮擋程度的人臉都有較好的修復增強效果。對於一些中高品質的人像,我們使用人像超清模組,最佳化五官解析度,最大限度還原睫毛、眉毛、發絲和膚質等臉部細節,使修復後畫面更有質感。」趙世傑說。

實際上,AI不僅在數位修復環節大顯身手,在註重審美價值提升的藝術修復環節也擔當起「強助 攻」。 藝術修復實際上是一個「二次創作」的過程,能很大程度上彌補因當年電影技術種種局限留下的遺憾。

比如,【武狀元蘇乞兒】中蘇燦(周星馳飾)和如霜(張敏飾)面對面凝視的那個瞬間,還能有更好的呈現嗎?

工程師將畫面中張敏的人像部份與背景的環境分離,用兩套不同的方案進行處理,增強人像的同時,保留環境細節。利用AIGC視覺大模型,把原本的演算法推理步驟拆成上百步,透過運用增強的數據規模、模型參數和算力,自然還原了畫面的紋理細節。經過多種方案對比,工程師與修復師們共同討論,確定了張敏最終的「盛世美顏」。

導演陳嘉上(右二)在中國電影資料館指導修復。

在中國電影資料館,一些電影雖然修復完成,但對於其底片,依然會像文物一樣被用心地保存起來。

「我們不確定若幹年後,是否還會有技術層面更進一步的創新和變革。」中國電影資料館館長孫向輝期待著未來,在新技術加持下,修復師們還能修復出更好的版本,讓更多珍貴影像走出「鐵盒子」,重回大眾視野。

3

落地生根,讓使用者觸手可及

隨著「經典香港電影修復計劃」工作的深入,視覺大模型也在不斷自我成長。

「導演給出的一些藝術指導意見,可以用於引導大模型學習符合人類美學標準的畫質修復和增強能力。」 火山引擎多媒體實驗室演算法工程師張珂新說。

「未來,不僅一些老電影中音畫不同步的問題將借助AIGC得到更有效的解決,甚至有望讓AI對修復效果進行自動評判。」香港城市大學電腦系助理教授馬柯德說。

AI前進演化是一個越用越好用的雙向增進過程。張珂新說,他們在修復過程中,把演算法落地場景從電影修復拓展到抖音平台的視訊,促進了演算法研發水平的不斷提高。「經典香港電影修復計劃」的技術成果也套用到抖音,讓使用者觸手可及。

比如,在視訊處理方面,用演算法模擬電影底片顆粒生成來提升影片質感等。在直播場景下,抖音在主播推流端、平台伺服器端、觀眾看播端都部署了相關畫質增強演算法,對直播全鏈路的畫質進行最佳化,給主播和觀眾最好的收看體驗。

AI正在加速滲透影視行業,大模型的套用場景不斷豐富。 除了老電影修復,一些創作性任務如電影角色生成、電影文本生成、劇本自動生成視訊等都可以利用大模型進行處理。在國外,盡管禁止將AI作品視為原創素材,但好萊塢編劇工會擬允許編劇在AI協助下創作劇本。在中國,芒果、騰訊視訊等也紛紛布局AIGC的使用和發展,影視工具服務商一覽科技釋出了業界第一個「文本+圖片+虛擬人」視訊AIGC全域工作流,試圖從根本上提升整個影視生產鏈的制作效率。

電視劇【三體】制片人白一驄曾說:「【三體】前期籌備需要八九千張概念設計圖,與設計師溝通、改稿一次就要耗費幾個月。但AI制圖,或許一個下午就能完成。」

在北京光線傳媒股份有限公司董事長王長田看來, 總體而言,AI將成為行業可利用的一大工具。 首先,AI可以提升電影制作效率,尤其是動畫電影;其次,它可能降低成本,這對於虧損率較高的電影行業來說無疑將是一個巨大的推動;最後,AI作為一種技術,可以提升電影制作品質,避免低品質產品的出現。

當前,AI+影視融合,催生全新業態。在湖南長沙馬欄山文化創意產業園,落戶了芒果超媒、抖音、愛奇藝、騰訊、華為、中影年年等一批行業領軍企業,視訊超算中心、5G高新視訊多場景套用國家廣電總局重點實驗室等十幾個科技底座賦能內容生產。2023年園區累計實作企業營收超1700億元,稅收超95億元。

影視業面臨整個行業的洗牌,一些布局、套用AI較好的公司可能會迎來新的爆發點。

記者手記

AI「幫」我還上這張電影票

楊雪

去年夏天,【武狀元蘇乞兒】4K修復版在中國電影資料館首映。這也是「經典香港電影修復計劃」中第一部和觀眾見面的影片。作為一個對周星馳電影如數家珍「80後」的我,不論是看熱鬧還是看門道,這張「欠星爺的電影票」必定要還上。

那天,導演陳嘉上也來到現場,和觀眾一起見證——曾經精心鋪墊的細節,終於被一一清晰呈現。原來,當蘇燦(周星馳飾)的父親(吳孟達飾)對著丐幫眾人祥林嫂式地誇贊兒子時,四肢經脈被廢的蘇燦,不是呆若木雞地躺在一邊,而是註視著父親的背影,眼底滲出一滴淚。

時隔多年,在AI加持下,觀眾看清了周星馳細膩的表演技巧,也看懂了影片所要表達的父愛如山。上世紀八九十年代的香港電影,是一代觀眾的集體記憶和精神家園。得益於AI技術的真正落地,舊時光裏的那些經典橋段重新走進公眾視野,也讓現在的年輕人理解了「80後」「90後」之所以熱衷懷舊的文化根源。

人類對AI寄予厚望長達半個多世紀。盡管近年來AI在技術層面一次次展現出驚人的能力,也得到投資者青睞與社會關註,但產業落地一直存在短板,場景不明,欠缺殺手級套用。沒想到的是,硬核技術竟以最柔軟的方式登陸文化領域,透過影視創作與人類情感產生聯結。

終於,AI不僅會作詩,也會講故事,不僅在電影修復上如魚得水,在整個影視行業也前途無量。隨著AI大模型落地行業,AI成為新生產工具,未來可期,未來也不可預期。

封面圖為電影【飛鷹計劃】4K修復版海報

封面及文中圖片由抖音集團提供

科技日報•深瞳工 作室出品

版面編輯丨姜靖

版面稽核丨徐玢

微信編輯丨張琦琪

微信稽核丨張爽