2021-05-12 11:00:58
英特爾用英偉達顯示卡 給GTA5打了個超強畫質修補程式
英特爾居然用英偉達顯示卡,給GTA5做了個畫質增強修補程式?
沒錯,畫面億點點接近真實世界的那種:
有點意思。
更有意思的是,據英特爾表示,這個修補程式在Geforce RTX 3090 GPU上,完成一次畫質增強推理,只需要半秒鐘的時間。
效果也確實不錯,看起來就像是自家行車記錄儀拍的:
就連增強後的草地和瀝青路面(右側),看起來也更真實了:
簡直就像是在洛杉磯(GTA5取景地)實地飆車一樣,而且絲毫不擁堵!
網友表示,這簡直是個巨大的飛躍,而且研究不是出自英偉達或者AMD,竟然是來自英特爾!
不過,英特爾怎麼想起來搞計算機圖學方面的研究了?
畢竟,去年11月份,英特爾正式宣佈推出他們的Iris Xe MAX獨立顯示卡,研究已經在進行中了。
這波啊,這波英特爾在大氣層。(手動狗頭)
所以,這個畫質增強修補程式,究竟給GTA5的畫面“施了什麼魔法”?
不用光追,3點改變讓影象更真實
通常來說,用GAN就能實現類似的逼真影象,例如將一匹馬轉換成斑馬。
△用GAN生成的斑馬
然而,用GAN會產生一個問題。
如果只用圖片作為輸入,生成的影象雖然逼真,卻不可避免地會出現偽影等現象(圖中閃爍、斑馬身上不時出現棕色淺影)。
通常來說,偽影產生的原因之一,是生成器在將低解析度影象轉換成高解析度影象時,需要進行反折積,這容易出現不均勻重疊、產生某些抽象部分,並出現某些色塊漂移的情況。
為了解決這一問題,研究人員將圖片作為輸入的同時,還給它加上了更多的限定資訊——
這些資訊,是GTA5遊戲引擎在渲染場景時,產生的一組中間緩衝區(G-Buffer),裡面包含了幾何形狀、物體材質和光照等物理資訊。
將這些物理資訊與影象一起輸入模型,就能避免網路在改變影象風格時,連著物理資訊也一塊改變了。
這樣,既能增加影象真實性、又能減緩偽影出現的情況。
輸入指標有了保障,就可以放心開始生成影象了。
整體來看,這個模型分為兩部分:用影象增強網路生成影象,並以感知鑑別器和LPIPS指標,來判斷生成影象的真實性、相似性。
首先,來看生成部分。
研究人員發現,要想讓GTA5中的影象看起來更真實,有3點特徵可以改變:
增加汽車的光澤
改善植被的整體外觀
讓瀝青路面看起來更光滑
為此,影象增強網路(架構基於HRNetV2)本身,採用了KITTI、Cityscapes和Mapillary Vistas三個資料集進行訓練,分別學習這些特徵。
△影象增強網路
其中,採用KITTI資料集訓練網路,以增強GTA5中的汽車光澤(傳說中的拋光):
再採用Cityscapes訓練,模擬出更接近真實世界的氣候情況(這裡模擬了德國氣候):
最後,用Mapillary Vistas資料集進行訓練,以模擬出更光滑的瀝青路面:
這樣,相比於GTA5中的動畫場景,生成的影象車子會反光、植被更豐富、路面也更平坦了,看起來更接近真實世界。
然後,就是鑑別部分了。
這部分包括感知鑑別器、和一個名為LPIPS(Learned Perceptual Image Patch Similarity)的指標,分別評估生成影象的真實性、以及與輸入影象之間的相似性。
鑑別器包含分割網路和VGG-16兩部分,用來對生成影象和現實場景中的影象進行對比,並給生成影象進行打分,越真實分數越高。
至於LPIPS,則是一個指標,用來評估生成影象與最初輸入的影象之間的“感知相似度”。
與其他模型相比,效果如何?
論文將Intel的模型,與ColorTransfer、SPADE、WCT2、CUT、TSIT等模型進行了對比。
從視訊中來看,Intel的模型生成的結果,基本都能保持與GTA5原始影象一致的結構。
但其他模型卻暴露了一些不足,其中效果最糟糕的是SPADE,根本無法生成相應的場景佈局。
再比如,ColorTransfer無法修改紋理,因此欠缺了一些真實感:
WCT2在很大程度上,要受到參考影象質量的限制,生成效果不穩定:
在TSIT和MUNIT中,模型生成了額外的樹木,甚至還有無法去除的偽影:
比起使用感知損失的其他方法,Cycada使用了更明確的語意資訊,效果更好。
但是類似地,在CUT和Cycada中,也出現了車標偽影的情況,CUT中的一些整體場景不堪忍睹:
這些樹木、車標等偽影,在一定程度上是由於統一取樣和較大的圖塊導致的。
而Intel研究團隊以較小的圖塊進行取樣,減少了源資料集和目標資料集之間的不匹配。
從感知效果上來看,這些模型生成的影象,都比GTA要更“真實”。
從各項指標來看,Intel的模型綜合表現也是最優的(數值越低,效果越好)。
不過,新模型也有不太完美的地方,進行增強後的路人效果還是一般,看起來不太真實。
當然,這也和採用的訓練資料集有關,Intel模型所用的資料集,並不過多地涉及行人,主要還是用於增強天空、瀝青路、汽車光澤等真實感。
網友:比路徑追蹤便宜多了!
對於這次模型展現的效果,網友們的評價也是褒貶不一。
有網友迫不及待地想要用上了:搞起!
還有網友表示,這將是未來GTA-5這類遊戲的發展方向——更接近真實世界。
而且,這項技術相比於路徑追蹤,不知道要便宜多少。
最重要的是,技術所用的神經網路,還修復了物體上那些不真實的紋理。
當然,也有網友調侃:
視訊是用便宜的行車記錄儀來拍的?(這個視訊只有720p)
嗯,所以這就是《駭客帝國》色調呈綠色的原因。
還有一些網友不太喜歡這種型別的“寫實風”:
這,這只是把加州變成‘德國風’吧?
這不是又回到GTA 4了?
△GTA 4宣傳片段
這些網友認為,GTA 5不該追求寫實主義,更需要的是具有美感和娛樂性。
遊戲開發者並不是沒有能力,顯然,他們是刻意選擇了風格化和超現實主義,因為它看上去比真實的東西更具吸引力。
對此,有網友解釋說,研究人員和遊戲開發者的出發點不同。
這是一個巨大的飛躍!
紋理和光照是CGI中兩個非常棘手的問題,使用光線追蹤呈現逼真的光澤,需要計算大量表面之間的光線反射。
應用ML可以巧妙地跳過最困難的部分。這項技術可以用來製作遊戲、電影或電視劇。
你希望遊戲用上這樣的影象增強引擎嗎?
相關文章
-
7+2強化供電!599元梅捷SY-狂龍H510M圖賞
除了廣為人知的Z590和B560之外,英特爾還發布了入門級的H510晶片組,也是上一代H410晶片組的升級版。 在相容性方面,H510晶片組與Z590晶片組和B560晶片組沒有什麼區別,都可以相容1
2021-05-10 19:00:28
-
支援5333高頻記憶體!技嘉小雕PRO B560M主機板圖賞
Intel第十一代酷睿已經上市,新架構帶來了巨大的IPC提升幅度,同時,Intel還開放了B560/H570主機板的記憶體超頻功能,這使得主流玩家也可以輕鬆享受高頻記憶體帶來的流暢遊戲體驗。
2021-05-09 16:00:04
-
24K純金!微星MEG Z590 ACE GOLD EDITION戰神至臻圖賞
顯示卡、散熱器、風扇都能玩RGB,機箱中,主機板幾乎是最不起眼的存在。 而近日,微星推出了一款亮眼的主機板,首次用上了24K純金設計,它就是MEG Z590 ACE戰神至臻,一起來瞧瞧。 MEG
2021-05-07 22:00:14