|
||
|
Major Member
 
加入日期: Mar 2012
文章: 236
|
DLSS 3.0 的光流補幀與VR 上的非同步空間扭曲
老黃於GDC 的發佈會中, 介紹DLSS 3.0 支援光流補幀讓CPU-bound 的微軟模擬飛行的幀率翻倍,
覺得很神奇, 不過腦中首先冒出的想法有幾個: 1. latency 會不會爆高, 適合realtime的遊戲情境嗎? 2. 用光流法來補幀(frame), 根本是補出動態模糊吧? 3. 為啥有點似曾相識的感覺? 參考Digital Foundry 的測試 , DLSS 3.0 的補幀確實增加 latency, 但也許是因為有專用硬件(體?)之故, 似乎還能接受? 後來熊熊想到, 在多年以前, 相關VR 產業就因為硬件不夠力, 搞出一堆Spacewarp 技術? 比較近期的就是 Virtual Desktop 的SSW (Synchronous Spacewarp) 和Meta (前Oculus)的 Mobile ASW , 這兩個都是使用高通芯(晶?)片 Snapdragon XR2 提供的硬件 motion prediction 功能做補幀, 當時的案例也是在 VR 環境下讓微軟模擬飛行的幀率翻倍, 難怪我一直覺得似曾相識 XD 而且極度看重latency 的VR應用下也適用 ... 反過來說, DLSS 3.0 的這個功能, 其實FSR 或 XeSS 也可以用其他通用硬件/算法的方式來實現, 還有很多現成的東西可以抄XD 不是說只有AI或ML 可以搞 突然冒出一個想法 ... 如果用RTX 4090 開DLSS 3.0, 在VR 中開啟 Modile ASW 遊玩微軟模擬飛行, 不知道會不會加速四倍  此文章於 2022-10-08 06:53 PM 被 tdanny 編輯. |
|||||||
2022-10-08, 06:41 PM
#1
|
|
|
Major Member
加入日期: Oct 2001
文章: 184
|
電視、手機或VR等影像補幀晶片都是後製的，延遲較高且幀生成方式不同。
幀採樣：多出來的幀或空缺的幀按現有前後幀來生成，也就是複製前後幀。 算法：根據上下幀來推斷像素移動的軌跡，自動生成新的空缺幀。 幀混合：混合上下兩幀合併生成一個新的幀來填補空缺。 如何在補出鬼影和視覺流暢中作取捨就看各家的技術了。 而在RTX顯示卡中，DLSS2.0 使用Tensor Cores功能類似手機拍照AI多幀取樣，以最小 的質量損失將較低解析度的幀放大到原始解析度，進而提升性能。 DLSS3.0 的4代Tensor Cores和加強的Optical Flow Accelerator硬體，可以簡單地使 用 AI 生成整個幀，每個交替幀都是 AI 生成的，而不涉及圖形渲染管道進而降低latency。 FSR和DLSS差別在於有沒有專用的Tensor Cores來進行AI處理，同樣DLSS3.0 也是。另外DLSS3.0補幀後再輸出給電視或VR再次補幀就太多餘了。 |
|
2022-10-08, 08:09 PM
#3
|
|
|
Major Member
加入日期: Mar 2012
文章: 236
|
請看上一篇 application SpaceWarp 的link中 How does it work 章節,
有說明並非用歷史幀. 後來發現最初(2016) 的Oculus ASW 1.0 就是用光流法在做補幀  |
|
2022-10-08, 09:53 PM
#4
|
|
|
Master Member
  加入日期: May 2021
文章: 1,898
|
DLSS 3的補幀一樣需要分析前後幀
https://m.gamer.com.tw/forum/C.php?...&bpage=1<ype= 所以其實跟TV的MEMC功能一樣 區別在於號稱導入深度學習 然後由於可以從遊戲畫面取得部分數據(例如移動向量) 所以畫面錯誤可能低於TV MEMC 但延遲比DLSS 2高是一定的，所以還綁定低延遲技術 讓整體延遲維持在可接受範圍 不過這功能我覺得是假提升，無中生有的畫面就是會有錯誤 然後三星OLED TV的遊戲模式MEMC也能做到超低延遲 加上DLSS 3不開放給20、30系列使用，吃相難看 若是不要求輸入延遲的遊戲，那我直接用TV MEMC補插不就好了 何必花大錢升級40系列？ 微軟模擬飛行我只需要跑24~30fps，就能用LG OLED TV補成60~120fps感受 |
|
2022-10-08, 10:35 PM
#5
|
|
|
Elite Member
加入日期: Oct 2013
文章: 5,032
|
引用:
你錢可以省下來了  |
|
|
2022-10-09, 12:42 AM
#6
|
|
|
Junior Member
加入日期: Nov 2016
文章: 737
|
全球是有幾個人在玩模擬飛行....
老黃不會是被FS給刺激到.要RD想辦法幹掉FS... |
|
2022-10-09, 11:05 AM
#7
|
|
|
Elite Member
加入日期: Oct 2013
文章: 5,032
|
引用:
就指標遊戲吧？ 就跟一代的crysis一樣是顯卡殺手 大家都拿來當參考 |
|
|
2022-10-09, 02:07 PM
#8
|
|
|
Senior Member
加入日期: Feb 2015
文章: 1,456
|
不就是為AI.運算發展的東西
當真當遊戲卡 NV出個一個真正的遊戲卡 效能應該不止於此 |
|
2022-10-09, 07:15 PM
#9
|
|
|
Elite Member
加入日期: Oct 2013
文章: 5,032
|
感覺也太強
  |
|
2022-10-11, 09:44 PM
#10
|
|
