DLSS 3.0 的光流補幀與VR 上的非同步空間扭曲
 

老黃於GDC 的發佈會中, 介紹DLSS 3.0 支援光流補幀讓CPU-bound 的微軟模擬飛行的幀率翻倍,
覺得很神奇, 不過腦中首先冒出的想法有幾個:
1. latency 會不會爆高, 適合realtime的遊戲情境嗎?
2. 用光流法來補幀(frame), 根本是補出動態模糊吧?
3. 為啥有點似曾相識的感覺?

參考Digital Foundry 的測試 , DLSS 3.0 的補幀確實增加 latency,
但也許是因為有專用硬件(體?)之故, 似乎還能接受?

後來熊熊想到,
在多年以前, 相關VR 產業就因為硬件不夠力, 搞出一堆Spacewarp 技術?
比較近期的就是 Virtual Desktop 的SSW (Synchronous Spacewarp) 和Meta (前Oculus)的 Mobile ASW ,
這兩個都是使用高通芯(晶?)片 Snapdragon XR2 提供的硬件 motion prediction 功能做補幀,
當時的案例也是在 VR 環境下讓微軟模擬飛行的幀率翻倍, 難怪我一直覺得似曾相識 XD
而且極度看重latency 的VR應用下也適用 ...

反過來說, DLSS 3.0 的這個功能,
其實FSR 或 XeSS 也可以用其他通用硬件/算法的方式來實現, 還有很多現成的東西可以抄XD
不是說只有AI或ML 可以搞

突然冒出一個想法 ...
如果用RTX 4090 開DLSS 3.0, 在VR 中開啟 Modile ASW 遊玩微軟模擬飛行, 不知道會不會加速四倍 :mad:

另一種 Application SpaceWarp link
Unreal Engine, Unity 等工具已經支援, 號稱加速 70% ...

電視、手機或VR等影像補幀晶片都是後製的，延遲較高且幀生成方式不同。

幀採樣：多出來的幀或空缺的幀按現有前後幀來生成，也就是複製前後幀。

算法：根據上下幀來推斷像素移動的軌跡，自動生成新的空缺幀。

幀混合：混合上下兩幀合併生成一個新的幀來填補空缺。

如何在補出鬼影和視覺流暢中作取捨就看各家的技術了。



而在RTX顯示卡中，DLSS2.0 使用Tensor Cores功能類似手機拍照AI多幀取樣，以最小

的質量損失將較低解析度的幀放大到原始解析度，進而提升性能。

DLSS3.0 的4代Tensor Cores和加強的Optical Flow Accelerator硬體，可以簡單地使

用 AI 生成整個幀，每個交替幀都是 AI 生成的，而不涉及圖形渲染管道進而降低latency。

FSR和DLSS差別在於有沒有專用的Tensor Cores來進行AI處理，同樣DLSS3.0

也是。另外DLSS3.0補幀後再輸出給電視或VR再次補幀就太多餘了。

請看上一篇 application SpaceWarp 的link中 How does it work 章節,
有說明並非用歷史幀.

後來發現最初(2016) 的Oculus ASW 1.0 就是用光流法在做補幀 :cool:

DLSS 3的補幀一樣需要分析前後幀
https://m.gamer.com.tw/forum/C.php?...&bpage=1&ltype=

所以其實跟TV的MEMC功能一樣
區別在於號稱導入深度學習
然後由於可以從遊戲畫面取得部分數據(例如移動向量)
所以畫面錯誤可能低於TV MEMC

但延遲比DLSS 2高是一定的，所以還綁定低延遲技術
讓整體延遲維持在可接受範圍

不過這功能我覺得是假提升，無中生有的畫面就是會有錯誤
然後三星OLED TV的遊戲模式MEMC也能做到超低延遲
加上DLSS 3不開放給20、30系列使用，吃相難看

若是不要求輸入延遲的遊戲，那我直接用TV MEMC補插不就好了
何必花大錢升級40系列？
微軟模擬飛行我只需要跑24~30fps，就能用LG OLED TV補成60~120fps感受

你錢可以省下來了 :laugh:

全球是有幾個人在玩模擬飛行....
老黃不會是被FS給刺激到.要RD想辦法幹掉FS...

就指標遊戲吧？
就跟一代的crysis一樣是顯卡殺手
大家都拿來當參考

不就是為AI.運算發展的東西
當真當遊戲卡

NV出個一個真正的遊戲卡
效能應該不止於此

感覺也太強 :like: