測試報告來了


講重點!


70b模型 雙4090 24G : 17 Tps.

4090回爐重造可以有48G VRAM, 跑70b模型實錘(售價似乎是10萬)
llama3 70b 超過一張普通24G 4090, 致速度暴降

:think:

美國根本禁止不了大陸地區顯卡走私，感覺就是變相炒作顯卡價格，用關稅、資訊不對等與飢餓行銷維持與超越礦災那時的溢價收入。
如果5090真的跑遊戲跑AI這麼好，產品這麼熱門，那筆電預購開跑那麼久了怎麼還沒被搶光?

肥了美國或第三方，瘦了中國

今天看到4090還會推出48G跟96G版本的.

[顯示卡器] NVIDIA的GeForce RTX 4090將配備96GB VRAM； GPU可能很快就會投入量產，瞄準AI工作負載

雙4090 得到 17 TOPS ? 我個人的經驗是即便不裝顯卡，僅用CPU內的浮點運算器，也不可能只有17 TOPS，還雙4090 24G咧，這肯定是仿冒品的吧? 這數字搞笑的程度非常的離譜啊~

你用的是 70b的本地部署模型 ? 問題內文很長?
那你家電腦好棒棒囉,給你拍拍手!

:laugh:

連 微軟 Copilot+ 40 TOPS 的需求都達不到。

TOPS 跟部署模型有什麼關係 ? 您放的utube那張圖Mac/PC 比較的單位是 Tokens/s。這兩者天差地遠。

我現在用的 i5-12600K，應該就超過 17 TOPS了。 單核不敢保證，但多核應該可以。

請問4090 48GB類似
2080Ti 11GB魔改成22GB的模式嗎?
就是非官方亂改一通的意思

........根據診斷, 你的電腦只是一台終端機, 只接收遠方伺服器端跑出來的結果.
沒有部屬過本地AI模型.
另外那圖右下邊是要說"暴顯存的後果". 影片裡有提到





是
原廠NV 晶片有留線路, 但原廠參考板沒有實作.
NV應該也不准下游廠商(AMG三大)改,做市場區隔, 不然他的專業卡那麼貴要賣誰?.