PCDVD數位科技討論區 - 黃仁勳稱美國對華AI晶片出口管制「失敗」：NVIDIA中國市場份額腰斬！

PCDVD數位科技討論區 (https://www.pcdvd.com.tw/index.php)

- 七嘴八舌異言堂 (https://www.pcdvd.com.tw/forumdisplay.php?f=12)

引用:

作者野口隆史

DGX Spark 發售兩天了

就目前網路上的評論(推特, reddit)來看
這東西不論推理還是訓練都很慢

DGX Spark 不適合推理
4000 美有更好的選擇
例如同價格的 m4 max
大部分時候推理性能都有四倍以上

DGX Spark 大部分時候只與 2000 美的 mac mini 差不多
q1~q8 性能都不敵 mac mini
只有 mxfp4 時可以稍微領先

跟 ai 395 128GB 相比
大部分時候性能差不多
最大福領先的測試項目只有 30%
然後 ai 395 128GB 只有 2000 美

目前網路上一堆無償得到 DGX Spark 的人都把它吹上天了
都說比 apple 的設備更好，但無例外都不敢跟同樣也是 4000 美的 m4 max 對比
有拿來跟 m4 max 對比的人全部都是自己花錢購買的人
還有人說 DGX Spark 重點不在推理，而是在訓練
卻不回應為什麼它會推理慢訓練快
但事實上 DGX Spark 的推理跟訓練都很慢

這個年代跟以前不一樣了
以前 adobe 全家桶跟其它影...

395非常尷尬.... 看看下一代的有沒有機會吧

365/370比較慢, 但是記憶體的可擴充性比較好, 只是大多數廠商也是在賣電子垃圾

整體來說,
1. 沒有足夠大的記憶體, 都只是在賣電子垃圾而已
2. 頻寬也是重點
3. 64GB以下的機種, 賣超過3.5萬台幣其實很勉強(考慮到性能)
4. 395問題是軟體, 頻寬, 以及記憶體太少, 但價格並不低, 2000USD... 通常這個價位是低估了,2500-2750USD才是正常配出來的價格
5. 真正有殺傷力的是intel + NV 的unify記憶體機種, 留給蘇嬤的時間不多了

引用:

作者lifaung

amd 可以買 framework 的
台灣買的話是由桃園出貨
而且特價的時候只要 58000

ai 395 目前是處在比較尷尬的境地
規格只有 rdna 3.5
目前的 rocm7 最低需求是 rdna 4
雖然可以用 vulkan 跑
但效能比 rocm 差

我目前並不會考慮 amd 啦
家裡有本地 ollama 服務
很早前就有打算買 DGX Spark
但我沒有模型訓練需求
看了兩天測試數據後
覺得其實 ai 395, m4 max 一點也不貴
我應該會在 m5 max 跟 m3 ultra 之間選個買
如果 m5 max 有 256GB 的話是最好

引用:

作者野口隆史

395配置完成後, 看起來128GB不如買華碩ROG回家, 但現實還是....
記憶體太少以及頻寬太低

記憶體太少就注定了不能大模型
頻寬低.... 應該也不需要討論這話題吧

類似DGX Spark價格, 考慮一下3080魔改x2搭配Ktransformer, 1TB Ram比較有看頭Orz

引用:

作者lifaung

我目前有 r9 3950x 128GB 的機器
但是推理性能不太行
跑 qwen3 235B 2507 q3 只有 1.8 tk/s
qwen3 30b 2507 q4 15 tk/s
gpt-oss 120B q4 10 tk/s

所以其實 ai 395 對我來說推理性能已經比我現在用的強很多了
2000 美其實已經可以買洋垃圾 epyc 512GB 的機器了
不過散熱跟耗電是另外一個問題
而且原本的機房被老婆霸佔了
家裡沒有地方放大型主機
只能考慮 395 或 mac studio 這種小主機
我先等 m5 max 出看記憶體最高可裝多少
再來決定要買什麼

引用:

作者野口隆史

我是洋垃圾+RTX3090繼續玩, DGX 跟 395就先忍一下,等Intel再進來玩後應該會有穩定一點的二代小改款好用.

現在RAM好貴,好險之前捏一下把RAM插到頂了.