引用:
|
作者lifaung
395配置完成後, 看起來128GB不如買華碩ROG回家, 但現實還是....
記憶體太少以及頻寬太低
記憶體太少就注定了不能大模型
頻寬低.... 應該也不需要討論這話題吧
類似DGX Spark價格, 考慮一下3080魔改x2搭配Ktransformer, 1TB Ram比較有看頭Orz
|
我目前有 r9 3950x 128GB 的機器
但是推理性能不太行
跑 qwen3 235B 2507 q3 只有 1.8 tk/s
qwen3 30b 2507 q4 15 tk/s
gpt-oss 120B q4 10 tk/s
所以其實 ai 395 對我來說推理性能已經比我現在用的強很多了
2000 美其實已經可以買 洋垃圾 epyc 512GB 的機器了
不過散熱跟耗電是另外一個問題
而且原本的機房被老婆霸佔了
家裡沒有地方放大型主機
只能考慮 395 或 mac studio 這種小主機
我先等 m5 max 出看記憶體最高可裝多少
再來決定要買什麼