Elite Member
|
引用:
作者野口隆史
其實這種性能測試是很奇怪的
就好像比載貨,你說法拉利速度比貨車快很多
請問你會改買法拉利來載貨嗎?
4090 強歸強,畢竟只有 24GB RAM
兩張也只有 48GB
根本連 LLAMA2 13B 最低硬體需求都無法滿足
APPLE M 系列反而從 M1 就能跑了
而且現在真的要用顯卡跑 AI
更多的是買兩張 3060 12GB x2
記憶體一樣也是 24GB
遠比單張 4090 要來的划算
速度也不會慢太多
而且真的要開發甚麼有能讓人驚豔的東西
更多都是租用 A100 以上等級的運算資源
都是放在遠端跑
除非你的東西有很高的安全性要求
不然真的要算 AI,靠 AI 吃飯的人
沒人在買 4090 算 AI
|
其實倒不是這樣說
大陸就有博主說如果個人想玩AI
Apple等於是最便宜的方案
M2 Ultra支援到192GB,可以把整個模型load進去跑
而無論是顯卡還是H100 A100,要湊192GB都會是天價,這還不包含可以跑這麼多張卡的主機
當然這是對想自己在家玩模型的個人開發者來說
參考一下
https://youtu.be/UsfmqTb2NVY?si=I6XMOmUXAosEtqR0
__________________
~愛由一個笑容開始,用一個吻來成長,用一滴眼淚來結束。
當你出生時你一個人在哭,而所有在旁的在笑,因此請活出你的生命,
當你死的時候,圍繞你的人在哭而你便是唯一在笑。~
|