瀏覽單個文章
野口隆史
Elite Member
 
野口隆史的大頭照
 

加入日期: Mar 2001
您的住址: Rivia
文章: 7,035
引用:
作者Hermit Crab
OpenAI Whisper 實測顯示,Apple M3 Max/M2 Ultra 比 RTX 4090 還要快 (https://www.kocpc.com.tw/archives/5...zuaVoM39a4qi3cs)

美國表示:太好了,來禁售(誤)

不開玩笑了,直接跳到内文最後:
只不過隨後使用 NVIDIA 優化模型(insanely-fast-whisper)後,
RTX 4090 就完全超前了,這 10 分鐘的聲音檔只需 8 秒就能轉完全部,
速度非常驚人。Oliver Wehrens 也有實測在 macOS 運行這模型,
但都比 MLX 框架還要慢。

由此可見,在不考量其他因素的環境中,RTX 4090 還是最強王者。
而 Apple M 系列雖然輸,但有一個明顯優勢,就是「功耗」,遠低於 RTX 4090。
Oliver Wehrens 也補充這結果不是科學測量,只是為了展現 Apple MLX 框架。

其實這種性能測試是很奇怪的
就好像比載貨,你說法拉利速度比貨車快很多
請問你會改買法拉利來載貨嗎?

4090 強歸強,畢竟只有 24GB RAM
兩張也只有 48GB
根本連 LLAMA2 13B 最低硬體需求都無法滿足
APPLE M 系列反而從 M1 就能跑了

而且現在真的要用顯卡跑 AI
更多的是買兩張 3060 12GB x2
記憶體一樣也是 24GB
遠比單張 4090 要來的划算
速度也不會慢太多

而且真的要開發甚麼有能讓人驚豔的東西
更多都是租用 A100 以上等級的運算資源
都是放在遠端跑

除非你的東西有很高的安全性要求
不然真的要算 AI,靠 AI 吃飯的人
沒人在買 4090 算 AI
__________________
Folding@home with GPGPU集中討論串

Unix Review: ArchLinuxSabayonOpenSolaris 2008.5Ubuntu 8.10
AVs Review: GDTCAntiVir SSESSKIS 09NIS 09Norton 360 V3

I Always Get What I Want.
舊 2024-01-11, 02:20 PM #68
回應時引用此文章
野口隆史離線中