如果你是要跑 LLM 的話不一定要換顯卡
用 CPU 跑也行
前幾天更新的 llamafile 增加了不少 CPU 推理性能
https://github.com/Mozilla-Ocho/llamafile
這次還支援 AVX512，讓 ZEN4 處理器性能提升了十倍
引用:
|
作者skap0091
3060一張170W，兩張340W
4090則是450W，不過跑遊戲一般是落在320~380W居多
其他用途我不確定
但問題在於2張3060 12G無法疊加VRAM變成24G
所以無法跟24 VRAM的卡相比
|
VRAM 本來就可以疊加
你甚至可以 AMD + NVIDIA 的顯卡疊加一起跑都沒問題
也有人因為要玩遊戲，它是 4070 + 3060 12G = 24GB
一樣也是 24GB