從下達指令到圖片回傳共耗時2m34s,OpenClaw工作階段記錄此次代理任務使用56.5K Token。
接著設定的主題為一群人在山上看風景,內容包含大人、小孩與動物,並要求系統分別生成卡通、油畫與像素三種風格的圖片。
系統在5至8分鐘內,分批回傳這三張圖片。
從下達指令到三張圖片全部回傳,完整流程共耗時8m37s,
OpenClaw工作階段記錄此次代理任務使用123.1K Token;左上角則顯示單日所有任務累積至當下,總計約使用1.5M Token。
首先是卡通風
油畫風
像素風
三張圖片各自呈現出截然不同的視覺風格。
先前手邊多款顯示卡大多為16GB版本,過去若想在消費級主機板上透過多卡組合來擴充VRAM,往往只有第一根插槽能維持PCIe x16,第二根插槽降至x8頻寬後,
容易面臨無法發揮完整算力的瓶頸;若要徹底解決此問題,只能升級至Server伺服器級平台,但這將導致整體建置成本大幅攀升。
B70是目前當地工作站與消費級顯示卡市場中,入手門檻最低且具備單卡32GB VRAM的型號之一;
搭配僅佔用雙槽的體積、全速運算功耗最高230W且發熱量不高,相當適合用於高密度平台進行多卡串聯。
雖然在GPU運算生態系上未來仍有進一步優化的空間,但Arc系列GPU自2022年問世以來,透過Intel驅動團隊長期且持續地更新優化,確實展現出「戰未來」不只是一句口號。
剛好前幾天Arc Pro發布了新版8805版驅動程式,官方發布說明中提及B70在SPECviewperf 15.0.1測試中,1080p解析度下平均效能提升約15%。這邊直接實測並對比上一版8804驅動;
在專業工作站軟體的效能表現上:1080p解析度得分由70.44提升至80.66(成長約14.5%);4K解析度得分則由34提升至40.25(成長約18.3%),實際效能增幅相當顯著。
具備單卡32GB的硬體條件後,便著手從零開始養本地端龍蝦。剛開始只能執行簡單任務,過程中邊摸索著設定目標,並調整相應的權限。
而權限設定也攸關常用的Tools是否開啟,以及提供何種執行途徑,這直接影響了龍蝦能發揮到什麼程度,以及各項Skills能否順利運作。
隨著指令一步一步進階,從定時排程、天氣預報、股市資訊摘要,一路延伸到搬移檔案、照片分類,甚至是執行測試軟體並回傳成果,看著自己養的小龍蝦逐漸成長,猶如從1歲長大到5歲。
AI Agent與這幾年常見的雲端AI聊天機器人有著顯著不同,它能根據需求自主執行任務並由通訊軟體回報,是相當新奇的科技體驗;
雖然目前仍受限於硬體與軟體能力,但相信未來持續進化後,必定會有更廣泛的應用層面。
個人認為,本地端模型是在為未來的機器人大腦鋪路,加上許多品牌持續更新模型,整體技術發展顯然會越來越進步。
另一方面,連結雲端大模型的優點是能處理的事項較多且速度較快,缺點則是需付費購買API Token,同時也有較高的資安疑慮;
若單靠地端電腦運作,雖然會受限於硬體規格與可用模型大小,且需要花較多時間研究API與功能設定,但相對省錢且較安全。
因此,將較複雜的事項交給雲端,較簡單或私密的事項交給地端,「雲端+地端」的結合會是取得平衡的好方式。
近期還會持續用B70養龍蝦,若有其他使用經驗或應用也歡迎留言討論,感謝收看😊