作者：周秉誼 / Tomofun 資深技術經理作業組資深技術經理
摘要
2026年AI應用正式迎來了「AI Agent」的新時代。短短半年之間各種AI Agent如雨後春筍。當AI Agent需要高頻率、多步驟地連續呼叫LLM時，Token的流量成本、難以預估的網路延遲、數據隱私外洩風險，顯露出雲端LLM API致命的瓶頸。因此「Local LLM」成為唯一的救贖，硬體就成為了勝負的關鍵。本文將介紹Local LLM的熱門硬體，NVIDIA於2025年底正式推出的GB10 Grace Blackwell超級晶片。
前言
隨著大型語言模型(LLM)的技術進入爆發期，2026年AI應用正式迎來了「AI Agent(智慧代理)」的新時代。短短半年之間各種AI Agent如雨後春筍，從具備自我進化能力的Hermes Agent，到強調多工具調度、在地自動化執行的OpenClaw與 NemoClaw框架，AI不再只是單純的「你問我答」，而是能夠在背景自主規劃、拆解任務、執行程式碼並調用各類工具和API的虛擬員工。
然而，當AI Agent需要高頻率、多步驟地連續呼叫大型語言模型時，傳統基於雲端的LLM API，如OpenAI或是Anthropic的架構便顯露出致命的瓶頸：居高不下的Token流量成本、難以預估的網路延遲，以及最讓學術界、醫療界與企業資安部門頭痛的數據隱私外洩風險。將研究專利、病患個資或機敏資料上傳雲端，在資安規範日趨嚴格的今天已是不可能跨越的紅線。
在此背景下，「Local LLM(在地大語言模型)」成為唯一的救贖。要在辦公桌、實驗室中流暢運行具備高度推理能力的Agent，硬體就成為了勝負的關鍵。NVIDIA於2025年底正式推向市場的GB10 Grace Blackwell超級晶片，以其手掌大小的體積、資料中心等級的軟體血統，迅速成為Local LLM社群的頭號聖物。然而，這股全民養龍蝦、瘋Agent的風潮，加上全球記憶體供應鏈緊縮，導致GB10硬體在2026年初陷入瘋狂缺貨，市售價格一路上揚，甚至出現一機難求的盛況。
NVIDIA GB10硬體簡介
NVIDIA GB10的本質並非傳統意義上的顯示卡，而是一顆將中央處理器、圖形處理器與高速記憶體深度封裝在一起的系統單晶片(SoC)。這種高度整合的異質運算架構，正是為了解決大模型傳輸的瓶頸。
GB10 內建的 CPU 部分是由 NVIDIA 與台灣IC設計龍頭聯發科(MediaTek)深度合作設計，採用台積電(TSMC)的先進3nm製程3N FinFET。硬體配置了 20 個Arm v9.2架構核心，包含 10 個負責爆發力的高效能核心(Cortex-X925)與 10 個兼顧省電的高效率核心(Cortex-A725)，在提供極致多工運算的同時，將晶片待機功耗壓低至驚人的水準。
圖形核心GPU採用了與資料中心B200 GPU相同的Blackwell微處理器架構(核心代號 GB20B)，內建 48 個串流多處理器(SM)、6,144個著色單元(Shading Units, CUDA Cores)以及384個第五代Tensor Core。此代Tensor Core特別針對Transformer架構的注意力機制(Attention Mechanism)進行了底層硬體最佳化。
一致性統一記憶體(Coherent Unified Memory)的架構更是GB10和一般GPU最大的不同。GB10 直接在晶片旁封裝了128 GB LPDDR5x記憶體，採用256-bit記憶體介面，提供273 GB/s的記憶體頻寬。最關鍵的是，CPU與GPU之間透過NVIDIA 的 NVLink-C2C (Chip-to-Chip)互連技術相連，晶片內部的聚合頻寬高達600 GB/s，並且共享一個由硬體維持快取一致性(Cache Coherent)的統一記憶體池。GPU存取CPU端的資料不再需要經過漫長且低頻寬的PCIe介面，一舉消除了傳統 AI 計算中最致命的「記憶體牆(Memory Wall)」。
NVIDIA GB10軟體簡介
對於更加複雜的內建資料結構，在AI的開發中，軟體的輔助相當重要，硬體再強，也需要軟體配合。GB10最大的護城河在於它完全繼承了NVIDIA在企業級資料中心築起的軟體帝國。GB10硬體出廠即預載基於Ubuntu Linux並深度調校的專屬作業系統NVIDIA DGX OS。該系統在核心(Kernel)層面針對Blackwell架構的非對稱核心、NVLink通訊機制以及網絡排程進行了最佳化，確保硬體免除任何因開源系統相容性導致的效能損耗。
GB10 享有 NVIDIA 頂級的AI軟體堆疊(Software Stack)及原生的軟體生態系支援，包括
TensorRT-LLM：NVIDIA 專為大模型推論設計的加速函式庫，能自動將模型進行層融合(Layer Fusion)、動態KV Cache管理，並完美調度Blackwell晶片的特殊硬體精度。
NVIDIA NIM：將最新大型語言模型，如DeepSeek-R1、LLaMA 3與推論引擎封裝為標準的OCI/Docker容器。研究人員只需一行指令就能在本地架設起一個與OpenAI格式完全相容的API伺服器。
由於GB10運行的軟體堆疊與雲端平台常見的H100、B200等大型GPU叢集 100%完全相同。在家裡的GB10上寫好、調校好的AI程式碼與訓練腳本，「不需修改任何一行程式碼」即可直接上傳部署至資料中心。
NVIDIA GB10計算效能
在算力表現上，Blackwell架構引入了極具革命性的低精度計算技術。以下為 GB10 晶片在各類運算精度下的理論與實測浮點運算效能(FLOPs / TOPS)：
雙精度 (Double / FP64)：約464 GFLOPS或0.5 TFLOPS。由於定位為 AI 推理與微調晶片，硬體中並未配置大量傳統科學計算所需的FP64核心，此精度非其主戰場。
半精度 (FP16 / BF16)：約125~200 TFLOPS。在傳統深度學習模型訓練與未經量化的標準模型推論中，是主流訓練與微調精度，表現非常穩健。
FP8 / INT8 (8位元精度)： 透過第五代Tensor Core的矩陣乘法加速，在 dense(稠密)狀態下可達約213 TFLOPS；若開啟Blackwell特有的結構化稀疏(Structural Sparsity)技術，算力可直接翻倍至427 TFLOPS。這也是量化後的大語言模型在推理時常用的精度。
NVFP4 (4位元浮點數，Blackwell 核心殺手鐧)：這是GB10最恐怖的技術突破。Blackwell原生內建了FP4的硬體計算管道，也就是MMA矩陣乘法核心。在dense狀態下可輸出500 TFLOPS的算力；若在模型優化中啟動稀疏化，整機可爆發出高達1.0 Peta FLOPS (1,000 TFLOPS) 的AI稀疏算力。
INT4 (4位元整數)：與FP4的情況類似，硬體級4-bit運算可提供高達1,000 TOPS的矩陣運算吞吐量。
對於Local LLM而言，1 PetaFLOPS的FP4運算能力意味著，過去必須依靠數張萬瓦級資料中心顯卡才能跑動的巨型模型，現在可以被壓縮至4-bit，並在硬體層面獲得無損、全速的狂暴流暢加速。
在GB10上跑LLM
在 DGX OS環境下，開發人員可以透過以下三種目前最主流的開源推論後端，輕鬆榨乾GB10的128GB記憶體：
1. Ollama最簡單的方式，DGX OS出廠即預載 Ollama，適合快速測試整合和開發Agent。Ollama是目前普及率最高的本地LLM工具，且最新版本已將GB10的Blackwell驅動與FP4/FP8 Tensor Core最佳化直接打包。使用者只需在終端機輸入 ollama run，系統就會自動下載模型並常駐於128GB統一記憶體中。它內建的輕量級API伺服器，能快速與Agent完美對接，是開發本地AI Agent的首選。
2. LM Studio是最直覺的圖形化沙盒。提供圖形化的模型管理介面，適合非程式背景的使用者。對於不習慣 CLI 介面的研究人員，LM Studio提供了完美的 GUI體驗。透過其內建的模型商店(Hugging Face 鏡像)，可直接搜尋支援硬體加速的GGUF格式。GB10開發者還能利用LM Studio的LM Link功能，將這台GB10主機的模型算力，以一秒幾十個Token的速度遠端分享給其他成員使用。
3. vLLM 是最適合高性能、高吞吐的LLM服務。當Agent需要進行高吞吐量(High Throughput)的模型測試、或是要同時服務多個Requests時，大名鼎鼎的vLLM便是必備武器。可以透過Docker容器直接啟動，並開啟GPU Pass-through在Docker容器中使用GPU。vLLM 的PagedAttention技術能將GB10的128GB記憶體切碎利用，最大化KV Cache的儲存效率。配合TensorRT-LLM編譯出來的FP4權重，vLLM能在GB10上跑出驚人的並行推論速度。
適合在GB10上跑的LLM
最適合在GB10 跑的 LLM是MoE類型的大語言模型。GB10所有的128GB一致性統一記憶體，讓GB10在面對傳統 Dense模型與MoE (Mixture of Experts, 混合專家)模型時，展現出截然不同的好處。為什麼 MoE 模型是 GB10 的絕配？MoE 模型的特性是「模型總參數極大，但每次推論活化的參數極小」。例如一個總參數1,220 億(122B)的MoE模型，每次生成Token其實只要活化10B參數。
而傳統消費級顯卡 (如RTX 4090 24GB)的困境是顯卡上的記憶體因為容量太小，根本「裝不下」122B的模型權重，連執行都辦不到。
GB10的降維打擊：GB10 擁有 128GB 的超大容量，可以舒舒服服地將整顆巨型 MoE 模型的權重全部常駐在記憶體中。當啟動推論時，因為每次只要活化 10B 參數，Blackwell GPU 僅需處理10B規模的矩陣運算，完美避開了LPDDR5x記憶體原始頻寬只有273 GB/s，在處理Dense巨型模型時的Token生成速度瓶頸。
推薦部署模型清單包括：
- Gemma4-26B-A4B-NVFP4：Google 輕量級頂級開源模型 Gemma 家族的最新一代，在邏輯推理與日常對話中表現極為精悍。經過 4-bit 量化後，體積變得極小，極其適合追求高吞吐量與超低延遲的商用場景。
- Qwen3.6-35B-A3B-FP8：35B的模型但每次只有3B的參數活化，模型本身的參數數量也不會太大，可以保留足夠空間給Context Window及KV Cache使用。
- Qwen3.5-122B-A10B-NVFP4：定位於解決高度複雜的推理、程式碼生成與多語言任務，用極低的計算代價驅動千億級別的頂尖大模型。
圖1. 測試GB10跑LLM的速度 (Ollama, Context Window: 256k)
Local LLM硬體特性大比拼
許多人在預算有限時，常會購買Apple Mac Studio (搭載 M系列Ultra晶片）或Mac Min 來充當本地LLM伺服器。以下為在Local LLM運算上的特性深度對比：
Mac Studio的優劣：Mac Studio擁有恐怖的記憶體容量彈性，可配至超過256GB，與驚人的記憶體頻寬800 GB/s。在純粹執行LLM「Token 生成階段(Decode Stage)」時，速度受限於頻寬，此時 Mac Studio的每秒Token輸出數)TPS)往往非常漂亮。但它的致命傷在於不支援CUDA生態，當研究人員想要進行模型微調(Fine-tuning)或部署尖端的資料中心Agent框架時，Apple 的 Metal/MLX 框架相容性會讓研發寸步難行。
GB10系統的優劣：GB10上雖然LPDDR5x的原始頻寬(273 GB/s)遜於Mac Studio，導致生成 Token 的純粹速度(Latency)表現中規中矩；但它憑藉 FP4 硬體級低精度矩陣引擎，在 「Prompt預填階段(Prefill Stage)」 展現出壓倒性的速度。更重要的是，它擁有完整的 CUDA 與Linux血統，微調大模型(最高支援 70B)的速度高出Mac陣營數倍，且可與學術界主流代碼無縫對接。
結語
NVIDIA GB10和DGX Spark的問世，為實驗室與個人開發者劃出了一條全新的算力分水嶺。以下針對GB10和DGX Spark的優點和缺點進行總結。
核心優點
- 突破性的VRAM容量：128GB的統一記憶體，一舉打破了消費級顯卡，如 RTX 4090僅24GB，裝不下大模型的硬傷，讓70B到200B的模型真正走入桌面。
- 純正的CUDA基因：與全球 AI 工廠、資料中心共用同一套軟體堆疊，如NIM、TensorRT-LLM，研究成果具備完美的向上移轉性。
- 高密度的硬體優勢：整機功耗僅240W左右，極度靜音、免改配電、免冷氣機房，一般辦公室或標準辦公桌插座可即插即用。
- 驚人的網絡擴充性：內建ConnectX-7 200G高速網卡，支援兩台主機直接硬體串聯，記憶體瞬間擴充至256GB，可解鎖405B參數模型的本地推論，投資不易被淘汰。
潛在缺點
- 記憶體頻寬限制：採用LPDDR5x記憶體使其頻寬只有273 GB/s，遠不如資料中心的HBM3或Mac Studio。在跑超大型Dense模型時，Token 生成的每秒字數較為平庸。
- Arm 架構相容性局限：CPU 採用 Arm 架構。雖然當前AI框架已完全相容，但若需要在主機上同時執行某些歷史悠久、僅針對傳統x86架構編譯的舊款學術模擬或工程軟體，可能會遭遇編譯困難。
- 溢價與缺貨風險：受到Agent浪潮推波助瀾，原價 3,999 美元的Founders Edition如今在市面上常因缺貨被炒高售價，增加了研究經費的採購負擔。
總結建議木
對於開發最新的AI Agent架構、處理具備高度資安隱私的在地數據，或是需要對70 以下的模型進行頻繁的客製化微調，那麼具備頂級AI軟體生態系與硬體FP4加速的NVIDIA GB10和DGX Spark，無疑是當前最具有前瞻性、且最符合資料中心移轉標準的「桌面最強AI沙盒」。