生成式AI由模型訓練進入大規模推論，儲存ˋ以正從資料保存設備轉變成影響Token產出效率的核心基礎設施。GMIF 2026全球記憶體產業創新峰會9月23日在深圳舉行的，以「AI儲存，驅動未來」為主題，直接把Token經濟、AI推論、KV Cache、向量檢索、RAG、長上下文及CXL列為核心議題。
這項轉變與Agentic AI工作模式密切相關。傳統LLM主要執行由提示、推斷至回應，但AI 代理需要持續規劃、檢索企業資料、呼叫工具並保留工作狀態，導致模型必須頻繁讀寫KV Cache、向量資料庫與持久記憶體，資料存取速度開始直接影響Token產出。
Agentic AI推升資料存取，儲存設備躍升Token基礎設施。
|
I伺服器的記憶體層次結構正從過去以GPU＋HBM為核心，擴展成HBM→DDR5／CXL 記憶體→企業級固態硬碟(SSD)→物件儲存的多層架構。HBM負責最高頻寬的即時運算，DDR承接系統記憶體及部分Cache，而大容量QLC Enterprise SSD則可支援模型、向量資料庫及KV Cache Offload。
這也解釋近期Enterprise SSD供應轉趨緊張的原因。AI Server除了消耗HBM與DRAM，也開始大量吸收NAND產能；中國CXMT甚至準備由DRAM跨入NAND市場，路透指出AI Server需求已使全球記憶體供應吃緊，業界預期供應壓力可能延續至2027年。
AI 伺服器的商機將由NAND晶圓廠延伸至QLC／TLC、SSD Controller、PCIe、CXL與船攢委軟體。當AI基建的衡量方式由GPU數量轉向Token／Watt與Token／Dollar，資料能否快速、低成本地送進加速器，將與算力本身同等重要。儲存設備正在由AI資料倉庫，升級為Token生產線的一部分。
