生成式AI基礎建設競爭正面臨轉折，產業焦點由大型模型訓練（Training）逐步擴大至AI推論（Inference）。AI Infra Summit近期業界觀察指出，即使市場開始討論前沿模型訓練投資是否放緩，推論所需的基礎建設仍在快速成長；NVIDIA也將新一代AI Factory效率指標聚焦每瓦可產生的Token數（Tokens per Watt），反映AI算力評估正從單純追求GPU數量轉向有效產出與能源效率。
AI算力評估正從單純追求GPU數量轉向有效產出與能源效率。
|
至於台灣市場也出現類似的態勢。台灣微軟表示，未來2至3年AI算力仍將需求大於供給，並把台灣資料中心由原規劃2座擴增至4座；真正限制算力擴張的已不只是GPU與CPU，還包括電力、機房空間及資料中心整體配置。
相較需要大量GPU並行運算的模型訓練，推論工作負載更為分散。尤其Agentic AI需要反覆執行推理、工具呼叫、資料檢索及記憶存取，使硬體設計必須同時處理KV Cache、記憶體容量、Storage I/O及網路延遲。AI Server因此可能由單一GPU主導，逐步形成GPU、ASIC與CPU協同的異質運算架構。
這種情況也將重新分配台灣AI伺服器供應鏈價值。除了GPU與HBM，DDR5、Enterprise SSD、高速交換器、電源及液冷的重要性同步提高；資料中心端則必須整合電源、冷卻與工作負載調度。
AI基建下一階段的核心問題，已從「能部署多少GPU」轉向「每度電能產生多少有效Token」。當Inference成為AI商業化主要工作負載，Token／Watt、Token／Dollar及推論延遲，將成為新一輪AI基礎設施競爭的重要指標。
