OpenAI自研ASIC攻推論　AI晶片進入Token效能戰

生成式AI競爭正由模型參數與訓練算力，進一步轉向「推論經濟學」。OpenAI公布首款自研推論ASIC「Jalapeno」實測結果，透過晶片、HBM、網路與Serving軟體協同設計，試圖同時突破高吞吐量與低延遲難以兼得的限制，核心指標也由傳統FLOPS轉向每瓦可處理AI工作量、Token延遲與整體服務成本。

Jalapeno由OpenAI與博通共同開發，定位並非通用GPU，而是針對大型語言模型推論最佳化的ASIC。架構採用HBM4，並強調降低資料搬移與晶片間通訊開銷，讓KV Cache等模型狀態盡可能保留於本地記憶體，再依Prefill與Decode等不同推論階段調度運算、記憶體及網路資源。

圖一 : OpenAI自研ASIC挑戰GPU AI推論進入Token成本與客製晶片戰。

根據OpenAI使用InferenceX進行的測試，Jalapeno在GPT-OSS 120B、DeepSeek R1 670B及Kimi K2.5 1T三種模型上，峰值吞吐量條件下每瓦AI工作量較比較系統提高約1.5至1.9倍，端到端延遲降低1.7至3.6倍；高度互動工作負載效能則提高2.1至4.1倍。

Jalapeno的另一項技術特色是導入AI輔助晶片設計。OpenAI表示，AI協助探索實作方案、縮短設計與驗證迴圈，使晶片從初始設計至Tape-out約九個月；後續並利用AI產生及最佳化Kernel，形成「用AI設計AI晶片，再用AI最佳化程式」的新開發模式。

不過，Jalapeno目前主要針對推論，並不能直接解讀為取代GPU。OpenAI也明確表示，未來仍會大量部署NVIDIA及其他合作夥伴的加速器，Jalapeno則預計今年底開始部署，第二、第三代晶片已進入開發。

對半導體產業而言，更重要的訊號是AI基礎設施開始走向GPU＋客製ASIC異質化。當AI Agent帶動Token使用量高速增加，CSP與模型業者追求的不再只是最高算力，而是最低Token成本、功耗與延遲。Google TPU、Amazon Trainium及OpenAI Jalapeno等自研晶片持續增加，將同步推升先進製程、HBM、先進封裝、高速互連與ASIC伺服器需求，也讓AI硬體競爭從「誰擁有最多GPU」進入誰能以更少能源產生更多有效Token的新階段。