隨著人工智慧工作負載從模型訓練邁向大規模推論與AI代理系統,半導體生態系正迎來一場深刻的結構性轉型。美光科技(Micron)於COMPUTEX 2026展會期間指出,AI時代的系統效能正前所未有地取決於記憶體的頻寬與容量,記憶體與儲存技術已正式躍升為不可或缺的戰略性資產。
|
美光執行副總裁暨事業長 Sumit Sadana 點出當前產業面臨的關鍵挑戰:AI模型的「上下文長度(Context Length)」正以每年 30 倍的速度暴增,然而在過去三年間,單台伺服器的記憶體容量卻僅增長了一倍。這項硬體與軟體需求之間的巨大鴻溝,迫使運算架構必須重塑。
面對此趨勢,不論是資料中心或智慧邊緣應用,記憶體階層中各個層級的技術整合成為分擔 GPU 負載、最大化 Token 產出量的關鍵。在雲端資料中心,AI運算已轉向由 HBM 驅動高速模型執行、LPDDR 與 DDR 負責長上下文擴展,並搭配高容量 SSD 建立海量資料湖的分層架構。美光透過展示包括次世代 HBM4、全球首款商用 PCIe Gen6 SSD,以及容量高達 245TB、能大幅縮減機架空間與功耗的超高容量 SSD,宣示其在資料中心運算專用階層架構的布局。
另一方面,市場趨勢顯示AI始於雲端,但在邊緣實現價值。隨推論需求延伸至 PC、智慧型手機、汽車和嵌入式系統,邊緣端的記憶體與儲存裝置也正發生根本性轉變。高密度 DRAM 必須扮演確保 AI 模型和代理型 AI 常駐運行的角色,儲存解決方案則演進為主動作業層,以支持本地端模型快取或車載即時感測器融合。
美光強調,AI已徹底重塑記憶體的角色,記憶體與運算單元在設計之初就必須進行緊密的協同合作。未來將透過深化與生態系夥伴的技術協作來加速 AI 平台落地,並藉由在美國、日本、新加坡及台灣等全球多地的製造擴展投資,落實新一代系統級最佳化。


