AMD宣布最新AMD ROCm 6.2開源堆疊軟體現已釋出,為AMD Instinct系列帶來效能和效率最佳化的成長。關於新增功能和優勢的詳細資訊,包括:
‧擴展vLLM支援,以提升Instinct加速器的人工智慧(AI)推論能力。
‧全新Bitsandbytes功能可透過提升記憶體效率與效能來增強AI訓練和推論。
‧全新的離線安裝程式建立器可簡化ROCm的安裝體驗。
‧全新Omnitrace與Omniperf分析工具透過效能分析和精簡的開發工作流程來革新AI和高效能運算(HPC)的開發。
‧更廣泛的FP8支援可在使用更少記憶體的情況下進行更具效率的訓練,從而增強AI推論能力。
ROCm 6.2帶來AI加速器效能和效率提升,同時提供工具及支援,助力開發人員在AI專案中突破極限。