明尼蘇達大學超級計算研究所(MSI)的研究人員找到一種方法,透過容器來控制高效能運算(HPC)與人工智慧(AI)產生出的眾多微小卻重要的軟體元素。
|
軟體優化在相同的硬體上提供更好的效能表現 |
MSI為明尼蘇達州HPC研究學術機構重鎮,借助NVIDIA GPU加速超過四百種遍及各領域的應用程式,包含從瞭解癌症基因組學,再到氣候變遷的影響性。而要支援明尼蘇達州內數千名研究人員進行這些不同的應用程式絕非易事。
每個應用程式都有其複雜的組成要件,一個應用程式所需的硬體配置、編譯器和函式庫,可能和另一個應用程式的需求有所衝突。
系統管理員可能會被應用程式所需的升級、安裝和監控等各種需求搞得顧此失彼,這經驗使得管理員與使用者在不斷尋找最新和最好的程式碼時,感到精疲力盡。
為了避免陷入這些潛在的負面情況,並同時提升使用者的能力,MSI透過容器將應用程式及其所需的函式庫、執行引擎和其它軟體元件捆綁在一起。
容器加快部署應用程式
有了容器後,MSI的使用者便能在無需管理員協助的情況下,於幾分鐘內部署完成應用程式。
MSI研究運算部門副總監Benjamin Lynch表示:「容器這項工具能夠提高研究工作流程關鍵元素的可移植性和再現性,它們在快速變化的軟體生態體系中扮演著要角,就像我們在NVIDIA GPU上的AI與機器學習所看到的。」
由於容器提供了運行應用程式所需的一切,因此,研究人員若想測試在Ubuntu中建立的應用程式,不必擔心在MSI的CentOS叢集上運行時會出現不相容的情況。
明尼蘇達大學的地理運算科學家Bryan Runck表示:「容器能讓其他研究人員將複雜的農業環境模型封裝成可複製、且輕鬆進行平行化工作流程的一項重要工具。」
NGC:集合GPU優化的HPC與AI軟體
MSI的研究人員選擇NVIDIA的NGC容器registry,作為取得GPU優化之HPC與AI容器的來源。NGC的目錄擁有從深度學習到視覺化的各種容器,所有容器皆經過測試和調校,以提供最佳的效能表現。
不僅對這些容器進行最佳效能測試,還進行跨x86和ARM等多種架構的相容性測試,因此系統管理員可以輕鬆支援不同使用者。
NGC收集了多項經過預先訓練的AI模型和開發套件,研究人員可以將轉移學習技術應用在這些模型上,以建立個人專屬的版本並減少開發時間。
明尼蘇達大學專攻農業研究的資料科學家Christina Poudyal表示:「在HPC平台上運行容器化的應用程式,讓我們可以輕鬆著手研究,同時GPU將運算時間減少了十倍以上。」
聚集HPC與AI的工作負載
聚集HPC與AI的應用程式,是推動MSI採用容器的另一個因素。這兩項工作皆利用MSI GPU加速系統的並行運算能力。
這種融合催生出跨學科的研究工作。
明尼蘇達大學計算研究中心主任Jim Wilgenbusch表示:「應用科學家與電腦科學家密切合作,從根本上推動AI方法使用新式資料來源,並整合我們已經掌握的物理過程。」
這些多學科團隊與NVIDIA合作,優化其工作流程和演算法,靠著更新、測試和儲存在NGC上的容器,以跟上AI軟體的快速變化。