明尼苏达大学超级计算研究所(MSI)的研究人员找到一种方法,透过容器来控制高效能运算(HPC)与人工智慧(AI)产生出的众多微小却重要的软体元素。
|
软体优化在相同的硬体上提供更好的效能表现 |
MSI为明尼苏达州HPC研究学术机构重镇,借助NVIDIA GPU加速超过四百种遍及各领域的应用程式,包含从了解癌症基因组学,再到气候变迁的影响性。而要支援明尼苏达州内数千名研究人员进行这些不同的应用程式绝非易事。
每个应用程式都有其复杂的组成要件,一个应用程式所需的硬体配置、编译器和函式库,可能和另一个应用程式的需求有所冲突。
系统管理员可能会被应用程式所需的升级、安装和监控等各种需求搞得顾此失彼,这经验使得管理员与使用者在不断寻找最新和最好的程式码时,感到精疲力尽。
为了避免陷入这些潜在的负面情况,并同时提升使用者的能力,MSI透过容器将应用程式及其所需的函式库、执行引擎和其它软体元件捆绑在一起。
容器加快部署应用程式
有了容器後,MSI的使用者便能在无需管理员协助的情况下,於几分钟内部署完成应用程式。
MSI研究运算部门??总监Benjamin Lynch表示:「容器这项工具能够提高研究工作流程关键元素的可移植性和再现性,它们在快速变化的软体生态体系中扮演着要角,就像我们在NVIDIA GPU上的AI与机器学习所看到的。」
由於容器提供了运行应用程式所需的一切,因此,研究人员若想测试在Ubuntu中建立的应用程式,不必担心在MSI的CentOS丛集上运行时会出现不相容的情况。
明尼苏达大学的地理运算科学家Bryan Runck表示:「容器能让其他研究人员将复杂的农业环境模型封装成可复制、且轻松进行平行化工作流程的一项重要工具。」
NGC:集合GPU优化的HPC与AI软体
MSI的研究人员选择NVIDIA的NGC容器registry,作为取得GPU优化之HPC与AI容器的来源。NGC的目录拥有从深度学习到视觉化的各种容器,所有容器皆经过测试和调校,以提供最隹的效能表现。
不仅对这些容器进行最隹效能测试,还进行跨x86和ARM等多种架构的相容性测试,因此系统管理员可以轻松支援不同使用者。
NGC收集了多项经过预先训练的AI模型和开发套件,研究人员可以将转移学习技术应用在这些模型上,以建立个人专属的版本并减少开发时间。
明尼苏达大学专攻农业研究的资料科学家Christina Poudyal表示:「在HPC平台上运行容器化的应用程式,让我们可以轻松着手研究,同时GPU将运算时间减少了十倍以上。」
聚集HPC与AI的工作负载
聚集HPC与AI的应用程式,是推动MSI采用容器的另一个因素。这两项工作皆利用MSI GPU加速系统的并行运算能力。
这种融合催生出跨学科的研究工作。
明尼苏达大学计算研究中心主任Jim Wilgenbusch表示:「应用科学家与电脑科学家密切合作,从根本上推动AI方法使用新式资料来源,并整合我们已经掌握的物理过程。」
这些多学科团队与NVIDIA合作,优化其工作流程和演算法,靠着更新、测试和储存在NGC上的容器,以跟上AI软体的快速变化。