今天发布的一篇研究论文描述了生成式人工智慧如何帮助最复杂的工程工作之一：设计半导体。

设计师利用生成式人工智慧作为晶片辅助

这项工作展示了在高度专业化领域的公司如何利用内部资料训练大型语言模型（LLMs），以建立提高生产力的助手。

半导体设计是一项极具挑战性的工作。在显微镜下，像NVIDIA H100 Tensor Core GPU（上图）这样最先进的晶片看起来就像一座精心规划的大都市，由数百亿个电晶体构建而成，连接在比人类头发细10,000 倍的街道上。

多个工程团队花费长达两年的时间进行协作，以建造其中一个这样的数位化巨型城市。

有些小组定义晶片的整体架构，有些小组制作并放置各种超小型电路，有些小组测试他们的工作。 每项工作都需要专门的方法、软体程式和电脑语言。

对於大型语言模型的广泛愿景

NVIDIA 研究总监暨该论文主要作者 Mark Ren 表示：「我相信随着时间的推移，大型语言模型将全面帮助所有流程。」

NVIDIA 首席科学家 Bill Dally 今天在国际电脑辅助设计会议（International Conference on Computer-Aided Design）上的主题演讲中宣布了这篇论文。「这项努力代表着将大型语言模型应用於复杂的半导体设计工作中迈出了重要的第一步」，Dally在旧金山举行的活动中表示：「它展示了即使是高度专业化的领域，也可以利用其内部资料来训练有用的生成人工智慧模型。」

ChipNeMo浮出水面

这篇论文详细介绍了NVIDIA工程师们如何为内部使用创建了一个名为ChipNeMo的客制化大型语言模型，该模型是使用公司内部资料进行训练，以生成和优化软体，并协助人类设计师。

长期以来，工程师们希??将生成式人工智慧应用於晶片设计的每个阶段，这有可能显着提高总体生产力，在EDA领域已经有超过20年经验的Ren表示。

在对NVIDIA工程师进行可能的用例调查後，研究团队选择了三个项目：一个聊天机器人、一个程式码生成器和一个分析工具。

初始用例

後者（分析工具），用於自动化耗时的任务，即维护已知错误的最新描述，目前为止受到了最多的好评。

一个回答有关 GPU 架构和设计问题的原型聊天机器人，可帮助许多工程师在早期测试中快速找到技术文件。

正在开发的程式码产生器（如上方演示）已经透过晶片设计人员使用的两种专用语言，创建大约 10-20 行软体的片段。它将与现有工具整合，因此工程师们将有一个方便快捷的辅助工具用於进行中的设计。

使用 NVIDIA NeMo 自订人工智慧模型

该论文主要专注於团队收集设计资料并使用其创建专门的生成式人工智慧模型的工作，这是一个可复制到任何产业的流程。

作为起点，团队选择一个基础模型并用NVIDIA NeMo来客制化这个模型，NVIDIA NeMo是一个用於建置、自订和部署生成式人工智慧模型的框架，它包含在NVIDIA AI Enterprise软体平台中。 所选的 NeMo 模型拥有 430 亿个叁数，这是衡量其理解模式能力的指标。它使用超过一兆个权杖（token）进行了训练，这些权杖代表文本和软体中的单词和符号。

随後，团队对模型进行了两轮训练，第一轮使用了约240亿个权杖的内部设计数资料，第二轮使用了约13万次对话和设计示例的混合资料。

这项工作是半导体产业中生成式人工智慧的研究和概念证明的数个示例之一，这些示例正在逐渐从实验室中崭露头角。

分享所学经验

Ren分享他和团队学到其中一个很重要的经验，即是客制化大型语言模型的价值。

在晶片设计任务中，具有少至 130 亿个叁数的客制化 ChipNeMo 模型的效能，甚至可与具有超过 700 亿个叁数的 LLaMA2 等更大的通用型大型语言模型的效能相媲美或超过。在某些用例中，ChipNeMo 模型要好得多。

在这个过程中，使用者需要谨慎地选择他们收集的资料，以及如何清洗这些资料以供训练使用，他补充说。

最後，Ren建议使用者要时刻关注可以加速和简化工作的最新工具。

NVIDIA研究部门拥有全球数百名科学家和工程师，致力於人工智慧、电脑图形、电脑视觉、自驾车和机器人等领域的研究。半导体领域的其他最新项目包括使用人工智慧设计更小、更快的电路，以及优化大型区块的布局。

希??建立自己的客制化大型语言模型的企业现在就可以开始使用 GitHub 和 NVIDIA NGC 目录中提供的 NeMo 框架。