以NPU解决边缘运算功耗与效能挑战

随边缘AI无疑是近期AI应用最受注目的项目，也将是接下来装置与零组件商聚焦的市场．对此，CTIMES东西讲座特别邀请耐能智慧（Kneron）亲赴现场，并由该公司资深技术行销经理陈宇春解析最新发展趋势，以及耐能智慧在此领域的创新技术与策略布局。

随着物联网（IoT）设备的普及和对即时、低延迟数据处理需求的日益增长，边缘AI正成为人工智慧领域的下一个重要发展方向。相较於将所有数据传输至云端进行处理，边缘AI能够在本地设备上完成数据分析和推理，不仅降低了网路频宽的需求，更显着提升了响应速度和数据安全性。在这一趋势中，专为人工智慧运算设计的NPU扮演着至关重要的角色。

图一 : 耐能智慧（Kneron）资深技术行销经理陈宇春解析最新发展趋势，以及耐能智慧在此领域的创新技术与策略布局。（摄影／王岫晨）

边缘AI的崛起与NPU的关键角色

陈宇春强调，NPU具有在背景独立运作的优势，能够在不占用CPU资源的情况下高效地执行人工智慧任务。这使得前端应用能够顺畅运行，後端则专注於复杂的AI模型处理。这种异构计算架构有效地提升了整体系统的效能和能源效率，为各种边缘设备提供了高效边缘运算的基础。

至於耐能智慧的发展目标，则是让消费者更容易使用和接受人工智慧技术。陈宇春指出，为了实现这一目标，耐能智慧不仅专注於提升NPU的效能，更致力於降低其功耗和提高响应速度。相较於传统仅搭载CPU架构的方案，整合NPU 方案的运算架构在电源效率和成本效益方面都更具优势，这对於功耗敏感的边缘设备是非常重要的需求。

陈宇春也举无人机的系统设计为例，他表示，无人机导入NPU架构的最大优势就是大幅降低了能源的损耗，进而使之可以缩小整体的体积，达到轻量化的目标。其他的AI功能其实都可以使用原本的架构实现，唯独导入NPU的能耗降低性能无法比拟。

陈宇春也解析了AI PC的运算架构，他指出，许多AI PC在实际AI应用中的效能表现却往往相近，输出速度通常在20到30 TOPS之间，这显示单纯追求高算力并不一定能带来实际效能的提升。

针对这一问题，耐能智慧提出了适应性神经网路组合的概念。他们采用模组化的方法来组合不同的神经网路，这种灵活性使得他们的NPU能够根据具体的应用需求，动态地调整和优化网路结构，从而在各种模型中实现更隹的效能。

陈宇春以物件侦测等复杂场景为例，说明透过将多个 AI 模型串联起来，可以更精准地识别和分析场景中的各种元素，从而提升整体系统的性能。

以灵活高效的架构 实现边缘AI无限可能

陈宇春强调，耐能智慧的设计目标是实现低延迟和低功耗，这对於需要即时响应的边缘应用十分重要，例如智慧安防、自动驾驶和智慧制造等，对於低功耗和低延迟有极高的需求，因此若要在边缘实现AI的功能，导入NPU架构会是最具成本效益的解决方案。

陈宇春指出，与传统上执行平行处理的GPU不同，耐能智慧的NPU能够将较小的计算单元组合成不规则的形状，这种灵活的架构使其能够更有效地适应不同类型和规模的神经网路模型，进而在各种应用场景中实现更高的效率。

随着边缘AI技术的持续发展和应用场景的不断扩展，对高效能、低功耗的 NPU的需求也将会持续水涨船高。以自驾车为例，由於自动驾驶需要实时处理来自摄影机、雷达、光达等感测器的海量数据，搭载边缘AI处理器就可以在本地端快速完成物体侦测、路径规划等任务，实现真正的无人驾驶。

甚至边缘AI还可以分析车辆内部的感测器数据，针对驾驶人的精神状态与其他潜在的机械故障进行预测，适时提醒驾驶员行动，或者采取适时的维护。

讲者简介

图二 : 耐能智慧资深技术行销经理陈宇春（摄影／王岫晨）

陈宇春（Jeffrey）拥有丰富的产业经验，曾任擎展科技RD研发处长、曜鹏科技产品开发处处长，以及晨星半导体Smart Camera BU总经理室特助。毕业於逢甲资工系，并取得台北科技大学资财所EMBA学位，同时也是台湾人工智慧学校技术领袖班一期学员。盖AI软体技术、产品规划、技术行销，并积极投入AI讲师工作。

如需了解更多相关内容，请连结下列频道影片网址：