从工业到家庭、健康照护与智慧城市，由无数的应用和装置搜集来的大量数据产生即时的洞察与价值，智能（Intelligence）必须从云到终端遍及整个网路。因此，提升终端运算能力、并结合机器学习技术，就有可能释放物联网终端装置即时的数据分析力。

越来越多的智能围绕在我们周遭的世界。我们听到许多关于物联网（IoT）、云端运算与其他令人兴奋的科技，如何在未来数十年改变人们生活的预测。从工业到家庭、健康照护与智慧城市，物联网让遍及日常生活的各种应用，变得更为丰富，且让生活因此改观。

应用的领域相当多元，有数百个子项目与数千个应用。这些应用产生许多数据，但数据本身不重要，重要的是我们可以从中撷取的价值。我们不能仰赖以往把所有数据都传回云端伺服器的传统作法 – 这种作法随着数据量的增加无法进行扩充，因此需要不同的解决方案。

把数据从端点传输至云端是有代价的，包括更长的延迟、数据传输时的用电、频宽，以及伺服器的容量，这最终也将是使用场景价值成功或失败的关键。这在物联网中特别容易发生，原因是许多应用必须仰赖最低延迟的即时数据分析与决策。

事实上，有时候端点可能只拥有有限（如果有的话）的连接性。因此，智能的分配必须遍及整个网路，一路到数据源头的端点，如此我们才能在正确的地方拥有处理能力。提升终端运算能力并结合机器学习技术，就有可能释放物联网端点即时的数据分析力，而两者的汇聚也称为「端点人工智慧（Endpoint AI）」。

什么是端点AI，为何它很重要？

端点AI主要是让端点（即便是最小型的装置）变得更聪明且更具智慧，可以在端点上执行必要的即时分析，同时：

‧ 改善整体系统效能

‧ 降低耗电量配置

‧ 降低对云端处理的依赖

我们举个例子：想像有一个负责监控水管状态的小型端点，目的在检测异常情况，例如水管漏水。倘若水管破裂能尽早检测出来，避免对房屋造成损害，这对于屋主与保险公司都有极大的价值。这种装置若能检测出漏水，只需再加上云端连接性，就能善用端点上的处理能力并创造价值。

不过，如同之前讨论过，到目前为止看到的都是「云端优先」的方法，这种方法把智能放在云端上，而数据则不断地沿着网路进行传输。然而为了迎合耗电、频宽与成本的需求，这种方法正在改变，如此才能促成更宽广的使用场景。举上述的漏水检测器为例，把处理能力移到端点内，可以把电池寿命从数个月延长至数年。

对于许多的使用场景而言，最佳的方式是将智能普遍分配到整个网路上，包括一路配置到端点。 Arm贵为整个网路上的每个节点，都提出了解决方案：从数据中心、（终端）伺服器、闸道，一路到端点。

图一 : Arm在所有设备及装置上实现无所不在的人工智慧

今日感测器产生的数据大多被丢弃，原因是要传输这些数据，从能源与频宽的角度来看，成本实在太高。想像一个电池驱动的物联网端点，使用蓝牙、窄频物联网，或其它方式连网。端点从各个感测器搜集数据，然后把资料传至闸道或另一个装置。

不过，这个使用场景的通讯，往往成为整套系统耗电量最大的一部份。因此，系统架构师得进行取舍，以便在系统的耗电量限制下作业。他们得兼顾端点内感测器数据的资料速率与数据处理，以便让电池寿命保持在可接受的范围内。

倘若我们只在感到有兴趣的事件发生时，使用机器学习架构方法来储存或传送数据，并借此降低无线电波的使用、同时优化电池的寿命，又会怎?样呢？尽管这些端点上的运算资源一直以来都太过贫乏，无法在装置本身支援讯号处理与机器学习，但端点 AI 现在却让它变成可能。

事实上，今日已有许多的应用，使用Arm Cortex-M架构的装置内的机器学习技术。受到Arm在内的许多领先企业机构支持、称为tinyML的社群运作，正在驱动这个趋势，目标是在微处理器（MCU）上部署机器学习。

tinyML基金会正在协助让传统的嵌入式世界与全新的端点AI世界，找到两者之间的交集。藉由他们的努力，更多的开发人员现在已经可能直接在微处理器上，运行越来越复杂的深度学习模型，借以加速端点AI，并产生出全新的使用场景。快速检视其内容，我们发现它大多利用Arm的IP架构。 Cortex-M处理器能提供应对各种既有使用场景的正确功能集。

例如，Audio Analytic 公司使用 Arm Cortex-M0+ 处理器实作声音辨识。其它的实例则使用 Cortex-M4、Cortex-M7 与 Cortex-M33 的数位讯号处理器（DSP）的运算能力：

图二

接下来呢？

我们正处于一段令人兴奋时期的开端，在这个期间，新的科技将促成新的能力，并且让要求更为严苛的物联网端点使用场景，成为可能。端点搜集越来越多的数据，这些数据可以用节能的方式进行分析并找出型态，并触发下一步的处理。这也是为何物联网端点与微处理器（MCU）必须具备更多的能力，以应付与日俱增的需求。

为了支持端点AI的愿景，Arm特别开发Cortex-M55（Arm具备最高AI能力的 Cortex-M 处理器）与Ethos-U55（可搭配Cortex-M的微神经网路处理器），两者是应对许多新兴使用场景的完美组合。与现有的Cortex-M处理器相比，Cortex-M55搭配Ethos-U55的总机器学习效能可以提升480倍。

此外，重点不只有IP。 Arm的CMSIS-DSP与CMSIS-NN程式库的演进，以及我们与Google的TensorFlow Lite Micro团队的协作，将让开发人员可以更简便地把他们在之前Cortex-M平台上的作业，转移到Cortex-M55与Ethos-U55。

端点AI靠视觉-语音-震动驱动

麦肯锡公司已经找出在2025年以前，可为边缘与端点处理创造出2500亿美元硬体价值的横跨11个产业的100个使用场景。藉由分析这些专供端点AI利用的使用场景，可以发现主要的使用场景都围绕三个领域：视觉、语音与震动。

图三

预测性维护在许多大众市场应用中，是一股重要的成长驱动力。据估计，每年因为机器停机造成的损失超过 200 亿美元。

我们可预见上述三个类别之一，或是多个类别的使用场景或应用。例如，除了可以使用震动监控来执行异常检测，也可以利用声音辨识的技术，或是使用影像。端点AI已能支援设备上的讯号处理和机器学习。

（本文作者Thomas Lorenser为Arm公司通用运算总监（Director General Purpose Compute））