AI/ML训练开发出供推论使用的模型，用於识别任何需要辨识的物件。这些物件可以是智慧城市街道上顺畅或拥挤的交通、用於实现安全存取控制的身份证件和人脸比对的许可级别、向客服中心拨打电话的对话内容，抑或是邮政分发中心中信封上的手写地址。

训练通常在企业资料中心或云端进行，这些环境中有众多高效能伺服器、充裕的记忆体、硬体加速器和高速网路可以投入工作负载。在这种环境下，需快速完成工作的训练使用大量供给运算、网路连结和冷却的电力。尽管推论工作负载也能在资料中心或云端执行，但由於多种原因，越来越多推论任务正迁移至边缘。

首先是延迟问题。将原始资料发送到云端或资料中心耗用时间，因此需要更长的时间来执行推论，而且将想要的答案或决策发送至边缘的时间也会增加。以工厂自动化、雷达、电子作战等即时任务来说，费时过长的决策会导致高昂成本。
...
...