AI应用日渐普遍地被部署到边缘和终端，且高效能AI推论使更智慧的城市和高度自动化的智慧工厂得以实现。随着智慧零售带来精致的自动化购物服务，消费者的零售购物体验也变得更加细腻。这些应用需具备极高的可靠性并提供高效能，同时也需提供精巧的外形尺寸。

边缘处理难题

在边缘部署系统时，功耗、占板面积和成本都是重要的考量因素。在边缘处理的种种限制条件下，当处理需求不断增加，也就意味着提供所需的效能水准将面临更大的挑战。虽然CPU在边缘运算上已有所发展，但近年来的成长速度趋缓，尤其在严格的低延迟要求下，在为由新一代AI所支援的边缘应用提供效能时，未经加速的CPU表现得相当勉强。
...
...