如果嵌入式处理器供应商没有合适的工具和软体，设计节能的边缘人工智慧 (AI) 系统，同时加快上市时间可能会变得窒碍难行。挑战包括选择正确的深度学习模型、训练和优化模型以实现性能和准确度目标，以及学习用於在嵌入式边缘处理器上部署模型的专有工具。

从模型选择到处理器部署，TI 提供免费工具、软体和服务，协助完成深度神经网路 (DNN) 开发工作流程的每一个步骤。逐步选择模型、随处训练模型，并无缝部署到 TI 处理器上，完全不需要任何手工制作或手动程式设计，藉以进行软体加速推论。

步骤 1：选择模型

边缘 AI 系统开发的首要任务是选择正确的 DNN 模型，同时考虑系统的性能、准确度和功率目标。和 GitHub 上的 TI 边缘 AI 模型库等工具有助於您加速这个过程。

这个模型库是 TensorFlow、PyTorch 和 MXNet 框架常用开放原始码深度学习模型的大型集合。这些模型在公共资料集上进行预先训练，并经过优化，可在 TI 处理器上有效运作而实现边缘 AI。TI 会定期使用来自开放原始码社群的最新模型以及 TI 设计的模型更新模型库，提供最多样化的性能和精准的优化模型。

藉由模型库中的数百个模型，TI 模型选择工具 (如图一所示) 可以协助快速检视和比较推论处理量、延迟、准确度和双倍资料速率频宽，完全不需要撰写任何程式码。

图一 : TI 模型选择工具

步骤 2：训练和调整模型

选择模型後，下一个步骤是训练或优化模型，藉以在 TI 处理器上实现最隹性能和准确度。运用我们的软体架构和开发环境可以随处训练模型。

从 TI 模型库中选择模型时，训练脚本可以根据特定任务的自订资料集快速传输和训练模型，完全不需要从头开始进行长时间的训练或手工制作模型。对於自己的 DNN 模型，训练脚本、框架扩展和量化感知训练工具有助於优化模型。

步骤 3：评估模型性能

在开发边缘 AI 应用之前，需要在实际软体上评估模型性能。

使用 TensorFlow Lite、ONNX RunTime 或 TVM 以及 SageMaker Neo with Neo AI DLR 执行阶段引擎的最常用业界标准 Python 或 C++ 应用程式设计介面 (API)，只需要几行程式码，TI 的弹性软体架构和开发环境即可随处训练自己的模型，并且编译模型再部署到 TI 硬体。在这些业界标准执行阶段引擎的後端， TI 深度学习 (TIDL) 模型编译和执行阶段工具可以为 TI 软体编译模型、将编译後的图形或子图形部署到深度学习软体加速器上，并获得最隹化推论处理器的性能，完全不需要任何手动操作。

在编译步骤中，训练後量化工具可以将浮点模型自动转换为定点模型。这组工具透过配置档进行层级混合精度量化 (8 位元和 16 位元)，达到调整模型编译的绝隹弹性，藉以展现最隹性能和准确度。

各种常用模型的操作不尽相同。TI 边缘 AI 基准测试工具 也位於 GitHub 上，有助於您将 DNN 模型功能与 TI 模型库中的模型无缝搭配，并做为自订模型的叁考。

有两种方法可以在 TI 处理器上评估模型性能：TDA4VM 入门套件评估模组 (EVM) 或TI Edge AI Cloud，这是免费的线上服务，支援远端存取 TDA4VM EVM 评估深度学习推论性能。用於不同任务和执行阶段引擎组合的多个范例脚本可以在不到五分钟的时间内在 TI 软体上进行加速推论的程式设计、部署和执行，同时收集基准。

@中标:步骤 4：开发边缘 AI 应用

使用开放原始码 Linux 和业界标准 API能够将模型部署到 TI 软体上。不过，将深度学习模型部署到软体加速器上只是其中的一部分。

为了协助快速建构高效率的边缘 AI 应用，TI 采用 GStreamer 框架。GStreamer 外挂程式可以将计算密集型任务的端对端讯号链自动加速到软体加速器和数位讯号处理核心上。

图二 显示边缘 AI 的 Processor SDK with Linux 有关的软体堆叠和元件。

图二 : 边缘 AI 的 Processor SDK with Linux 元件

结论

即使不是 AI 专家，亦可开发和部署 AI 模型或建构 AI 应用。TI Edge AI Academy有助於在进行测验的自定进度课堂式环境中学习 AI 基础知识，并了解 AI 系统和软体程式设计。实验室提供建构「Hello, World」人工智慧应用的逐步程式码，而具有摄影机拍摄和显示的端对端进阶应用程式，可按照自己的步调成功开发人工智慧应用。

(本文作者Manisha Agrawal任职於德州仪器)