搜尋

會員登入

搜尋

導覽

會員

边缘AI视觉不再追求资料数量 资料形式需与任务相符

机器视觉系统长期沿着更高解析度、更快帧率与更完整的影像资讯发展。然而,当视觉技术进入机器人、智慧建筑、穿戴式装置及各类边缘设备,开发者开始面对另一个问题:系统是否真的需要持续取得完整影像?


高解析影像能保留色彩、纹理与物体细节,但也会增加资料传输、记忆体、运算与功耗负担。对具备高阶处理器或可连接云端的设备而言,这些负担仍有调整空间;对必须即时反应、长时间待机或使用电池供电的终端装置而言,感测器输出多少资料,以及这些资料是否直接对应任务,往往更早决定系统架构。



图一 :   边缘AI视觉让机器人可拿取晶片
图一 : 边缘AI视觉让机器人可拿取晶片

意法半导体(ST)飞时测距与环境光感测产品线经理 Laurent Plaza 指出,许多边缘感知应用不需要辨识完整外观,而是希??掌握人员是否出现、物体位於何处、距离多远,或动作是否异常。对只需判断存在、距离或姿态的应用而言,完整彩色影像未必是必要的资料形式。


从「看清楚」转向「回答问题」

飞时测距(Time-of-Flight,ToF)感测器会主动发射不可见光,再依光线返回所需时间计算距离。与一般摄影机不同,它提供的不是供人观看的照片,而是物体与感测器之间的空间关系。


这种资料无法呈现衣服颜色、文字或表面纹理,却能直接回答不少设备需要判断的问题。例如,人员是否进入特定区域、物体是否靠近机器、人体姿态是否出现异常,以及移动方向是否符合预期。


由於深度资料不必保留完整画面,在部分应用中也能减少个人影像搜集。对照护、楼宇管理或公共空间而言,系统可能只需判断是否有人跌倒或进入限制区域,而未必需要辨识当事人的脸部与身分。


ST 此次发表的新一代 VL53L9 3D LiDAR 模组,便是以多区域深度资料支援人员感测、空间侦测与机器人等应用。相较於完整彩色影像,这类资料可直接提供距离、位置与姿态等资讯,让系统不必先从完整画面中撷取所需结果。


这种差异显示,边缘视觉的设计起点不应只是选择更高画素的感测器,而是先确认系统要回答什麽问题。需要辨识表面瑕疵、文字或产品类型时,完整影像仍不可取代;若任务集中於存在、距离、位置与姿态,深度资讯可能更直接。



图二 :   机器人替代人类搬取重物
图二 : 机器人替代人类搬取重物

资料形式也会影响处理器选择

感测资料的形式会一路影响後端设计。完整影像通常需要较高的传输频宽、记忆体与影像处理能力;深度图的资讯量较少,部分分析工作便可能在微控制器端完成。


根据相关测试资料,深度与红外线资讯可用於跌倒侦测、人数统计及姿态监测;演算法在 STM32H5 微控制器上可达每秒30帧。这不代表所有视觉分析都能由 MCU 处理,但说明当感测器输出的资料已接近任务所需形式,後端未必需要先处理完整影像,再从中筛选资讯。


对边缘设备而言,这项差异相当实际。处理器等级、记忆体容量、资料介面及散热需求,都可能因输入资料量而改变。感测器的选择因此不只是前端元件问题,也会连动整套硬体配置。



图三 :    工业用侦测车
图三 : 工业用侦测车

机器观看影像,要求与人类不同

ST 相机感测器产品线经理 Nicolas Roux 则从机器视觉角度指出,供人观看的影像与供机器判读的影像,评估标准并不完全相同。


一般摄影应用重视色彩、细节、杂讯与整体观感;机器人导航、工业检测或动作追踪,则可能更在意快速移动时是否出现变形,以及感测器能否在不同照明条件下持续提供稳定资料。


以快门架构为例,卷帘快门逐列曝光,通常有利於影像品质与动态范围;全域快门则让整个画面同时曝光,能降低高速移动造成的几何变形。对静态摄影而言,两者差异未必始终明显;但当机器需要辨认输送带上的物件、追踪动作或进行定位时,影像是否变形可能直接影响演算法结果。


此次同步推出的 BrightSense 新一代 500 万画素机器视觉感测器,采用可切换的全域与卷帘快门设计,让系统可依高速动态、影像品质与实际工作条件选择快门模式。


可见光与近红外线的选择也有类似考量。彩色影像有助於辨认外观,近红外线则能在低光或特定照明环境中提供感测资讯。实际系统可能依照时间、照明与任务,采用不同的感测方式。


这些设计都代表,机器视觉追求的并不只是「更好看的影像」,而是更适合分析的影像。


感测器开始承担更多前端工作

另一项变化,是感测器逐渐不再只负责输出原始资料。透过3D堆叠与数位电路整合,部分统计、事件侦测及资料处理功能可放入感测器内部,使元件先判断是否出现需要进一步处理的事件,再决定是否唤醒後端系统。


这类架构适合需要长时间待机的装置。设备不必持续让主处理器与完整视觉系统保持最高运作状态,而可由低功耗感测功能先监测环境,侦测到人员、动作或指定变化後,再启动後续处理。


感测器与处理器之间的分工因此正在改变。过去,感测器主要负责取得资料,判断工作集中在後端;如今,部分感测器已能在前端完成初步筛选,使後端只在必要时处理较完整的内容。


这并不表示感测器将取代处理器或 AI 模型,而是整套系统开始重新分配运算工作。哪些判断应在感测器端完成,哪些资料需要送入 MCU、应用处理器或云端,将依据功耗、延迟、隐私与辨识精度决定。


边缘视觉回到任务本身

深度、彩色、近红外线与事件资料各自提供不同资讯,也各有局限。深度感测无法取代需要色彩与纹理的辨识工作;完整影像则不一定适合只需判断距离或存在的低功耗设备。


因此,边缘 AI 视觉的关键不在於选出一种通用感测技术,而是让资料形式与任务相符。


系统若要检查表面瑕疵,需要保留足够的影像细节;若只须确认人员是否进入危险区域,完整彩色画面可能不是必要条件;若设备必须长时间待机,感测器能否先完成事件判断,也可能比最高解析度更重要。


当感测器不再只是把所有资料交给後端,而开始依任务提供距离、影像、光谱或事件资讯,边缘视觉的评估方式也随之改变。解析度仍然重要,但系统真正需要什麽资料,以及愿意为这些资料付出多少运算与功耗,将成为更核心的设计问题。


Card Image

PIC32-BZ6:新一代高度整合单晶片无线平台

随着智慧设备的射频(RF)设计复杂性日益增加,传统无线解决方案通常需要多晶片组合才能新增功能,或频繁重新设计才能满足不断升级的行业标准。为此,Microchip推出全新高度整...

随着智慧设备的射频(RF)设计复杂性日益增加,传统无线解决方案...