账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
智慧汽车之眼-单眼摄影机
ADAS应用的挑战与商机(一)

【作者: Aish Dubey】2017年04月11日 星期二

浏览人次:【17081】


摄影机是以高画质如实捕捉数据资料最精密的机器。如同人类的眼睛,摄影机可以捕捉细腻的影像和生动的画质,其他的感测器如雷达、超音波和雷射,都无法呈现如此美丽的细节。从全球各地洞穴发现的数万年前史前绘画,可以证明图像和绘画辅以感官视觉是传递精确资讯的最佳方法。


有人说,科技界下一个最富挑战性的尖端工程,就是​​即时机器视觉和智慧化。其应用包括但不限于:即时医疗分析(手术机器人)、拥有自主智能的工业用机器和汽车。此系列文章将聚焦在自主先进驾驶辅助系统(ADAS)应用,并探讨为何摄影机和立体视觉是汽车可以安全又自主地「看见」和「驾驶」的关键。


如何选择摄影机?

ADAS需要摄影机的关键应用如图一所示,有些应用只需一套视觉系统,例如前置、后置和侧置摄影机,即可侦测车道、行人、辨识交通号志、侦测盲点和车道。其他如融合雷达数据和摄影感测器的智能主动车距控制巡航系统(ACC),在面对复杂的情况如市区交通、弯曲道路或高速驾驶时,更显重要。



图一: 汽车ADAS的摄影机感测器应用:(a)前置摄影机—车道侦测、行人侦测、交通号志辨识和紧急煞车(b)侧置和后置摄影机—停车辅助、盲点侦测和两侧来车警示系统(Cross Traffic Alert)
图一: 汽车ADAS的摄影机感测器应用:(a)前置摄影机—车道侦测、行人侦测、交通号志辨识和紧急煞车(b)侧置和后置摄影机—停车辅助、盲点侦测和两侧来车警示系统(Cross Traffic Alert)

摄影机所拍摄的真实世界是三维的。而真实世界中不同景深的物体,在录影感测器的二维映射世界中看起来会彼此相邻。图二显示的是Middlebury图片集的照片;显然地,照片前景的摩托车比后方的储物箱靠近摄影机大约两公尺。请注意图中标注的点1和点2。背景中的红箱子(点1)看起来就在摩托车叉的旁边,即使红箱子距离摄影机至少二公尺远。人类的头脑具有透视的能力,能够让我们从2D场景判断景深的远近,不过对汽车的前置摄影机来说,透视分析并不容易。



图二 : 2014年Middlebury图片集照片。前景中的摩托车比储物柜靠近摄影机,尽管在2D平面图所有的物体看起来都相邻。
图二 : 2014年Middlebury图片集照片。前景中的摩托车比储物柜靠近摄影机,尽管在2D平面图所有的物体看起来都相邻。

如果我们安装一支摄影感测器,拍摄到的影片必须进行后制处理和分析,这个系统就叫做单眼(Single-eyed)系统;拥有两支独立摄影机的系统,则称为立体视觉系统。单眼摄影机系统的分析能力可以正确辨识行径路线中的车道、行人、交通号志以及其他车辆,但该系统比较无法做到的是,从它的单眼感测器所接收的2D平面影像来计算真实世界的3D影像。对生来就有两只眼睛的人类和大多数较进化的动物来看,这并不令人意外。


分析单眼摄影机拍摄的影片(影像)高阶流程和演算法来看,第一阶段是影像预处理步骤,透过影像(通常指的是每一个像素)滤波器,除去感测器噪音和其他不需要的讯息。这个阶段也会把从摄影机感测器接收到的BAYER数据格式,转换成可以让接下来的步骤进行分析的YUV或RGB格式。


完成第一阶段特征预除(边缘、哈尔、贾伯滤波、方向梯度直方图)后,第二和第三阶段会进一步分析影像,透过分割、光流、区块比对和模式辨识等演算法找出感兴趣区域(Regions of Interest)。最后一个阶段运用先前阶段产生的区域资讯和特征资料,针对感兴趣区域的物体级别做出智能分析决策。这个简短的解释不完全说明ADAS影像处理演算法,但由于本文的目的是要凸显立体视觉系统所带来的额外挑战和强大的功能,区块演算法的相关资讯已足以让我们深入地探讨这个主题。


单眼摄影机如何从2D数据测量物体距离?

单眼摄影机有两种方法进行距离测量。第一个方法是根据一个简单的原理:物体愈近在镜头里看起来愈大,在画面中所占的画素面积也愈大。假设有个物体被认定是汽车,它的面积可以透过计算覆盖其上的最大矩形面积得出。矩形面积愈大,物体(例如汽车)就愈靠近摄影机。紧急刹车演算法即是藉由计算画面里两个物体的距离,是否比预设的安全数值还要近,来决定是否要启动防撞或驾驶人警示措施。


这个方法的优点是简单明了,不过却有几项缺点。首先,物体必须先被正确的辨识,否则无法正确计算物体的距离。例如图三的情境,有三个行人图形。行人1是个高个子,行人2是个小男孩,这两个行人与摄影机的距离相同。行人3距离摄影机较远,也是个高个子。物体侦测演算法辨识后会在这三位行人上画出矩形。很不幸的,覆盖在离摄影机较近的小男孩(行人2)身上的矩形面积与覆盖在离摄影机较远的高个子(行人3)身上的面积是相同的。因此,2D影像中的物体画素面积并非计算物体与摄影机距离的完美可靠指标。另一个问题是,倘若场景中的物体无法被辨识,距离就无法确定,因为该演算法无法得知物体的画素面积。有许多原因造成物体无法被辨识,例如遮挡、光线、图像伪影。



图三 : 此虚拟图显示移动汽车的摄影机所拍摄到3位行人。行人3和行人2的画素面积一样大,但行人2却比行人3距离汽车近得多。
图三 : 此虚拟图显示移动汽车的摄影机所拍摄到3位行人。行人3和行人2的画素面积一样大,但行人2却比行人3距离汽车近得多。

使用单眼摄影机计算物体距离的第二个方法称为从运动恢复结构原理 (structure-from-motion, SFM)。由于摄影机理论上是在移动中,透过比对连续拍摄的画面可以找出重要特征。对极几何原理(Epipolar geometry)先定义一个约束参数,从移动中(或翻转中)的摄影机连续拍摄的二个画面中,找出一个画素点,约束参数就是此点在3D空间移动的方向。图四即为SFM计算距离的高阶数据流程。



图四 : SFM计算距离的高阶数据流程。稀疏光流(OF)可以被稠密光流(图像上所有画素点的光流)计算取代。上述光流假设是30fps。
图四 : SFM计算距离的高阶数据流程。稀疏光流(OF)可以被稠密光流(图像上所有画素点的光流)计算取代。上述光流假设是30fps。

(本文作者Aish Dubey任职于德州仪器)


**刊头图(Source:YouTube)


相关文章
以霍尔效应电流感测器简化高电压感测
ADAS 前置摄影机设计的电源供应四大挑战
以固态继电器简化高电压应用中的绝缘监控设计
以半导体技术协助打造更安全更智慧的车辆
BMS的未来愿景:更安全、更平价的电动车
comments powered by Disqus
相关讨论
  相关新闻
» 亚湾2.0以智慧科技领航国际 加速产业加值升级
» TI新型功率转换器突破电源设计极限 协助工程师实现更高功率密度
» 高通执行长Cristiano Amon於COMPUTEX 2024 分享智慧装置上的生成式AI运算
» 应材及东北微电子联手 为MIT.nano??注200mm晶圆研制能力
» 国科会核准科学园区投资案 德商易格斯进驻中科拔头筹


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK83SC70O0WSTACUKE
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw