账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
让ADAS大开眼见 先进行人侦测系统的技术突破
车载感测器融合与自动化影像处理技术

【作者: 愛美科提供】2021年11月22日 星期一

浏览人次:【6164】

自动驾驶辅助系统(ADAS)具备预测并减缓驾驶失误的功能,扩大部署车载ADAS就有可能降低交通事故致死的发生次数。然而,单一的系统难以概括所有的驾驶需求、情境与交通或天气条件,因此新一代的高效ADAS极有可能源自多项感测技术的整合。爱美科影像处理与判读研究团队(Image Processing and Interpretation research group;IPI)将介绍两项行人侦测系统的最新技术突破:雷达与影像感测器融合技术、自动化色调映射技术。


当雷达遇上影像感测器:别具巧思的融合组合

未来车辆是否能快速且准确地侦测用路人与路障,将会对降低交通事故致死的发生起到关键作用。不过没有任何一个感测或感知系统可以涵盖所有需求、情境以及交通或天气条件。


举例来说,摄影机在夜间或面对刺眼阳光时就难以正常运作,而雷达会受到反光的金属物件干扰。然而,当这两种感测器相互整合时,各自的优劣就能完美地互补,实现雷达与影像的感测器融合(radar-video sensor fusion;RVF)。


感测器融合(sensor fusion)运用多种感测讯号的输入,得以建构出一套感知汽车周遭环境的改良式(3D)模型。利用这些资讯并借助深度学习方法,已侦测物件被区分为不同类别,例如汽车、行人、单车骑士、建筑物、人行道等,而这些数据洞见就是ADAS做出智慧驾驶与防碰撞决策的基础。


新手上路:合作式雷达与影像感测器融合

目前最热门的感测器融合技术叫做「晚期融合(late fusion)」,感测器资料只会在不同感测器分别侦测物件,并根据各自有限搜集而来的资料作出「决策(decision)」后,才进行融合。其主要缺点是,每个感测器会抛弃各自视为不相关的所有资料,所以就失去了很多应用感测器融合技术的潜力。实务上,这甚至可能会导致汽车撞上某个单一感测器一直侦测不到的物件。


相对而言,「早期融合(early fusion)」或低阶资料融合(low-level data fusion),则是将每个感测器搜集而来的低阶资料,整合在同个智慧系统以处理所有资料。但也因此需要大量的运算力及频宽,包括从每个感测器连接到系统中央处理引擎的高频宽链路。



图一 : 晚期融合:感测器资料在每个独立感测器分别侦测物件并做出结论後才进行融合。(source:imec)
图一 : 晚期融合:感测器资料在每个独立感测器分别侦测物件并做出结论後才进行融合。(source:imec)

图二 : 早期融合基于每个感测器搜集到的所有低阶资料,在得以处理所有资料的单一智慧系统进行整合。 (source:imec)
图二 : 早期融合基于每个感测器搜集到的所有低阶资料,在得以处理所有资料的单一智慧系统进行整合。 (source:imec)

面对这些问题,爱美科于比利时根特大学设置的IPI研究团队持续开发「合作式雷达与影像感测器融合(cooperative radar-video sensor fusion)」的概念,其特色在于一回馈回路(feedback loop),不同感测器可以互相交换低阶或中阶资料,在彼此进行侦测处理时产生影响。例如,如果汽车的雷达系统忽然受到强烈反光,那么车载摄影机的侦测阀值就会自动调整,以进行补偿。于是本来难以侦测到的行人现在就能成功辨识,而且系统不至于变得过度敏感或面对假阳性的结果。


交通与天气条件严峻 准确度仍高出晚期融合15%

去年IPI团队展示了合作式感测器融合方法的研究成果,与现今常用的晚期融合相比,效能更佳,而且因为它没有频宽和实作的限制,也比早期融合还要容易部署。


经过混合了欧洲某市中心各种交通情境的资料集评估,该团队成功提升追踪行人与单车骑士的准确度,比起使用单一摄影机的系统高出20%。此外,混合式感测器融合的首次侦测速度已证实较之于竞争方案,还要快上0.25秒。


IPI团队资深研究员David Van Hamme声称:「过去数月,我们持续改良这套系统,更进一步提升行人侦测的准确度,尤其是针对严峻的交通和天气条件。」


他表示,当用于简易情境,例如大白天、毫无遮蔽且不太复杂的场景,这套方法比起单纯使用摄影机的系统,准确度现已提升了41%,与晚期融合相较也高出3%。


「但或许更重要的是,我们已经在其他情境中获得进展,例如光线不足、行人位处遮蔽区域和人潮拥挤的场景等。」Van Hamme继续补充:「毕竟这些情况都是行人侦测系统证明其存在价值的关键时刻。在这类高难度的情况下,合作式雷达与影像感测器融合所能带来的好处更是令人惊艳,相较于晚期融合,准确度成长幅度高达15%。」



图三 : 比较不同行人侦测方法测得的F2-Score,包含简易情境(左图)与严峻情况(右图)。 F2-Score可以客观地测量系统准确度,权重聚焦在未命中率(假阴性)。在两种情境中,合作式雷达与影像感测器融合的效能表现皆胜过单纯使用摄影机和晚期融合的竞争方法。 (source:imec)
图三 : 比较不同行人侦测方法测得的F2-Score,包含简易情境(左图)与严峻情况(右图)。 F2-Score可以客观地测量系统准确度,权重聚焦在未命中率(假阴性)。在两种情境中,合作式雷达与影像感测器融合的效能表现皆胜过单纯使用摄影机和晚期融合的竞争方法。 (source:imec)

延迟表现大跃进

Van Hamme表示:「这还不是所有。谈到缩短延迟(latency),或说是追踪延时(tracking delay),我们也实现了大跃进。例如,在天气与交通条件不佳的情况下,我们已经达到411ms的短延迟,也就是说,不论是与仅用影像感测器的系统(725ms),或是晚期融合系统(696ms)相较,都还要快上超过40%。」



图四 : 经过多项标准的综合评估,包含傍晚、夜间、受到遮蔽且多位弱势用路人(vulnerable road user;VRU)在场的情境设定下,合作式RVF的延迟已成功降至411ms。(source:imec)
图四 : 经过多项标准的综合评估,包含傍晚、夜间、受到遮蔽且多位弱势用路人(vulnerable road user;VRU)在场的情境设定下,合作式RVF的延迟已成功降至411ms。(source:imec)

追求未来的技术突破

Van Hamme说道:「在整合雷达与影像系统以侦测弱势用路人的技术上,我们绝对是先锋,目前我们呈现的研究成果显示了这套方法的潜力无穷。我们相信它能成为现有行人侦测技术的强劲对手,目前常用的是更复杂、更繁琐且造价昂贵的光达解决方案。」


他接着表示,IPI团队也期许在这块领域持续突破,将这套合作式RVF方法拓展到其他应用案例,例如车辆侦测就是其中之一。另一个研究重点是建构反应机智的车载系统,要能处理突发的功能缺陷或是故障。最后,还要改良那些隐于车载系统之中的神经网路,该团队也想多加探索实现一些技术突破。


Van Hamme总结:「目前AI引擎有个具体缺点,就是他们接受训练是为了尽可能地侦测到更多的弱势用路人,但我们团队认为,这未必是降低交通事故致死发生的最好方法。一位刚在驾驶车辆前方50公尺过完马路的行人,真的有必要确实侦测吗?我们认为其实不必,反而最好能将这些运算资源用在其他地方。」


把这个想法套用到某个神经网路上,确立侦测的优先考量落在汽车预测路径上的弱势用路人,这也是该团队意欲偕同商业伙伴开发的研究项目之一。


自动化色调映射技术 部建于车载影像系统

如上所述,影像技术是目前ADAS系统的重要基石,但也有其不足之处。以基于可见光的摄影机为例,它在夜间或严酷的天气状况下,例如大雨、下雪等,运作效能就会变得很差。除此之外,一般相机的特点是有限动态范围,这通常会在光源不足的场景造成对比度流失的问题。


当然,这些效能限制有的可以透过配备高动态范围(HDR)相机来弥补,但HDR相机会让讯号处理复杂化,因为高位元率的视讯串流会不断出现,很可能造成ADAS内部的AI引擎负载过重。


整合这两种感测器的优势,IPI研究人员开发出了自动化色调映射技术(automatic tone mapping),这是一种将高位元率的HDR馈入资料转换为低位元率、低动态范围(LDR)影像的智慧化运算处理,过程中还能确保不遗失任何有关汽驾感知的关键资讯。


丢资料未必代表丢了重要资讯

IPI团队的Jan Aelterman教授指出:「色调映射技术出现一段时间了,常用于智慧型手机。不过,若要把这项技术用在车用场景和行人侦测上,就特别需要纳入一套全新考量并做出取舍。对于哪些资料需要保留、哪些资料可以在不危及人身性命的前提下丢弃,这些都是问题,这也是我们过去一直在经历的特殊考验。」



图五 : 评估爱美科的自动化色调映射技术:根特大学研究人员版本(右图)以及现有色调映射软体版本(左图)。 (source:imec)
图五 : 评估爱美科的自动化色调映射技术:根特大学研究人员版本(右图)以及现有色调映射软体版本(左图)。 (source:imec)

IPI团队的研究成果如图所示,包含了四张由HDR相机拍摄的场景。左图的两张影像已透过现有的软体完成色调映射处理,而右图成像则运用该团队研发的卷积神经网路(CNN)色调映射方法。


Aelterman教授进一步说明:「观察左下方的影像,你会发现车头灯那边呈现许多细节,但也因此就看不出其他形状。然而,在右下方的影像中,车头灯的细节虽然不见了,但那位行人就被辨识出来了。」


他表示,这就是个证明爱美科自动化色调映射方法潜能的绝佳例证。运用车用资料集,车载系统的神经网路就能进行训练,寻找可能与车用感知相关的低阶影像细节,并丢弃那些被视为不相关的资料。换句话说,虽然丢了部分资料,但所有与弱势用路人所在位置相关的重要资料都被保留了下来。


Alterman教授更指出:「这套基于神经网路的影像处理方法还有另一项优势,就是能与其他不同特色功能结合,例如减轻杂讯或是去马赛克演算法,最终甚至能与去除假影(artefact)的演算法结合,像是起浓雾或下雨等天气状况就容易干扰感测器而产生假影。」


无违和地自然显示色调映射成像

保留影像中攸关性命存亡的资讯是一回事,但如何无违和地自然显示成像,其重要性也不容小觑。这也是IPI团队的研究重点。


「一般的色调映射成像通常看起来都很怪,行人可能比太阳还要亮,骑单车的人身边可能出现光晕,而色调可能被增强到不自然甚至是萤光的程度。」Alterman说道。


他解释,对AI引擎来说,这些假影无足轻重,但对人类驾驶而言,他们应该也要能够根据色调映射影像来做出决策。例如,这些影像可以整合到汽车数位后视镜头或后照镜。


准确度提升10%~30%

爱美科的自动化色调映射方法能够优化成像品质,效果显而易见,但这能转换为可量化的效益吗?


「当然没问题,」Jan Aelterman说道:「与SDR相机相比,这套方法未侦测到的行人数量大幅下降了30%,这也比其他文献使用的色调映射技术还提升了10%。或许一开始会觉得这不算什么,但实际上,每个未被侦测到的行人都面临了极大的风险。」


Aelterman教授总结:「我们目前正在研究如何将自动化色调映射技术整合到其他的感测器融合研究,毕竟这两项技术能够完美互补,打造出超高效的行人侦测系统。」


(本篇由爱美科授权刊登;作者Jan Aelterman1与David Van Hamme2为爱美科于比利时根特大学设置之IPI研究团队的1教授与2资深研究员;编译/吴雅婷)


相关文章
ADAS 前置摄影机设计的电源供应四大挑战
ADAS工程师了解雷达 NCAP 新规须知
以色列新创Valens前瞻布局车用市场
从即时运算到软体定义 自驾车生态系准备就绪
软体定义汽车 硬体经久耐用力提升
comments powered by Disqus
相关讨论
  相关新闻
» 工研院秀全球最灵敏振动感测晶片 可测10奈米以下振动量
» 安立知以全方位无线通讯方案引领探索6G时代
» 再生能源成长创新高 但发展程度并不平均
» 意法半导体突破20奈米技术屏障 提升新一代微控制器成本竞争力
» Pure Storage携手NVIDIA加快企业AI导入 以满足日益成长的需求


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK83T0FYN2GSTACUKH
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw