账号:
密码:
CTIMES / 文章 /   
感测器融合技术临门缺了哪一脚?
放手自驾行不行?

【作者: 季平】2021年08月04日 星期三

浏览人次:【3951】
  

全球车市已经从传统燃油车走向新一代电动车,随着AI技术日新月异,自驾车也从L1发展到如今的L4,离完全自驾的梦幻境界L5仅一步之遥,只不过,这一步犹如太空人阿姆斯壮登陆月球的那一小步。


汽车逐步迈向高阶自动驾驶领域,需要搭配先进的驾驶辅助系统 (ADAS),而不同的自驾需求需要搭配不同的感测器,随着摄影机、雷达、光达、超音波等感测器越来越「聪明」,负责统整资讯、做出决策、发出执行命令的中控中心也需要具备异质整合的能力,务求最短时间内做出精准判断,中控中心之於人好比大脑,之於汽车好比感测器融合技术(Sensor Fusion)。


先将镜头转向美国。2018年3月亚利桑那州发生Uber自驾车撞死违规穿越马路妇人事件,美国国家运输安全委员会(National Transportation Safety Board)指出:该名女子在没有斑马线之处穿越马路;系统设计没有将乱穿越马路的行人纳入考量。


事实上,自驾车软体在撞上女子的6秒前已发现她,但在撞击前约1.2秒,自驾车软体却「选择」不做「极端的刹车或转向动作」,以避免车子蛇行,另一方面,自驾车软体启动减速计画时,曾向车上的操控者发出警讯……。如果当时是「人脑」而非「感测器融合技术」做决策、下执行命令,结局会不会不一样?


答案是「很难说」,人脑真的比较值得信赖?几个数据值得省思:欧美研究显示,交通事故中逾9成肇事原因属於「人为因素」;台湾交通部统计,2020年1-10月全台发生近30万件交通事故;2016年9月到2018年3月,Uber自驾模式测试车涉及38起事故。行车过程中有太多不可控因素,感知融合技术应用於未来汽车取代人脑一如ADAS逐渐成为汽车「标配」,势不可避免,然而放手自驾何时才能真正落实?从Uber案例来看,取决於感知融合技术何时能KO人脑。


感测器融合技术在车用市场的发展应用

美国汽车工程师学会(SAE)将自动化程度分为六级,从SAE Leve0无自动化到SAE Level 5全车自动化;Frost & Sullivan预估,2030年自动驾驶将发展至完全自动化(L5)。自驾车要能上路,需要透过摄影机和雷达等感测器「看清楚」路况,也需要运算能力分析判断各种资料讯息,串连一切的感测器融合技术扮演关键角色,实践过程有相当大的技术挑战需克服。感测器可分有源感测器和无源感测器,各有优缺点,却没有单一感测器可以适用所有路况。因此,自驾车要能到L5完全自驾的地步,需要同时使用多种感测器。



图一 : 自驾系统包含感测、认知、决策与行动等四个关键流程。(Source:Arm)
图一 : 自驾系统包含感测、认知、决策与行动等四个关键流程。(Source:Arm)

感测器融合(Sensor Fusion)是从不同感测器中取得数据做进一步处理和分析,必要时须要针对终端执行应用进行决策。


工研院资通所嵌入式系统与晶片技术组技术??组长陈泽民指出,不同车场发展自驾车有不同的sensor layout,也会衍生出不同的技术开发,早期Mobileye发展ADAS只有摄影镜头,但镜头抗天候性不隹,後来雷达、光达出现,「不论是ADAS或自驾车,对感测器的需求重点主要有二:一是抗天候性要强,二是解析度要高,由於行车过程中状况太多,慢慢有异质感测器强化各种功能,现在还有4D雷达,也进步到AI演算法,未来发展会越来越高阶。」比方停车辅助系统加入功能更强大的 CMOS(互补金属氧化物半导体)感测器,除了将车後影像直接输出在车内系统萤幕上,也可以进一步成为全自动或半自动停车辅助系统的一部分。



图二 : 工研院资通所嵌入式系统与晶片技术组技术??组长陈泽民。(Source:工研院资通所)
图二 : 工研院资通所嵌入式系统与晶片技术组技术??组长陈泽民。(Source:工研院资通所)

摄影机、雷达、光达、超音波等感测器各有特色,也有不同的盲点,目前还没有感测器属於全能型,所以多半是复合式组合,再透过感知融合技术处理不同感测资料,取代人类的视觉、感知与情境,但要完全取代,仍然是个挑战。


图三 : 感测器优缺点比较。(Source:工研院资通所)
图三 : 感测器优缺点比较。(Source:工研院资通所)

ADAS是利用影像、测距等各式感测器,侦测、辨识与追踪汽车周遭动、静态物体,避免错误驾驶。陈泽民说,ADAS发展较成熟,商转高,但只是辅助系统,仍须仰赖人为驾驶,自驾车发展相对不成熟,已达环周物件与道路侦测能力的L3(Eyes off)阶段,进入多重感知能力的L4(Mind off)阶段。


异中求同的异质感测器融合技术

自驾车必须有解析度高、抗天候性强的感知单元,由於尚未出现多元感测器,必须仰赖异质感测器融合找出最隹解。融合模式可分为三大类,第一类为互补式融合技术(Complementary Fusion Mode),第二类为竞争式融合技术(Competitive Fusion Mode),第三类为合作式融合技术(Cooperative Fusion Mode)。


互补式融合技术模式下,异质感测器的侦测辨识区域不重叠,比方向前看的毫米波雷达与向後看的毫米波雷达各自负责不同的感测区域,有助扩大系统整体感测范围;竞争式融合技术的异质感测器侦测辨识范围相同,有利增加系统侦测辨识的可靠度,对於待感测物能提供相同或不同的物理量描述,可强化精确度与完整性。


合作式融合技术的异质感测器侦测辨识范围重叠,能提供相同或相异的待感测物物理量描述,但是单一感测器除了提供个别资讯外,尚须叁考其他感测器提供的资讯,如此有助加速侦测辨识速度并提高正确性,换言之,合作式融合模式下的感测器之间须互相资料传递,才能完成侦测辨识能力,完成资料融合。


各感测器侦测辨识物件後产生的侦测结果可能有冲突,必须透过竞争决策融合(Complementary/Competitive Mode)选择最隹资讯,提供决策与控制单元,最後再由资料融合层(Data Fusion)结合如惯性感测器(IMU)、全球定位系统(GPS)与车联网(V2X)等非侦测辨识感测器,搭配不同感测器物理量描述进行最优估计(Optimal Estimation),找出精确度与完整性兼备的答案。


合作式融合技术也可称为特徵融合(Early Fusion),互补式与竞争式融合技术也可称为平均值融合(Late Fusion),感测器融合(Sensor Fusion)主要以此为主。近期已有研究单位与业者共同开发特徵融合(Early Fusion),如Mentor Graphics开发DRS360自动驾驶集成嵌入式平台,即时集中原始数据融合/深度融合;AEye开发iDAR(Intelligent Detection and Ranging)传感器,融合LiDAR与低照度Camera,可即时感知周边动态环境;速腾聚创(Robosense)开发Lidar-Camera-Deep-Fusion技术,可减少感测器资料传输延迟,提供更多资讯方便感测器处理数位讯号,除了加强去杂讯能力,也能提高物件侦测辨识能力,大大提高环境感知次系统的执行力。


行车环境不可掌控因素太多,自驾车在L4(高度自驾)迈向L5(完全自驾)的过程中还必须仰赖高可靠度的环境感知能力帮助人类驾驶,深度学习与感测融合的整合开发有助提高自驾辨识能力,如影像前处理可以提升影像品质,强化侦测辨识准确率,比方将大雨环境下的模糊影像降低为小雨模糊化程度;异质感测器原始资料融合有助建立高解析度环境模型,抑制讯号杂讯,加速侦测辨识速度并提升准确率;异质感测器决策融合可依据当下环境条件,计算各感测器侦测辨识信心指数,进而做出最终决策,提高系统准确性与可靠度;事件推断则有助预测可能发生的危险事件,协助系统在发生危险之前预先执行防范动作。



图四 : 自驾车组成要素。(Source:CBINSIGHTS)
图四 : 自驾车组成要素。(Source:CBINSIGHTS)

自驾车商机无限 2035年全球销量达25%

陈泽民坦言,要进展到L5等级的商业模式非常困难,实际操作还是以L4为主。非封闭场域周边有无法预测的变数,设定叁数越多越安全,但很难达到零风险,所以L4自驾车上路都会搭配测试员。即便在限定范围内搭配高精地图与先进感测技术,2018年仍发生Uber自驾车撞死违规穿越马路妇人的憾事,可见「放手自驾」真的难。


虽然困难重重,自驾车市场商机无限却是不争的事实。波士顿顾问集团BCG预估,2025年自驾车市场产值估计达420亿美元,2035年可??占全球汽车销量的25%。除了国际大厂Mobileye聚焦Vision-based车用感测解决方案外,国内车用影像感测器业者包含升锐电子、合盈光电、光宝等,车用感测器IC厂商则是恩智浦(NXP)、英飞凌(Infineon)、意法半导体(STM)、瑞萨电子(Renesas)及德仪(TI)等大厂的天下。


未来自驾车要能真正商转,技术问题只占四分之一。KPMG全球总部发布《2020自动驾驶汽车准备度》报告,计对三十个国家的自驾车准备度进行评估与排名,评估的四项指标是政策法规、科技与创新、基础建设及消费者接受度,前三名为新加坡、荷兰与挪威,台湾首次叁加名列第13。


自驾车发展龙头特斯拉汽车(Tesla)目前的发展进度接近L5,国际大厂Alphabet旗下的Waymo正朝L4迈进,至於台湾的自驾车发展,最常见的是L2,2020年出现全台首辆L4无人自驾车WinBus外,经济部、新竹县政府、工研院及科技之星、车王电子、铨鼎科技等业者也在2021年启动自驾电动中巴在竹北市区与高铁间的接驳服务,成为全台首创市区开放混合道路的实验测试路线。中巴搭载工研院研发的iRoadsafe车联网技术,结合路侧系统整合通讯、感测器与交通号志等资讯,是发展公共运输智慧交通的一大突破。



图五 : 新竹县高铁自驾接驳服务测试,未来将实际载客运行的自驾电动巴士。(Source:工研院资通所)
图五 : 新竹县高铁自驾接驳服务测试,未来将实际载客运行的自驾电动巴士。(Source:工研院资通所)

梦幻自驾车的最後一哩

自驾车总有一天会达到「智慧驾驶舱」的梦幻境界,在此之前,还有难题需克服。陈泽民指出,从技术角度看,各sensor有不同的侦测结果,「系统(小脑)要选择相信谁是个问题,目前是用AI逻辑的方式去做,决策系统定义对错判断还有待研发,牵扯到後融合技术的突破。」第二是降低感知延迟时间,从事件发生到运算、做出反应要小於150毫秒,「如何降低整个感知的延迟时间是大家正在努力的,希??感知延迟可以控制在66毫秒内。」第三是即时校正,车辆基座等零件可能松脱,定位、距离可能失准,如何让sensor随时精准校正会耗费很多computing power。


第四是找资料,自驾车必须短时间内在不同国家或环境都能上路,比方台湾出囗自驾中巴到瑞典,必须让中巴在瑞典跑得跟台湾一样好,所以要找到瑞典跟台湾环境的共通性,强化弱势部份(transfer learning),最好只用少部分瑞典资料及多数台湾资料就能让中巴在最短时间内上线。


他还建议把听觉感测器、热感测器(触觉)纳入考量,透过听觉sensor就能从声音判断是否产生危险,及时做出判断。热感测器的好处是可以侦测到动物,散发热感的物件多半是生命体,可以提升安全性。


「自驾车对乘客来说是智慧的移动空间,除了安全性标配,也要考量搭乘舒适度,甚至纳入周边服务。」陈泽民认为,舒适度包含行车过程少急刹、不晕车等,还有乘客要对自驾车产生信任感。以舒适度来说,除了路径规划避免山路,异质感测融合及时侦测路况并做出决策反应也有助避免急刹与晕眩,提高舒适度,「透过感测器技术可以做到安全、舒适、好操作,这三点做好做满,就能产生信任感。」未来还可以将AI等先进技术纳入自驾车配备选项,以人性化出发,让自驾车更全方位满足乘客移动、工作、休闲娱乐等多元需求。


相关文章
软体定义汽车 硬体经久耐用力提升
透过压力及应变管理强化高精度倾斜/角度感测性能
一根探针上千个感测器 准确纪录大脑神经活动
感测融合开启自驾行车新视野
收集模型测试覆盖程度度量资料的理由
comments powered by Disqus
相关讨论
  相关新品
mbed
原厂/品牌:RS
供应商:RS
產品類別:
Arduino
原厂/品牌:RS
供应商:RS
產品類別:
Raspberry Pi
原厂/品牌:RS
供应商:RS
產品類別:
  相关新闻
» ADI无线BMS助力Lotus重新定义电动车机动性
» 瞄准5G/AIoT应用 宜鼎发布工业级PCIe Gen 4x4固态硬碟
» Xilinx携手NEC加速下一代5G无线电单元全球部署
» Mouser:自驾车运作必须兼顾实用性与安全性
» NVIDIA人工智慧感知技术将走进ROS开发者社群
  相关产品
» 瑞萨新R-Car SDK重新塑造车用软体的开发流程
» Power Integrations 推出InnoSwitch3-PD 系列开关 IC
» 艾讯推出全新高效4U机架式GPU工作站iHPC300
» ADI推出临床级四项生命体徵AFE 适用於远端病人监测设备
» ADI新款Nanopower一次电池健康状态监视器整合精密库仑计数器
  相关资源
» Power Management Solutions for Altera FPGAs

AD


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2021 远播信息股份有限公司版权所有 Powered by O3
地址:台北市中山北路三段29号11楼 / 电话 (02)2585-5526 / E-Mail: webmaster@ctimes.com.tw