账号:
密码:
最新动态
产业快讯
CTIMES/SmartAuto / 新闻 /
NEC与东京工业大学共同研发多模态影像融合技术
 

【CTIMES / SMARTAUTO ABC_1 报导】    2017年07月10日 星期一

浏览人次:【4578】

运用AI大幅提高恶劣条件下的辨别度,自动合成可见光与不可见光影像。

运用多模态影像融合技术的示意图(注2)
运用多模态影像融合技术的示意图(注2)

近年来,影像感测器的硬体不断提升、成本持续下降,因此越来越常见将热显像摄影机、可拍出物体内部构造的X光/太赫兹波(THz波)/毫米波摄影机等不可见光摄影机,运用在夜晚、浓雾等恶劣天候,或是逆光、遮蔽等不利条件下,来进行监控与判断。但是与可见光摄影机相比,这些不可见光摄影机的解析度与画质较低,由於难以辨认,因此必须要搭配设置可见光摄影机共同使用,互相叁照比较两种摄影机拍下的影像来进行监控与判断,所以很难迅速判别出正确的对象与状况。传统的情况下,会由熟悉不同种类的摄影机与摄影环境的专家,手动挑选各自适合的影像来进行合成。除此之外,包括不可视光影像在内,在手动合成的过程中,可能会遗漏掉影像中的异常、是否有危险物品的情况,这也是本次需要解决的课题。

NEC与东京工业大学,让AI学习专家们的转档技巧,进而能够将可视光与不可视光摄影机拍摄的影像自动合成,不仅拍摄对象与情况的辨别度也相当高,即使在恶劣的环境下也能迅速判断是否有异常情况或危险物品,这就是本次所共同研发的「多模态影像融合技术」。

多模态影像融合技术

NEC与日本国立大学法人东京工业大学工学院奥富正敏教授、田中正行客座??教授等人的研究团队(以下简称东京工业大学),共同研发「多模态(注1)影像融合技术」,运用AI技术将一般摄影机拍摄的可见光影像、热显像摄影机拍摄的不可见光影像进行自动合成,针对影像中拍摄的对象与状况,大幅提高辨别度。

在各个需要以视觉瞬间辨别的领域中,运用本技术,即使在恶劣条件下也能够做出正确判断。举例来说,在夜晚或浓雾等恶劣气候状况下,也能用於设施监控;对向来车的头灯太过刺眼或暗处视觉死角的状况,可用於支援自动驾驶;进行基础设施维护点检时,不仅可监测建筑表面裂缝,还能找出内部异常等情形。

以往,想要将不同种类摄影机拍摄的影像合成,需要专家进行复杂的手动转档作业。本技术则能运用AI,将各种不同摄影机拍摄的影像,自动而高效率地进行合成,不需要任何手动作业。不仅如此,更能充分利用可见光影像与不可见光影像各自的优势,传统技术难以视觉化的环境条件下,也能获得较高的视觉辨别度。

NEC与东京工业大学,未来也将透过产学合作的形式,针对各项社会基础设施,作为能够安全、安心运作的安全事业之关键,持续共同研发影像处理及AI相关技术。

技术特色

本技术能让AI自动从多个影像中,挑选出较易辨别的影像进行合成,并强调不可见光影像之中的细小特徵,这样的方式打破了传统局限,因此能合成做出高辨识度的影像。

AI会依据摄影机的种类(如热显像摄影机或太赫兹摄影机)、环境特徵(亮度、光线方向、是否有障碍物等),针对影像内各个部份的辨识程度进行评比,进而从不同影像中自动选出最适合的。

此外,AI在处理不可见光摄影机所拍摄的影像时,能够针对异常或危险物品等细小特徵来解析,进行适当的强弱调整,避免产生过度曝光或曝光不足而破坏影像的情形,因而能自动产生以往无法达到的高辨识度多模态(可见光与不可见光)合成影像。

本次共同研发之技术,为NEC尖端AI技术群「NEC the WISE」其中之一。

注释

1.Multimodal(多模态): 多种模式、形态。本文中提到的多模态,是指可见光摄影机拍摄的影像,与红外线摄影机等不可见光摄影机所拍摄的影像。

2.已获得创新研发推进计画(ImPACT)Tough Robotics Challenge有关恶劣环境模拟设备的使用许可。

3.「NEC the WISE」是NEC尖端AI技术群的品牌名称。”The WISE”有「智者们」的涵义,其中蕴含的强烈想法是,希??藉由人与AI的协调,运用更高层级的智慧,解决日益复杂高深的社会课题。

關鍵字: 多模态  多模态  NEC  影像融合 
相关新闻
NEC与能火、微软推出全球首个「生成式AI贝多芬」
NEC与微软合作推行生成式AI 支援企业专用开发环境
NEC宣布与Aviat达成双方无线传输业务整合最终协议
NEC推出卓越中心2.0创新方案
NEC铺设海底光纤电缆 连接美国与日本最大资料传输容量
comments powered by Disqus
相关讨论
  相关文章
» 使用PyANSYS探索及优化设计
» 在癌症检测、诊断和治疗中的AI应用
» 能耗个个击破 5G与AI的节能之战
» 为AI注入理解力
» 以模型化基础设计混合讯号多波束声纳系统


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK83SE4XARMSTACUKD
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw