运用AI大幅提高恶劣条件下的辨别度,自动合成可见光与不可见光影像。
![运用多模态影像融合技术的示意图(注2)](/news/2017/07/10/1450409550S.jpg) |
运用多模态影像融合技术的示意图(注2) |
近年来,影像感测器的硬体不断提升、成本持续下降,因此越来越常见将热显像摄影机、可拍出物体内部构造的X光/太赫兹波(THz波)/毫米波摄影机等不可见光摄影机,运用在夜晚、浓雾等恶劣天候,或是逆光、遮蔽等不利条件下,来进行监控与判断。但是与可见光摄影机相比,这些不可见光摄影机的解析度与画质较低,由於难以辨认,因此必须要搭配设置可见光摄影机共同使用,互相叁照比较两种摄影机拍下的影像来进行监控与判断,所以很难迅速判别出正确的对象与状况。传统的情况下,会由熟悉不同种类的摄影机与摄影环境的专家,手动挑选各自适合的影像来进行合成。除此之外,包括不可视光影像在内,在手动合成的过程中,可能会遗漏掉影像中的异常、是否有危险物品的情况,这也是本次需要解决的课题。
NEC与东京工业大学,让AI学习专家们的转档技巧,进而能够将可视光与不可视光摄影机拍摄的影像自动合成,不仅拍摄对象与情况的辨别度也相当高,即使在恶劣的环境下也能迅速判断是否有异常情况或危险物品,这就是本次所共同研发的「多模态影像融合技术」。
多模态影像融合技术
NEC与日本国立大学法人东京工业大学工学院奥富正敏教授、田中正行客座??教授等人的研究团队(以下简称东京工业大学),共同研发「多模态(注1)影像融合技术」,运用AI技术将一般摄影机拍摄的可见光影像、热显像摄影机拍摄的不可见光影像进行自动合成,针对影像中拍摄的对象与状况,大幅提高辨别度。
在各个需要以视觉瞬间辨别的领域中,运用本技术,即使在恶劣条件下也能够做出正确判断。举例来说,在夜晚或浓雾等恶劣气候状况下,也能用於设施监控;对向来车的头灯太过刺眼或暗处视觉死角的状况,可用於支援自动驾驶;进行基础设施维护点检时,不仅可监测建筑表面裂缝,还能找出内部异常等情形。
以往,想要将不同种类摄影机拍摄的影像合成,需要专家进行复杂的手动转档作业。本技术则能运用AI,将各种不同摄影机拍摄的影像,自动而高效率地进行合成,不需要任何手动作业。不仅如此,更能充分利用可见光影像与不可见光影像各自的优势,传统技术难以视觉化的环境条件下,也能获得较高的视觉辨别度。
NEC与东京工业大学,未来也将透过产学合作的形式,针对各项社会基础设施,作为能够安全、安心运作的安全事业之关键,持续共同研发影像处理及AI相关技术。
技术特色
本技术能让AI自动从多个影像中,挑选出较易辨别的影像进行合成,并强调不可见光影像之中的细小特徵,这样的方式打破了传统局限,因此能合成做出高辨识度的影像。
AI会依据摄影机的种类(如热显像摄影机或太赫兹摄影机)、环境特徵(亮度、光线方向、是否有障碍物等),针对影像内各个部份的辨识程度进行评比,进而从不同影像中自动选出最适合的。
此外,AI在处理不可见光摄影机所拍摄的影像时,能够针对异常或危险物品等细小特徵来解析,进行适当的强弱调整,避免产生过度曝光或曝光不足而破坏影像的情形,因而能自动产生以往无法达到的高辨识度多模态(可见光与不可见光)合成影像。
本次共同研发之技术,为NEC尖端AI技术群「NEC the WISE」其中之一。
注释
1.Multimodal(多模态): 多种模式、形态。本文中提到的多模态,是指可见光摄影机拍摄的影像,与红外线摄影机等不可见光摄影机所拍摄的影像。
2.已获得创新研发推进计画(ImPACT)Tough Robotics Challenge有关恶劣环境模拟设备的使用许可。
3.「NEC the WISE」是NEC尖端AI技术群的品牌名称。”The WISE”有「智者们」的涵义,其中蕴含的强烈想法是,希??藉由人与AI的协调,运用更高层级的智慧,解决日益复杂高深的社会课题。