运用AI大幅提高恶劣条件下的辨别度，自动合成可见光与不可见光影像。

运用多模态影像融合技术的示意图（注2）

近年来，影像感测器的硬体不断提升、成本持续下降，因此越来越常见将热显像摄影机、可拍出物体内部构造的X光／太赫兹波(THz波)／毫米波摄影机等不可见光摄影机，运用在夜晚、浓雾等恶劣天候，或是逆光、遮蔽等不利条件下，来进行监控与判断。但是与可见光摄影机相比，这些不可见光摄影机的解析度与画质较低，由於难以辨认，因此必须要搭配设置可见光摄影机共同使用，互相叁照比较两种摄影机拍下的影像来进行监控与判断，所以很难迅速判别出正确的对象与状况。传统的情况下，会由熟悉不同种类的摄影机与摄影环境的专家，手动挑选各自适合的影像来进行合成。除此之外，包括不可视光影像在内，在手动合成的过程中，可能会遗漏掉影像中的异常、是否有危险物品的情况，这也是本次需要解决的课题。

NEC与东京工业大学，让AI学习专家们的转档技巧，进而能够将可视光与不可视光摄影机拍摄的影像自动合成，不仅拍摄对象与情况的辨别度也相当高，即使在恶劣的环境下也能迅速判断是否有异常情况或危险物品，这就是本次所共同研发的「多模态影像融合技术」。

多模态影像融合技术

NEC与日本国立大学法人东京工业大学工学院奥富正敏教授、田中正行客座??教授等人的研究团队（以下简称东京工业大学），共同研发「多模态（注1）影像融合技术」，运用AI技术将一般摄影机拍摄的可见光影像、热显像摄影机拍摄的不可见光影像进行自动合成，针对影像中拍摄的对象与状况，大幅提高辨别度。

在各个需要以视觉瞬间辨别的领域中，运用本技术，即使在恶劣条件下也能够做出正确判断。举例来说，在夜晚或浓雾等恶劣气候状况下，也能用於设施监控；对向来车的头灯太过刺眼或暗处视觉死角的状况，可用於支援自动驾驶；进行基础设施维护点检时，不仅可监测建筑表面裂缝，还能找出内部异常等情形。

以往，想要将不同种类摄影机拍摄的影像合成，需要专家进行复杂的手动转档作业。本技术则能运用AI，将各种不同摄影机拍摄的影像，自动而高效率地进行合成，不需要任何手动作业。不仅如此，更能充分利用可见光影像与不可见光影像各自的优势，传统技术难以视觉化的环境条件下，也能获得较高的视觉辨别度。

NEC与东京工业大学，未来也将透过产学合作的形式，针对各项社会基础设施，作为能够安全、安心运作的安全事业之关键，持续共同研发影像处理及AI相关技术。

技术特色

本技术能让AI自动从多个影像中，挑选出较易辨别的影像进行合成，并强调不可见光影像之中的细小特徵，这样的方式打破了传统局限，因此能合成做出高辨识度的影像。

AI会依据摄影机的种类（如热显像摄影机或太赫兹摄影机）、环境特徵（亮度、光线方向、是否有障碍物等），针对影像内各个部份的辨识程度进行评比，进而从不同影像中自动选出最适合的。

此外，AI在处理不可见光摄影机所拍摄的影像时，能够针对异常或危险物品等细小特徵来解析，进行适当的强弱调整，避免产生过度曝光或曝光不足而破坏影像的情形，因而能自动产生以往无法达到的高辨识度多模态（可见光与不可见光）合成影像。

本次共同研发之技术，为NEC尖端AI技术群「NEC the WISE」其中之一。

注释

1.Multimodal（多模态）: 多种模式、形态。本文中提到的多模态，是指可见光摄影机拍摄的影像，与红外线摄影机等不可见光摄影机所拍摄的影像。

2.已获得创新研发推进计画（ImPACT）Tough Robotics Challenge有关恶劣环境模拟设备的使用许可。

3.「NEC the WISE」是NEC尖端AI技术群的品牌名称。”The WISE”有「智者们」的涵义，其中蕴含的强烈想法是，希??藉由人与AI的协调，运用更高层级的智慧，解决日益复杂高深的社会课题。