账号:
密码:
CTIMES / 文章 /   
AI如何即时辨识与预警?
铁道障碍物入侵!

【作者: 歐敏銓】2021年07月09日 星期五

浏览人次:【1997】
  

太鲁阁号列车出轨事故,除显工地管理不良的严重问题外,也不禁让人想问,难道没法透过「科技」来及早预警,让司机或自动控制系统紧急刹车,避免悲剧的发生吗?


今年4月2日,台铁发生70多年来死伤最惨重的太鲁阁号列车出轨事故。一台工程车失控滑落边坡并进入轨道中,导致台铁408次列车太鲁阁号闪避不及、高速撞上工程车後,酿成49死200多伤的悲剧。这事件除了凸显工地管理不良的严重问题外,也不禁让人想问,难道没法透过「科技」来及早预警,让司机或自动控制系统紧急刹车,避免悲剧的发生呢?


根据专家对此事件的研究指出,事故路段限速130公里,煞车需600公尺,煞停时间估计需16.6秒,但由於工程车是掉落在两个隧道之间,司机从看到障碍物到反应的时间恐怕不到6.9秒,很显然无法靠目视来刹停的。也就是说,台铁列车只要经过此路段都处在不可控的风险中,而全台湾又有多少穿山越岭的路段存在这样的风险呢?


自动化监测AI预警系统

事实上,台铁在108年3月完成台湾铁道全线的边坡调查及分级,针对落石、土石流高风险路段以工程改善方式为主,经评估後难以工程手段改善者,将架设「自动化监测AI预警系统」。


台铁表示,这套预警系统是使用画面监控加上AI判读,直接监视轨道、边坡,若有障碍物滑落轨道或有异物(行人、动物)进入监控画面,且超过一定大小并维持一定时间,AI就会认定有风险,这时台铁中控中心会发送轨道异物警讯给前後列车驾驶室的司机员,并在至少800公尺外开始发出警告声,司机员也能看到警告灯号。当司机员一直无适当处置时,列车自动控制系统甚至会自行启动刹车,让车速归零。此警讯同时也会送给邻近列车,给相关人员更多反应时间。


很显然地,这是一套关键任务系统,此系统有几个关键技术,包括视讯监控(Video Surveillance)系统、AI影像辨识、警报系统,以及列车自动控制(Automatic Train Control, ATC)系统等,以及系统与系统间的低延迟通讯方式。本文将探讨最前端的视讯监控与AI影像辨识技术。


先来看看视讯监控这一部分。视讯监控系统应用已久,传统作法是用摄影机拍下来,再录到录影机中,有事件时才调「录影带」来回播追查可疑画面,相当没有效率,也无法提供即时警报。近来监视器已开始导入电脑视觉、人工智慧辨识技术,可进一步即时侦测、辨识和追踪物件,也演进为所谓的智慧型视讯监控(Intelligent Video Surveillance, IVS)系统。


将智慧科技导入到列车的安全系统中已是大势所趋,但由於列车行驶的情境特殊,对此监控系统的要求也不一样,往往需要采用感测器融合(Sensor Fusion)的架构,也就是做为司机员的辅助「眼睛」,需在列车车头的车窗上配置夜视摄影机(Night Vision Camera)、红外线热成像摄影机(Infrared Imaging Camera/Thermal Camera),以及2组立体视觉摄影机(Stereo Camera);并在车头下方靠近铁轨处配置雷射扫描器,以便在远距离就发现障碍物并快速估算出距离。(图1)



图1 : 列车行驶的情境特殊,往往需要采用感测器融合的架构,也就是做为司机员的辅助「眼睛」。(source:Obstacle Detection System Requirements and Specification白皮书)
图1 : 列车行驶的情境特殊,往往需要采用感测器融合的架构,也就是做为司机员的辅助「眼睛」。(source:Obstacle Detection System Requirements and Specification白皮书)

至於建置在铁道延线的AI监视系统,虽不像火车头的监控系统那麽复杂,但由於需在各种不良气候下(如下大雨、起雾、强光等)仍能拍摄到可分析的画面,以免产生误报而影响列车行驶及营运,对监视器的功能及可靠度都有非常高的要求。


AI准确关键:影像前处理

所谓「功欲善其事,必先利其器」,想将传统的监控应用升级到AI级的影像应用,而且要达成精准的影像分析,影像前处理的「三步」基本工必须先做到位。这三步分别是采集(Capture)、录影(Record)和串流(Stream)。


不论是列车上或铁道两旁架设的监视系统,除了要能支援多路影像的采集及不同录影格式(如H.264、H.265)外,在此过程中也要同步处理这些影像资料,让它带有AI资料(AI Metadata),好让分析时能快速找到重要片段,降低时间与人力。串流方面除了尽量降低影像传递延迟(如用5G)外,更重要的是采用分散式处理的架构,也就是能即使处理,有状况立即反应。


表一:AI应用前的影像处理需求功能

影像处理

需求功能

Capture

  • 支援多路影像撷取
  • 支援区域监看功能(ROI

Record

  • 支援多种格式:

            --支援H.264/H.265

            --支援MPEG

Stream

  • Edge to Cloud资料传送
  • 低延迟、即时Live View

AI

  • 导入深度学习技术
  • 数据、影像资料的Target Tag
  • 进行正确的物件辨识

可行AI-based软硬体监控方案

以监控摄影机来说,目前的运算力仍有限,难以即时分析拍摄到的画面,因此在做了初步的影像处理後,还是得将影像串流送到运算力更强的装置。一般一个区域会有个中控中心,将其周边附近摄影机拍到的影像送到中心机房的Edge Server或Edge Computer进行影像分析。


对於铁道运输业来说,虽有国家经费来支持,但由於铁路又长、车班又多,监视系统的布建成本往往很吓人,上述台铁要做的边坡预警系统虽编列了2.75亿元经费,却只能顾到25个地方。且不论这笔钱花的值不值得,若能降低硬体成本又得到加值的软体功能与服务,可靠度也不打折,自然是铁道业者乐於采用的。


目前有不少工业电脑厂商提供列车安全监控相关的软硬体解决方案,他们普遍支援Intel及NVIDIA的边缘运算技术,有的还支援Google Coral。限於篇幅,以下以Intel的平台为例,介绍一下如何将Edge AI影像辨识技术导入到铁道安全当中。


在IVS的市场,Intel的市占率一直很高,有很大的理由是因其运算硬体除了提供Intel CPU、GPU、VPU及FPGA等多核心平台外,也内建H.264与H.265硬体视讯编解码功能,让电脑视觉或影像AI的处理更有效率。


再看看Intel架构的视讯编解码效能(CODEC Performance),以IntelR Tiger Lake-U CeleronR 6305处理器为例,可以很容易地处理单路4K60影像,即使四路4K30影像也不掉帧。而在Tiger Lake Core i7新一代运算平台上,更可以轻松处理到六路4K30,或是四路4K60的目标,也能满足铁道多路同步监视的需求。


软体方面,Intel的OpenVINO Toolkit(Open Visual Inference & Neural Network Optimization Toolkit)能让列车安全监控相关的工业电脑方案,很容易地具备AI影像辨识的功能。


OpenVINO这个开源平台的定位本来就是针对Edge AI的推论(Inference)运算而生,它所提供的模型优化器(Model Optimizer)功能,可将推论速度提升数十倍以上。优化後,产出二个IR(Intermediate Representation)档案(*.bin, *.xml),再交给推论引擎(Inference Engine)依指定的加速硬体(CPU、GPU、FPGA、VPU)进行推论。


同时它也提供很多预训练(Pre-trained)及优化好的神经网路模型,可供大家直接使用,而且是免费的。此举让不熟悉电脑视觉和深度学习原理的人也能很快上手,不必担心如何建置开发平台、选择深度学习框架、训练及优化模型和硬体加速等问题,只需利用预训练及优化过的模型,就能很快做出有模有样的应用原型。


铁道障碍物之AI影像辨识技术

当然,说都不懂AI技术也能用好OpenVINO,有些夸张了,至少也要认识影像辨识的四大常见类型技术:1. 影像分类(Image Classification);2. 物件定位(Object Localization);3. 语义分割(Semantic Segmentation);4. 实例分割(Instance Segmentation)。以下来谈谈如何将这四类技术用於铁道障碍物的辨识。



图2 : 影像辨识的四大常见类型技术。(source:makerpro.cc)
图2 : 影像辨识的四大常见类型技术。(source:makerpro.cc)

「影像分类」能做到的是辨识出有什麽东西出现在一张图片中;「物件定位」则能进一步给辨识出的物件一个边界框,进而取得其位置和尺寸,用途更大。由於铁道的的场景较单纯,透过「物件定位」技术就能找出列车、侵入的人或物、号志位置,下图即运用「物件定位」的技术来辨识出铁道中出现的是一个人、多人、动物(马匹)及列车靠近,并判断出是否该发出警示。



图3 : 影像分类」能做到的是辨识出有什麽东西出现在一张图片中。(source: aip.scitation.org)
图3 : 影像分类」能做到的是辨识出有什麽东西出现在一张图片中。(source: aip.scitation.org)

但当场景较复杂(如平交道或月台)时,同一影像中物件数量很多,且边界框重叠的情况很严重,用「物件定位」技术的辨识效果不隹,这时就需要用到「语义分割」及「实例分割」这两种像素级的分类技术。


这两类技术的差异在於「语义分割」只须分辨出物件类型但不区分个体,对於道路上的物件类型辨识来说,「语义分割」就很好用了,以OpenVINO的预训练模型(semantic-segmentation-adas-0001)为例,此模型即可同时辨识出道路、车辆、路标、天空、植物、建物等多达20种类别的物件。



图4 : 语义分割预训练模型可针对道路、车辆、路标等物件类型进行辨识。(source:openvinotoolkit.org)
图4 : 语义分割预训练模型可针对道路、车辆、路标等物件类型进行辨识。(source:openvinotoolkit.org)

不过,当需要更精准地分辨出每一个体(实例)是何物,并算出数量时,就得靠「实例分割」技术了。以OpenVINO的另一个预训练模型(instance-segmentation-security-0002)来说,它是整合Mask R-CNN, Resnet 50、FPN、RPN 及 Microsoft COCO分类资料集所训练完成的,模型叁数就有近三千万个。Microsoft COCO资料集在影像分割上共提供了 123,287 张影像, 886,284 个物件(实例),80 个分类,包括人、交通工具、街道物件、动物等,如图5。



图5 : 实列分割预训练模型可针对道路、车辆、路标等个体进行辨识,本图还能分辨出自行车、车上的人,以及人的背包。(source:openvinotoolkit.org)
图5 : 实列分割预训练模型可针对道路、车辆、路标等个体进行辨识,本图还能分辨出自行车、车上的人,以及人的背包。(source:openvinotoolkit.org)

结论

本文仅针对如何将AI用於铁道障疑物的影像辨识上,延伸的问题还很多,包括如何精准且快速的测距、如何排除误判、如何进行极低延迟的通讯,以及如何设计有效的预警系统,甚至有权启动ATC的刹车功能等等。


事实上,在自驾车的议题上,障碍物辨识与测距的研究已经很多,但在铁道安全方面的研究就相对少了很多。本文仅针对障碍物、异物进入铁道的AI辨识技术提供一个技术轮廓,以及表达一下这方面技术已发展地相当成熟,可以运用IntelR Media SDK & OpenVINO这类AI工具来加速开发及优化铁道预警系统,强化列车行驶的安全,避免悲剧再次发生!


(本文作者为MakerPRO总主笔暨共同创办人)


叁考资料


[1] Obstacle Detection System Requirements and Specification白皮书


[2]运用 Intel OpenVINO 土炮自驾车视觉系统(MakerPRO)


https://makerpro.cc/2018/10/use-intel-openvino-to-make-self-driving-vision-system/


[3] Railway obstacle detection algorithm using neural network白皮书


https://aip.scitation.org/doi/pdf/10.1063/1.5039091


[4] OpenVINO Toolkit Intel's Pre-Trained Models


https://docs.openvinotoolkit.org/2021.3/omz_models_group_intel.html


  相关新闻
» igus开发太阳能材料具有抗紫外线防护三倍力
» 达梭承诺并设定2040净零碳排目标 携手工研院打造绿色工具机
» 产研合力开发环保热熔胶材 升级接轨全球绿色供应链
» Renishaw 线上研讨会开放报名中
» 钜钢导入西门子数位双胞胎 推动制鞋机械数位转型
  相关产品
» Basler扩大CXP-12系列wjo tj 新型号相机、介面卡与相关配件
» igus新型涂层粉末於运行零污染 适合食品产业应用
» igus FastConnect电缆可减少46%组装时间
» 以滑块和横杆双重锁定 E4Q拖链新板分隔减少装配时间
» 嵌入式视觉发展强劲成长 兆镁新开发技术前导

AD


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2021 远播信息股份有限公司版权所有 Powered by O3
地址:台北市中山北路三段29号11楼 / 电话 (02)2585-5526 / E-Mail: webmaster@ctimes.com.tw