账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
深度学习在机器视觉领域的机遇与挑战
 

【作者: 盧傑瑞】2019年10月18日 星期五

浏览人次:【14187】

由于人工检测的方法已不能满足生产和目前制程的需求,因此随着人工智慧、高阶演算法、高解析度影像感测器的被开发出来,透过机器视觉来对产品的表面进行缺陷检测,不仅提高了生产作业的效率,同时也避免了因作业员主观判断或恶意动作等,影响产品检测结果的准确性,达到更快、更精确地表面缺陷检测。


不过,透过适合的机器视觉检测就能克服这些,因此随着表面缺陷检测系统的广泛应用,协助提供产品高品质化生产与智慧生产自动化的发展。


机器视觉在2023年全球市场规模达到248亿美元

根据BBC Research的市场研究报告,由于影像感测器、运算处理器与人工智慧等技术快速进步,机器视觉在数秒之内就能够处理巨大的资料量,而推动各方面应用激增,使得全球机器视觉的市场规模,在2018年约为160亿美元,之后,每年的平均成长率将达到9.2%,预估在2023年将大幅度成长达到248亿美元。


透过机器视觉系统的快速处理能力,提供了生产工厂能够不受生产时因为需要耗工费时的检测有缺陷的产品,以及更快速分析出缺陷的产生原因。更进一步的,也在生产线上的机器人导入了视觉辅助系统的应用,让生产用机器人能够进行更为复杂且精密的运作能力,使得应用产业能扩展到汽车生产线、药品、各种产品的封装、饮食产业等等。


因应各式各样的产业或生产应用,机器视觉技术的架构,也使用各种不同的零组件,以及达到生产安全与高品质而需要进行各种参数设定。完整的机器视觉系统技术是整合了各种应用软体和硬体,例如包括了主要系统所需的照明、镜头、影像感测器、可视化处理和通信设备等,来控制设备的操作,并执行影像获取和处理,并且判断所需的各种特性的测量等功能,让机器视觉系统能在高信赖度下进行复杂工业运作。


对于工业用机器视觉系统来说,其稳定度和可靠度会比一般保全设施或教育等应用来的更好,以及更高的准确性,甚至会被军事、航空、国防或政府所使用,以及更深入的应用在医疗与健康照护上,因此各式各样的医疗目的的机器人应用也就被开发出来。


对于工业领域应用来看,由于品质检查以及制造生产端各种要求的增加,因此机器视觉系统在制造和品质控制的重要性变得愈来愈高 再加上产业自动化的普及,使得导入机器视觉系统的比例愈来愈高,也因此大幅度增加了市场的成长率。


两个重大变化正在影响着机器视觉

更值得注意的是,整个机器视觉市场目前处于加速成长的转折点,并且两个重大变化正在影响着机器视觉的发展与进步。


第一个重大变化是,机器视觉的主流技术已经从PC转移到工作站的架构。经过数年来开发,以PC为基础的机器视觉系统经过多年的发展,传统的基于PC的视觉系统已经相当成熟,并具有一些明显的优势。例如,高性能、实现相对复杂的系统功能的能力,以及丰富的软体和硬体结构。相比之下,由于嵌入式视觉系统性能受到限制,并且通常受成本、功耗、尺寸和外观的限制,因此需要克服许多技术挑战。


然而,开发机器视觉的最终目标是将视觉功能结合到各种嵌入式系统中,这使得曾经被认为是「概念性和无法使用」的嵌入式视觉系统,在真实应用中是有差异性的,它可以应用于相当多的无法预先被猜测环境,而让嵌入式视觉系统更为实用。 「无需特别安装或增加特别设备」的市场前景实际上非常具有吸引力。这就是为什么近年来这么多业者一直专注于开发嵌入式视觉系统,并共同推动成为机器视觉主流技术。


机器视觉市场的第二个重大变化是由人工智慧所带动的。可视化处理已经成为机器学习等AI技术的最佳应用,因此机器学习和深度学习的应用正对嵌入式视觉系统产生重大影响。


例如,嵌入式视觉产品的目的将从简单的环境感测,发展到更智慧化、视觉引导的自动化功能。一个典型的例子是自动驾驶的技术,在低阶的自动驾驶辅助系统中,嵌入式视觉通常用作被动安全功能,例如检测或提醒,但是在更先进的自动驾驶系统中,嵌入式视觉与主动安全功能深度整合,提供更快速且高可靠度地进行反应。


这两个重大变化在可预见的未来,稳定地推动机器视觉市场的动能,进一步以人工智慧技术为基础的机器视觉系统,使整个生产制造过程变得高度智慧化,并加速工业4.0的实现。


透过深度学习技术,更有效率地进行缺陷检测

对于生产制造领域来说,伴随人力不足与产品多样化等因素,能够替代人工目视检查的自动化需求,持续被高度期待,但如果仅依赖目前影像感测器的能力,对于检查工程来说,大概只能让某一部分的制程做到自动化。这是因为进行多样化、多规格化产品生产时,影像感测器难以满足进行检测时,所需要面对各种不同的材质、形状等多样性。


因此,如果无法让视觉机器提高本身的专业知识数据化,就无法对各种检测需求进行不同的调整。所以对于开发新一代检测用视觉机器的工程人员来说,在满足全自动化检测的期待下,不仅要能进行各式各样检测作业,同时还能让检测设备工作条件设定的更为简易,就成了新一代视觉机器最大的开发目标。


视觉机器利用深度学习进行各式影像分析正不断的增加中,未来也可以透过物联网的架构来搜集能帮助判断分析所需的影像。以下简单的描述让机器视觉系统,透过强化人工智慧中的深度学习技术,来达到更有效率进行产品表面缺陷检测,让整个生产过程更快速与高正确性。


虽然就机器视觉技术来说,产品表面缺陷检测只是其中一项应用,但是在背后所须投入的心力却是相当庞大,首先必须利用计算机视觉模拟人类视觉的功能,从具体实物进行影像的搜集处理,再对检测系统进行繁复的训练,包括建立正确、缺陷产品影像的资料库,检测判断处理与运算的程式编写,及进行实际检测、控制和应用(图一)。产品的表面缺陷检测是机器视觉检测的一个重要部分,其检测的准确程度会直接影响产品品质的优劣。



图一 : 机器视觉进行检测必须的关键技术。(source:RICOH,智动化整理)
图一 : 机器视觉进行检测必须的关键技术。(source:RICOH,智动化整理)

机器视觉智慧检测系统

在利用机器视觉对产品表面实际进行检测前,一般而言,大多都需要进行以下的动作。首先,利用影像搜集系统来对物体表面的特征进行分析;其次,再对影像进行区块的分割,让产品表面缺陷能像能够按照其特有的区域特征进行分类;最后,在以上分类区域中,进一步分析目标区域。透过这三个动作之后,就能对产品表面缺陷区域和特征进一步确认,这样表面缺陷检测的基本动作就完成了(图二、三)。



图二 : 利用机器视觉对一般性物体辨识的处理流程。(source:RICOH,智动化整理)
图二 : 利用机器视觉对一般性物体辨识的处理流程。(source:RICOH,智动化整理)

图三 : 机器视觉藉由机械学习来进行外观检查开发流程。(source:RICOH,智动化整理)
图三 : 机器视觉藉由机械学习来进行外观检查开发流程。(source:RICOH,智动化整理)

透过预先学习的演算法来减少学习样品数

在外观检查后,进一步地期望达到实用化的话,就必须对视觉机器辨识系统提供大量的学习用影像,这对于现场的作业人员是一项相当大的负担。从学习的观点来看,为了避免出现「过度学习」,一般来说,需要特征量画素点的5-10倍资料量,例如,单纯的特征量需要数画素点到数十画素点,而复杂的特征量的话,就需要数百,甚至于高达数千画素点。


因此,就生产线而言,能够搜集到足够用来学习的足够影像数量,大多数人都同意这是一件相当困难的事情。因此为了解决这样的困扰,已经有相当多视觉机器辨识系统开发人员开始朝向不需要在生产线上准备学习用的影像,而是透过预先学习的演算法来进行外观检查的技术。


对于能够达到被期待的外观检查技术来说,必须在各式各样的物体表面中,从细微缺陷情况下检测出缺陷部分。图四是各种外观检查的缺陷状态分类。在这样的分类中,前述预先学习的演算法来进行外观检查技术,可以更进一步的即使是同样的产品,但在其他的生产过中也可以检测出具有缺陷的产品。



图四 : 是各种外观检查的缺陷状态分类。 (source:OMRON,智动化整理)
图四 : 是各种外观检查的缺陷状态分类。 (source:OMRON,智动化整理)

而检测过程的概述如图五所示,透过利用预学习型卷积神经网络(CNN)处理输入学习照片,并产生显示缺陷可能性的特征的影像。然后将所获得的特征影像二值化并标示为缺陷区域。



图五 : 预学习型检测过程。(source:OMRON)
图五 : 预学习型检测过程。(source:OMRON)

CNN可能是机器视觉系统中应用最广泛的神经网路。这有几个原因。首先,CNN的架构旨在更紧密地模仿人类视觉皮层和模式识别机制。


另一方面,CNN架构类比人类视觉系统(HVS),其中视网膜输出执行诸如边缘检测的特征提取。在CNN中,该卷积用于执行特征提取,因此表示输入图像的特征。这些卷积层排列成特征图,每个神经元都有一个接收域,透过一组可训练的权重连接到前一层的神经元。在提取这些特征之后,使用合并层来减小影像资料表示的大小,以提高计算速度。然后将该影像资料回送到最终网路层以进行进一步的资料处理。


进行此类作业时的深度学习,通常基于输出处理结果的演算法,例如Object detection、Semantic segmentation等,而有些业者的演算法是以最终输出Feature Map为目标。其原因在于在实际现场中,对于确认产品是否有缺陷或可接受,每条生产线的判断标准是不同的,并且必须留出用于为每条生产线设定保留一定的弹性空间。


因此在实际操作模式上,在影像感测器上所使用的演算法,仅强调缺陷部分的特征部分之后,利用简单影像处理二值化和标记来确认缺陷的位置,作为一系列检查流程的一部分,例如确定使用大小的通过/失败。


缺陷检测影像的演算法

在制造现场的缺陷检查中,如果被判定是影像中出现缺陷以外的东西,就必须在后续处理中进行其他分类的动作。因此可透过可视「缺陷特征」的Feature Map来指定位置和大小。 Feature Map包含以下两个步骤:步骤1. 推算出检查影像包含缺陷的概率、步骤2. 找到并推算缺陷的位置(图六)。



图六 : Feature Map的产生流程。 (source: OMRON)
图六 : Feature Map的产生流程。 (source: OMRON)

首先,在步骤1中,将检查影像输入到CNN,并且以0到1的概率输出影像中存在缺陷的可能性。 CNN使用大量缺陷影像预先学习,并且在检查影像中包括接近缺陷的Pattern时输出高值位。


接下来,在步骤2中,从检查影像中的哪个位置获得在步骤1中估计的缺陷概率。在CNN中已知缺陷位置的资料,包括在每个中间层的缺陷的位置计算结果中,并且使用这些资料,可以以检查影像的像素为单位计算对缺陷的概率。最后,透过将每个像素适当的放大来获得Feature Map。


Feature Map的一个案例如图七所示。在该图中,随着对缺陷概率的增加,颜色会从蓝色转变为红色,并且可以发现,检查影像中存在缺陷的部分具有高值位。



图七 : Feature Map的案例。(source:OMRON)
图七 : Feature Map的案例。(source:OMRON)

英特尔、IBM、NVIDIA、微软等大公司和Google都提供开放原始码来开发机器学习演算法。有趣的是,在图八中显示了一个比较基于11个资料来源的深度学习框架的图表,Google的TensorFlow机器学习库是最广泛使用的机器学习软体。



图八 : Keras已经证明,基於11个资料来源,Google的TensorFlow机器学习库是最广泛采用的机器学习软体。
图八 : Keras已经证明,基於11个资料来源,Google的TensorFlow机器学习库是最广泛采用的机器学习软体。

使用这些工具,开发人员正积极针对机器视觉开发应用程式。例如,英特尔已经发表了和飞利浦合作的OpenVINO系统,OpenVINO可以在不使用GPU的情况下对X射线和电脑断层扫描(CT)进行深度学习推断。而使用一般的CPU可能需要数小时或数天才能进行此类分析。为了扩展现有CPU架构的性能,飞利浦进一步强化OpenVINO和深度学习方法,提供了比标准CPU方法快200倍的速度来进行深度学习,使得不需要GPU来进行处理。


深度学习在机器视觉领域的机遇与挑战

深度学习为一些采用传统视觉系统带来了希望。不仅是能从AI中获益,传统的缺陷检测还有另一项问题,那就是使用传统演算法难以定义缺陷,需要在每次出现新的缺陷时重做设定。但是透过拥有大量学习样品的人工智慧,可以得到一个非常清晰的学习,让机器视觉系统知道哪些部分是良品,哪些是有缺陷的。


随着AI在机器视觉方面的兴起,该技术将适用于更多的检查任务,最终超越工业自动化领域。因此深度学习在医疗、生命科学、食品等都将有很好的发展前景。未来,在医疗诊断、监视、自动驾驶和智慧农业等领域,将会更多地引入深度学习技术,以实现检查或地图分析等功能。


许多机器视觉专业人士已经认识到AI和深度学习将对视觉行业带来重要的影响,但他们认为AI的全部潜力可能至少要在3到5年之后才会爆发。此外,AI也并不是解决所有传统机器视觉和影像处理问题的唯一方法。


不过,具备AI基础的机器视觉系统,还是存在两个缺点。首先,系统需要大量的预先学习训练,这就需要建立一个专业团队,以便于达到高精确的分类。另一个缺点就是机器视觉系统被训练完毕后,一旦发现分类作业出现过多的失败,那就很难解决这个问题,如此一来几乎是别无选择,只能再重新训练一个新的样品资料库。


*刊头图(图片来源:Racetrack)


相关文章
机器视觉+自动化系统捡选优质柠檬
以Wi-Fi无线通讯设备增进仓储物流效率与安全
显微镜解决方案助力台湾半导体技术提升研发效能
机器视觉系统实现纪念币制造定位及特殊印制
以深度学习和Spine Tool评估阿兹海默症治疗标的
comments powered by Disqus
相关讨论
  相关新闻
» Fortinet 资安嘉年华:人工智慧协作守护未来资安
» 洛克威尔自动化最新工业资安报告 能源业受攻击次数多出3倍以上
» 达梭系统举办数位转型智造论坛 助中小企业提升研发创新力
» 达梭强化疫後供应链复原 助数位转型开辟新市场
» Omdia:生成式AI面临相同挑战 涵括偏见内容与可解释性


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK83J76PR8WSTACUK9
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw