账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
影像感测无所不在 全域快门赋能电脑视觉应用
成像效果更准确

【作者: 王岫晨】2022年09月21日 星期三

浏览人次:【7402】

大多数人每天都正在使用电脑视觉。举个例子来说,一个是智慧型手机上的脸部辨识。如果消费者手机上有这一项功能,平时也可以用於解锁萤幕或是电子支付,这表示你正在使用电脑视觉。另一例子,是当平时去超市或者超商付款时,收银员会扫描所购买的产品条码,这类日常生活情境都会用到电脑视觉。


电脑视觉与光学感测

全域快门一次可以拍摄整幅影像,而且拍摄时间非常短,成像效果非常准确,因此完全可以用於电脑视觉领域。

意法半导体亚太区影像事业部技术行销经理林国志指出,电脑视觉是人工智慧的一个分支,能够让电脑和系统从数位影像、视讯和其它的视觉所输入的资料中,提取出有意义的资讯,并根据这些资讯采取行动或提出分析建议。


在脸部辨识应用中,具有意义的资讯就是脸,系统会对脸进行影像采集,然後进行资讯处理,得出的结果就是验证使用者身份,接着解锁手机。在一般的情况下,电脑视觉都会产生资讯输入和输出,就以条码扫描机来说,扫描条码即是资讯输入,透过镜头采集条码的影像,并由系统读取,最後加以辨识产品和价格。


一般来说,光学影像感测器分为两种主要的架构。除了全域式快门之外,还有卷帘式快门,总共分为这两种镜头架构。卷帘快门的设计目的,是为了捕捉静态影像和视讯拍摄,因此需要非常高的解析度和色彩处理能力。目前大多数镜头都属於卷帘快门,例如智慧型手机的主镜头、自拍镜头、建筑中的监控镜头,甚至数位相机等,都是采用卷帘快门技术。因为这些应用情境都需要捕捉彩色影像,因此需要相当高的解析度。


唯一的问题在於,采用卷帘快门的电脑视觉技术,都是逐行拍摄影像。照片采用卷帘快门逐行拍摄的话,整个影像只有一帧。如果拍摄物件是车辆这样的快速移动物体,影像可能会扭曲,无法显示拍摄物件原本的样子。如果影像扭曲就无法显示物体的真实状态,也就不能用於电脑视觉,无法判断影像中的是不是另一辆车。因此,卷帘快门没有被应用於电脑视觉技术中。然而,全域快门的原理完全不同,一次可以拍摄整幅影像,而且拍摄时间非常短。只要被拍摄的物件不是快速移动的物体,成像效果就会非常准确,因此完全可以用於电脑视觉。


电脑视觉应用情境


图一 : 全域快门感测器的适用情境(source:st.com)
图一 : 全域快门感测器的适用情境(source:st.com)

电脑视觉的应用都会使用到全域快门感测技术。实际上,电脑视觉的应用情境无处不在,可以将其归为四大类。第一类叫做深度感测,这项应用时间比较久。透过使用两个全域快门感测器搭建一组立体视觉系统,或者是使用一个全域快门感测器搭建结构光镜头系统。通常深度感测可以用於脸部辨识和3D扫描这类的应用情境。


第二类叫做生物辨识,这项应用可以采集人体各个部位的资讯,并将其用於身份辨识。人脸资讯可以用於脸部辨识或者2D智慧解锁,体形资讯可以用於人的存在侦测,除此之外还有手势侦测、掌纹辨识、虹膜辨识等。这些人体资讯都是独一无二的,包括人脸、掌纹和虹膜等,皆可用於身份辨识。另外还有驾驶与车室内监视,采集司机与乘客的行为资讯进行分析,产生的结果就是系统发出的各类警示。


第三类就是扩增实境(VR)、虚拟实境(AR)和混合现实(MR),这类应用涉及了元宇宙的概念。当戴上VR头部显示装置之後,使用者看不见周围环境,只能依靠光学感测器才能知道环境的变化。通常VR头戴式显示装置在内部和外部分别有一个镜头,内建镜头用於眼球追踪,并透过两个全域快门感测器进行眼球观测,因为在实际应用情境中需要感知你的眼睛看哪个方向,透过眼球追踪得到的资讯将提供不同的反??。外置镜头则用於外部环境的追踪,主要感知外部环境而非使用者眼球的变化。


这里有两类重要的应用情境。一类叫做6DoF,针对的是头部行为。当使用者戴上VR头戴式显示装置後,就会获得6D感知能力。头部可以做出左右、上下、前後六个角度的动作,因此被称为「6DoF」(六个自由度追踪)。另一类称为「SLAM」(同步定位与地图构建),例如使用者需要掌握所处房间的状况,墙壁在哪里、沙发在哪里、自己所处在哪个位置,戴上VR头戴式显示装置走动的时候,如何避免撞墙等。因此在使用AR/VR装置的过程中,手势侦测、掌纹辨识、脸部与情绪追踪等功能是非常重要的。


除此之外,使用VR/AR装置还可以进行生物辨识,例如手势侦测或者手势追踪。通常在这种情境下,装置可以透过使用者一个手势来辨识这是哪种行为目的。例如使用者进行一场演讲,透过一个手势就可以自动翻到下一页简报或者翻回到首页,又或是透过手势告知助理按一下或按两下滑鼠。这些应用都是透过手势侦测来加以实现,装置无需揣测使用者想表达的资讯,只需追踪手势即可。


最後一类应用是机器人与工业控制。例如无人机和扫地机器人在使用过程中需要避免相撞,所以要有物体侦测和情境分析能力,而这些都需要使用全域快门感测器。此外,前文所提到的条码辨识,也属於工业控制中的电脑视觉应用一环。



图二 : 全域快门与卷帘快门的技术差异(source:st.com)
图二 : 全域快门与卷帘快门的技术差异(source:st.com)

车内感测器

至於汽车领域的应用,车内感测器主要包括四大类:包括车内镜头,ADAS镜头、观测镜头和售後镜头等,主要用於行车记录器。意法半导体亚太区影像事业部资深技术行销经理张程怡表示,2021年底车内镜头的市场渗透率约为10%,而到2024年就会达到50%。因此这一新兴市场发展是十分迅速的,产业生态中的相关厂商正纷纷涌入。


车内镜头并不只一种,Euro NCAP为车辆评估标准体系,曾经对车内监控系统分为两类:一类叫做驾驶监控系统DMS,另一类叫做车内乘客监控系统CMS或者OMS。驾驶监控系统的观测物件就是司机,主要监控司机是否注意力集中,是否有分神或是打瞌睡,因为这些现象会严重危及行车安全。而车内乘客监控系统则主要观测乘客状况,特别是儿童,因为有些粗心的使用者下车後会将孩子遗留在车内。


驾驶监控系统DMS镜头安装在驾驶员面前,观测物件主要是脸,镜头必须做得很大,大概50~60度,解析度约100~230万画素。重点之一在於这里必须采用NIR镜头,因为不仅需要白天对驾驶员进行监控,晚上也是需要,因为很多人会在夜里开车。在这种漆黑的环境下,必须要有光源投射在驾驶员脸上,但肯定不能使用可见光,所以需要NIR技术。


车内乘客监控系统观测的是车内所有乘员,但不同之处在於,因为这里需要物体探测和辨识,所以需要彩色影像,而且观测范围比较宽广,因此镜头视角需要更大,解析度需要更高,才能获取观测领域内所有细部资讯。


车内乘客监控与驾驶监控二合一系统,是将CMS、OMS和DMS结合。而车内乘客监控需要RGB彩色影像,驾驶监控则需要NIR影像,因此仅需单一镜头就可以同时支援RGB和NIR,这些都是车内镜头的设计要点。


结语

全域快门感测器的应用范畴十分广泛,除了前文所提及的工业与车用之外,对於智慧家庭和智慧大楼也是非常适合的应用范畴。智慧家庭的应用需要考虑周全,使用者不希??家里有个镜头全天候监视自己,与此同时又想要镜头和感测器带来的益处,因为很多辅助功能可以让使用者的生活变得更加舒适,全域快门感测器的优势就是能够实现这一点,而透过电脑视觉开发的功能,还能透过追踪技术来达到人机互动的目的。


至於笔电和个人电脑镜头,也是全域快门感测器的应用范畴。笔电和PC应用全域快门技术的意义,可以进行脸部辨识、手势控制、眼动追踪、舒适度监测和隐私保护。ToF和ALS(环境光感测器)则可进行存在侦测、电池续航、萤幕亮度自动调整和隐私保护。以目前各厂商像是意法半导体所提供的影像产品,都可涵盖上述的所有应用,包括全域快门产品、ToF、ALS等等,以及各种叁考设计。


相关文章
221e:从AI驱动感测器模组Muse获得的启发
2024年嵌入式系统的三大重要趋势
智慧家居大步走 Matter实现更好体验与可靠连结
开启边缘智能新时代 ST引领AI开发潮流
模拟工具可预防各种车用情境中的严重问题
comments powered by Disqus
相关讨论
  相关新闻
» 贸泽电子2024年第一季度推出逾10,000项新元件
» 宜特2024年第一季合并营收突破10亿元 展现验证分析布局力道
» SAP加速AI驱动供应链创新 推动制造业转型
» 宇瞻迈入绿色显示市场 成功开发胆固醇液晶全彩电子纸
» 调研:2024年中国ADAS市场迈向Level 3自动驾驶


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK84S4KJY6CSTACUK2
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw