分类/型态:元件
物主/业主:信??科技
物品编号:AST1230
发表日期:2022.12
图一 : 信??科技「Cupola360全景影像处理器」 |
|
本次要介绍的产品,是一款专门针对360度全景影像处理应用所开发的ASIC单晶片,它就是来自信??科技的Cupola 360 SoC晶片。
Cupola 360是信??科技旗下的全景智能影像处理解决方案,而这次我们主要会聚焦在它的处理器晶片上。Cupola 360解决方案是在2018年时推出,旗下共有三大系列,一个是全景影像处理晶片,以及Cupola 360+软体解决方案,与全景相机产品。本次主要介绍的是影像处理晶片这个系列,目前共有两款产品,一个是2019年发表的第一代晶片AST1220,另一款则是2022年底发表的AST1230新品,也是我们今天要介绍的主角。
AST1230是一款全景影像拼接处理单晶片,是专为高性能视讯会议应用所设计的IC,最主要的功能就是提供强大的图像讯号处理(ISP)、智慧布局处理引擎等功能,透过他们独家的Hyper-stitching技术,可以实现即时图像拼接的处理能力,除了结合图像拼接功能和先进可编程音讯DSP能力之外,这款晶片也具有绝隹的功耗和热效率。
AST1230最高可支援30fps和4800万像素的CMOS影像感测器,可以处理高达 8K2K的超高解析视讯。由於具备高性能的音讯DSP,因此也可以处理8个数位麦克风(MIC)输入,另外它也具备高性能音频处理算法,包括远场语音、波束形成、自动增益控制 (AGC)、噪声抑制和??声消除等功能。
那到底为什麽影像拼接需要特别出一颗晶片来处理呢?我们就简单的来说明一下。
所谓的「影像拼接(image stitching)」是指将两张或更多的有重叠部分的影像,拼接成一张全景图或是高解析度影像的技术。而影像拼接有两大步骤:
1.影像对准(image alignment)
2.影像混合(blending)
但要把这两个程序做到精准又即时,除了要具备一定的算力之外,在影像的分析与处理方面也要有独到之处。因为它需要对至少两个以上,以360度全景视讯来说,通常就是4个影像讯号,去进行视讯的特徵取样分析,接着再把它们对准并混合。
如果是一个很大的画面,或者讯号更多的情景,则所需要的算力就又更高,此时则延迟与功耗的问题都会是挑战。基於如此,信??也就推出了Cupola 360全景影像处理单晶片。
前面说到,AST1230是第二代的新产品,那我们也来看看它有哪一些的新功能。AST1230其实做了很多的升级,首先在处理核心方面,它改用了晶心科技的「Andes N25F」32位元RISC-V核心,因此很大程度的在功耗与效能上取得了改善,在DRAM记忆体方面,则改采外部的8Gb的DDR4来提升速度;影像感应器方面,一样是4道MIPI介面,但每道可支援2.5Gbps,可以处理的解析度也提升到了8K2K。
快闪记忆体方面,则从原本的eMMC SPI Flash,改为外部的32MB SPI NOR Flash记忆体;音讯的部分,使用CEVA的「BX1 DSP」,最高可支援8个数位麦克风输入。另外USB则升级为USB3.2 Gen 1.最高速度达5Gbps。此外也加入了AI晶片的通讯介面。
至於它的应用,最初Cupola 360是商务和消费型市场为主,最主要就是做为360度沉浸式智能摄影机的处理核心,因此这个晶片系列也都是以全景视讯会议应用为主,为此,信??科技也跟合作夥伴共同开发出了很多样的全景视讯相机过去。
但近来随着智慧工厂与智慧城市应用的落地,Cupola 360也转往工业与公共事务领域发展。
透过搭载AST1230的360度智能摄影机,并结合相关的AI软体,就能实现多点跳跃巡检、远端监看,或者远端厂稽核等功能,或针对高危险场域进行虚拟机器人场域巡逻等,进而降低厂房或安全人员的负担,解决目前产业缺工问题。
CTIMES 五项评比人文科技指标:3.5★
名称:信??科技「Cupola360全景影像处理器」
评比:
1.创新指标:4
2.精进品质:3
3.环保意识:3
4.人文关怀:5
5.服务评价:3
编辑评语
在这个「处处是镜头,视讯时时有」的年代,多影像的拼接,或者全景视讯的成生,都将会成为商业与工业领域的必然需求。然而高品质与实时的全景影像绝不是这麽轻而易举就能达成,更何况还要考虑功耗与音讯的问题。而信??科技的AST1230可以说是完美的迎合了这个需求,它让全景影音的生成与运用变得更加便利与轻易,可以说让全景影像的应用多了更多的可能,尤其是它还考虑到了AI应用的空间,让它的发展更为宽广。