首先，到底什麽是AI运算，它跟一般的运算有什麽不一样？其实它是有点不一样，因为AI运算是专门处理AI应用的一个运算技术，是有很具体要解决的一个目标，而其对象就是要处理深度学习这个演算法，而深度学习跟神经网路有密切的连结，因为它要做的事情，就是资料的辨识。

它跟一般的传统运算是很大很大的不一样，它是很多的乘法加法的累计，所以要处理这种应用，一般的运算架构其实是会有点使不上力。也因为这样子，会去开发出特别的运算技术专门解决它。也因此AI的系统或处理AI的运算装置，都会有相对应的软硬体去解决，它跟一般的产业应用，也会被划分开来。

AI运算与记忆体的关联

至於AI运算在硬体架构上有什麽不同？对此我们必须要从资料处理的发展来理解。

在早期的时代，一般的资料只需要用CPU来处理，但随着大数据应用的崛起，以及人工智慧逐渐展露头角，资料量也开始呈现爆炸性的成长。而由GPU多核心与利於平行运算的特性，於是就被用来作为AI运算的主要处理单元。但随着资料量持续的成长，仅使用GPU似??又不是个最好的解决方案，除了成本高昂之外，也存在着高功耗的问题，并衍生出散热与系统稳定度的议题。

对此，运算架构就再多了一个运算晶片，也就是AI加速晶片。它主要是加速资料运算，尤其是针对神经网路这类资料处理与分析应用，且它是作为一个加速的辅助工具，并不是一个主要的运算的单元。

至於AI的应用，目前声势最大，也最广为人知的，就非生成式AI莫属。但这个部分是属大型云端服务商的领域，也就是AMD和NVIDIA主攻的市场，主要的业者包含AWS、微软和Google等，一般的中小型企业并无法进入，多数仅是成为其供应链的一员。

但除了云端的AI应用之外，还有另外一块也是AI的重点应用，就是边缘运算，而它跟云端运算不一样，是跟我们日常生活的装置都能有结合之处，包含AR/VR、智慧家庭、智慧音箱、智慧穿戴等，几??所有东西都可以有那种边缘运算的功能，而这里面，都会用到这种深度学习这种技术，因此也都有需要这种AI加速晶片的机会。

图一 : AI运算模型叁数都是存在记忆体当中，容量需要更大一点，同时要经常去存取记忆体，对频宽有更大的要求。

一般来说，AI世代的这个记忆体，主要是聚焦在运算辅助的记忆体，也就是挥发性的记忆体。那它跟AI运算有什麽关系呢？

我们可以想像在一个仓库里面，那里堆了很多的资料，而记忆体其实扮演的就是要把资料拿出来拿进去的角色。到了AI运算时代，这个人他会遇到什麽问题呢？首先，就是AI这个模型叁数都是存在记忆体当中，所以第一个影响，就是容量需要更大一点，因为当模型叁数都放到里面，就会对执行的运算空间产生影响。

第二个影响，就是AI运算必须要经常去存取记忆体，这样就会对频宽有大更的要求。就譬如一次拿的东西如果多一点的话，运作的效率也会比较高，处理的速度也会比较快；另外一个问题，是传统的运算的架构，记忆体多是属於外部存取的形式，所以当资料存取很频繁的时候，自然就会牵涉到效率与IO瓶颈的问题。

AI世代的关键记忆体技术

也因为这些容量、频宽、IO瓶颈的挑战，让AI世代的记忆体，开始朝向更大的容量、更大速度，同时也衍生出新的晶片架构，并刺激新的商业服务模式与新的记忆体技术的出现。

HBM高频宽记忆体

AI世代的第一个关键记忆体技术，就是目前火红的HBM（High Bandwidth Memory）高频宽记忆体。这个是由三星、AMD跟SK海力士共同发起的一个3D DRAM技术，现在已经变成一个产业标准。它最大特色就是一种采用TSV（Through-Silicon Via）技术的3D堆叠DRAM。

它的特色就是它的高容量，因为采用堆叠的方式，所以单一个晶片的容量就很大，另外也因为采用堆叠的方式，也会需要用新的方式━「Silicon interposer」来连接GPU。目前HBM已经到了第三代「HBM3e」这个版本，其频宽达到了每秒1.2TB，单晶片就具备24GB的容量。以美光的产品为例，其Host的这个设计就有8颗DRAM Die，并用TSV把它串起来，一层是3GB，8层的单晶片有24GB。

图二 : HBM已经变成一个产业标准。它最大特色就是一种采用TSV技术的3D堆叠DRAM。

AI记忆体整合服务

第二个关键技术则是「AI记忆体整合服务」。不同於HBM是针对云端运算伺服器，AI记忆体整合服务则是专门针对边缘运算系统来提供的AI记忆体客制化的方案，它主要是透过结合3D堆叠与异质整合（先进封装）技术，来提高记忆体频宽与容量，同时也能减少系统功耗，并缩小晶片体积。而它可以采用2.5D的设计，也支援3D的记忆体设计。

目前市场上有提供此一服务的两家厂商就是台湾的华邦与??创。华邦提出一个叫做Cube的解决方案，它是customize Ultra bandwidth element的缩写．就是客制化高频宽元件。它其实是直接把这个DRAM也用类似HBM的方式，把DRAM堆叠起来。而华邦用的是一个3D TSV DRAM的KGD（Know good die），并再提供2.5D跟3D的前後段的制程服务，再加上技术谘询与interposer的附加服务。

??创则是提出一个叫做「memorial link」的AI记忆体平台，搭配的则是他们独家的RPC DRAM，并透过异直整合服务，协助客户将逻辑处理元件与记忆体整合起来。同样的，??创也提供一个软硬体平台，可以协助客户进行设计，并搭配後端的封装与制造服务。比较特别的是，??创的RPC DRAM是一种特殊规格的Reduced Ping Count DRAM，它的针脚只有标准DRAM的一半，但具备相同的频宽，因此尺寸较小且电耗较低。

而值得注意的是，这两家公司都是以提供记忆体晶片为主的公司，本身也有晶圆厂，其AI记忆体的服务方案是一种结合自家产品，再搭配上台湾的半导体供应链的一种服务模式。

图三 : ??创「memorial link」AI记忆体平台，使用自家RPC DRAM，并透过异直整合服务，协助客户将逻辑处理元件整合起来。

CIM记忆体内运算

第三个关键技术，则是记忆体内运算（compute-in memory；CIM）。它的技术概念就是在要减轻CPU存取记忆体的负荷，所以在记忆里面先进行一些简单的逻逻辑处理。它有两个适用的场景，一个是分栏式资料储存应用，另一个则是平行运算，而这些就很适合AI运算来采用。

目前台湾的工研院也提出了这样的技术，他们提供的是一个Marco IP，能够直接在记忆体内进行运算，运算效能是传统的10倍，而且功耗仅有十分之一。而采用此技术的运算效能最高可以达到30TOPs（@ 4bit）。

因应AI运算的需求，旺宏电子也提供了特殊的CIM的技术产品。他们是在自己的3D NAND和NOR记忆体加入了这种运算的技术，让产品可以兼具储存跟运算功能，也就是他们新的一个产品线叫「FortiX」。旺宏把它称为「in memory search」，是在记忆体里先进逻辑处理，不用透过CPU就直接做资料查询，能够加速资料运算速度。

另一个则是力积电的AI记忆体平台，它是与子公司爱普科技、智成电子与智慧记忆体科技组成的AIM（AI Memory）平台，诉求Computing in Memory技术。但其实是把DRAM嵌在MCU里面，并把中间的I/O拿掉，整合无线的功能，接着透过堆叠跟封装的方式架构出一个AI记忆体的平台。不过这平台在2019年发布，近期并未有新的进展。

创新的AI记忆体

除了既有记忆体技术的转型和新型封装方式之外，创新的设计方法才是关键所在。目前也有一些新创公司运用创新的架构，研发出新型态的CIM运算记忆体方案，来抢攻AI运算市场，包含TetraMem与Mythic。

TetraMem它是2018年才成立的一个美国新创公司，主要成员都是华人，他最近也跟台湾的晶心科技进行合作，采用RISC-V的核心作为处理器。以其MX100 单晶片产品为例，该方案是一个边缘运算的AI加速晶片，号称是市场首款多层 RRAM（电阻式记忆体） 类比记忆体运算系统， 具有多个神经处理单元（NPU），每个 NPU 核心具有 64k 8 位元权重和 RISC-V 处理器，能够为小型卷积神经网路提供高效能的乘法累加（MAC）效率。

至於Mythic，它则是一家稍有历史的公司，目前是人工智慧方案的提供商，同样也是采用CIM技术的产品，它的M1076晶片，提供高达 25 TOPS算力，整合了 76 个 AMP 区块，可储存多达 80M 权重叁数，并执行矩阵乘法运算， on-chip的DNN模型执行与权重叁数储存，无需任何外部记忆体，适用於高阶边缘 AI 应用。

另外就是台湾的力旺（ememory），它们主要是记忆体IP供应商，近期也针对AI应用与神盾合作推出号称是全球首颗类比 AI 晶片，可应用在屏下大面积光学指纹辨识系统，这个技术是透过将指纹辨识软体和非挥发性记忆体（NVM）硬体技术结合，进行达成整合运算处理功能的记忆体。

图四 : TetraMem采RISC-V的核心，推出一种CIM技术的AI加速晶片。

结语

根据IDTech EX的市场研究资料，AI晶片市场在未来十年内具有庞大的成长潜力，特别在BFSI（银行、金融服务和保险业）、消费电子、IT和电信业等三大领域，其中IT和电信会位居主导的位置，并成为最大的市场，且其领先优势会越来越大；至於BFSI 的成长速度将会加快，并逐渐超过消费电子产品。

整体来说，随着AI应用的遍地开花，AI 晶片的市场也会随之水涨船高，与此之时，与AI运算息息相关的记忆体技术当然也会跟着一起蓬勃发展，而且不只是应用的场域越来越多，同时技术规格也将逐步提升，包含容量与处理速度，并激发出创新的记忆体技术。而那台湾这些老牌的记忆体公司也将获得新的活力泉源，并在AI时代找到自己的利基市场。