高速运算平台内存争霸 AI应用推升内存需求

在不同AI运算领域中，依照市场等级的需要，大致上可以分成三种，一种是作为高性能运算中心的人工智能、机器学习与图形处理的超高速运算与传输需求；一种是一般企业的AI服务器、一般计算机与笔电的演算应用；另一种是一般消费电子如手机、特殊应用装置或其它边缘运算的应用。
现阶段三种等级的应用，所搭配的内存也会有所不同，等级越高内存的性能要求越高，业者要进入的门坎也越高。不过因为各类AI应用的市场需求庞大，各种内存的竞争也异常的激烈，不断地开发更新产品，降低成本，企图向上向下扩大应用，所以只有随时保持容量、速度与可靠度的优势才是王道。本文就以这三种等级现在最热门的内存发展来做说明。


AI高性能运算中心等级内存
搭配这种AI芯片的内存，毫无悬念就属HBM独占鳌头了。市占率达95%的Nvidia AI芯片都是以HBM系列内存来搭配，最新的H200 GPU以H100为基础，将原本80GB的HBM3内存升级为141GB的HBM3e。而竞争对手AMD同等级的MI350 AI芯片也采用HBM3e新型高带宽内存。紧追在后的Intel Gaudi 3 AI芯片当然也是使用HBM系列的HBM2e内存。HBM系列内存早已供不应求了。
HBM内存采用了3D堆栈技术和通过硅穿孔（TSV, Through-Silicon Vias）连接技术来堆栈多层芯片，这使得数据传输距离短，速度快，功耗低。这种堆栈方式和垂直连接的设计是HBM的核心技术特点。使用硅基材料并通过精密的微加工技术制造这些穿孔，以实现层与层之间的密集连接。



图一 : NVIDIA﹑AMD﹑Intel已上市的AI加速器产品及其搭配的内存一览

显然目前所有AI加速器都采用HBM记忆体系列，而未来将制定的DDR6和DDR7内存是否有机会跨入此一市场？虽然DDR6等是传统的动态随机存取内存（DRAM）技术的进一步演进，专为提升系统内存带宽和效率而设计。它们未来还是主要用于个人计算机、服务器和一些嵌入式系统中，预计DDR6的数据传输速率可达到12.8 Gbps，而DDR7可能会更高，但这些仍主要在应付PC提升到AI PC后，对于高容量、高速度内存的需求。

目前市场上提供HBM技术的主要厂商包括：
SK海力士（SK Hynix）：提供HBM1、HBM2、HBM2E与HBM3产品。
三星电子（Samsung Electronics）：同样涵盖从HBM1到HBM3的产品线。
美光科技（Micron Technology）：较晚进入HBM市场，但也开始提供HBM2产品，并参与未来更高规格的研发。


AI PC与服务器等级的内存
一般计算机、笔电、服务器、游戏主机升级为各类AI应用后，所需要的内存容量与带宽速率也都要扩增，AI PC和游戏机等级的AI芯片与内存的需求主要集中在高处理能力、高带宽、低延迟和大容量上。这些设备通常用于需求密集型的任务，如游戏渲染、机器学习、深度学习训练及推理等。这类应用需要强大的计算能力和快速的数据存取能力。
高带宽和低延迟的内存可以支持密集型的图形和AI计算，所需的内存必须具有高带宽来处理大量数据流。低延迟确保了快速响应，这对于实时游戏性能、虚拟现实、扩增实境和AI应用至关重要。大容量内存为了因应游戏和AI应用越来越复杂，需要更多的内存来存储更详细的资产和机器学习模型。
目前此一等级AI应用的内存仍以DDR4为主，未来配合AI应用软件与操作系统的更新，更高容量与速度的DDR5乃至于DDR6就会因应而成为主流内存了。至于介于AI PC与终端、边缘运算装置之间的平板计算机，则是以低功耗的LPDDR系列为主，会在下一个等级的应用里再做详细说明。



图二 : 主要的AI PC制造商及其使用的内存和处理器规格

消费性电子与边缘运算等级的内存
目前平板计算机的规格功能已经与笔电差不多了，而笔电、平板计算机，乃至于手机的设计都是以轻薄短小容易携带为主，所以都是低功耗的LPDDR为主，但为了未来AI应用的需求，更省电与效率更高的新形态内存也会陆续推出，LPDDR5、LPDDR6都是可以期待的应用系列，因为这些都是符合容量、速度加倍与大量生产的需求。

一般笔电、平板与手机都可以视为一种AI助手的应用来发展，主要智能化需要自身做边缘运算与大量数据传输的项目有下列几种，而这些都需要高容量、高带宽、高可靠性与低延迟的内存来支撑：
1.相机增强：许多智能手机使用AI来改进图像质量，包括场景识别、光线调整、人像模式等。这些功能需要AI算法实时分析和处理图像数据，需要快速且大容量的内存。
2.语音助手：如Google Assistant和Siri，这些AI助手需要实时处理语音指令并作出响应，这对内存的响应速度和处理能力提出了高要求。
3.实时翻译：现代智能手机能够实时翻译外语对话或文字，这需要快速存取内存来处理语音和文字数据，并实时显示翻译结果。
4.增强现实：AR应用程序利用AI来分析用户的环境并以此来迭加数字信息。这种应用需要海量存储器以存储复杂的3D模型和图像，同时保持快速的数据处理速度。

这些应用显示了AI技术如何推动智能笔电、平板与手机的内存技术创新，以满足高效能和多功能的需求。
至于嵌入式或其它边缘运算装置，需要在电池供电或低能源消耗的环境下运作，所以它们的内存设计必须更优化来降低功耗。除了上面LPDDR系列可供选择外，他们通常需要在更狭窄的空间来应用，所以为了减省空间与综合处理，高容量、高带宽的非挥发性的内存也是未来的趋势与选择，下面是可应用发展的方向：

1.磁阻随机存取内存（MRAM）：MRAM是一种相对较新的技术，结合了DRAM的速度和闪存的非挥发性特点。它特别适合于需要快速访问速度和数据持久性的嵌入式应用。

2.铁电随机存取内存（FeRAM）：FeRAM也是一种非挥发性内存，提供快速读写能力和高耐久性。这使得它适合于需要频繁读写操作且数据保持很重要的应用。

这两种内存类型在设计时需要考虑到装置的具体应用，例如处理能力、功耗限制和环境因素。其中MRAM在容量与带宽都在持续发展与突破当中，被一般业界所看好的一种未来内存。总之选择合适的内存技术可以显着提高嵌入式系统和边缘运算装置的性能和可靠性。



图三 : 恩智浦半导体(NXP)携手台积电，推出业界首款采用16奈米 FinFET技术的车用嵌入式磁阻式随机存取内存（MRAM）。（source：NXP）

嵌入式系统与边缘运算的智能化应用在未来拥有广大且创新的市场，在跨领域的专业用途上，内存产业也会随之扩大市场应用，当在某一个领域达到一定规模之后，专门特殊规格的内存也可能因应而生，以下就是一些应用案例：
1.智能摄像头：在安全监控或智能家居系统中，边缘装置需要实时分析视频数据来进行物体识别或异常行为检测，这要求内存能够快速处理和存储大量数据。
2.无人驾驶汽车：在自动驾驶系统中，嵌入式装置需实时处理来自雷达、摄像头和其他传感器的数据，以实现对周围环境的快速反应。这类应用对内存的速度和可靠性要求非常高。
3.可穿戴设备：如智能手表或健康监测设备，它们需要在极小的空间内储存和处理数据，同时保持低功耗以延长电池寿命。
4.工业自动化：在工厂自动化中，边缘计算设备可用于实时监控生产线，识别潜在的机械故障或优化生产流程，这些装置通常需要在恶劣环境下运作，且内存需具备高可靠性。

这些应用案例显示，随着AI技术的进步和应用范围的扩大，嵌入式和边缘运算装置的内存技术也在不断进化以满足新的需求。


结语
AI运算平台可分为三种等级，而其搭配的内存效能也有所差别，主要就是为了满足运算的需求，以及特殊领域的专门用途。但AI内存应用有其一致性的原则，为了不同等级开发的内存，也都可能向下或向上发展来扩充其市场应用，同时运算系统也不断在更新发展，不同种类的内存、不同世代的内存，也都可以交互使用。例如第一代的HBM，转而给一般服务器PC来使用，以增强其机器学习的应用。但若意图以同一种类的内存来供应所有市场的需求，这也是不可能办到的事，预料未来内存仍将持续地百花齐放。