首页 资讯频道 互联频道 智能频道 网络 数据频道 安全频道 服务器频道 存储频道

内存带宽限制人工智能模型本身 在 HBM2 和 GDDR6 上 “复活”

2020-12-17 10:35:46 来源 : 雷锋网

人工智能经过几十年的发展,在数据爆炸时代正处于良性循环,大量的数据用于制造和训练神经网络,而后利用神经网络筛选并理解这些数据。

不过,我们仍然对于更好的人工智能有巨大需求,据 Open AI 的一份报告显示,从 2012 到 2019 年,人工智能训练集增长将近 30 万倍,每 3.43 个月翻一番,比摩尔定律快 25000 倍,在摩尔定律将近失效的今天,那么怎么样才能让人工智能提供更好的性能?

内存带宽限制人工智能模型本身

早在两年前,业内就有人提出,在计算能力和数据量足够的年代里,内存带宽才是人工智能发展的瓶颈。

德克萨斯高级计算中心(TACC)研究科学家曾在其 2016 年的报告《HPC 系统中的内存带宽和系统平衡》中比较过去 25 年某些 HPC 服务器的浮点计算情况,结果显示内存、网络延迟和带宽大幅度落后于处理器性能,其中内存带宽大约每十年落后浮点计算 4.5 倍。

“一个非常有趣的现象是,内存对人工智能的限制一部分体现在人工智能模型本身,以及用来训练这些模型的数据量规模急剧增长。”Rambus 大中华区总经理苏雷在 Rambus 2020 中国设计峰会上说到。

根据苏雷的介绍,这种限制在人工智能传统训练模型和并行训练模型上均有体现。

传统神经网络训练通常只使用一个 AI/ML 引擎,即将神经网络模型和训练数据全都嵌入一颗芯片中,训练的数据在芯片中迭代循环,通过不断更新模型实现对数据的分类、识别和处理,这一场景下其性能直接取决于计算引擎和缓存速度、内存带宽。

为提高数据训练时间,具体多个 AI/ML 引擎的神经网络得以出现,这种方法是神经网络模型的完整副本同时嵌入多个芯片中,神经网络模型所需的训练工作量被均分到每一颗芯片中,多个芯片引擎并行处理训练集,进而提高训练时间。

并行方案的每一个训练步骤可分为两个阶段,每个阶段受到的带宽限制不尽相同。

在第一阶段,每个训练的并行引擎将通过它们的训练结果更新其模型副本,因此并行训练的每个芯片在运行完每一次训练迭代后,都会有不同的训练更新,因此这一阶段数据传输到芯片的速度直接取决于内存带宽的大小。

在第二阶段,即规约阶段(Reduction),需要每个引擎与所有其它引擎交互更新信息,让芯片彼此了解其它芯片的更新并接受来着其他芯片的更新,得以更新自己的模型,恢复模型间的同步,再次拥有相同的模型副本。显然,这一阶段的性能主要取决于芯片间链路带宽的限制。

HBM 2 和 GDDR 6,更多的内存选择

“为缩小内存带宽和高性能浮点计算之间的差距等问题,我们有新的系统架构和面向特定领域的硅,或者将更多的数据直接放在芯片上,以获得更高的带宽,更好的功率和更低的延迟,但是数据总是越来越大,需要更多的内存,所以依然需要在片外存储器和链路性能上取得突破。”Raymond Su 表示。

在目前广泛应用于 AI 的内存方案中,片上存储(On-Chip Memory)就是 Raymond Su 所言的拥有最高带宽和功率效率但容量有限的方案,其他两种方案分别是 HBM 和 GDDR,即 DRAM 解决方案。

HBM 是一种基于 3D 堆栈工艺的高性能 DRAM。第一代 HBM 诞生于 2013 年,最新一代 HBM 标准已经演进到 HBM2E,能够支持 12 个 DRAM 的堆栈,内存容量高达每堆栈 24GB,当传输速率达到每管脚 3.6Gbps 时,HBM2E 可以实现每堆栈 461GB/s 的内存带宽。

由于 HBM2E 堆栈需要通过高达 1700 多条数据 “线”的接口连接到相关处理器,远远超过标准 PCB 能够支持的范围,因此使用硅中介层作为连接内存堆栈和处理器的中介,在硅中介层中完成精细的数据走线,获得 HBM 接口所需数量的数据线数。

HBM2E 通过堆叠技术实现高带宽和高容量,但由于硅中介层的使用,成本偏高。

GDDR 是双倍数据传输率存储器,采用传统的方法将标准 PCB 和测试的 DRAMs 与 SoC 连接在一起,具有较高的带宽和较好的能耗效率,其缺点在于更难保证信号完整性和电源完整性。

比较 256GB/s 下 HBM2 和 GDDR6,HBM2E 的接口宽而慢,GDDR6 的接口窄而快。HBM2 占有面积优势和能耗优势,但 GDDR6 具有成本和方案工程上的实现优势。

HBM2 与 GDDR6 内存解决方案的高带宽已经显而易见,不过想要真正落实到实现高性能人工智能的应用上,还需要 IP 供应商的支持,在 HBM2 和 GDDR6 内存解决方案的 IP 供应中,Rambus 就扮演重要角色。

根据 Rambus 资深应用工程师曹汪洋在 Rambus 2020 中国设计峰会上的介绍,Rambus 的 HMB2E 接口解决方案(PHY 和控制器)专为 AI/ML、HPC 的高性能和低延迟而设计。Rambus HBM Gen2 PHY 完全符合 JEDEC HBM2E 标准,支持每个数据引脚高达 3.6Gbps 的数据速率,总带宽因此达到 461 GB/s。该接口具有 8 个独立信道,每个信道包含 128 位,总数据宽度为 1024 位,支持 2、4、8 或 12 个 DRAM 的堆栈高度。

Rambus GDDR6 PHY 每个引脚的速度高达 16 Gbps,可用于 TSMC 7nm 工艺,GDDR6 接口支持 2 个信道,每个信道有 16 位,总数据宽度为 32 位。另外,Rambus GDDR6 PHY 每个引脚的速度高达 16 Gbps,最高可提供 64 GB/s 的带宽。

在 Rambus 2020 中国设计峰会的交流环节,苏雷表示:“Rambus 是全球 HBM IP 技术的引领者,且在市场份额上排名第一,全球范围内拥有 50 多个成功案例,Rambus 最新的 Rambus HBM2E 的方案可以实现全球最高的 4Gpbs 速率,GDDR6 方案可以实现 18Gbps 速率,位于业界顶尖水平,这能够帮助客户的方案设计提供足够裕量空间,保证整个系统的稳定性,目前燧原已将选择了 Rambus 作为其下一代 AI 训练芯片的合作伙伴。”

高带宽之后,信号完整性也是挑战

在上述文章中提到,HBM 和 GDDR 是可以为 AI/ML 提供高带宽,其中速率更高的 GDDR6 面临着信号完整性和电源完整性的挑战。

据了解,信道中不同类型的损耗是影响信号完整性的主要因素,具体又可以分为插入损耗、反射和串扰,插入损耗产于介电损耗或金属电阻表面粗糙程度,主要通过较好的 PCB 和封装设计来控制。信号反射源于阻抗,最终会导致眼图闭合和信号丢失。串扰由于两个信号之间的电容和电感耦合引起的,由于从信号中消除串扰的电路很复杂,因此串扰是 GDDR6 DRAM 信号完整性最具挑战性的问题。

针对信号完整性问题,苏雷表示:“要确保信号的完整性,就需要从发送端到接收端进行的完整系统建模,需要采用协同设计的方案。Rambus 的 GDDR6 PHY 解决方案可以稳定在 18Gbps 并确保传输眼图清晰,走在业界最前列。在高速的传输下,还需要对电路板上的封装设计进行建模,使用比如 DFE 和反转等技术,可以提高性能让眼图更好的打开 。”

当然除了信号完整性和电源完成性,DRAM 数据速率的增长还导致更多其他的问题,“我们需要做的还是兼顾能耗的制约,不断找寻和提升内存带宽的方法,为 AI/ML 更高的性能。”苏雷说道。

相关文章

最近更新