2PFLOPS，存算一体迎来新的卷王

存算一体技术作为当下内存厂商和不少AI芯片公司都在全力钻研的方向，已经有了不少成果展示，下一代智能存储的产品均已呼之欲出了。但新技术的新生期就是这样，不断有新的初创企业冒头，不断有新的架构和路线面世，而今年的HotChips34上，就有这么两个存算一体技术的分享，在现有的存算一体生态上做出了创新，再度为这条赛道上的激烈竞争添油加醋。

存算一体技术需要解决的，往往都是AI运算上的问题，比如训练和推理等等，所以不少做存算一体公司与AI芯片公司并无二致。而AI推理的出现为芯片设计者提出了三大关键挑战，一是不断提升的算力和功耗要求，不说是存算一体芯片了，GPU、FPGA、ASIC等AI加速器都在往这个方向卷；二是神经网络的格局一直在变化，现有的芯片可能缺乏跟上节奏的扩展性和灵活性；第三则是推理精度的缺失，在某些业务中精度的缺失可能只是意味着亏损，但在ADAS这样的应用中，就很有可能危及人身安全。

加拿大本土AI初创公司Untether AI就打算从计算的角度来解决AI推理问题，早在2020年他们就推出了runAI200这款加速器芯片，不过该芯片基于台积电16nm工艺，集成了200MB的SRAM，算力最高也只有500 TOPS（INT8），显然不能满足高性能的AI推理需求，但他们的思路却从一开始就和其他存算一体公司不同。

我们常见的存算一体技术无疑就是近存计算和存内计算这两种，前者基于冯诺依曼架构，主要还是完成加快数据转移的过程，后者通过模拟技术来完成乘法累加运算，再利用数字处理器来完成其他运算。

为此，Untether AI推出了Boqueria，一个算力高达2PFLOPS、能效比高达30TFLOPS/W的存间计算AI推理加速器芯片。Boqueria基于台积电7nm打造，频率高达1.35GHz，集成了729个存储体、238MB的片上SRAM和1458个RISC-V核心，SRAM内存带宽可以达到1PB/s。

每个存储体中包含2个RISC-V核心，各管理4个行控制器。行控制器之间独立运行，每个行控制器控制64个SIMD处理单元，用于完成矩阵向量乘法运算。这些处理单元支持INT4、INT8、FP8和BF16这四种常见数据格式，而且依Untether AI看来，FP8是精度、吞吐量和能效平衡上最好的一个，更不用说Untether AI在处理单元上加入了零检测，进一步拉高了能效比。

Boqueria上的RISC-V核心由Untether AI自己客制化的，本身基于RV32EMC指令集的同时，还加入了20多条专用于存间计算和推理加速的指令。Boqueria的另一大优势，就是它极具扩展性的架构。最小的结构可以做到1W以下，也可以将其做成Chiplet集成在其他SoC中，或者是再大一点的M.2卡、PCIe5.0卡等。要想追求最高的性能，可以做成集成6个Boqueria芯片的PCIe5.0卡，SRAM容量可达1.4GB，LPDDR5 DRAM容量可达192GB，FP8算力可达12PFLOPS，更不用说除了芯片到芯片之间的通信外，Boqueria也支持PCIe卡之间的通信。

韩国科学技术院的研究团队在本届HotChips上展示了一种新型的存算一体处理器，结合了时下两大新技术，神经形态和存内计算。传统的存内计算处理器由于在矩阵乘法上的优势，可以为深度学习解决最大的计算问题。可这个计算结果的准确性很大程度取决于处理器上DAC和ADC的精度。

可DAC和ADC的精度越高，模拟计算的结果也就越精确，也使得处理器的硬件开销变高，无论是功耗还是面积都是如此，甚至有可能抵消存内计算原本的硬件优势。在整个处理器的功耗中，高精度的ADC甚至可能会占据一半以上的功耗，甚至超过驱动器和控制器的总和。

不仅如此，在真实应用中由于低稀疏度，其能效比也远不如纸面数据那么理想，比如面对CIFAR-10或ImageNet等数据集时，其能效比甚至可能会缩水到十分之一，彻底毁掉了存内计算处理器在算力和能耗上的双重优势。