免费咨询热线 +86 151 7665 5585
10月25日,熵旋芯智通过其公众号正式发布了首款基于MRAM的存内计算架构——MITA(MRAM In-Memory Tensor Architecture),并以此为基础,定义了存算一体处理单元MPU(MRAM-based Processing Unit)。这些技术旨在为AI推理提供更低延迟、更高吞吐量的算力。
大约一个月前,DoNews与熵旋芯智创始人雷坤进行了深入对话。当时北京正下着大雨,他刚从上海参加完AI芯片峰会,并在会上做了关于MRAM存内计算的报告。几乎同时,在杭州的云栖大会上,阿里平头哥推出了AI芯片真武V900,其性能是前代M890的三倍,216GB显存和1200GB/s片间互联成为焦点。
图片来源:阿里云
另一个热门词汇“超节点”在AI芯片峰会和云栖大会上被频繁提及。在几天前的华为全联接大会上,超节点集群也被视为AI时代的关键基础设施。
紧迫感从一场场行业发布会中流露出来。采访一开始,雷坤就为这些讨论定下了基调:“大家的目的都是为了解决同一个问题——算力增长迅速,但数据跟不上。”
几年前,我们担忧的是算力不足;如今,中国日均Token消耗量约500万亿,但限制AI发展的瓶颈已从单纯的算力短缺,转向存储容量、数据带宽、数据搬运功耗和整体系统成本等更复杂的系统级问题。传统AI芯片通常采用“存储与计算分离”的架构,大量模型参数需在HBM、片上缓存和计算单元之间反复搬运。
在AI推理中,数据在“存储”与“计算”之间的流转效率,直接决定了芯片的实际吞吐量和能效。随着模型规模不断扩大,AI芯片需要更高的存储带宽,功耗和硬件成本也随之上升。
图片来源:熵旋芯智
打个比方,GPU就像一个图书馆,第一层是阅览室,二三四层存放书籍(存储)。要看书(计算),你得跑到楼上一本本取书,然后拿到一楼阅览室才能看,看完还得放回去。以NVIDIA GPU为例,数据需经过完整长链路(片外存储→片上存储→计算单元),多层搬运导致延迟和功耗双高,取书(数据搬运)的时间比看书还多。
如今,这个问题愈发紧迫,从内存价格的高企就能看出端倪。
科技公司自然在尝试解决,超节点是一条路径,从AI芯片源头解决也是一条路径。而熵旋芯智选择的MRAM,正是AI芯片层面一条尚处前沿的小径。
01 搬得更快,不如不用搬
目前行业的主流解法是让数据搬运更快、存储更多。雷坤解释道:“显存增大的目的是为了装下模型,如果显存太小就装不下。互联是因为单张卡显存有限,所以需要多张卡来装载,无论是华为的超节点还是阿里真武的多卡互联协议,本质上都是如此。但装下后,多卡之间需要通信,所以通信带宽必须达到可接受的水平,多卡的收益才能为正。”
按照这个解法,显存至关重要,但雷坤认为问题就在这里。首先,当前HBM的带宽不足;其次,每张卡的存储器都需要存放一份完整权重,导致重复存储浪费;最后,MoE中大量权重其实是静态的,但在HBM中必须刷新。
即便如此,HBM仍因供应紧张而不断涨价。反过来看,谁能找到降低对高带宽存储依赖的新型计算架构,谁就能在下一轮算力竞争中抢占先机。
去年12月,AI芯片领域发生了一件大事:英伟达通过非独家授权协议,获得了Groq芯片技术的使用权,据报道交易额在170亿至200亿美元之间,是英伟达史上最大的一笔交易。同时,Groq创始人乔纳森·罗斯及总裁桑尼·马德拉也加入了英伟达。
如此优厚的条件,自然是因为物有所值。据报道,单颗Groq3(LP30)LPU芯片集成了500MB片上SRAM(静态随机存取存储器),单芯片SRAM带宽可达150TB/s。完整的Groq3LPX机架搭载了256颗LPU芯片,提供128GB总SRAM容量,整体带宽高达40PB/s。
这一架构将模型权重直接驻留在片上SRAM中,SRAM替代传统HBM/DRAM作为推理核心存储介质,避免了传统GPU依赖HBM的跨芯片数据往返延迟。测试中,Groq3LPX每秒可处理约3400个Token,比同类平台快约4倍。英伟达则强调,Groq3LPX是对GPU的补充:GPU负责训练与通用推理,LPX负责延迟敏感的智能体任务。
“我们的芯片其实非常类似Groq的芯片,”雷坤说,“我们的做法就是,把权重像Groq那样放在片上,然后直接计算,不用等待。”
“之前英伟达没有推出Rubin(全称VeraRubin,是英伟达接替Blackwell架构的下一代AI超级计算平台,专为智能体AI和大规模长上下文推理场景设计),其实这事有点难解释,”雷坤笑了笑,反问道,“但英伟达推出了,并和LPX构建了集群,且已量产售卖,那对我们来说,解释成本就小很多——你看英伟达都做了,那我们做是不是也很合理?”
这是雷坤对外的宣传口径。但为什么熵旋芯智没有走Groq的路,而是选择了MRAM(磁随机存取存储器)技术路线?
理论上,相比SRAM,MRAM采用更紧凑的存储单元。熵旋芯智提供的资料显示,在同等制程下,以bitcell和阵列核心区为口径,MRAM可实现约2到4倍的存储密度优势:STT-MRAM bitcell面积可缩小至SRAM的约三分之一,包含外围电路后的完整存储阵列面积约为同容量SRAM的一半。此外,MRAM具备非易失性,模型权重写入后无需维持电压即可保存,在大模型推理中能显著降低大容量权重存储带来的静态功耗。
同时,MRAM器件阻态的变异系数(CV)在2%以内,极低的CV使得同一权重状态下的电流分布高度收敛,阵列输出具有更好的统计一致性和可预测性,从根本上减轻了器件离散性对计算精度及ADC读出裕量的要求。低离散性和稳定阻态使MRAM更适合构建大规模、可预测、可校准的模拟存算阵列。
图片来源:熵旋芯智
对大模型推理而言,MRAM成为一条兼顾负载匹配与工程可实现性的平衡路径。模型参数缓存于MRAM阵列,矩阵运算可在MRAM原位(In memory compute MPU)完成,或由就近的数字tensor core(Near memory compute MPU)执行。存内MPU不需要数字tensor core,能让更多片上面积用于MRAM阵列与参数缓存;权重存储与矩阵计算在同一位置完成,简化调度层级。通过软硬件协同,理论上存内MPU能发挥出阵列的最大利用率,将原位计算的物理优势转化为低延迟、高有效吞吐的系统收益。
图片来源:熵旋芯智
02 从学术界到产业界
熵旋芯智注册于2026年2月,而雷坤在2020年进入中科院半导体所硕博连读,2021年在实验室接触到MRAM。
“做的事情比较Demo级,很多是非量产的,来源也杂,其实就是做些小的、实验室手搓的东西。”雷坤回忆,当他意识到阵列密度、良率、工艺偏差这些不是高校能解决的后,便萌生了离开实验室的想法。2022年底,他申请去了产业界;2024年回到北京时,他和老师商量搭建了一个4人小团队,成员是4名清华实习生——后来其中3人保研到课题组,1人加入了他的公司。
他创业的想法是“算账算出来的”:“这玩意做成芯片的话,比传统SRAM更优。”在产业界,三星早在2019年就实现了28nm FD-SOI eMRAM的商业量产;2026年已实现14LPU和8LPU FinFET先进工艺,并计划在2027年将eMRAM扩展至5nm。台积电方面,22nm eMRAM已量产,16nm eMRAM完成认证并进入客户导入。这些实打实的进展是他创业的前提。
熵旋芯智专注于芯片设计环节,重点面向云端大模型推理。首款产品定位于面向大模型FFN计算的专用加速芯片,希望在现有GPU或AI加速器体系中承担部分高频、规则化的矩阵计算任务。公司内部按数字前端、数字后端、DFT、模拟前端、模拟后端、软件算法、验证七个部分划分。
1998年出生的雷坤还是一位年轻人,但创业让他迅速成长。他自述将时间分成三块:最大的一块是拉齐团队认知、跟项目抠细节;第二是融资、宣传、路演等对外沟通;第三才是除工程之外的团队管理。
“搞数字的不懂模拟,搞模拟的不懂NPU,搞算法的不懂噪音。”团队中,有做模拟的成员做过存储和存算,但很少接触Transformer,他要让对方理解“我们在做Transformer的FFN,需要的是高通量、低错率”;做算法的需要做比特重建,他要让对方理解“数是怎么出来的,多少拍出来,怎么做重建”;而做架构的对SRAM很熟,他要告诉对方MRAM“这边map完几个周期出几个数”。
“大家在自己之前的领域上其实都很专业,但来到我们公司,都会涉及一些新领域,因为毕竟我们在MRAM做存算这一块,还是一个先行者。”雷坤说。
相比之下,对外沟通反而顺利得多。目前熵旋芯智第三轮融资接近收尾,雷坤表示资金储备“比较充足,足够我们支撑到量产阶段”。除了资金外,投资方也在帮他们对接产业方,“但这是一个比较中长周期的过程”。在熵旋芯智成立7个月后,2026年9月15日发布的《电子信息制造业发展“十五五”规划》点名了“加快存算一体”和“新型存储技术”,对融资也起到了一定推动作用。
客户拓展要困难一些。雷坤把区别说得很直白:“融资的话,你这个思路大家觉得认,而且符合国家战略,OK,那可以投。但客户不是这样,你片子还没回来,大家不可能因为你存算一体的概念去为你这个概念买单,最终还是要落实到PPA(Power、Performance、Area三个维度)上。”
但这都需要时间。“你后来者做的话,需要多次流片迭代,这个时间成本是省不掉的。”当被问及目前最大困难是什么时,雷坤停顿了一下,说:“我觉得更多的是时间问题。技术的卡点其实都是工程问题,工程问题就面临着流片周期与Fab的沟通,以及流片回测等一系列事情,我觉得这些都不是实质性的卡点。我们需要的是时间,以及通过这个时间所需要的资金。”
当下的芯片热和内存热,在这位年轻人看来,是行业在做当下收益高的事情,而他想做的,是往前走一步,做下一个收益更高的事情,也许是一个不止200亿美元的未来。他计划中的那颗芯片,要等到明年3月才能流片,6月才能回来。在那之前,无论是行业还是这个世界,依旧会充满AI带来的狂热和焦虑。爱游戏在线注意到,这种创新路径正试图在传统架构之外开辟新天地。
本文来自微信公众号 “DoNews”(ID:ilovedonews),作者:李信马,36氪经授权发布。