Z6尊龙凯时中国官方网站 平头哥发布首款智能网卡「磐脉 920」,补皆 AI 算力终末一块短板
作家|苏子华
剪辑|郑玄
最近两年,AI 行业最热的词一直绕不开「算力」。
从大模子查考,到本年 Agent 的火热,再到各家云厂商贬抑扩建智算中心,行业商议最多的,果真都是 GPU、芯片和算力规模。莽撞只消卡够多,AI 就能络续往前跑。
但推行并不是。
不少作念大模子查考和推理的东说念主,还是越来越显着地感受到另一层问题:机器越来越贵,GPU 越来越强,但模子查考和推理的效果,却莫得同步升迁。
问题不一定出在算力自己,而可能出在另一件弥远被疏远的事情上——网力。
平头哥产物总监李旭慧打了个譬如:「若是把算力比作 AI 时间的石油,网力便是输油管说念。算力提供能源,网力保险效果。」
4 月 28 日,在数字中国建造峰会上,平头哥发布首款智能网卡磐脉 920。这是国内首个内置 PCIe Switch 的 400G 智能网卡,最大撑握 400Gbps 浑沌带宽,可应用于万卡智算集群、通算集群和高性能存储等场景,刻下还是量产,并将率先部署在阿里云数据中心。

磐脉 920 想要处置的便是「网力」问题。
今天的大模子查考,一个查考任务,时常需要几千以致上万张 GPU 同期相助。单张 GPU 性能再强,也必须跟悉数集群保握同步。
问题在于,只消其中一部分节点慢下来,其他节点就只可恭候。他不雅察到,刻下行业里好多万卡级智算集群,GPU 本体诈欺率较低,「能作念到 60%,还是算行业顶尖水平。」
畴前行业更容易温雅「有若干卡」,但本体在 AI 查科场景中,系统运行效果并不是由最强的硬件决定,而是受限于集群里最慢的阿谁节点。「跳跃节点的算力会握续闲置恭候,形成大规模算力糟塌。」
磐脉 920 的发布本体上也指明了一个观念:当 GPU 还是充足强之后,下一步到底该补何处。
一张网卡,周转悉数智算集群
当 AI 智能体启动进入真确业务场景,推理业务的占比越来越高。
「在 Agent 应用爆发的布景下,推理业务的增长速率显赫快于查考。」李旭慧暗意。
大模子查考强调强同步,而推理面临的是多数突发、小包、高频央求,对低时延和雄厚性的要求更高,这也意味着对「网力」的要求更高。
而概述一下磐脉 920 在作念的事,便是尽量减少整系统里的「堵」和「等」,通过网力的升迁来开释 AI 算力。
其背后的竣事旨趣,有三个缺陷。
率先是撑握多旅途 RDMA,败坏单一说念径的局限。
平常剖释,便是原来只可走一条高速,刻下变成多条路同期分流。更缺陷的是,这些数据诚然分开走,但最终还能按递次准确拼归来。
李旭慧阐扬,磐脉 920 通过撑握逐包喷洒、乱序袭取和选拔性重传,竣事 RDMA 多旅途。
从收尾来看,这套有盘算带来的改善比拟径直。
按照官方实测,磐脉 920 撑握单 QP 打满 400G 带宽,而同类主流产物带宽约莫只好其一半。同期,多旅途才略不错把交换机端口缓冲区水线责难 90%,减少丢包和重传。
第二个缺陷设想,是把「绕路」变成「直连」。
磐脉 920 最大的亮点之一,是内置 PCIe Switch。这亦然国内首个作念到这小数的 400G 智能网卡。
传统劳动器架构里,Z6·尊龙凯时「中国」官方网站PCIe Switch 平方部署在主板上,数据需要绕多个节点转发。收尾便是,有的旅途长,有的旅途短,时延不一致。
关于需要高度同步的 AI 查考任务来说,这种「不整皆」会径直影响效果。
李旭慧打了个譬如:传统架构里,每每会出现「四个下行通说念挤一个上行通说念」的情况。
这很像四条歧路同期汇入一条骨干说念,堵塞果真不能幸免。
磐脉 920 把 PCIe Switch 径直集成进芯片里面,让网卡与 CPU、GPU 形成更径直的接续相关。
少绕路,意味着更低时延;旅途更长入,则意味着更雄厚的同步效果。
字据平头哥实测,在疏通集群规模和任务条目下,部署磐脉 920 后,大模子查考和推理任务完成时候可缩小 14%。
第三个缺陷,是让网罗具备我方判断的才略。
传统网卡更多像搬运工。收到数据,搬畴前,仅此汉典。
据了解,磐脉 920 加入了细粒度网罗感知和可编程拥塞收尾才略。直白讲,便是它能主动避堵。让网罗启动从被迫传输,变成主动退换。
关于越来越复杂的 AI 集群来说,这种才略的紧迫性会越来越显着。
从这些设想能看出来,磐脉 920 并不是在追求参数上的浅显升迁,它作念的事情很求实,让还是很贵的算力,少糟塌小数,从而激励最大的潜能。
为何是阿里在界说 AI 基础门径?
除了性能自己,磐脉 920 背后更值得温雅的,是平头哥和阿里的合座布局。
畴前几年,好多公司作念芯片,时常荟萃在单一形状,比如 GPU、AI 加快卡或者 CPU。
但平头哥的想路是作念全栈。
刻下,平头哥还是形成四条产物线:真武系列 AI 芯片、倚天劳动器 CPU、镇岳存储主控芯片,以及此次发布的磐脉系列智能网卡。
对应的,恰恰是数据中心里的几个缺陷形状:算力、存力和网力。
李旭慧在采访中暗意:「单一芯片产物无法处置全链路问题,只好买通算力、存力、网力,智力最大化开释 AI 硬件性能。」
这亦然平头哥和好多单点芯片公司的辨认。它不是只作念一块性能更强的芯片,而是试图从悉数系统角度去看问题。
好多芯片公司作念产物,先作念出来,再去找客户和落地场景。
但平头哥不是。
李旭慧告诉极客公园,磐脉 920 立项之时 AI 智能体尚未成为行业焦点。但他们从阿里云自身业务中判断,改日 AI 一定会鞭策数据中心网罗才略升级。
「一线业务场景的本体需求,是芯短暂候迭代与产物优化的中枢驱能源。」先有阿里云的大规模业务场景,再从本体场景需求里倒推产物界说。
这便是磐脉 920 的买卖旅途。据表露,和平头哥倚天、真武、镇岳系列芯片不异,它会先部署在阿里云数据中心。
从这个角度看,磐脉 920 的发布,自己便是阿里「通云哥」协同才略的一次体现。
通义肃肃模子,阿里云肃肃场景,平头哥肃肃底层硬件。模子需求鞭策云基础门径升级,云场景又反向鞭策芯片演进。
这种全栈自研的闭环,在国内科技公司里并未几见。「通云哥」的模式诚然前期插足大、周期长,但一朝走通,护城河也极深。
AI 竞争走到今天,比拼的还是不是单点才略,而是这一整套系统能否顺畅运转。
跟着 AI 越来越多从查考走向推理,模子、云与芯片之间形成的握续反应轮回Z6尊龙凯时中国官方网站,合座上风的显现可能才刚刚启动。
尊龙凯时中国官方入口