2、AI投资核心逻辑正在从训练驱动转向推理驱动。训练是遵循scalinglaw,尽管目前还么有失效的迹象,未来AGI也只会成为少数巨头的游戏,NV每年一代GPU,这部分高端市场的需求会一直存在。但很快NV推理侧收入会超过训练侧,国内外大模型疯狂降价,整个行业又到了类似互联网烧钱拉流量的阶段。未来推理侧需求API调用能否有成百上千倍的增长这是支撑数据中心投资的关键。目前agent落地C端怎么用、用的好不好、频次还没有共识,中小公司大模型变现怎么玩都是还没落地的议题。另外,进入到推理阶段就是跑运营,业主会测算opex并可以做各种工程优化,线性增长的逻辑不能再简单套用了。
3、NV首次公开了网络侧收入,Q1是31.7亿(我们猜测其中光模块13亿,毛利50%算,三个供应商供了50亿人民币),在DC占比14%。这个数字环比、同比是在减小的趋势(FY24 Q1是22%),为什么?猜测一是NV出货节奏问题,客户GPU先拉货再组网;二是选择以太的比例增加了;三是NV趋向优化网络成本占比(参考GB200的设计,可能是客户有这个诉求)。过去一年,网络侧成本占比的提升是刺激光模块高增的核心逻辑(传统云数据中心光模块成本占比也就4%),而对于NV的未来,我们认为高端产品线仍将scaleup进行到底,但是它会考虑工程优化了,比如GB200的铜,GR200是不是会用CPO?而推理侧会倾向于减少昂贵的光模块占比,比如用以太网然后解耦。
4、投资建议:当AI投资从训练转向推理驱动,一切要转向需求研究视角了。毫无疑问,2025年的光模块仍是低估的,但1.6T之后似乎催化乏力。我们更建议投资GB200的增量新环节,铜连接以及液冷。此外,让我们把视角更多转向国内,是时候关注国内这次资本开支超级周期了。
东北证券通信组廖文强提到,交换滥机板块近期受到关注,特别是国产大模型降本形成不 可 逆转趋势,对硬件端产生影响,包括速率升级等,都指向交换机环节。同时,AI 领 域中交 换机的关注度不如光模块等,但以太网的崛起为国内交换机产业带来机会。
2、国内外交换机投资增长情况
国内互联网公司在交换机领域的投资预计有 10%到 13%的增长,去年投资大约在 1000 万 左 右,今年预计达到 1100 到 1150 万。增长主要由 AI 带动。国外互联网公司去年投资约 4800 万,今年预计升至5400万,增长25%到27%,同样由AI驱动。
3、非 AI 领域交换机增长情况
非 AI 领域,即传统数据中心,国滥内增长预计达到 15%,去年数据中心数量为 2680 个,今 年预计为 2900 个以上。
4、MOE 架构对交换机行业的影响
MOE 架构旨在减少 AI 运算时间,尤其在训练阶段。这通过专家模型实现,增加服务器间 数 据交换量。对于交换机而言,这导致服务器间通信量增加,可能需要扩展交换机性能 或数量。
5、交换机性能与网络设计
网络设计中,为避免端口长时间高负载,一般不会让端口流量超过 30%。MOE 架构下,流 量增加可能导致需要重新设计网络拓扑,增加交换机数量或端口连接数。
6、交换机成本与市场价值量
随着从 200G 升级到 400G,交换机的成本和市场价值量显著提升。例如,200G 交换机使 用 12.8T 芯片,成本约 7 万人民币; 而 400G 交换机使用 25.6T 或 51.2T 芯片,成本分别 约12 万和25万人民币。
7、MOE 架构对成本的影响
MOE 架构通过减少运算时间,降低耗电量,从而减少成本。同时,降低运算时间还能延 长 GPU使用寿命,进一步降低成本。
8、国内交换机市场需求量
中国互联网大厂去年对交换机市场需求量为 1001 百万美元,今年预计为 1130 百万美元,增 长约 6%。整体中国市场,包括 AI 和运营商,去年需求量为 2680 万台,今年预计为 2925 万 台,增长约 15%。
9、交换机企业受益分析
在 MOE 架构下,白盒交换机需求增加,锐捷网络和紫光华山等公司作为白牌交换机供应 商 可能受益。华勤科技作为能够提供 800G 白牌交换机的公司,也可能在 MOE 架构中扮 演重 要角色。
10、超节点网络与交换机芯片
超节点网络的发展与 MOE 架构紧密相关,国内厂商如盛科已启动相关项目,致力于通过 超 级节点提升整体性能。这可能导致交换机芯片使用量的增加。
11、交换机芯片技术路线
交换机芯片有两条技术路线: 传统的流水线方案(如博通、盛科) 和可编程方案(如已 停产 的 belfort profilo)。可编程方案可能在降低延迟方面有优势,但在 AI 时代,传统 流水线方 案可能更具市场潜力。
12、结论与投资者建议
MOE 架构显著提升了交换机间数据通量,互联网厂商开始引入新的组网架构。投资者可 关 注相关上市公司的产品架构变化,以及交换芯片市场的发展。
Q&A
Q: 国内非 AI 交换机市场的现状和增长趋势是怎样的?
A: 国内非 AI 交换机市场,即传滥统数据中心的交换机市场,目前呈现出增长趋势。与 互联 网公司相比,传统数据中心的增长率更高,平均增长率约为 15%,而互联网公司的 增长率为 10%。去年中国数据中心的数量为2680个,预计今年将增长至2900多个。整 体来看,交换 机行业展现出较强的抗压能力,市场表现良好。
Q: MOE 架构对交换机行业的影响有哪些?
A: MOE 架构主要解决的问题是减少 AI 运算时间,特别是在训练阶段。它通过专家模型 来 实现,这增加了服务器间的数据交换,即 scale out 通讯。在以太网交换机领域,MOE 架构 的引入导致服务器间通讯量翻倍,从原来的 1%不到增长至与机内通讯量相当,甚至 更高。这导致机外通讯交换机的负载大幅增加,可能需要对交换机的性能或数量进行拓 展。目前,尽管还没有达到 400G 网卡的上线,但随着 MOE 架构的进一步应用,预计会 对交换机的设 计和部署产生重大影响。业界正在参考英伟达的最佳实践,采用三层架 构,并保持服务器与 交换机之间的连接比例为 1:1,以应对通讯量的增加。Q:目前部署状态下,以太网与ID的性能比较如何? A:目前部署状态下,以太网的性 滥能相较于 ID 存在一定差距。以太网的延迟是 ID 的四倍 以上,导致其整体性能可能不 如 ID。
Q: 针对 M1 机器互联环境,网络改造的目标是什么?
A: 针对 M1 机器互联环境,网络改造的目标是降低端口间的流量,避免流量过大。这是 因 为目前的网络配置是按照英伟达 1:1 的加速比来设计的,即服务器网卡的性能与上行链 路到 另一台交换机的性能相匹配。如果服务器网卡性能较高,那么在与另一台交换机互 联时,带 宽也应保持接近,即使采用负载均衡方法,链路的使用率也可能相对较高。Q:在网络优化方面,是否需要重新设计网络拓扑? A:是的,在网络优化方面,有必 要重新设计网络拓扑。一种设计方案是增加更多的交换机,以提高交换机之间的互联带 宽。例如,将一号交换机到二号交换机的连接从单根连接变为双 根或多根连接,从而增 大交换机之间的带宽。这样,端口上的流量就不会像原来单一连接时 那么高,有助于保 证在所谓的白嫖连接时,不会过度使用带宽。Q:如何根据历史经验来避免带宽使用率 过高? A:根据历史经验,通常不会让带宽超过端口的30%以上。这是一个经过二三十 年验证的经 验,运维人员会将其作为一个参考点。因此,为了不超过这个限制,可能需 要增加交换机的 数量,以及交换机互联的端口数量,从而带动相关光模块等投资的增 长。Q:在网络优化工作中,下一步的计划是什么? A:在网络优化工作中,下一步的 计划是对 M1 进行优化。这包括增加网络的带宽和链接交 换机的数量,以实现优化状 态。
Q:通信速率和交换机数量的关系是什么? A:通信速率的提升和交换机数量的增加有直 接关系。为了保证每个端口的负载不超过 30%,可能需要增加交换机的数量。这是因为 在专家子模型的数据通信和分发汇总过程中,通信量 可能会提升百倍以上,从而需要更 高的速率和更多的交换机来处理这些数据。Q:端口速率的变化和交换机端口处理能力的 关系如何? A:端口速率的变化实际上并没有太大变化,交换机端口的处理能力保持稳 定。物理端口一 端连接服务器,另一端连接交换机,端口速率与服务器网卡速率相匹 配。例如,如果服务器 网卡是 400G 的,那么交换机端口也应是 400G 的。而 800G 的端 口主要用于交换机之间的互 联。
Q: 在大规模集群中,MOE 架构对性能和端口流量的影响是什么?
A: 在大规模集群中,MOE 架构可能会导致性能降低,因为专家越多,计算量越大。例 如,8K 集群的性能可能会降低 11%,16K 集群降低 26%,而 64K 集群降低 50%。这表明 服务器数 量的增加会降低迭代时间。然而,目前还没有明确的数据显示端口上的流量具
体如何变化,但可以推测 400G 端口的连接需求有显著增长。Q: 为什么需要限制端口性 能不超过设计性能的30%? A:限制端口性能不超过设计性能的30%是一种行业惯例,这 样做可以让整体机器处于一个 相对不高的负荷状态,这是业界普遍接受的做法。例如,如果端口是 400G 的,那么不希望 其性能超过 120 到 150G,以保持机器在较低负荷状态 下运行。
Q:增加交换机数量的考虑因素有哪些? A:增加交换机数量时,需要考虑的因素包括拓 扑设计、成本、以及性能与成本之间的平衡。例如,原来两台交换机之间可能只有两条 链路,增加新的交换机后,可以增加到四条或更多 链路,从而降低单条链路的带宽利用 率,但同时也会带来成本上的压力。Q:在引入MOE架构后,是否需要更高的速率,如400G以上? A:目前看来,还没有 达到真正需要超过400G端口性能的状态。尽管可能有短时间超过400G 的情况,但通过 交换机的流量控制机制,如 ROCE,可以保持带宽在较低状态,避免超过转 发性能。如 果出现持续超过连接端口性能的情况,可能会导致丢包。因此 Q:丢包对运算和应用可 用性的影响是什么? A:丢包会导致运算中的数据丢失,需要重新计算,这会降低应用 的可用性。因为丢失了一 些数据包,重新计算会增加时间,反而不如提高端口性能来避 免这种情况。
Q: MOE 技术如何提升运算效率,以及在满带宽情况下交换机性能的表现?
A: MOE 技术显著减少了单机或小集群环境下的运算时间,避免了重传,从而提高了效 率。在满带宽或超过百分之百负载的情况下,即使是高性能的 4D 交换机,如果没有刚性 提升,也只能通过提高端口速率来解决,比如从四车道升级到八车道。Q: 国内网络架 构是否正从 200G 向 400G 转变?
A: 是的,去年国内主要是 200G 架构,但现在已经逐渐转向 400G 架构。例如,阿里和 腾讯 等公司正在从 200G 向 400G 过渡。阿里使用的网卡有英伟达的 C 系列 200G 网卡,可以直接 升级到更高速率,并且阿里自行研发了 IPGA 的 2200G 网卡,并设计了适合自己 需求的流量 控制算法。目前,这些解决方案可能已经接近不够用,预示着向 2400G 的升 级也将很快到 来。
Q: 200G 架构在中国的特殊性以及未来的发展趋势是什么?
A: 200G 架构在中国是特殊的,国外并没有这种配置。随着阿里等云服务公司的兴起,中国 的网络架构发展路径是 100G、200G 到 400G。目前,随着技术的进步和需求的增 长,预计 会从 200G 升级到 400G,以适应更高的数据传输需求。
Q: MOE 架构对交换机单价价值量的影响是什么? 从 200G 升级到 400G,每台交换机的 价值 量提高了多少?
A: MOE 架构对交换机的价值量有显著影响。目前,200G 交换机主要使用的是 12.8T 的 交换 机芯片,如果以博通芯片为例,一颗芯片大约 1200 美元,而整台交换机的价格大 约在 7 万 多元人民币。升级到 400G,使用的是 25.6T 或 51.2T 的芯片,25.6T 的芯片价格 大约在2000 美元左右,而整台交换机的市场价大约在12万元人民币左右。由于51.2T芯 片产能不足,导致 25.6T 芯片价格上涨,价格大约在 4000 多美元,相应的交换机市场价 约为 25 万元人民 币。如果使用 51.2G 的芯片,一颗芯片价格约为 8800 美元,整台交换 机的价格在 25 万元人 民币左右。因此,从 7 万到 12 万,再到 25 万,可以看出随着技 术升级,交换机的成本也在 增加。
Q: 国内大厂的大模型 token 价格降幅是否主要由 MOE 技术带来的成本下降驱动,还是由 于
价格战导致的?
A: 国内大厂的大模型 token 价格降幅是由 MOE 技术带来的成本下降和价格战两方面因素
共 同驱动的。MOE 技术通过减少运算时间,从而降低了耗电量,这是成本下降的一个重 要因 素。此外,像 H100 这样的机器,尽管使用了液冷技术,但在长时间满载工作下,其使用寿 命大约只有半年左右,这意味着卡片的生命周期非常短。如果通过 MOE 技术降 低了运算时 间,也就延长了卡片的使用寿命,从而降低了供应商的成本。因此,供应商 在价格战中拥有 一定的底气,能够降低价格。Q:今年国内交换机市场的需求量和市场产值是多少? A:今年国内交换机市场的需求量 和市场产值有所增长。对于中国的互联网大厂,去年的市 场产值按照美元计算大约是 100 亿美元,今年预估会增长到 113 亿美元,增长率大约为 6%。对于整个中国市场,包 括 AI 和运营商在内,去年的市场产值大约是 268 亿美元,今年预估 会增长到 292.5 亿美 元,增长率约为15%。这表明整个中国的数据中心对交换机的需求有15% 的增长,而头 部几家互联网公司的增长为 6%,整体市场前景仍然比较乐观。
Q: 为什么 MA 架构导致交换机需求量增加 100 倍,但增速只有十几个点?
A: 目前对于 MOE(多输出交换机) 的部署还处于探索和优化阶段,尚无最终的拓扑架构 定 论。不同公司对于带宽余量的要求也不尽相同,有的保守,有的则较为激进。因此,增速可 能受到这些因素影响,导致增速没有达到需求量增加的幅度。
Q: 国内在 MAE(多接入边缘计算) 方面的进展如何?
A: 国内在 MAE 方面的进展还在等待美国方面的最终定论和最佳实践。目前,阿里巴巴 的 SPN7.0架构是一个值得关注的新动向,它是一个AI网络,包含了MOE。尽管阿里巴 巴是首 家公布此类设计的公司,但并不代表其技术最为先进。预计随着其他公司如 Meta 和微软逐 步公开相关信息,最佳解决方案将逐渐明朗。Q:MOE架构的服务器大概使用多少交换机? A:目前没有确切的比例数据,但可以参 考英伟达的 GGX 最佳实践,服务器与交换机的比例 关系大约是 1:1.1。对于 MOE 架构,目前还不清楚具体的比例变化,但预计会有所提高。Q:中国数据中心市场规模如何? A: 中国数据中心市场规模整体较大,涉及的主要是 top 3 公司的情况,具体数字以美元 计 算,每年有数千万美元的规模。
Q: 今年 AI 基础设施的投资增长情况如何?
A: 今年 AI 基础设施的投资增长显著,特别是阿里和腾讯一季度的资本开支同比增长超过 三 倍,主要用于 AI 基础设施建设。尽管目前难以给出确切的全年增长预测,但整体处于 扩张 状态。
Q: 华为 800G 交换机的进展情况如何?
A: 华为在 800G 交换机方面有明确的进展计划。尽管受到美国的限制,华为已经成功设 计 并生产了 400G 端口的交换机芯片,并计划在 2025 年底推出 51.2T 的 800G 交换机。目 前,华为通过增加端口数量来弥补单体性能的不足,整体性能仍然满足需求。
Q: 在 MOE 架构下,哪些国内交换机企业可能会受益?
A: 在 MOE 架构下,受益的国内交换机企业主要是那些专注于白盒交换机的厂商。锐捷 网 络和紫光华山(云街) 在 25.6T 时代表现突出,为互联网公司提供交换机。而在 51.2T 或800G 的设备领域,华擎科技(华勤)是主要的白牌机供应商,也是字节跳动51.2T设 备的主力供 应商。华为和中兴虽然具备芯片设计能力,但主要聚焦于企业网而非白牌机 市场。博通通过 锐捷和云街等公司提供 25.6T 或 51.2T 设备,而圣科也在测试 12.8T 和 25.6T 产品,作为国产 品牌在 MOE 环境中表现良好。从芯片角度来看,国产品牌宋科可 能占据一定市场份额,但 主力可能是博通。整机制造商中,华清、锐捷和志邦(AJ call) 在 MOE 环境中扮演重要角色。
Q: ME 模型对网络需求的增加是否会影响英伟达等公司超节点网络产品的需求?
A: ME 模型确实可能增加对超节点网络产品的需求。ME 模型主要涉及服务器间的流量,
而 NV72架构涉及将多个GPU集成在一个大型机柜中,类似于一个超级服务器。这种架 构需要 在机柜内部实现高效的服务器间通信,类似于 MOE 架构。国内 AI 公司正在探索 类似的方向,如寒武纪、摩尔等,他们正在研究如何在机柜内部实现高效的通信。由于 国内 AI 芯片性能 与英伟达有差距,国内厂商倾向于通过超级节点连接多个芯片以提升整 体性能。这种趋势可 能会增加交换机芯片的使用量,因为它们作为 switch 的替代品,能 够在超级节点架构中发 挥关键作用。总的来说,超节点的发展与 ME 趋势紧密相关,可 能会带动相关网络产品的需 求增长。Q:国内主流交换机厂商在超级节点领域有哪些机会? A:国内厂商如盛科在超级节点领 域走得最快,已有 12.8T 和 25.6T 的产品可以交付。华为 目前不对外销售相关产品,而 其他厂商尚未有能拿出手的产品。盛科在这方面处于领先地位。Q:锐捷、华三等交换 机厂商在服务器领域的布局如何? A:锐捷、华三等交换机厂商中,特别是能够做服务 器的厂商,如华三,正在快速发展。华 三已成为腾讯超节点项目的主要供应商,既提供 服务器也提供交换机。这些交换机与传统形 态不同,采用类似 Switch Tree 的方式,直接 在大机柜内连接,不使用光模块,以降低时延。Q:国内交换机市场目前是否主要基于 博通的解决方案? A:目前市场上主要使用的是基于博通的解决方案,但由于博通的新一 代产品良品率低,导 致产能不足,市场上仍在使用上一代的 400G 25.6T TH4 产品。TH4 的价格已经翻倍,显示出 一定的稀缺性。Q:在NV服务器内部芯片互联方面,是否有博通体系内的替代芯片? A:博通有计划推 出新一代产品,如 Tomahawak 2( 简称 TF1),它将替代 NV Switch,除了 交换芯片 外,还集成了网络计算功能。这种芯片预计将在今年下半年发布,如果腾讯的方案 能够 及时采用,将使用这款新芯片。Q:国产交换芯片在可编程能力方面是否较弱,这是否 会影响其在中高端市场的表现? A: 国产交换芯片如盛科主要采用传统的流水线 ( pipeline) 方案,而非可编程方案。这可能 在降低延迟等方面不如可编程方案表现出 色。然而,随着带宽和容量的提升,国产交换芯片 在 AI 时代仍有发挥空间。
Q: MOE 架构对交换机数据通量的提升效果如何?
A: MOE 架构能显著提升交换机之间的数据通量,带来百倍级的增量。从今年一季度开 始,互联网厂商已开始引入这种新的组网架。