NVDA H200专家交流简记20231115
Q:H200较H100明显的边际变化是什么?
A:H200的推理速度比H100提高了2倍,处理高性能计算的应用程序上有20%以上的提升,采用HBM3e,完成了1.4倍内存带宽和1.8倍内存容量的升级。
Q:HBM提升性能的原理是什么?
A:提升内核的效率边际递减,在应用芯片进行推理训练时,实际发挥算力远低于标称算力,这里就要考虑算力利用率,H100只有20%左右,H200提升后能接近40%。
Q:有什么其他方式提升算力的利用率么?
A:简单说,就是提高数据的读写速度和传输速度,即存储环节和通信环节,存储如HBM,通信如PCIE、光模块的升级。
Q:H200售价,后续能否卖给大陆云厂商?
A:预计在6w到8w美元,因禁令影响,即使明年Q1量产后也没可能供给大陆,目前算力还是十分短缺,云厂商普遍搭配NVDA和国产卡一起使用,国产替代趋势是肯定的。
Q:昇腾可能的升级方向?
A:内核、HBM升级都有制程和工艺的限制,最直接的方法还是扩充内部线缆和光模块,但较海外仍有差距。
推荐关注:
1)HBM:联瑞新材、壹石通、华海诚科
2)连接线束:金信诺、华丰科技、兆龙互连
3)算力调度:恒为科技、思特奇、中科金财