异动
登录注册
关于英伟达中国版本GPU的解读
修仙小锦鲤
航行五百年的公社达人
2023-11-09 18:30:04

英伟达中国版本GPU,据说16号就要发布。而且据说量很大,台积正好把之前H800产能空了出来,一个季度可以供出来50万颗(之前H800算上意向订单合计也就这个量级吧)
从传言中的性能看,的确是保住了互联带宽,而且900GB什么概念,当时A800是从600GB阉割到400GB,这次一步跳回到900GB,训练速度应该是平方关系,如果FLOPS不变,按道理训练速度提升4倍。但FLOPS从A100的FP16 312TFLOPS,以及H100的756TFLOPS,直接阉割到148TFLOPS,也就是H100的20%,A100的不到50%。大概算了下,假如芯片面积不变,这个算力/die size(平方毫米),刚刚满足新规“算力密度”指标。只能说,太狠了。之前还YY过,是不是可以保住算力虚增面积,来降低算力密度,就算成本功耗高了,但国内拿到的算力没变。今天这个方案出来,个人猜测1)英伟达和BIS做了沟通,为了达到限制的效果,还是阉割分子;2)虚增面积是增加成本,如果性能不变甚至下降但价格还上涨,英伟达与中国对手的差距可真就有缩小的可能了。由于本次新规出人意料的没有提及对互联带宽的限制,看来英伟达也和BIS确认了这一点,于是在IO上送大礼包了,直接从400G调到900G,一定程度上补齐了算力阉割造成的训练损失。一个20%,一个X4,整体训练性能略有下降,但勉勉强强保住了相对国产化对手们的领先优势。

声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
工分
3.95
转发
收藏
投诉
复制链接
分享到微信
有用 13
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
评论(4)
只看楼主
热度排序
最新发布
最新互动
  • 无名小韭
    春风吹又生的半棵韭菜
    只看TA
    2023-11-09 20:23
    谢谢分享
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-11-09 20:15
    谢谢分享
    0
    0
    打赏
    回复
    投诉
  • 1
前往