英伟达 Dynamo 发布: 号称“AI 工厂的操作系统”
Dynamo是一个“分布式推理服务库”。本质上,它是一个针对用户需求token而无法生产足够token之间问题的开源解决方案。 黄仁勋展示了一张关于推理的图表,X轴显示用户每秒的Token数,Y轴显示工厂每秒的Token数。 在Dynamo、GraceBlackwellNVLink72超级芯片的加持下,Blackwell相比Hopper可实现25倍的性能提升。 而在推理模型中,Blackwell的性能是Hopper的40倍。 IT之家注意到,黄仁勋还打趣道,有了上述最新技术加持,搭建AI工厂的... [2025-04-12]