英伟达GH200算力专家解读会议纪要

问答环节:

Q:英伟达GH200对光模块和PCB厂商有什么影响?

1)光模块:光模块更多在系统之间的高速互联,除了100G和200G国内兼容性好,英伟达CX7这种400G高端场景,国产支持不太好。另外这些系统实际对光模块需求量不是很大,除非是大规模集群设计。

综合认为在大规模AI场景中,国内光模块厂商不会扮演重要角色;他们更多在信创、传统数据中心(25G、100G)这些中低端市场有一些份额。

2)PCB:对PCB要求越来越高,封装对基板要求也更高;高端PCB需求可能会高速增长。

         

Q:PCB的ASP会提升,但PCB用量是下降的?

整体PCB量没有明显下降,而且ASP上升,对PCB厂商是好事。

         

Q:GH200、MI300封装技术的优点是什么?渗透速度会如何?

对于需要完整一体化方案的场景有优势,高度集成、性能提升30%-40%(保证CPU和GPU之间内存一致性),对于英伟达推广自己云服务也是好的解决方案。

但对于很多互联网厂家不是很愿意,他们希望更开放的设计,否则只能绑定在上述产品架构上,而且价格溢价能力变弱;大的市场可能不会有很大市场份额,小于10%。

英伟达推出GH200主要用于弥补CPU体系不足,构建完整的生态,不要过分依赖于CPU x86环境;AMD则是主要用于跟英伟达竞争。

         

Q:寒武纪跟百度合作的情况怎么样,百度有没有使用思元590?

百度文心一言没有使用思元590,只是早期做了适配,小规模部署500多片,实际上线并没有使用;目前主要用A100和昆仑芯2代。

之前是建立开发团队配合开发,但实际部署结果来看,590性能指标不如A100,而且架构不太兼容、难度大,所以百度没有用.

寒武纪目前的产品不太适合大模型迭代,软件生态问题比较大;比如百度模型在不断迭代中,而每次迭代都需要思元590进行适配和优化,工作量太大,不适合百度开发;另外架构和指令集都比较特殊,不可控因素太多

未来发展上需要进行主流几个框架的支持,但目前支持都不太好,大模型场景使用有难度。

         

Q:快手传言使用了寒武纪思元590?

快手没有使用大模型,只是使用了一些传统AI技术、小模型,不涉及大规模系统并行,思元590可以支持。

         

Q:国内芯片厂商里沐曦相对好一些?

沐曦综合情况好一些(软件跟CUDA兼容,团队是AMD原来开发MI200的核心团队),但产品还没出来,只能做初步评价。

         

Q:A100和H100在国内受限,国内下游厂商是不是对国产芯片持开放态度?

态度开放,都需要找一些替代产品进行平衡,但性价比是关键因素。

         

Q:模型迭代是否使得推理算力需求降低?

未来头部大厂会出现预训练大模型,而更多模型会是垂直领域小模型,对算力需求碎片化;大规模算力只有头部厂商有需求,其他厂家只需要小模型、小算力。

不过整体需求还是快速增长,特别是推理需求,训练需求可能慢慢放缓。

         

Q:国内厂商算力储备大概什么量级?向英伟达采购量增长多快?

目前大厂各自手中估计有2k-3k片A100存货量,此前购买的大部分被常规业务占有,比较难拿出富裕算力(除非要把现有业务停掉,能凑出万片左右进行训练)。

国内互联网厂家3月份向英伟达进行38亿美元采购,年底才能陆续交货,持续交货到2024年;所以后面短期可能增速变慢。

         

Q:AMD MI300的性能怎么样?进展如何?价格水平?未来空间?

1)性能:MI300等比性能接近MI250两倍,整体性能应该是H100的1.5-2倍;核心架构类似英伟达GH200;软件支持对CUDA兼容。

2)进展:国内对应叫MI388,8月份可能提供测试样品;认为是非常强的产品。

3)价格:MI388 国内大概2.2-2.4万美金,非常接近H800。

4)用途场景:跟GH200完全一致,可以用于HPC、AI计算(性能很高,因为集成了CPU,不再需要单独CPU,板子上只需要MI300)。

5)竞争空间:对英伟达GH200、H100形成竞争压力,性价比具备优势;但在AI领域,MI300还有一定距离,主要是软件兼容性有一定差距(虽然支持CUDA兼容,但维护团队不够,并且跟目前典型大模型还没有适配案例,客户不了解)。

         

Q:MI300下游客户有谁?

国际主要是HPC场景,比如政府超算;国内字节、腾讯在做测试,但因为软件还不是很成熟,所以只能做算力评估,还不能做综合性能、大模型使用场景的评估。

         

Q:哪些厂家扶持AMD竞争NVDA?

国内外厂家都积极在跟AMD接触,比如微软、AMD、字节、腾讯,他们都对英伟达的溢价和垄断体系有一定的诟病。

         

PPT环节:

大模型生产流程更简单,但对基础设施要求更高

国内外算力市场发展区别:

1)国内厂商主流集群规模小(比如A100),很难有专门用于大模型训练的集群;国外有大量主流集群

2)国内开发框架不开源,模型市场分化;国外集中单一,开源,生态好

3)具体模型上,国内大部分是基于国外开源进行微调,多数没有掌握核心;国外开始向垂直领域渗透

4)应用方面,国内以内场应用为主,节奏较慢

国内大模型偏好:看好智谱、复旦,在部分研究场景有优势。

         

硬件出货量:23年市场增速快,英伟达季度增速更快(原因考虑是单季客户爆发性增长,全年可能不如Q2);24年之后算力普及,增速进入平稳。

训练和推理比例:国内训练和推理比例一般是1:4,而国外1:7

目前认为只有GPGPU/ASIC能满足大模型算力场景;存算一体也能用,其他像CPU、DPU、FPGA已经不太能使用大模型场景。

         

华为:昇腾910由于不太支持FP32,必须依赖华为自身软件生态、需要华为深度优化及代码移植,开源大模型很难在910上使用;920能够达到A100性能1.7倍水平,不过供货量可能不足,价格可能也居高。

阿里:产品低调,担心美国调查。

昆仑芯:年底计划做3代,目标是训练,但实际看可能更适合推理。

沐曦:N100出货几百片、几十万元,下一代产品C100,目标训练场景,性能对标H100,并且兼容CUDA,比较期待。

寒武纪:思元590整体算力综合性能大约是A100的70%,指令兼容性差,影响部署;思元590B下一代产品,性能指标大约是A100的1.5倍,但同样面临软件生态影响,以及供应链问题。

景嘉微、芯动、摩尔线程、兆芯:都是GPU,整体性能都比较低,除了摩尔线程能满足AI小模型训练和部分推理场景,但软件不太行,只有小量测试使用;其他3家都不太能用于AI。

海光:类似AMD第一代产品MI50,性能类似英伟达P100,软件生态不错,可以用于大模型;但海光整体策略放在HPC领域中,在AI领域没有多少投入,使用案例少。

来源:xueqiu日期:2023-05-30