来源:网络(真伪自辨)
全文共计 9901 字

核心要点:
1.大模型对算力的需求主要体现在训练端:在考虑互联损失的情况下,Chatgpt需要一万张A100作为算力基础,算力的硬件投资规模达到10亿人民币
2.国内大模型与国外的主要差距是算力层面,没有算力基础,后面算法等发展都无法进行
3.大模型应用场景会率先爆发于:工具链层面,如ChatGPT和Office产品结合,提高交互和工作效率;语音交互层面,如智能音箱、智能座舱和智能家居等
4.国内AI芯片厂商格局:一梯队,有成熟产品、批量出货的企业,包括寒武纪、华为海思、百度昆仑芯、燧原科技等;二梯队,以AI芯片起家的壁仞科技、天数智心、摩尔线程、沐曦等;三梯队,如海光、景嘉微等
5.国内AI芯片与A100的差距:已经批量生产的产品,大多都是A100的上一代;各公司正在研发的相关产品,如昆仑芯三代、思远590、燧思3.0等,都是对标A100,但由于“实体清单”的限制以及研发水平的原因,都还没有推到市场
6.寒武纪思元590与英伟达的差距:寒武纪主要还是ASIC架构,劣势是通用性会比较差,优势是某些特定应用场景下,算力可以做到比GPU更高;百度内部的测试结果,590性能接近A100 90%的性能;590基本支持主流的模型,综合性能接近A100 80%的水平
7.英伟达A800和H800的出货量预期:训练芯片,国内将有近200亿RMB的采购规模;推理芯片,预计采购金额达100亿RMB;国内对英伟达总的采购需求约为300亿RMB

Q:大模型在算力端带来了哪些新的需求?
算力需求主要分为两部分,包括训练算力和推理算力。目前来说对训练算力需求非常高,ChatGPT的公开数据显示它的整个训练算力消耗非常大,达到了3640PF-days(即假如每秒计算一千万亿次,需要计算3640天),换算成英伟达A100芯片,它单卡算力相当于0.6P的算力,理想情况下总共需要大概6000张,在考虑互联损失的情况下,需要一万张A100作为算力基础。在A100芯片10万人民币/张的情况下,算力的硬件投资规模达到10亿人民币。

隐藏内容

此处内容需要权限查看

  • 普通18调研币
  • 会员免费
会员免费查看

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注