今天算力暴跌是市场对微软动态的误解
(资料图片)
今天算力硬科技芯片模型大跌是因为微软开源平台的发布,人人都可用的时候降低了算力行业空间;这是误解。市场很快纠正
微软发布的deepspeed大大降低了算力需求。是今天算力调整的原因。逻辑上误解,应用层面不同。DeepSpeed Chat具有以下三大核心功能:1. 简化ChatGPT类型模型的训练和强化推理体验开发者只需一个脚本,就能实现多个训练步骤,并且在完成后还可以利用推理API进行对话式交互测试。2. DeepSpeed-RLHF模块DeepSpeed-RLHF复刻了InstructGPT论文中的训练模式,并提供了数据抽象和混合功能,支持开发者使用多个不同来源的数据源进行训练。3. DeepSpeed-RLHF系统团队将DeepSpeed的训练(training engine)和推理能力(inference engine) 整合成了一个统一的混合引擎(DeepSpeed Hybrid Engine or DeepSpeed-HE)中,用于RLHF训练。由于,DeepSpeed-HE能够无缝地在推理和训练模式之间切换,因此可以利用来自DeepSpeed-Inference的各种优化。DeepSpeed-RLHF系统在大规模训练中具有无与伦比的效率,使复杂的RLHF训练变得快速、经济并且易于大规模推广:高效且经济:DeepSpeed-HE比现有系统快15倍以上,使RLHF训练快速且经济实惠。例如,DeepSpeed-HE在Azure云上只需9小时即可训练一个OPT-13B模型,只需18小时即可训练一个OPT-30B模型。这两种训练分别花费不到300美元和600美元
训练端算力需求极其有限,而应用爆发才是指数型增长。DEEP SPEED-chat加速各类应用落地,中期算力需求有望迎来大爆发。这和市场目前的误解有差异。尽管DEEP SPEED-HE的开源可能在一定程度上降低算力需求,但需要注意的是,同态加密技术本身计算量较大,所以在实际应用中可能仍然需要较高的算力;同时,随着各类应用逐渐落地,有可能导致中期算力需求爆发。这主要因为以下几个原因:应用的多样性:随着人工智能技术在各行各业的广泛应用,从自然语言处理到计算机视觉,再到强化学习等领域,算力需求会随之增加。大规模模型:近年来,大型预训练模型(如GPT系列和BERT系列)在各类任务中取得了显著的成果。这些模型需要大量的计算资源和存储容量,从而推动算力需求的增长。模型优化:为了提高模型的性能和效率,研究人员会不断地对模型结构和算法进行优化,这同样会对算力需求产生影响。竞争和创新:随着人工智能领域竞争加剧,企业和研究机构需要不断创新和优化模型以保持竞争力,这将进一步推动中期算力需求的增长。
【国盛计算机AI旗手】微软开源 DeepSpeed-Chat,加速应用百花齐放[玫瑰]DeepSpeed-Chat可以简易地进行类ChatGPT模型的训练和推理:用一个脚本,能够采用预先训练的Huggingface模型,使用 DeepSpeed-RLHF系统运行完成 InstructGPT 训练的所有三个步骤(1.监督微调2.奖励模型微调和3.人类反馈强化学习(RLHF))并生成自己的类 ChatGPT 的模型。DeepSpeed-HE是DeepSpeed-RLHF系统的引擎,具备三大优势:1)效率比现有其他系统快15倍以上。在Azure Cloud上以低于13美元和9美元的价格在30小时内训练OPT-18B,在300小时内训练OPT-600B。2)具备出色的可扩展性:支持数千亿参数的模型,可以在一天内训练一个庞大的 175B 模型。3)让训练硬件成本亲民:只需一个 GPU,就支持超过 13 亿个参数的训练模型。DeepSpeed-Chat的开源赋能整个AI行业提升效率和降低成本,加快应用落地。有望帮助大模型厂商加快训练,并能让中小厂商在做细分领域应用时,基于自己的场景和数据低成本快速实现自己的小型类ChatGPT模型,或在微调大模型时降低成本。影响:1)加速应用百花齐放,降低训练门槛。如办公、多模态GPT、智能助理、金融、医疗等场景训练中FINETUNE难度与便捷性比以前好很多。2)中期加大算力需求:我们一直强调,训练端算力需求极其有限,而应用爆发才是指数型增长。DEEP SPEED-chat加速各类应用落地,中期算力需求有望迎来大爆发。这和市场目前的误解有差异。