浪潮信息自研的源大模型
目前,浪潮信息生成式AI存储解决方案已经在全球领先的中文语言大模型"源1.0"中成功落地。“源”中文语言大模型有近2500亿个模型参数,算力消耗达*****PetaFlop/s-day,底层采用AS13000并行存储支撑,原始数据、经过粗筛和精筛的处理后得到高质量中文数据都集中在AS13000上。

模型训练过程中对存储的挑战主要有对小文件并发的性能,和训练过程中要求快速保存Checkpoint存档文件的高速宽写入要求。AS13000采用最新硬件平台,搭载全闪SSD和高速IB网络,支撑源的训练过程高效完成。
据测算, GPT-3使用10000块GPU、花了30天训练完成1750亿参数,“源1.0”在2128个GPU集群上跑了16天完成了训练,源1.0的算力效率达到44.8%,远超MT-NLG与GPT-3等国际知名模型,其中存储的极致性能功不可没。
在AIGC时代下,浪潮信息作为AIGC大模型创新的领航者,始终秉承“新存储之道”的理念,它所打造的平台型存储产品高效而可靠,是企业应对智能时代、AIGC时代存储挑战的理想选择。
目前,浪潮信息生成式AI存储解决方案已经在全球领先的中文语言大模型"源1.0"中成功落地。“源”中文语言大模型有近2500亿个模型参数,算力消耗达*****PetaFlop/s-day,底层采用AS13000并行存储支撑,原始数据、经过粗筛和精筛的处理后得到高质量中文数据都集中在AS13000上。

模型训练过程中对存储的挑战主要有对小文件并发的性能,和训练过程中要求快速保存Checkpoint存档文件的高速宽写入要求。AS13000采用最新硬件平台,搭载全闪SSD和高速IB网络,支撑源的训练过程高效完成。
据测算, GPT-3使用10000块GPU、花了30天训练完成1750亿参数,“源1.0”在2128个GPU集群上跑了16天完成了训练,源1.0的算力效率达到44.8%,远超MT-NLG与GPT-3等国际知名模型,其中存储的极致性能功不可没。
在AIGC时代下,浪潮信息作为AIGC大模型创新的领航者,始终秉承“新存储之道”的理念,它所打造的平台型存储产品高效而可靠,是企业应对智能时代、AIGC时代存储挑战的理想选择。