点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:智能时代存储挑战与机遇——浪潮信息的创新探索与实践
首页> 科技频道> 综合新闻 > 正文

智能时代存储挑战与机遇——浪潮信息的创新探索与实践

来源:光明网2024-11-20 11:30

  随着智能时代的全面到来,数据量呈现出爆炸性增长,这对存储系统提出了前所未有的高标准要求。从早期的“百模大战”演进至“千模大战”,现已迈入了一个以数据为核心的新时代,其中数据成为算法与算力不可或缺的基础支撑。

  在近期举行的2024中国数据与存储峰会上,浪潮信息分布式存储产品部总经理姜乐果发表了题为《智能时代的数据存储平台》的主题演讲。在演讲中,姜乐果深刻剖析了智能时代背景下数据存储所面临的挑战及浪潮信息为应对这些挑战所做出的不懈努力与创新实践。

智能时代存储挑战与机遇——浪潮信息的创新探索与实践

  智能时代下的数据存储需求

  无论是金融领域的风险精准识别、智慧交通中的自动驾驶技术、制造业中的精密质量检测,还是科研领域的高效计算探索,都深深依赖于海量数据的强大支持。然而,数据的迅猛增长也给存储系统带来了诸多前所未有的严峻挑战,这些挑战涵盖了更高的性能需求、更灵活的扩展能力,以及更智能化的管理机制等多个方面。

  在人工智能时代,数据作为最为关键的载体,其计算过程中的存储环节面临着性能、效率和韧性这三大核心挑战。

  姜乐果在演讲中着重指出,数据存储的性能已经成为制约众多应用场景进一步发展的关键因素之一。相较于以往,大模型的训练对存储性能的需求已经跃升了多个数量级。在传统时代,存储性能往往停留在百GB级的水平,而到了大模型训练的时代,这一需求已经激增到TB级。这意味着,如果没有足够快速的存储设备作为支撑,数据的读写时间将会大幅度延长,进而导致GPU等昂贵且宝贵的计算资源处于闲置状态,造成资源的极大浪费。

  除了性能之外,数据存储的效率也是至关重要的。在当今这个数据多源异构的时代,数据来源于网络、云端以及政府机构等多个渠道,如何迅速有效地对这些数据进行清洗、整合,并最终形成有价值的数据资源,成为了一个亟待解决的难题。

  此外,从国家政策的角度来看,数据要素已经被正式纳入资产负债表,成为了企业资产中不可或缺的一部分。这一举措不仅彰显了数据的巨大价值,同时也对存储系统的安全性与可靠性提出了更为严格的要求,以确保数据的完整性和保密性。

  浪潮信息的创新探索与实践

  面对智能时代的种种挑战,浪潮信息已经形成了清晰的存储平台构建策略。

  在产品布局上,浪潮信息针对大模型训练推出了软件定义存储,它融合了块、文件、对象和大数据等多种存储类型,注重提供极致的性能和容量,并能够同时管理上层业务应用和第三方存储资源。而对于推理场景,浪潮信息则推出了阵列存储,利用传统盘阵的微秒级延时优势,能够迅速响应如人工智能驾驶等高要求场景的需求。此外,浪潮信息还自主研发了SSD,通过打通IO路径,进一步提升了存储效率。

  为了提升性能,浪潮信息采用了端到端的优化策略。结合SSD和技术架构的演进,通过智能运行、缓存和自解锁等技术,对软件架构进行了重构。这使得小文件性能提升了5倍以上,大文件性能提升了10倍。在训练过程中,CheckPoint操作实现了秒级读写,TB级带宽的案例有效减少了GPU时延的浪费,从而提升了训练效率。

  在智能空间管理方面,浪潮信息去除了本地文件系统,直接管理裸盘,并预分配空间和权限到计算节点。这种方式减少了原数据的访问,使得空间利用率达到了95%以上,同时性能没有衰减,进一步缩短了大模型训练的时间。

  融合存储优化管理:浪潮信息软件定义存储从2016年自研至今不断发展,通过和客户业务深度结合的方式,推动产品从文件、对象融合逐步向四合一、五合一迈进。到目前,存储对内可以实现多协议互访互通、语义无损,同时只需要保存一份数据供多种协议访问;存储对外可通过全局文件系统支持数据跨介质、跨终端、跨域流动,实现一套存储管理所有平台,优化存储效率。

  安全可靠保障业务:数据资产入表对安全性和可靠性要求高,浪潮信息在风险防控上检测率高、误报漏报率低,达到万分之2.9。利用AIOps功能预测性能、容量趋势和故障盘,提前预警处理,减少盘体故障导致的存储宕机。

  在全球存储市场中,浪潮信息存储装机容量位居前三,企业存储业务在中国位居第二,全闪存储销售额同样在中国市场占据领先地位。随着大数据、云计算、人工智能等技术的快速发展,数据存储需求日益多样化且复杂化。基于此,浪潮信息凭借深厚的技术研发底蕴,积极推动场景共同体建设,与合作伙伴共同探索解决方案、定制产品,并协同拓展市场,共同推动存储领域的进步。展望未来,浪潮信息将不断致力于提供更加优质、高效、安全的存储解决方案,以应对市场对高效、可靠存储的迫切需求,为各行各业的数字化转型和智能化升级提供坚实支撑。(柯岩)

[ 责编:战钊 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平向2024年世界互联网大会乌镇峰会视频致贺

  • 焊花璀璨,铸就制造强国之路

独家策划

推荐阅读
全海深光电缆绞车系统“海威GD11000”,日前随广州海洋地质调查局“海洋地质二号”船在我国南海完成了首个航次的深海调查任务。
2024-11-20 09:21
近日,中国科学院兰州化学物理研究所研究员何林团队与武汉大学教授雷爱文团队合作,在催化羰基化领域取得重要进展——成功利用一氧化碳或二氧化碳替代剧毒光气,高效合成含氮羰基化合物非对称脲。。
2024-11-20 09:24
这种菌能够迅速分解番茄、辣椒、娃娃菜等多种蔬菜尾菜,并具有促进作物生长、拮抗土传病原菌等功能特性。在此基础上,课题组进一步研发了“蔬菜尾菜+快速腐解菌+有机肥+功能菌”四位一体的原位还田技术。
2024-11-20 09:20
11月18日,在沪渝蓉高铁全线控制性咽喉工程崇太长江隧道内,我国盾构隧道智能建造V2.0技术体系正式在“领航号”盾构机成功应用
2024-11-20 09:19
19日,四川、重庆、贵州三省市同步首发动力型锂电池试运专列,这是我国铁路首次大规模试运输动力锂电池,将助力国产动力锂电池产品的全球流通。
2024-11-20 09:13
近年来,北京市延庆区大力发展低空经济,2023年相关产业产值达23.3亿元。天气渐冷,北京八达岭长城脚下,中关村延庆园内的低空经济产业园依旧热火朝天,一派繁忙景象。
2024-11-19 09:50
据最新一期《自然·化学》杂志报道,美国加州大学圣迭戈分校团队在最新研究中给出了一个涉及两种简单分子间反应的精妙解释。
2024-11-19 09:47
利用样地观测数据、空间分析和树线模型模拟,中国科学院青藏高原研究所研究员梁尔源等人系统分析了尼泊尔珠峰国家公园和安纳普纳保护区混交林树线,揭示了糙皮桦和喜马拉雅冷杉的种群更新动态和树线位置变化。
2024-11-19 09:46
机器人服务员、咖啡师、宠物……各种机器人让人目不暇接。自动载人飞行器,无人机、无人车、无人船……智能驾驶技术遍布“海陆空”。11月14日至16日,第二十六届中国国际高新技术成果交易会在广东深圳举行。
2024-11-19 04:55
近日,记者从湖北省神农架林区林业管理局野保科开展的陆生野生脊椎类动物普查中获悉,神农架现有陆生野生脊椎类动物710种,比原来的493种增加217种。
2024-11-19 05:00
北京时间11月15日23时13分,天舟八号货运飞船在文昌航天发射场由长征七号遥九运载火箭成功发射。自中国空间站建造以来,空间应用系统已在轨开展了百余项科学实验和应用试验,阶段性研究成果持续产出。
2024-11-18 10:27
中国科学院生物物理研究所王晓群研究员课题组、广东省智能科学与技术研究院张旭院士课题组和北京师范大学吴倩教授课题组合作,深入解析了人类背根神经节(DRG)发育过程中调控多种感觉神经元分化的多层级信号通路,并成功构建了人类DRG类器官(hDRGOs)模型。通过比较人类和小鼠的感觉神经元发育,研究人员发现两者在发育进程、基因表达谱和细胞亚型上存在差异。
2024-11-18 10:24
党的二十届三中全会提出,发展通用航空和低空经济。航空航天民航高校应发挥特色优势,形成“航空+”的多元化低空经济专业型人才培养模式,促进低空经济科技链、人才链、产业链的有机衔接。
2024-11-18 10:21
中北大学极端环境特种传感与测试创新研究团队成员正在围绕近期发射任务进行产品研发。日前,第28届“中国青年五四奖章”评选揭晓,中北大学极端环境特种传感与测试创新研究团队获“中国青年五四奖章集体”荣誉称号。
2024-11-18 10:16
据中国载人航天工程办公室消息,天舟七号货运飞船已于11月17日21时25分受控再入大气层。 天舟七号货运飞船于2024年1月17日在文昌航天发射场发射入轨,装载了航天员在轨驻留消耗品、推进剂、应用实(试)验装置等物资。
2024-11-18 10:14
一声战机轰鸣划破长空,一柄银色利剑直冲天际。此次歼-35A敢于摘掉面纱公之于众,不是因为它不再神秘,而是因为它拥有基于实力、能力、国力上的强军自信与大国自信。
2024-11-15 09:20
我国科学家目前已完成八条全球主要海沟深渊的载人深潜科考,创造多项世界载人深潜作业和科考新纪录,在深渊深海地质、生命与环境科学领域取得了一系列原创性重大发现和科考成果。
2024-11-15 09:16
我们必须坚持科技创新的战略先导地位,开辟新领域新赛道,在全球科技竞争中抢占先机,在新兴产业、未来产业发展中赢得主动权。
2024-11-15 09:12
该项技术由华中科技大学国家脉冲强磁场科学中心与东方电气集团东方电机有限公司、东莞磁脉电气科技有限公司合作完成。
2024-11-15 09:12
120公斤推力级涡喷发动机KP12可配装多用途无人机开展灾情监测、空中消防、物资投送、通讯中继等。
2024-11-15 09:11
加载更多