老男人
首页 时尚 玩车 保健 情感
更多
腕表 饮食 视频 美女 百科
0
老男人 > 科技 > 正文

深信服与趋动科技推出联合方案,高性能存储助力AI大模型研发

2023-08-28 09:56:30 发布人:hao333 阅读( 2008)

近日,北京趋动科技有限公司(以下简称“趋动科技”)与深信服正式推出联合解决方案。

近日,北京趋动科技有限公司(以下简称“趋动科技”)与深信服正式推出联合解决方案。联合解决方案将深信服EDS的高性能存储与趋动科技OrionX AI算力资源池化软件、以及Gemini AI训练平台有机结合,整合存力与算力资源的同时,帮助用户建好AI平台、管好AI资源、用好AI服务。

深信服与趋动科技推出联合方案,高性能存储助力AI大模型研发

具体来说,联合解决方案的推出将为AI领域用户的基础设施建设带来以下改变。

1、高性能联合方案就绪,打造更高效的训练平台

随着AI大模型建设进度的加快,用户对AI模型训练效率的要求也越来越高。但由于GPU算力资源不足和底层存储小文件读写性能不足等问题,训练平台内大量的训练任务不得不排队等待。算力和存力上的能力缺失,拖慢了整个AI训练平台的训练效率。

针对此种情况,联合解决方案自上而下做了全面优化。针对上层训练平台的效率问题,趋动科技OrionX AI算力资源池化软件通过打造算力资源池,帮助用户根据任务情况灵活分配GPU资源,实现资源的切分、聚合、远程调用、超分、任务排队、动态挂载和释放、以及国产芯片异构池化等能力,充分满足各项训练任务的算力开销,加速任务开展。同时,Gemini AI训练平台提供的调度能力优化了训练平台的管理机制,统一调度下,AI模型的训练更加高效。

针对底层存储的性能问题,通过EDS自研的启发式预读机制和多活元数据服务,可有效解决小文件性能难题,百亿数据集规模下也可提供高速的读写能力,从而减少GPU的等待时间,提高短期循环训练的吞吐能力和训练效率。

深信服与趋动科技推出联合方案,高性能存储助力AI大模型研发

2、容量与性能同步扩展,打造高性价比的存储方案

在日常的AI数据集训练过程中,为了让模型更加精准,常常需要用海量的图像、文本等数据对AI模型进行训练。飞速增长的数据给底层存储的容量和性能带来了巨大的压力,传统存储高成本、低效率的扩容模式愈发难以满足性能和容量的需求。

凭借矩阵式存储算法等全自研技术,EDS在存储图文、视频等小文件的过程中,可有效解决小文件写放大导致的空间浪费问题,最大化利用存储空间,三节点组成的集群即可满足一个中等规模的AI训练团队的存储需求。在性能的扩容方面,也得益于软件定义存储的架构优势,EDS在进行扩容时可实现容量与性能地同步扩展,灵活应对AI业务快速增长的性能需求。

3、统一管理,深度挖掘数据价值

在方案发布前,EDS已经通过NFS CSI、S3等协议与趋动科技的Gemini AI训练平台实现了无缝对接。深度适配下,Kubernetes容器编排平台可更快完成存储资源的动态分配,用户在部署时可直接跳过针对方案的可行性研究环节,快速上线AI训练任务。同时,EDS还支持多协议间的数据互通,多类型客户端可共用一套存储,各阶段成果数据无须跨存储拷贝即可实现高效流转,确保用户在任何训练阶段都可有效调用数据成果,更便捷地挖掘数据价值。

未来,双方还将在技术领域加强合作,以更高存储性能的联合方案助力用户加速完成AI训练平台的升级建设,帮助更多用户在AI训练的道路上走得更快更稳。

关于趋动科技:趋动科技致力于为用户提供全球领先的数据中心级AI算力虚拟化和资源池化解决方案,目前已有多家人工智能、互联网、运营商、金融、汽车及自动驾驶、教育等行业的头部企业和用户使用OrionX AI算力资源池化解决方案。

          
  • 上一篇:赛可智能落地临港一周年成果发布,智慧出行引领新趋势

相关阅读

RelatedReading
  • 亮度再突破!当贝X5搭配MT9679正式发布! 亮度再突破!当贝X5搭配MT9679正式发布!
  • “绿源式”自主创新获权威认可,液冷集成电机加冕科学技术进步一等奖 “绿源式”自主创新获权威认可,液冷集成电机加冕科学技术进步一等奖
  • 极氪智能科技获得车机屏幕创新专利授权 极氪智能科技获得车机屏幕创新专利授权
  • 亮相成都国际安博会,四相科技助力安防智能化建设 亮相成都国际安博会,四相科技助力安防智能化建设
  • 字节跳动CWPP开源方案Elkeid亮相BlackHat Asia 2023 字节跳动CWPP开源方案Elkeid亮相BlackHat Asia 2023
  • 全球智能手机市场出货量下滑13% 三星遭遇同比18%降幅 全球智能手机市场出货量下滑13% 三星遭遇同比18%降幅

猜你喜欢

Guessyoulike
明日方舟四周年开启“自定义up卡池”,中坚甄选限时上线

明日方舟四周年开启“自定义up卡池”,中坚甄选限时上线

hao333 2947次阅读2023-04-28 13:37
德明利拟定增募不超12.5亿 去年上市募5亿扣非降88%

德明利拟定增募不超12.5亿 去年上市募5亿扣非降88%

hao333 8353次阅读2023-07-04 10:31
元宇宙板块涨2.65% 昆仑万维涨20.01%居首

元宇宙板块涨2.65% 昆仑万维涨20.01%居首

hao333 8600次阅读2023-03-30 09:57
《魔域》王者宝库重磅更新,全新外观珍稀道具惊喜上线

《魔域》王者宝库重磅更新,全新外观珍稀道具惊喜上线

hao333 4938次阅读2023-04-21 12:08
专题页

HOT榜单

  • 茂莱光学龙虎榜:机构净卖出1.57亿元

  • 交通银行2022Q4每千万个人客户投诉量居国有大行首位

  • 深信服入选为4个Gartner®技术成熟度曲线报告中的超融合代表厂商

  • 喜钻“簕杜鹃胸针”成为深圳市领导出访礼

  • 这个5年没有“大作”的品类赛道,迎来了一位打破平静的选手

  • 童兰离任兴全趋势投资混合 去年跌25.8%

  • 比亚迪Atto 3成东南亚最畅销电动汽车 中国车企崭露头角!

  • 2023年1-2万元的新表怎么选?看看这三款

  • 再添国家级荣誉!淘云科技获评国家级专精特新“小巨人”企业

  • colmo是什么品牌(colmo是什么类型的品牌)

换一组看看

频道最IN
>新一代学习神器!三星Galaxy Tab S8系列助力轻松备考

新一代学习神器!三星Galaxy Tab S8系列助力轻松备考

>《最终幻想14》“重聚”CP29 盛趣游戏年轻化的长效运营

《最终幻想14》“重聚”CP29 盛趣游戏年轻化的长效运营

>京东3C数码超千万低价爆款 618期间享满200减20

京东3C数码超千万低价爆款 618期间享满200减20

关于我们 法律声明 联系我们 广告服务 隐私条款
@老男人网 版权所有/信息产业部备案号:蜀ICP备13015099号-1