老男人
首页 时尚 玩车 保健 情感
更多
腕表 饮食 视频 美女 百科
0
老男人 > 科技 > 正文

基于迁移学习的基础设施成本优化框架,火山引擎数智平台与北京大学联合论文被KDD收录

2023-08-15 20:53:02 发布人:hao333 阅读( 8724)

近期,第29届国际知识发现与数据挖掘大会(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,以下简称KDD)在美国加州长滩举办。

近期,第29届国际知识发现与数据挖掘大会(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,以下简称KDD)在美国加州长滩举办。由火山引擎数智平台,北京大学计算机学院和蒙特利尔学习算法研究所等单位合作的论文 《Rover: An online Spark SQL tuning service via generalized transfer learning 》(以下简称Rover)成功被大会收录。Rover由北京大学的沈彧和火山引擎数智平台的任鑫宇杨担任共同第一作者,北京大学的崔斌教授担任通讯作者。

基于迁移学习的基础设施成本优化框架,火山引擎数智平台与北京大学联合论文被KDD收录

图:论文题目和作者信息

KDD会议始于1989年,是数据挖掘领域历史最悠久、影响最大的顶级学术年会。KDD广泛的交叉学科性和应用性吸引了来自统计、机器学习、数据库、万维网、生物信息学、多媒体、自然语言处理、人机交互、社会网络计算、高性能计算及大数据挖掘等众多领域的研究者,为来自学术界、企业界和政府部门的相关人员提供了一个学术交流和成果展示的理想场所。

Apache Spark作为主流的分布式计算框架,在工业界得到了广泛的应用,字节跳动内部庞大的例行计算任务每天消费数百万core CPU及数十PB RAM规模的计算资源。每个Spark任务通过200余个相互关联的配置参数启动,但是,由于平台默认配置缺乏弹性,任务环境多样,终端用户经验不足等问题,相当数量的计算资源常因不合理的配置而被浪费。传统上,有经验的大数据工程师可以依据每个任务的运行情况,对其配置进行人工分析和调整。然而,这种人工调优方式在面临在高维参数组合时往往有天花板,并伴有运维迭代成本高昂等问题,使得其难以被规模化。

为了解决此问题,火山引擎的工程师和北京大学的研究者一起设计了一种结合机器学习方法与人类专家知识的基础设施成本优化框架(如图1所示),该框架以贝叶斯优化算法为基础,使用高斯过程作为代理模型学习配置参数集与任务成本/运行时长的关系,并通过可信赖的迁移学习机制,从人类专家知识编码中获得安全性和可解释性(如图1中Expert-assisted Optimization部分所示),并从相似的历史任务中获得额外的收敛加速特性(如图1中Controlled History Transfer部分所示)。

基于迁移学习的基础设施成本优化框架,火山引擎数智平台与北京大学联合论文被KDD收录

图:Rover优化器的整体架构

该方案能自动化识别和调整例行计算任务的配置参数集,在不破坏任务服务等级的前提下压缩资源浪费,有效节省运行成本。经验证,Rover在公开任务集及字节跳动内部的实际部署中,对比当前市面领先的解决方案,在极限收益,收敛速度和安全性方面均有进一步提升。

基于迁移学习的基础设施成本优化框架,火山引擎数智平台与北京大学联合论文被KDD收录

图:Rover对比4家市面上领先解决方案在内存降低率上的Benchmark

Rover是基于火山引擎DataTester在字节跳动内部应用的自动调参系统优化器内核、增加迁移学习机制演化而来,并通过自动调参平台的配套服务来实施和运行的,目前该项研究已经在字节跳动上万个Spark数据开发任务上得到应用,已帮助公司节约700万元/年的资源成本。未来,这项技术将在字节跳动内部的大数据计算基础设施上大规模部署,预计每年将会节约近十亿元,还将通过火山引擎数智平台为外部企业提供通用优化器服务,可应用于基础设施成本优化,线上算法超参数优化等多种场景。

据了解,火山引擎数智平台(VeDI)是新一代企业数据智能服务平台,旗下的A/B测试产品DataTester经历了字节跳动的10年打磨,目前服务于字节跳动内部500余个业务线,也服务了包括美的、得到、凯叔讲故事等在内的上百家外部企业,为企业业务的用户增长、转化、产品迭代、运营活动等各个环节提供科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。

附录论文地址:https://dl.acm.org/doi/10.1145/3580305.3599953

(作者:韩圣瀚)

          
  • 上一篇:消费级3D扫描仪市场革新之作,积木易搭黑科技3D扫描仪手持云台来袭,让手机替代电脑随心扫

相关阅读

RelatedReading
  • 突破传统,2024款坦克300全新车型齐亮相市场 突破传统,2024款坦克300全新车型齐亮相市场
  • 奇安信获评NVDB通用网络产品安全漏洞库第一批技术支撑单位 奇安信获评NVDB通用网络产品安全漏洞库第一批技术支撑单位
  • 漫步者“音生万象”发布会:全球首款超广域大深度降噪旗舰耳机NeoBuds Pro 2 漫步者“音生万象”发布会:全球首款超广域大深度降噪旗舰耳机NeoBuds Pro 2
  • 华为云张平安:华为坚定战略投入数据库 与伙伴共建繁荣开放的产业生态 华为云张平安:华为坚定战略投入数据库 与伙伴共建繁荣开放的产业生态
  • 如何监管电动自行车?AI有新办法! 如何监管电动自行车?AI有新办法!
  • 2023年投影仪最新排名!家用就选当贝X3 Air和当贝D5X 2023年投影仪最新排名!家用就选当贝X3 Air和当贝D5X

猜你喜欢

Guessyoulike
房地产开发板块涨5.1% 金科股份迪马股份涨幅居首

房地产开发板块涨5.1% 金科股份迪马股份涨幅居首

hao333 6436次阅读2023-07-25 16:10
浩欧博收上交所监管工作函 2021年上市募资5.56亿元

浩欧博收上交所监管工作函 2021年上市募资5.56亿元

hao333 2697次阅读2023-04-28 14:50
行云管家荣获CFS第十二届财经峰会 “2023产品科技创新奖”

行云管家荣获CFS第十二届财经峰会 “2023产品科技创新奖”

hao333 3329次阅读2023-07-29 08:56
平安添悦债券增聘基金经理杨可人

平安添悦债券增聘基金经理杨可人

hao333 1762次阅读2023-07-27 12:36
专题页

HOT榜单

  • 滴滴出行3天收浙江21张罚单 服务车辆未取得营运证等

  • 先后入股库洛、游戏公国,腾讯与二次元能否破镜重圆?

  • 生物医药板块跌1.4% 奥联电子涨12.73%居首

  • 五人坐的小车小孩算吗(汽车超载人数中包括小孩吗)

  • 福斯特首季经营现金流净额-9.84亿2022年为0.26亿

  • 背靠20余年发行经验,腾讯2023年再次出手,将重塑这条赛道生态环境?

  • 网络游戏板块跌0.95% 恺英网络涨3.65%居首

  • 绿源、华为纷纷加码液冷技术,原创科技领航两轮电动车产业千亿新赛道

  • 数字人民币消费红包可以线上消费吗(数字人民币消费红包怎么用不)

  • 共建基础软件基石,OpenCloudOS 社区开源实践分享

换一组看看

频道最IN
>普洱茶生茶和熟茶哪个好(普洱茶是选择生茶好还是熟茶好)

普洱茶生茶和熟茶哪个好(普洱茶是选择生茶好还是熟茶好)

>iOS 5.1.1完美越狱Win版详细教程

iOS 5.1.1完美越狱Win版详细教程

>真假HDR电视乱象频出,消费者如何避坑?

真假HDR电视乱象频出,消费者如何避坑?

关于我们 法律声明 联系我们 广告服务 隐私条款
@老男人网 版权所有/信息产业部备案号:蜀ICP备13015099号-1