揭秘华为云瑶光智慧云脑的成长之路

  • 时间:
  • 浏览:1
  • 来源:1.5分彩_1.5分彩网投平台_1.5分彩投注平台_1.5分彩娱乐平台

作为北斗第七星,瑶光自古就可用来判断四季更迭、引向定时。而作为全新发布的智能云操作系统,瑶光智慧云云脑又是怎样才能做到统领云上各类资源、实现租户需求与资源供应之间最佳匹配的呢?在华为云瑶光实验室、华为云算法

作为北斗第七星,瑶光自古就可用来判断四季更迭、引向定时。而作为全新发布的智能云操作系统,瑶光智慧云云脑又是怎样才能做到统领云上各类资源、实现租户需求与资源供应之间最佳匹配的呢?在华为云瑶光实验室、华为云算法创新实验室里,大伙儿找到了答案。

#初识资源调度# 云OS:我太“南”了

依托虚拟化技术,大伙儿得以将数据中心海量的计算、存储资源以云服务的形式对外提供。而随着数据中心规模扩展、边缘计算带来的算力延伸,承担着高效、精准资源调度的云操作系统面临着三大挑战:

第有1个挑战是云计算的资源消耗/售卖模式带来的。云计算的资源申请通常随机到达、按需计费、用完即释放,无法土办法 恒定指标构建目标函数求解;

第3个挑战是华为云快速增长带来的。根据Frost & Sullivan对于中国公有云市场的调查研究结果显示,2019年Q3华为云IaaS市场份额排名上升至第,成为增速最快的Top厂商。高速增长使得用户资源请求的分布随时间变化,而传统的研究多是针对稳定的请求分布来设计补救方案的;

第有1个挑战是服务器两种架构带来的。不同服务器体系架构的不同组合土办法 会由于性能差异,但是那先 不同派发就像装箱问题报告 中箱子之间加了但是不同隔板,使得放置资源的一块儿还要考虑性能约束。

#致敬经典# 传统装箱模型为甚么行不通

装箱问题报告 最早可不可以追溯到1831年高斯(Gauss)结束研究的布局问题报告 ,其本质与装箱一样,一定会希望将尽不可能 多的货物装下 箱中。云端虚拟机的部署是把具有多种资源需求的虚拟机向物理机分配的过程,如下图,云操作系统时刻收到虚拟机的资源创建请求,它还要决策将资源部署到哪台物理机上才能保证碎片率最低。

1 当装箱算法遇到云上资源调度

从过程中可不可以发现,相比经典装箱问题报告 ,云上资源调度有了新的约束:

1、实时云环境下,虚拟机是动态、依次部署到物理机上的,以后虚拟机的创删申请和资源需求信息具有不选择性;

2、严重不足的物理机资源利用率不可能 会由于业务负载占据 波动,故资源调度还要充分考虑物理机的资源和性能约束,并补救不可能 再次出现的性能突发诉求;

3、根据业务不同的在线/离线属性,调度过程也需考虑同物理机上不同虚拟机之间,因资源抢占不可能 占据 的“扰邻”问题报告 ,并尽不可能 降低影响。

#成为智慧云云脑# 瑶光的学习成长路径

沿着经典装箱问题报告 思路,瑶光肩上的专家们尝试了如FirstFit、BestFit等运筹学土办法 ,以一台物理机为例,通过比对“请求资源量”和“可用资源量”的匹配程度,即其向量的余弦夹角值来判断对可用资源量的利用情形,如下图所示。

图2 利用余弦夹角土办法 求解调度

而站在资源池全局的淬硬层 看,当占据 随机请求与资源池扩缩容时,目标函数也会随即改变。此时,瑶光引入了具有强大搜索能力的强化学习算法,通过预模拟来尝试各种策略,并反复强化最终收益最大的方案。强化学习以数据为基础,其思路大伙儿可不可以通过迷宫游戏来理解:

图3 通过强化学习算法模拟求解最优调度

熊猫在寻找出口处竹子的过程中,“上下左右”每一步决策一定会可能 “碰壁”、“通过”或“吃到竹子”,那先 都与非 不同经验值的“奖励”。通过反复的模拟,尝试在不同位置(即“情形”)选择不同行动(即“决策”)所分得的奖励,此时“情形State”与“奖励Reward”的关系但是资源池选择哪台机器来满足请求的决策土办法

更进一步,不同体系架构的云服务器、不同租户间的QoS要求,由于强化学习算法应对的环境在不停变化,就像上图不断繁复变换的迷宫。而强化学习训练用的历史数据不具有概括性与对抗性,这时瑶光结束基于历史数据完成学精习与进化,以应对快速规模发展下的资源调度问题报告 。

图4 基于瑶光调度算法实现学精习调度策略调优

为了验证方案的可行性,瑶光实验室基于随机请求序列(基于华为云现网数据随机打散生成)对专家经验与模型数据双驱动的“瑶光资源调度算法”进行了仿真测试:

1 仿真测试场景一

表2 仿真测试场景二

测试结果表明,采用瑶光资源调度算法后平均碎片率优化效果提升300%、同一仿真序列下节省服务器数量约6%、资源池碎片派发触发周期延长约3000%。

#HDC.Cloud# 有瑶光、有技术、有未来

华为云设立瑶光实验室的初衷但是聚焦补救云基础服务在创新过程中遇到的痛点,计算资源碎片的优化是其中核心的技术专项,而在本次华为开发者大会HDC.Cloud的华为云基础服务展区,你还能参与到更多构建在瑶光智慧云云脑之上多样计算、智能边缘等应用,体验云+AI+5G时代下技术为先、创新为源的未来感!

      (本内容属于网络转载,文中涉及图片等内容如有侵权,请联系编辑删除)