优文推荐 | 云中混合工作流构造策略与调度算法

文摘   科技   2024-11-18 16:34   陕西  


NO.1 论文简介


工作流执行过程中,由于子任务之间的数据依赖产生大量的任务等待时隙,造成云平台计算资源空闲和资源利用率低。现有的工作流调度方法虽然可以通过数据依赖分析提高工作流执行效率,但它们都没有考虑异构混合工作流的调度。针对这一问题,以最小化任务完工时间、提高任务按时交付率、提升批处理任务吞吐量以及资源利用率为目标,提出了云中混合工作流构造策略与调度算法。首先,建立了混合工作流三层调度架构,分别完成混合工作流的分类、构造与调度。其次,为了充分利用任务等待时隙,提出了基于背包的混合工作流构造策略,将批处理任务调度至工作流子任务等待时隙执行,实现混合工作流构造。再次,提出了基于信息熵的工作流调度算法和基于粒子群算法的资源动态伸缩策略,解决工作流调度的多目标优化问题,并实时监测调整计算资源,保障混合工作流的顺利完成。最后,仿真实验结果表明所提出的构造策略与调度算法能够有效缩短任务完工时间,保证任务按时交付率,提升批处理任务吞吐量,提高资源利用率。

NO.2 主要贡献


(1)针对云服务提供商需要同时处理工作流任务和批处理任务的混合计算场景,设计了混合工作流调度架构,通过解耦任务分类、混合工作流构造与调度,提高混合工作流调度效率,有助于提升系统的灵活性和可扩展性。

(2)针对工作流执行过程中产生大量任务等待时隙的问题,基于背包策略首次将工作流任务和批处理任务构造成混合工作流,更充分地利用任务等待时隙,从而缩短任务完工时间,并提升云资源利用效率。
(3)考虑混合工作流子任务大小、截止时间、紧迫程度等因素,利用熵权法调整子任务优先级,提出基于信息熵的工作流调度算法和基于粒子群的资源动态伸缩策略,提高混合工作流执行效率,更有效地平衡任务完成时间和资源消耗。

NO.3 研究结论


图1~图4展示了所提IEBHWSA算法与PSO、HEFT、MAXMIN、MINMIN、MCT、DATA算法在不同任务规模下调度算法的效果,实验结果如图1~图4所示。

图1  完工时间对比图

图1为不同调度算法在任务完工时间上的对比结果,IEBHWSA算法在调度过程中充分利用任务等待时隙,提升了任务计算效率。在完工时间上优化效果明显优于其他对比算法,在任务数量达到最大规模时相较于其他算法的优化程度为22.37%~54.77%。

图2  任务按时交付率对比图

图2为不同调度算法在任务按时交付率上的对比图,IEBHWSA算法将任务的紧迫程度作为重要指标,在任何实验环境下均有优于其他调度算法的出色表现。任务规模达最大时,相较于其他算法的提升幅度在1.2倍~3.2倍之间。

图3  批处理任务吞吐量对比图

图3为不同算法在批处理任务吞吐量方面的对比,在任务规模较小时,所有算法对批处理任务的吞吐量相差无几。随着任务规模不断增大,工作流对虚拟机的计算需求不断增大,IEBHWSA算法在批处理任务吞吐量上逐渐高于其他对比算法,最大任务规模下提升范围在3.11%~54.46%之间。

图4  资源利用率对比图

图4为不同算法在资源利用率上的对比,IEBHWSA算法在资源利用率方面的优势主要体现在其对任务等待时隙的有效利用上。相较于其他算法,IEBHWSA能够更灵活地调度任务,减少资源空闲时间,这使得其能够保持较高的资源利用率。PSO、HEFT等算法虽然也随着任务增加而提升资源利用率,但它们并不能像IEBHWSA那样充分地利用任务等待时隙,导致其资源利用率低于IEBHWSA算法。这也表明了IEBHWSA算法能够更有效地提高资源使用效率,减少系统资源浪费。

NO.4 论文资助


  • 陕西省重点研发计划(2024GX-YBXM-010,2024GX-YBXM-140,2024GX-YBXM-039)

  • 陕西省创新能力支撑计划(2023-CX-TD-08)

  • 陕西省秦创原“科学家+工程师”团队(2023KXJ-040)

  • 中央高校基本科研业务费专项资金(ZYTS24089)

NO.5 作者介绍


本团队来自西安电子科技大学计算机科学与技术学院、陕西省智能人机交互与可穿戴技术重点实验室。该实验室长期开展计算机系统结构、异构计算/云计算等相关研究。实验室有固定人员51人,其中教授/研究员21名,副教授/高工15名,讲师15名;近年来获批国家级课题21项,省部级和横向课题51项,新增千万级重大科研项目1项;获软著、授权发明专利70余项;发表高水平学术论文190余篇;获得省部级以上科研成果奖励18项。

赵   冉(2000—),女,西安电子科技大学硕士研究生,

E-mail:23031212085@stu.xidian.edu.cn。

赵   辉(1983—),男,副教授,博士,

E-mail:hzhao@mail.xidian.edu.cn。

王嘉良(1998—),男,西安电子科技大学硕士研究生,

E-mail:20181213882@stu.xidian.edu.cn。

王   静(1981—),女,副教授,博士,

E-mail:wangjing@mail.xidian.edu.cn。

万   波(1976—),男,教授,博士,

E-mail:wanbo@xidian.edu.cn。

王   泉(1970—),男,教授,博士,

E-mail:qwang@xidian.edu.cn。




·引用格式·


赵冉, 赵辉, 王嘉良, 王静, 万波, 王泉. 云中混合工作流构造策略与调度算法(2024) [J/OL]. 西安电子科技大学学报, [2024-10-23]. https://doi.org/10.19665/j.issn1001-2400.20241006



“扫描二维码查看原文”

https://link.cnki.net/doi/10.19665/j.issn1001-2400.20241006

   编辑:许瀚樱

校对:杨   薇

   审核:牛姗姗


· 优文推荐 · ·
优文推荐 | 神经网络差分区分器的改进方案与应用

优文推荐 | 基于特征校准的双注意力遮挡行人检测器

优文推荐 | 融合VFA和ISSA的多目标优化WSN覆盖算法

优文推荐 | 基于深度学习的人脸动画驱动方法综述

优文推荐 | 基于拓扑感知的软件定义卫星网络多业务路由算法

优文推荐 | 面向无人平台的新型人工噪声生成与抑制

优文推荐 | 支持动态反馈决策的拜占庭容错共识算法

优文推荐 | 超像素分割和波段分割的高光谱图像去噪
优文推荐 | 流行度感知的无线视频云边缓存策略研究

优文推荐 | 轻量级位置隐私的安全查询方案

优文推荐 | 结合自适应网格描述符和图像能量的图像哈希

优文推荐 | 空空高速移动通信信号的频偏估计和跟踪算法

优文推荐 | 子空间与存储体的高光谱图像跨域小样本分类

优文推荐 | 利用可逆网络的音频藏图算法

优文推荐 | 基于二维异步同相正交直方图的调制方式识别

优文推荐 | 面向以太坊智能合约的图神经网络漏洞检测

优文推荐 | 多源传感器箱粒子LMB滤波算法

优文推荐 | 机器学习在WSN入侵检测中的应用研究

优文推荐 | 边缘协作环境下最小化完工时间任务调度方法

优文推荐 | 融合注意力谱非局部块的视网膜图像质量分级

优文推荐 | 面向动态博弈的k-匿名隐私保护数据共享方案

优文推荐 | 多用户环境的区块链可搜索加密方案

优文推荐 | 混沌映射与中国剩余定理增强的切换认证方案

优文推荐 | 基于多尺度特征信息融合的时间序列异常检测

优文推荐 | 主被动协同定位空能资源优化配置方法

优文推荐 | 高阶S21拟合策略在耦合矩阵提取方法中的运用

优文推荐 | 图文跨模态检索的联合特征方法

· 推荐阅读 ·

目录 | 《西安电子科技大学学报》2024年第51卷第3期

目录 | 《西安电子科技大学学报》2024年第51卷第2期

目录 | 《西安电子科技大学学报》2024年第51卷第1期

目录 | 《西安电子科技大学学报》2023年第50卷第6期

目录 | 《西安电子科技大学学报》2023年第50卷第5期

目录 | 《西安电子科技大学学报》2023年第50卷第4期



-  联系我们 -

西安电子科技大学学报网址:
https://journal_xdxb.xidian.edu.cn
在线投稿:
https://journal.xidian.edu.cn/Journalx_xidian
电话:
(029)88202853
邮箱:

xuebao@mail.xidian.edu.cn



西安电子科技大学学报
《西安电子科技大学学报》由西安电子科技大学主办,创刊于1955年。是工程索引数据库(EI)全部收录期刊、中国科学引文数据库(CSCD)全部收录期刊,在电子信息科学领域具有很高的学术声誉和影响力。
 最新文章