文献类型：期刊文献

中文题名：大数据流计算环境下的低延时高可靠性的资源调度方法

英文题名：Low Latency and High-Reliability Resource Scheduling Method in Big Data Streaming Computing Environment

作者：孙怀英[1,2];虞慧群[1];范贵生[1];陈丽琼[3]

机构：[1]华东理工大学计算机科学与工程系,上海200237;[2]上海市计算机软件评测重点实验室,上海201112;[3]上海应用技术学院计算机科学与信息工程系,上海200235

年份：2017

卷号：43

期号：6

起止页码：855

中文期刊名：华东理工大学学报（自然科学版）

外文期刊名：Journal of East China University of Science and Technology

收录：北大核心:【北大核心2014】；CSCD:【CSCD_E2017_2018】；

基金：国家自然科学基金(61173048;61300041);高等学校博士学科点专向科研基金(20130074110015);中央高校基本科研业务费专项基金(WH1314038)

语种：中文

中文关键词：DSG;高可靠性;低延时;资源熵;响应时间

外文关键词：DSG;high-reliability;low-latency;resource entropy;response time

摘要：在大数据处理过程中,如何保证流数据处理的可靠性及实时性变得日益重要。本文使用数据流图(DSG)对大数据流应用过程进行描述,并将DSG表示为扩展的Petri网以便对数据流过程进行建模。提出了基于CPU利用率平均变化率的资源熵算法计算资源组可靠性,并根据资源熵算法提出了基于时间和可靠性的资源调度算法(TRS-SCHE)以获得高可靠性、低延时的资源调度方案。通过仿真实验,模拟实现soda交通大数据分析应用并进行资源的调度,验证了TRSSCHE相比于Storm隔离调度算法在响应时间、请求失败率和算法时间复杂度方面的优势。
It is quite important for the application of big data to ensure the high-reliability and lowlatency of processing the stream data.In this paper,the data stream graph(DSG)is used to describe and model the application process of big data streaming by taking DSG as an extended Petri net.And then,this paper proposes a computing algorithm of resource group reliability via the resource entropy that is based on the average changing rate of CPU utilization.Furthermore,a resource scheduling algorithm,termed as TRS-SCHE,is introduced to attain the high-reliability and low-latency.Finally,through simulation experiments of soda traffic big data analysis,it is shown that compared with the Storm isolated scheduling,the proposed TRS-SCHE scheduling algorithm has more advantages in response time,failure rate and the time complexity.