专利内容由知识产权出版社提供
专利名称：一种基于动态分区的高能效Spark任务调度方法专利类型：发明专利
发明人：李鸿健,魏尧俊,熊渝,谭港凡,王菁精申请号：CN202010578245.8申请日：20200623公开号：CN111813512A公开日：20201023
摘要：本发明涉及大数据处理领域，具体涉及一种基于动态分区的高能效Spark任务调度方法，包括：对服务器进行初始化，得到任务信息参照表；用户发起任务调度请求；服务器接收任务调度请求后获取任务数据信息；判断该任务是否任务完成时间以及任务是否为首次执行；根据判断结果确定分区数；根据分区数进行服务器的任务调度与运行；任务运行结束后采用能耗评估模型计算任务运行情况的数据使用能耗，并记录入任务信息参照表中，完成任务调度；本发明改善了Spark原生调度策略运行过程中将任务统一对待与分配导致的节点性能不能有效利用的情况，实现了根据任务情况更好的对CPU以及I/O性能不同的节点进行调度，达到了节能的效果。
申请人：重庆邮电大学
地址：400065 重庆市南岸区南山街道崇文路2号
国籍：CN
代理机构：重庆辉腾律师事务所
代理人：王海军
更多信息请下载全文后查看
