JobKeeper的背景


  在没有JobKeeper如此智能的调度平台辅助时,大数据处理时很不方便,因为在处理大数据时通常都会调用多个软件组件,而多个工具的使用当时只能依靠手动来调用,才能完成整个处理流程,这样大大的增加了处理成本,也浪费了很多时间、人工。针对这样的情况,云创大数据经过多次针对性调研整理,研发出JobKeeper智能调度平台,成功解决这一难题,通过JoKeeper调度平台,在处理大数据时,可以很方便的按流程来自动调用所有的组件, 除此之外,智能的JobKeeper应用范围很广泛,不仅仅局限于大数据处理,而且各个方面都适用,并且可以对机器进行性能监控。



JobKeeper产品简介


  JobKeeper是南京云创大数据科技股份有限公司自主研发的分布式调度平台(亦支持单机),具有较高的任务处理性能,而且具有高可靠性,可不间断接受任务。

  JobKeeper 是一种处理任务的高性能分布式调度平台,JobKeeper可不间断接受从各台计算机提交的任务,再按照当前集群中所有机器的压力,智能进行分配任务,进而达到集群负载均衡。通过JobKeeper还可以对当前分布式集群的所有机器的状况进行监控,对集群中所有的任务进行停止、删除等功能。



系统基本组成


JobKeeper的系统架构如图1所示:

图1 JobKeeper系统架构图

虚拟化资源层
将机器进行虚拟化,形成更大范围的服务集群。
存储层
存储数据的处理结果集或其他中间结果集的单元。

数据处理层
独立的数据处理程序,是对不同需求数据的统一处理方案,由JobKeeper调度平台进行统一的配置管理。