JobKeeper的背景


  在没有JobKeeper如此智能的调度平台辅助时,大数据处理时很不方便,因为在处理大数据时通常都会调用多个软件组件,而多个工具的使用当时只能依靠手动来调用,才能完成整个处理流程,这样大大的增加了处理成本,也浪费了很多时间、人工。针对这样的情况,云创大数据经过多次针对性调研整理,研发出JobKeeper智能调度平台,成功解决这一难题,通过JoKeeper调度平台,在处理大数据时,可以很方便的按流程来自动调用所有的组件, 除此之外,智能的JobKeeper应用范围很广泛,不仅仅局限于大数据处理,而且各个方面都适用,并且可以对机器进行性能监控。



JobKeeper产品简介


  JobKeeper是南京云创大数据科技股份有限公司自主研发的分布式调度平台(亦支持单机),具有较高的任务处理性能,而且具有高可靠性,可不间断接受任务。

  JobKeeper 是一种处理任务的高性能分布式调度平台,JobKeeper可不间断接受从各台计算机提交的任务,再按照当前集群中所有机器的压力,智能进行分配任务,进而达到集群负载均衡。通过JobKeeper还可以对当前分布式集群的所有机器的状况进行监控,对集群中所有的任务进行停止、删除等功能。



系统基本组成


JobKeeper的系统架构如图1所示:

图1 JobKeeper系统架构图

虚拟化资源层
将机器进行虚拟化,形成更大范围的服务集群。
存储层
存储数据的处理结果集或其他中间结果集的单元。

数据处理层
独立的数据处理程序,是对不同需求数据的统一处理方案,由JobKeeper调度平台进行统一的配置管理。
业务层
对于应用层的相关功能的业务化,数字化处理,用于将应用层的需求任务进行规则化划分,形成统一的处理化模式。

应用层
一组用于管理和结果反馈的显示组件。是整个系统面向用户和开发人员的基础承载。


JobKeeper的任务分发流程如图2所示:

图2 JobKeeper任务分发流程图

  当用户在应用层下发任务给管理节点,管理节点调度机器采集机器节点的信息,根据具体的算法选取合适的节点并分发任务,接下来具体的处理节点接收到任务并处理同时将结果返回给管理节点,管理节点整理汇总处理结果,而后返回给应用层。



服务器节点组
负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存,对应的信息镜像存储在基于cStor或者NFS服务的存储系统上。
处理节点组
通过RPC的远程调用获取各自节点的任务处理目标,并实时的和处理节点上的任务处理目标进行对比,控制程序的执行和结束。处理节点组会在一个设定的心跳间隔内主动的和管理节点组联系一次,报告节点存活状态。


JobKeeper系统故障处理机制


Jobkeeper的故障处理机制如图3所示:

图3 Jobkeeper故障处理机制图

   首先是任务处理节点宕机或者该任务初始化后出现错误,那么该任务返还到任务调度层交给调度节点重新分配。如果任务处理节点宕机或者子任务出现未知错误,那么该任务将返回到任务处理节点上 由任务节点机器重新分配该子任务。而所有的任务信息和处理节点信息都会定时写入到磁盘文件 所以不需要担心做了一半的任务要从头开始做。



JobKeeper产品优势


高可靠性
平台采用“多主多备,负载均衡”的管理节点设计模式,和“处理实时跟踪”的处理节点设计模式,从而保证无论管理节点还是处理节点都不存在任何单点故障问题。
低依赖性
平台采用模块化设计思想,通过统一化配置和API接口的方式向用户提供服务。无论用户应用是用何种语言开发,何种处理方式,都可以交由平台进行统一的调度管理。

低干预性
平台采用基于事件化的统一管理模式。无论是动态扩展集群处理系统能力,还是单点故障的任务转移,又或者是任务的实时监控和动态分配,都将在系统无人值守的情况下自动完成。
高实时性
平台在高效率并行分布式软件的支撑下,可以实现对任务的实时分配,实时调度,实时处理。在机器性能允许的范围内,计算任务不会出现堆积的显现,所有任务的控制工作基本都在秒级完成,具有前所未有的高效性。


JobKeeper市场应用



应用范围
应用描述
成功案例
传媒行业 基于大量X86架构计算机构成的低成本云转码平台上进行高清视频转码。 某传媒视频云转码平台等
自动化研究 对分布式集群进行智能调度与性能监控。 某研究所大数据处理平台等
移动网络优化 对分布式集群进行智能调度与性能监控。 某运营商共享云平台等
医疗行业 海量数据处理的智能调配与集群性能监控。
项目 技术指标
数量 1套
品牌 云任务调度系统知名品牌。
体系架构 高性能集群分布式架构多任务调度系统。
数据处理性能随节点数量的增加而线性增加,支持多节点自动负载均衡及故障转移。
横向扩展 支持在不停机情况下,通过向系统中增加节点的方式实现业务不中断情况下扩充容量和性能。
在线修复 任意节点发生故障、可在不间断业务的情况下进行修复。
支持主机系统 客户端支持Linux(CentOS、RedHat、Ubuntu)、FreeBSD、Windows、苹果MacOS X等主流操作系统。
高可用性

要求系统全冗余,节点必须是高可用配置。当元数据节点出现故障时,要能自动切换到备用元数据节点。任何一个节点出现故障,不影响数据的正常访问。

可用性 当任意1个节点(包括元数据节点)发生故障,存储系统仍然保持数据100%完整,并且不会停机中断服务。
服务 原厂商质保服务, 三年7×24×4,4小时用户现场响应服务。
可调度的任务总量 可高效调度一万个以上的任务。
数据存储 数据能够集中存储和处理。
负载均衡性 大规模并发任务处理时,能够根据节点负载进行动态分配处理任务,做到资源负载均衡。
调度管理 可对执行任务集中调度管理。
稳定性 1、系统连续运行7*24小时,无任何故障。
2、所有周期任务均正常执行,且执行结果正确。
可靠性 没有单点故障,任意节点宕机,系统工作正常,可以继续进行数据处理和应用查询,不会影响分布式系统运行和查询结果的准确性。
扩展性 既可以在很小规模机器上跑,也可以在成千上万台的机器上运行,而且经过很简单的操作就可以把规模扩展到成千上万台服务器上,而且可靠性随着加入节点的增加成线性上升。
分布式计算能力 集群能增加节点、并且能正常执行查询任务,在流量没变、资源增加的情况下,增加机器前后,查询任务耗时按比例降低。

联系方式    总机:400-8855-360

销售人员
分 机
手机号
邮 箱
腾讯QQ
叶飞
8050
15651627356
点击这里给我发消息
张  伟
8028
15805157345
点击这里给我发消息
沈有云
8029
18652099637
点击这里给我发消息
王  军
8035
13851877991
点击这里给我发消息
张绪文心
8027
18602548008
点击这里给我发消息
刘连鹏
8018
18021395113
点击这里给我发消息
左  赛
8033
18017566211
点击这里给我发消息
刘立宏
8034
13815414773
点击这里给我发消息
何家乐
8031
18616794962
点击这里给我发消息
杨  剑
8030
18751869256
点击这里给我发消息
陈跃飞
8041
13951803427
点击这里给我发消息
吴昊
8042
17701581182
点击这里给我发消息
吴亚洲
(新疆分公司 总经理)
8022
15051819138
点击这里给我发消息
刘宏
(河南办事处 主任)
 
13333831976
点击这里给我发消息
韦远雄
(广西办事处)
18577997606
点击这里给我发消息


全国代理商

区域/行业 代理商 电 话 联系人 手机号 邮 箱
西安市教育行业 陕西精测电子仪器有限公司 029-85261352 康耀 13991342692 121665529@qq.com
贵州教育行业 贵阳飞瑞敖电子科技有限公司 0851-84849961 汤添智 18166738013 1589819668@qq.com
重庆教育行业 重庆竺韩科技有限公司 曾娟 13628383332 2586577650@qq.com
湖北省 中创云城信息科技有限公司 027-88517519 吕辉 13801220173 lvhui@cncloudcity.com.cn
中国移动 江杰 13720337758 jiangjie@cncloudcity.com.cn
江苏省教育行业 南京迪软软件有限公司 025-68592750 赵琦 18005161178 zhaoqi@ideassoft.com
上海市教育行业
成都核心代理 四川菲普斯科技有限责任公司 028-87607880 陈先生 13808007617 chanxb@qq.com
杭州市 杭州麦吉科信息技术有限公司   牟桂雄 18158119777 18158119777@189.cn
北京市 北京北测教育科技发展有限公司   杨振宏 15811252385 1557848882@qq.com
合肥市 合肥朋来传媒科技有限公司   王先生 13866790669 2290127469@qq.com
郑州市 河南哈努曼电子科技有限公司   董仲飞 13810619676 dongzhongfei@msn.com
济南市 济南普云信息科技有限公司   孙刚 15253189163 124959448@qq.com
南京市 南京北极星科技有限公司   刘星雨 13815441588 1061856192@qq.com
南京市 南京硕坤电子科技有限公司   邵平 13912950086 35922285@qq.com
北京市 北京物语智城科技有限公司   王菁 18612995658 wangjing_609@163.com
南昌市 南昌达讯科技   谭持续 18170070499 575704369@qq.com
福州市 福州超联信息技术有限公司   陈增超 18695729557 532305269@qq.com
苏州市 苏州扬天信息科技有限公司 0512-65133300 陈育才 15365388158 857336980@qq.com
西安市 西安诺冠信息技术有限公司 029-62593086 付战领 13389214518 xangiot@163.com


诚征全国代理    总机:400-8855-360

负责人
分 机
手机号
邮 箱
腾讯QQ
张  伟
8028
15805157345
点击这里给我发消息
杨  剑
8030
18751869256
点击这里给我发消息
阅读:9620次


版权所有 © 2011-2016 南京云创大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
云创大数据-领先的云存储、大数据、云计算产品供应商