JobKeeper的背景


  在没有JobKeeper如此智能的调度平台辅助时,大数据处理时很不方便,因为在处理大数据时通常都会调用多个软件组件,而多个工具的使用当时只能依靠手动来调用,才能完成整个处理流程,这样大大的增加了处理成本,也浪费了很多时间、人工。针对这样的情况,云创大数据经过多次针对性调研整理,研发出JobKeeper智能调度平台,成功解决这一难题,通过JoKeeper调度平台,在处理大数据时,可以很方便的按流程来自动调用所有的组件, 除此之外,智能的JobKeeper应用范围很广泛,不仅仅局限于大数据处理,而且各个方面都适用,并且可以对机器进行性能监控。



JobKeeper产品简介


  JobKeeper是南京云创大数据科技股份有限公司自主研发的分布式调度平台(亦支持单机),具有较高的任务处理性能,而且具有高可靠性,可不间断接受任务。

  JobKeeper 是一种处理任务的高性能分布式调度平台,JobKeeper可不间断接受从各台计算机提交的任务,再按照当前集群中所有机器的压力,智能进行分配任务,进而达到集群负载均衡。通过JobKeeper还可以对当前分布式集群的所有机器的状况进行监控,对集群中所有的任务进行停止、删除等功能。



系统基本组成


JobKeeper的系统架构如图1所示:

图1 JobKeeper系统架构图

虚拟化资源层
将机器进行虚拟化,形成更大范围的服务集群。
存储层
存储数据的处理结果集或其他中间结果集的单元。

数据处理层
独立的数据处理程序,是对不同需求数据的统一处理方案,由JobKeeper调度平台进行统一的配置管理。
业务层
对于应用层的相关功能的业务化,数字化处理,用于将应用层的需求任务进行规则化划分,形成统一的处理化模式。

应用层
一组用于管理和结果反馈的显示组件。是整个系统面向用户和开发人员的基础承载。


JobKeeper的任务分发流程如图2所示:

图2 JobKeeper任务分发流程图

  当用户在应用层下发任务给管理节点,管理节点调度机器采集机器节点的信息,根据具体的算法选取合适的节点并分发任务,接下来具体的处理节点接收到任务并处理同时将结果返回给管理节点,管理节点整理汇总处理结果,而后返回给应用层。



服务器节点组
负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存,对应的信息镜像存储在基于cStor或者NFS服务的存储系统上。
处理节点组
通过RPC的远程调用获取各自节点的任务处理目标,并实时的和处理节点上的任务处理目标进行对比,控制程序的执行和结束。处理节点组会在一个设定的心跳间隔内主动的和管理节点组联系一次,报告节点存活状态。


JobKeeper系统故障处理机制


Jobkeeper的故障处理机制如图3所示:

图3 Jobkeeper故障处理机制图

   首先是任务处理节点宕机或者该任务初始化后出现错误,那么该任务返还到任务调度层交给调度节点重新分配。如果任务处理节点宕机或者子任务出现未知错误,那么该任务将返回到任务处理节点上 由任务节点机器重新分配该子任务。而所有的任务信息和处理节点信息都会定时写入到磁盘文件 所以不需要担心做了一半的任务要从头开始做。



JobKeeper产品优势


高可靠性
平台采用“多主多备,负载均衡”的管理节点设计模式,和“处理实时跟踪”的处理节点设计模式,从而保证无论管理节点还是处理节点都不存在任何单点故障问题。
低依赖性
平台采用模块化设计思想,通过统一化配置和API接口的方式向用户提供服务。无论用户应用是用何种语言开发,何种处理方式,都可以交由平台进行统一的调度管理。

低干预性
平台采用基于事件化的统一管理模式。无论是动态扩展集群处理系统能力,还是单点故障的任务转移,又或者是任务的实时监控和动态分配,都将在系统无人值守的情况下自动完成。
高实时性
平台在高效率并行分布式软件的支撑下,可以实现对任务的实时分配,实时调度,实时处理。在机器性能允许的范围内,计算任务不会出现堆积的显现,所有任务的控制工作基本都在秒级完成,具有很高的效率。


JobKeeper市场应用



应用范围
应用描述
成功案例
传媒行业 基于大量X86架构计算机构成的低成本云转码平台上进行高清视频转码。 某传媒视频云转码平台等
自动化研究 对分布式集群进行智能调度与性能监控。 某研究所大数据处理平台等
移动网络优化 对分布式集群进行智能调度与性能监控。 某运营商共享云平台等
医疗行业 海量数据处理的智能调配与集群性能监控。
项目 技术指标
数量 1套
品牌 云任务调度系统知名品牌。
体系架构 高性能集群分布式架构多任务调度系统。
数据处理性能随节点数量的增加而线性增加,支持多节点自动负载均衡及故障转移。
横向扩展 支持在不停机情况下,通过向系统中增加节点的方式实现业务不中断情况下扩充容量和性能。
在线修复 任意节点发生故障、可在不间断业务的情况下进行修复。
支持主机系统 客户端支持Linux(CentOS、RedHat、Ubuntu)、FreeBSD、Windows、苹果MacOS X等主流操作系统。
高可用性

要求系统全冗余,节点必须是高可用配置。当元数据节点出现故障时,要能自动切换到备用元数据节点。任何一个节点出现故障,不影响数据的正常访问。

可用性 当任意1个节点(包括元数据节点)发生故障,存储系统仍然保持数据100%完整,并且不会停机中断服务。
服务 原厂商质保服务, 三年7×24×4,4小时用户现场响应服务。
可调度的任务总量 可迅速调度一万个以上的任务。
数据存储 数据能够集中存储和处理。
负载均衡性 大规模并发任务处理时,能够根据节点负载进行动态分配处理任务,做到资源负载均衡。
调度管理 可对执行任务集中调度管理。
稳定性 1、系统连续运行7*24小时,无任何故障。
2、所有周期任务均正常执行,且执行结果正确。
可靠性 没有单点故障,任意节点宕机,系统工作正常,可以继续进行数据处理和应用查询,不会影响分布式系统运行和查询结果的准确性。
扩展性 既可以在很小规模机器上跑,也可以在成千上万台的机器上运行,而且经过很简单的操作就可以把规模扩展到成千上万台服务器上,而且可靠性随着加入节点的增加成线性上升。
分布式计算能力 集群能增加节点、并且能正常执行查询任务,在流量没变、资源增加的情况下,增加机器前后,查询任务耗时按比例降低。

更多下载

联系方式    总机:400-8855-360



市场部

区域
销售人员
分 机
手机号
邮 箱
腾讯QQ
项目总监
袁高峰
8008
15051887778
市场部总经理
张军方
8059
18662385792
新疆分公司
任家瑞
8019
13851763165
北京 安徽 天津 辽宁 黑龙江 吉林
骆梦阳
8052
13952028557
山东 浙江 四川 广西
杨  剑
8030
18751869256
内蒙古
何家乐
8031
18616794962
云南、福建、河北、江西、上海
刘立宏
8034
13815414773
山西
刘连鹏
8018
18021395113
海南
左  赛
8033
18017566211
河南 重庆 湖北 贵州 陕西
王  军
8035
13851877991
广东
单明月
8056
13770311887
湖南
张绪文心
8027
18602548008
青岛 甘肃 西藏 宁夏
马阳阳
8006
18651810931
新疆
陈鑫磊
15899133730
徐翠兰
13815871642
王 玮
8054
15077865340
谢久军
8042
13805153062 
河南办事处
刘宏
(河南办事处 主任)
 
13333831976
湖北办事处
周俊
(湖北办事处)
 
13995587166
贵州办事处
汤添智
(贵州办事处)
13602805009
重庆办事处
曾娟
(重庆办事处)
13628383332


教育行业代理

区域/行业 代理商 联系人 手机号 邮 箱
山西省教育行业总代理 太原太工天宇教育科技有限公司 朱晓军 13903518848 [email protected]
天津市教育行业总代理 天津沃翔科技有限公司 胥海涛 18622559355 [email protected]
四川省教育行业 阿一丁科技 周洋 18623655301 [email protected]
成都优越科技(总代理) 陈小林 13568881906 [email protected]
内蒙古教育行业 清华海旗 李杨 13901247452 [email protected]
内蒙古智盟文化旅游发展有限公司 陈振 15502999934 [email protected]
北京教育行业 华夏聚商(北京)科技有限公司 马志坚 13241834645 [email protected]
清华海旗 李杨 13901247452 [email protected]
湖南省教育行业 湖南星云智能科技有限公司 陈桂生 18611990635 [email protected]
湖南正硕科技有限公司 黄正祥 18611540068 [email protected]
湖南优利帝科技有限公司 沈凯丰 18674895858 [email protected]
湖南神州宜达信息技术有限公司 袁舜 17308480199 [email protected]
辽宁省教育行业总代理 沈阳天拓系统集成科技有限公司 苏勇 13940401319 [email protected]
吉林省教育行业总代理 长春智爱科技有限公司 左延凌 18626623543 [email protected]
广东省教育行业总代理 广州天子骄子电子科技有限公司 李元 13022085595 [email protected]
山东省教育行业 济南华朗电子设备有限公司 梁传凯 18605310122 [email protected]
山东泰和佳宜信息科技有限公司 杨德福 13305336850 [email protected]
青岛华星科电子设备有限公司 赵林 15665728160 [email protected]
济南掌中万象信息技术服务有限公司 胡克明 13306405566 [email protected]
山东泰山教育创新研究院 常继涛 13697663323 [email protected]
陕西省教育行业总代理 陕西精测电子仪器有限公司 康耀 13991342692 [email protected]
浙江省教育行业 浙江掌尊信息技术有限公司(总代理) 张成成 18267120032 [email protected]
浙江广电集团 张帆 18968053960 [email protected]
安徽省教育行业总代理 安徽康源物联信息科技有限公司 曹先操 18905605095 [email protected]
重庆市教育行业总代理 重庆杉臣教育科技有限公司 李方清 13320264154 [email protected]
广西省教育行业 广西国邦志成科技有限公司(总代理) 黄真强 18607714559 [email protected]
广西南宁上广视音频网络技术有限公司 王静静 13977136549 [email protected]
广西省南宁西乡塘培训学校 张华 18077241960 [email protected]
上海市教育行业 上海速文网络科技有限公司(总代理) 张结平 13120822448 [email protected]
赛服(上海)网络科技有限公司 杨穆超 18616681775 [email protected]
江西省教育行业总代理 江西臻宸科技有限公司 张伟 18172891221 [email protected]
福建省教育行业 福建网誉信息科技有限公司(总代理) 祝传兵 18905901215 [email protected]
福建超联信息科技有限公司 陈增超 18695729557 [email protected]
河北省教育行业 河北惠美电子科技有限公司 张慧 15383231728 [email protected]
石家庄展思科技有限公司 徐楠 18603297744 [email protected]
江苏省教育行业 江苏首创高科信息工程技术有限公司 吴云亮 13815027641 [email protected]
南京可瑞尔教育科技有限公司 史超 15722927758 [email protected]
新疆教育行业总代理 新疆亿航云翔信息科技有限公司 刘志勇 18690880877 [email protected]
云南省教育行业 云南磐恩科技有限公司 李黎 13700637126 [email protected]


公安行业代理

区域/行业 代理商 联系人 手机号 邮 箱
山东省公安行业代理 山东闻远通信技术有限公司 戴宇 18761674128 [email protected]
山东尊启信息技术有限公司 张为晓 13954141334 [email protected]
山东融御中安信息安全有限公司 赵慧奇 18660862096 [email protected]
海南省公安行业 海南怡盟电子科技有限公司(总代理) 熊桂霞 15298946071 [email protected]
海南阿福企业策划有限公司 黄振福 18789630559 [email protected]
浙江省公安行业代理 杭州联洲科技有限公司 史慧平 18968188988 [email protected]
杭州宁杭信息技术有限公司 许其元 13738038938 [email protected]
福建省公安行业代理 杭州宁杭信息技术有限公司 许其元 13738038938 [email protected]
贵州省公安行业总代理 北京云教互动科技有限公司贵州分公司 穆俊玲 17311090120
江苏省公安行业代理 徐州麒麟物联网科技有限公司 迟明秋 15862186070 [email protected]
陕西省公安行业总代理 陕西乐享电子科技股份有限公司 张化斌 13909215859 [email protected]
安徽省公安行业总代理 南京点道数据科技有限公司 李天宇 15951823701 [email protected]
河北省公安行业代理 河北惠美电子科技有限公司 马瑞泽 19933158868 [email protected]
重庆市公安行业代理 重庆贵飞科技有限公司 秦龙 18623001736 [email protected]
河南省公安行业代理 河南翰林网络技术开发有限公司 张磊 15617216616 [email protected]
四川省公安行业总代理 成都国策正义文化传媒中心 李斌 18620323772 [email protected]
山西省公安行业代理 中泰鼎晟(北京)科技有限公司 田泽雨 13835177588 [email protected]
内蒙古公安行业代理 中泰鼎晟(北京)科技有限公司 田泽雨 13835177588 [email protected]


诚征全国代理    总机:400-8855-360

负责人
分 机
手机号
邮 箱
腾讯QQ
杨  剑
8030
18751869256
点击这里给我发消息
阅读:15420次


版权所有 © 2011-2017 南京云创大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
云创大数据-专业的云存储、大数据、云计算产品供应商