JobKeeper的背景
在没有JobKeeper如此智能的调度平台辅助时，大数据处理时很不方便，因为在处理大数据时通常都会调用多个软件组件，而多个工具的使用当时只能依靠手动来调用，才能完成整个处理流程，这样大大的增加了处理成本，也浪费了很多时间、人工。针对这样的情况，云创大数据经过多次针对性调研整理，研发出JobKeeper智能调度平台，成功解决这一难题，通过JoKeeper调度平台，在处理大数据时，可以很方便的按流程来自动调用所有的组件, 除此之外，智能的JobKeeper应用范围很广泛，不仅仅局限于大数据处理，而且各个方面都适用，并且可以对机器进行性能监控。
JobKeeper产品简介
JobKeeper是南京云创大数据科技股份有限公司自主研发的分布式调度平台(亦支持单机)，具有较高的任务处理性能，而且具有高可靠性，可不间断接受任务。
JobKeeper 是一种处理任务的高性能分布式调度平台，JobKeeper可不间断接受从各台计算机提交的任务，再按照当前集群中所有机器的压力，智能进行分配任务，进而达到集群负载均衡。通过JobKeeper还可以对当前分布式集群的所有机器的状况进行监控，对集群中所有的任务进行停止、删除等功能。
系统基本组成
JobKeeper的系统架构如图1所示：
JobKeeper的任务分发流程如图2所示：
当用户在应用层下发任务给管理节点，管理节点调度机器采集机器节点的信息，根据具体的算法选取合适的节点并分发任务，接下来具体的处理节点接收到任务并处理同时将结果返回给管理节点，管理节点整理汇总处理结果，而后返回给应用层。
JobKeeper系统故障处理机制
Jobkeeper的故障处理机制如图3所示：
首先是任务处理节点宕机或者该任务初始化后出现错误，那么该任务返还到任务调度层交给调度节点重新分配。如果任务处理节点宕机或者子任务出现未知错误，那么该任务将返回到任务处理节点上 由任务节点机器重新分配该子任务。而所有的任务信息和处理节点信息都会定时写入到磁盘文件 所以不需要担心做了一半的任务要从头开始做。
JobKeeper产品优势
JobKeeper市场应用
|
应用范围
|
应用描述
|
成功案例
|
| 传媒行业 | 基于大量X86架构计算机构成的低成本云转码平台上进行高清视频转码。 | 某传媒视频云转码平台等 |
| 自动化研究 | 对分布式集群进行智能调度与性能监控。 | 某研究所大数据处理平台等 |
| 移动网络优化 | 对分布式集群进行智能调度与性能监控。 | 某运营商共享云平台等 |
| 医疗行业 | 海量数据处理的智能调配与集群性能监控。 | … |
| … | … | … |
| 项目 | 技术指标 |
| 数量 | 1套 |
| 品牌 | 云任务调度系统知名品牌。 |
| 体系架构 | 高性能集群分布式架构多任务调度系统。 |
| 数据处理性能随节点数量的增加而线性增加，支持多节点自动负载均衡及故障转移。 | |
| 横向扩展 | 支持在不停机情况下，通过向系统中增加节点的方式实现业务不中断情况下扩充容量和性能。 |
| 在线修复 | 任意节点发生故障、可在不间断业务的情况下进行修复。 |
| 支持主机系统 | 客户端支持Linux（CentOS、RedHat、Ubuntu）、FreeBSD、Windows、苹果MacOS X等主流操作系统。 |
| 高可用性 |
要求系统全冗余，节点必须是高可用配置。当元数据节点出现故障时，要能自动切换到备用元数据节点。任何一个节点出现故障，不影响数据的正常访问。 |
| 可用性 | 当任意1个节点（包括元数据节点）发生故障，存储系统仍然保持数据完整，并且不会停机中断服务。 |
| 服务 | 原厂商质保服务， 三年7×24×4，4小时用户现场响应服务。 |
| 可调度的任务总量 | 可迅速调度一万个以上的任务。 |
| 数据存储 | 数据能够集中存储和处理。 |
| 负载均衡性 | 大规模并发任务处理时，能够根据节点负载进行动态分配处理任务，做到资源负载均衡。 |
| 调度管理 | 可对执行任务集中调度管理。 |
| 稳定性 | 1、系统连续运行7*24小时，无故障。 2、所有周期任务均正常执行，且执行结果正确。 |
| 可靠性 | 没有单点故障，任意节点宕机，系统工作正常，可以继续进行数据处理和应用查询,不会影响分布式系统运行和查询结果的准确性。 |
| 扩展性 | 既可以在很小规模机器上跑,也可以在成千上万台的机器上运行，而且经过很简单的操作就可以把规模扩展到成千上万台服务器上,而且可靠性随着加入节点的增加成线性上升。 |
| 分布式计算能力 | 集群能增加节点、并且能正常执行查询任务，在流量没变、资源增加的情况下，增加机器前后，查询任务耗时按比例降低。 |
联系方式 总机:400-8855-360
市场部
区域/行业 |
销售人员 |
分 机 |
手机号 |
邮 箱 |
腾讯QQ |
河南 重庆 湖北 贵州 陕西 |
王 军 |
8035 |
13851877991 |
 |
福建、湖南、安徽、天津、黑龙江、吉林、环保 |
张先生 |
8027 |
18602548008 |
 |
云创大学、北京、辽宁、通用产品 |
张 伟 |
8028 |
15805157345 |
 |
浙江、四川、广西、山东 |
杨 剑 |
8030 |
18751869256 |
 |
河北、上海、内蒙、人脸识别、单向光闸 |
李云龙 |
8050 |
15722710158 |
 |
山西、地震、智慧路灯伴侣 |
邱毅林 |
8022 |
15950494413 |
 |
宁夏、甘肃、西藏、青海 |
何传武 |
8086 |
13601464646 |
 |
海南、公安 |
左 赛 |
8033 |
18017566211 |
 |
江西、测绘 |
刘立宏 |
8034 |
13815414773 |
 |
广东 |
单明月 |
8056 |
13770311887 |
 |
云南 |
朱畅 |
8018 |
18362985668 |
 |
新疆 |
杨松 |
18609918305 |
 |
网格化、燃气报警 |
谢久军 |
8042 |
13805153062 |
 |
K12 |
汤鹏 |
15380975854 |
 |
新疆分公司 |
任家瑞 |
13851763165 |
 |
广东分公司 |
罗艺峰 |
13822231734 |
 |
海南分公司 |
王小何 |
18608968486 |
 |
河南办事处 |
刘宏 |
13333831976 |
 |
湖北办事处 |
周俊 |
13995587166 |
 |
贵州办事处 |
汤添智 |
13602805009 |
 |
重庆办事处 |
曾娟 |
13628383332 |
 |
安徽办事处 |
曹先操 |
18905605095 |
 |
校企合作
| 校企合作基地 | 北京华科云创大数据科技有限公司 |
| 校企合作核心合作伙伴 | 河南源之点信息技术有限公司 |
| 河南省融创教育科技有限公司 | |
| 济南凰富信息科技有限公司 | |
| 杭州瑞楠信息技术有限公司 | |
| 长沙市众元网络技术有限公司 | |
| 武汉明德云智教育科技有限公司 | |
| 无锡大云教育科技有限公司 |
负责人 |
分 机 |
手机号 |
邮 箱 |
腾讯QQ |
杨 剑 |
8030 |
18751869256 |
|
