背景

  目前普遍采用的TCP/IP网络传输协议已经有30多年历史,它主要是针对低效、复杂的网络而设计的,用在高带宽的数据链路上已经不能适应用户需求。我国地面光纤网络的传输效率普遍在带宽的20%以下,其结果是:一方面很难实时获取数据,另一方面也大大增加了带宽建设或租用成本。

  南京云创大数据科技股份有限公司经过多年积累,专门针对地面数据传输研究出高性能可靠文件传输协议cTrans,采用并行流水线方式、将传输与存储作联合优化,并支持多点中继高效传输。经过多项实地远程传输试验,结果表明该技术的传输效率在1Gb/s光纤线路上达到了带宽的80%左右。cTrans建立在UDP协议之上,可以通用于互联网中。

  图1和图2分别为TCP/IP性能柱状图和cTrans性能柱状图。

图1 TCP/IP性能柱状图
图2 cTrans性能柱状图


产品简介

   cTrans 云传输技术基于 UDP 协议,在应用层做了可靠性保障,同时加入 P2PXX技术,进一步提高了信道利用率。cTrans 云传输通过三次握手明确信道状况和基本传输速率,随后会以此速率发包,接收端在应用层检测收到包的序号,产生错误后记录下序号,累积一段时间后反馈序号列表,发送端重新将这些序号的包发送一遍即可。使用cTrans协议传输效率如图3所示:

图3 cTrans协议性能柱状图

   可以看出,cTrans 十分适合大数据的远距离传输模式,能够极大地提升传输带宽利用率,解决远距离传输的难题。

   基于 cTrans 高速云传输机制构建的 cTrans 云分发系统,主要包括中央节点资源及任务管控软件、边缘节点传输客户端软件两个部分。主要功能包括节点管理、用户管理、资源管理、任务管理、日志管理、参数设置等功能模块。cTrans云分发系统广泛适用于广电、媒体、互联网、军队、科研机构等特定行业和专业领域,并可在资源及数据的存储层面,与相关领域的业务系统(例如:媒资管理系统、地理信息系统等)进行整合。云分发系统具有传输速度快、传输成功率高、运行安全稳定、扩展性强、易于部署维护等优点。

图4 cTrans云分发系统传输界面

   cTrans 协议是我们公司专门针对地面数据传输开发的高性能可靠文件传输协议。采用并行流水线方式、将传输与存储作联合优化,并支持多点中继高效传输。cTrans建立在 UDP 协议之上,可以通用于互联网中,能够将互联网远程数据传输效率提高 4 倍以上,特别适合海量数据的远程传输。



系统架构

   基于cStor云存储系统的cTrans云分发系统架构图,如下:

图5 cTrans系统架构图




   cTrans系统结构如图6所示:

图6   cTrans结构图

   cTrans双方都有发送和接收两个实体。发送实体根据流量控制和速率控制来发送(和重传)报文。接收实体负责数据报文和控制报文的接收,同时负责触发和处理所有的控制事件:包括拥塞控制、可靠性控制、RTT估计、带宽估计、应答和重传等。

   cTrans双方需要通信时,客户端首先发送连接请求报文,并在收到服务器端响应后,建立连接。传输过程中双方还将定时发送握手报文来维持连接。传输结束后,可以由客户端发起请求,主动关闭连接;也可以通过客户端停止发送握手包,使接收方握手超时,从而被动关闭连接。

   进行数据发送时,cTrans将应用层数据切割成固定长度的报文进行发送。如果报文长度超过MTU,那么网络层将对该报文进行分片,下层的协议对于分片到达的可靠性是没有任何保证措施的,因此任何一个分片的丢失,都将导致整个报文的重传,从而使报文一次正确到达的几率降低。基于上述考虑,应当避免报文分片。因此报文的最大长度为MTU,同时考虑到下层的协议开销,报文的实际长度略小于网络的MTU。


使用环境与界面


   使用环境:目前提供Linux下的cTrans版本,可根据客户需要定制Windows下版本。

   使用界面:支持Shell下命令行操作界面,同时提供类似FTP软件的操作界面,如图8所示:

图7   cTrans软件界面


测试数据


   测试系统有A、B、C三台机器,以千兆以太网连接。数据从服务器A依次发送到B,C。进行存储测试时,A向B发送数据,B接收后,在本地进行存储,同时将数据转发给C,C接收到后进行存储。测试环境的硬件配置如下表所示。

   硬件配置

服务器名称 CPU 内存 网卡 RAID 操作系统
A 双核3.2GHZ 4G 1000Mbit/s 4块硬盘加raid卡构建raid0 Linux 2.6.20内核
B 双核3.2GHZ 4G 1000Mbit/s 4块硬盘加raid卡构建raid0 Linux 2.6.20内核
C 双核3.2GHZ 4G 1000Mbit/s 4块硬盘加raid卡构建raid0 Linux 2.6.20内核

   采用Ipfer和Iometer分别对机器的实际最大网络速度(采用UDP协议)和I/O速度进行测试,结果如下表所示。

   采用Ipfer,速度测试结果

网络速度 磁盘读取速度 磁盘写入速度
112MB/s (A-B UDP ) 150MB/s(顺序读) 121MB/s(顺序写)

112MB/s (A-B UDP )

119MB/s (B-C UDP )

146MB/s(顺序读) 119MB/s(顺序写)
121MB/s (C-B UDP ) 147MB/s(顺序读) 124MB/s(顺序写)

   采用cTrans后,A-B不转发,测试结果如下表所示。

   采用cTrans后,A-B不转发,速度测试结果

文件大小(GB) 用时(s) 平均速率(MB/s) 是否正确
8 97 82.47
8 101 79.21
6 78 76.92
6 77.5 77.42
6 78 76.92
3.9 49 79.59
3.9 47 82.98
3.9 47 82.98

   采用cTrans后,A-B-C转发,测试结果如下表所示。

   采用cTrans后,A-B-C转发,速度测试结果

文件大小(GB) A到B用时(s) 中转用时(s) 平均速率(MB/s) 是否正确
8G 96.686 103.877 81.06/77.01
8G 98.645 102.830 81.09/77.79
8G 97.655 106.859 81.92/74.86
6G 81.54 80.62 73.58/74.42
6G 79.56 78.68 75.41/76.25
6G 79.52 79.73 75.45/75.25
3.9G 49.32 49.52 79.05/78.75
3.9G 54.37 51.42 71.73/75.84
3.9G 52.416 51.388 74.40/75.25


产品特性

   cTrans传输协议的实现主要由转发模块、存储模块、可靠传输模块构成,底层基于UDP协议, P2P方式传输。

流水线并行传输技术
应用流水线的思想,将网络数据的接收、存储、转发分解成流水线上的独立单元,网络数据顺序进入以上单元进行处理。这样既提高了并行程度,同时也减少了数据的内存拷贝次数,从而提高了系统整体性能。
传输与存储并行优化
将文件发送端的流程划分为文件读取和数据发送两个独立的部分,同时增加读取队列和发送队列来取消步骤之间的资源相关性,运用多线程技术,实现发送和传输重叠执行,达到性能优化的目的。同理在接收端将文件存储和数据接收分解成独立的部分。

基于UDP建立高度可靠的准确性保障传输机制
建立了特殊的可靠传输机制,确保数据有序正确到达(数据的正确性已经过长时间的使用得到验证)。
有效的拥塞控制机制
可以根据线路特性,实现相应的拥塞控制机制,进行专门优化。

无限的转发框架
转发的节点个数不受限制,并且可以实现转发的多级级联。


市场应用

应用范围 应用描述 典型用户
视频传输、节目分发 海量数据传输与处理、视频格式转换、高清节目转码、节目多点分发 电视台、媒体制作相关行业
数据灾备 海量数据远程灾备 图书馆、档案馆
大规模数据传输 高并发、大文件高性能传输 视频点播系统、图书馆、学校、政府机关
... ... ...

联系方式    总机:400-8855-360

销售人员
分 机
手机号
邮 箱
腾讯QQ
叶飞
8050
15651627356
点击这里给我发消息
张  伟
8028
15805157345
点击这里给我发消息
沈有云
8029
18652099637
点击这里给我发消息
王  军
8035
13851877991
点击这里给我发消息
张绪文心
8027
18602548008
点击这里给我发消息
刘连鹏
8018
18021395113
点击这里给我发消息
左  赛
8033
18017566211
点击这里给我发消息
刘立宏
8034
13815414773
点击这里给我发消息
何家乐
8031
18616794962
点击这里给我发消息
杨  剑
8030
18751869256
点击这里给我发消息
陈跃飞
8041
13951803427
点击这里给我发消息
吴昊
8042
17701581182
点击这里给我发消息
吴亚洲
(新疆分公司 总经理)
8022
15051819138
点击这里给我发消息
刘宏
(河南办事处 主任)
 
13333831976
点击这里给我发消息
韦远雄
(广西办事处)
18577997606
点击这里给我发消息


全国代理商

区域/行业 代理商 电 话 联系人 手机号 邮 箱
西安市教育行业 陕西精测电子仪器有限公司 029-85261352 康耀 13991342692 121665529@qq.com
贵州教育行业 贵阳飞瑞敖电子科技有限公司 0851-84849961 汤添智 18166738013 1589819668@qq.com
重庆教育行业 重庆竺韩科技有限公司 曾娟 13628383332 2586577650@qq.com
湖北省 中创云城信息科技有限公司 027-88517519 吕辉 13801220173 lvhui@cncloudcity.com.cn
中国移动 江杰 13720337758 jiangjie@cncloudcity.com.cn
江苏省教育行业 南京迪软软件有限公司 025-68592750 赵琦 18005161178 zhaoqi@ideassoft.com
上海市教育行业
成都核心代理 四川菲普斯科技有限责任公司 028-87607880 陈先生 13808007617 chanxb@qq.com
杭州市 杭州麦吉科信息技术有限公司   牟桂雄 18158119777 18158119777@189.cn
北京市 北京北测教育科技发展有限公司   杨振宏 15811252385 1557848882@qq.com
合肥市 合肥朋来传媒科技有限公司   王先生 13866790669 2290127469@qq.com
郑州市 河南哈努曼电子科技有限公司   董仲飞 13810619676 dongzhongfei@msn.com
济南市 济南普云信息科技有限公司   孙刚 15253189163 124959448@qq.com
南京市 南京北极星科技有限公司   刘星雨 13815441588 1061856192@qq.com
南京市 南京硕坤电子科技有限公司   邵平 13912950086 35922285@qq.com
北京市 北京物语智城科技有限公司   王菁 18612995658 wangjing_609@163.com
南昌市 南昌达讯科技   谭持续 18170070499 575704369@qq.com
福州市 福州超联信息技术有限公司   陈增超 18695729557 532305269@qq.com
苏州市 苏州扬天信息科技有限公司 0512-65133300 陈育才 15365388158 857336980@qq.com
西安市 西安诺冠信息技术有限公司 029-62593086 付战领 13389214518 xangiot@163.com


诚征全国代理    总机:400-8855-360

负责人
分 机
手机号
邮 箱
腾讯QQ
张  伟
8028
15805157345
点击这里给我发消息
杨  剑
8030
18751869256
点击这里给我发消息
阅读:7350次


版权所有 © 2011-2016 南京云创大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
云创大数据-领先的云存储、大数据、云计算产品供应商