PM2.5云监测系统后端方案

 

1.概述

PM2.5云监测平台系统,是基于PM2.5测试的辅助测试。主要是反映局部区域的相关参考值,通过先进的云计算技术数据立方PM2.5监测平台系统分析和处理PM2.5数据从而和宏观上反映城市的整体的空气质量的监测站点的监测方式形成互补。

 

1.1背景

由于分散在城市周围需要大量的PM2.5监控点(100--10000个)需要实时的并发上传大量PM2.5数据,以及需要存储和处理海量的PM2.5的历史数据,采用传统的结局方案显然难以满足需求据存储和分析处理数据的需要。

PM2.5云监测平台会产生极其海量的数据。假如一个城市部署了5000个监测点,每个点每5秒上报一次数据,则一天下来,会产生8.64亿条记录,一年就会产生3153.6亿条记录,十年就会产生3万亿条记录。从趋势分析角度看,长期保存历史数据是必要的。传统的数据库无法支撑如此之多的数据量,必须使用云计算数据库。而目前的开源云计算数据库无法在庞大的数据集上做到实时处理,运用云创存储的cStor云存储系统和数据立方就成了选择。

 

1.存储层:使用云创存储公司的cStor云存储系统。cStor具有极性价比、低功耗、高可靠、通用、免维护等优势,可广泛应用于有大量数据存储需求的场合。功耗方面,cStor每个节点几瓦的功率与业界典型值200瓦形成了鲜明的对比;存储方面,每个标准机架的很高容量可达1024TB以上,是国外水平的3倍;成本方面,硬件与运营成本是同类产品的几分之一。该产品已成功应用于视频监控、智慧交通、数字地球和动漫制作等多个领域。

 

2.处理层:数据立方云计算分布式数据库,即可解决海量数据的高速入库、快速索引和关联查询等问题,使万亿条记录级的数据查询能够秒级处理。数据立方是一套能够处理万亿记录级别的商用系统,且该技术在中国移动和国家电网的评测中,较之国外产品呈现出明显的优势。目前已经开始大规模使用。

 

 

 

图表1 Intel-云创数据立方云计算一体机

 

 

1.2意义

       部署廉价的PM2.5监测平台环境系统,配合城市现有的环境监测站点,及时、反映环境质量现状及发展趋势,为环境管理、污染源控制、环境规划等提供科学依据,并结合天气状况、城市交通、人口密度、工业产值等元素,进行系统的研究,为保护环境,改善城市的大气环境质量改善起到技术支撑作用。具体可归纳为:
    (1)
根据环境质量标准,评价环境质量。
    (2)
根据污染分布情况,
追踪寻找污染源,为实现监督管理、控制污染提供依据。
    (3)
构建云计算海量数据处理平台,存储本区域海量数据,积累长期监测资料,为研究环境容量、实施总量控制、目标管理、预测预报环境质量提供数据。
    (4)
为保护人类健康、保护环境、合理使用自然资源、制订环境法规、标准、规划等服务。

 

2.设计

 

2.1 系统架构

 

2.1.1总体架构

PM2.5监测平台是一个处于PM2.5数据采集与PM2.5数据监测应用之间的系统。从系统基本组成与构架上来看,该共享平台由以下主要部分组成:历史数据汇总处理系统,实时数据入库系统,PM2.5监测平台数据存储系统,PM2.5监测平台数据查询分析应用系统,数据管理系统。

系统总体架构图:

 

 

图表2 系统总体体系架构图

 

 

 

 

2.1.2系统架构功能

PM2.5监测平台云平台需要提供的主要功能描述如下。

 

1)实时数据入库系统

 

实时数据入库系统主要负责全市所有PM2.5监测点产生的数据实时存到PM2.5监测平台数据存储中心。

 

 

2PM2.5监测平台数据存储系统

原始PM2.5数据,将全部存储在PM2.5监测平台分布式文件系统,用于存储海量的非结构化数据。为了满足和适应数据量、数据特征和查询处理的不同需求,部分存存储于关系型数据库中。

 

3PM2.5监测平台数据查询分析应用系统

PM2.5数据查询分析应用提供包括实时监控空气质量PM2.5,查看历史记录和分析数据等功能。PM2.5历史查询处理时,由于PM2.5数据量巨大,需要调度使用多台服务器节点进行并行处理。

 

4)数据管理系统

在实际使用中,可能用户会对某一时间段或者类型的数据特别关心,就可以通过数据管理系统查询并导出这部分数据以供使用。

 

2.2系统可靠性与扩展性

 

2.2.1系统扩展性

数据立方既可以在成千上万的机器上跑,也可以在很小规模上运行。

PM2.5监测系统扩展优势:

与其它分布式系统相比,使用数据立方的好处在于它的水平的可扩展性,在少量结点上,用数据立方处理有限的数据时,不能展示数据立方的性能,因为开始数据立方程序相关的代价比较高,其它并行/分布程序方式,比如MPI (Message Passing Interface)可能在2台,4台或许10多台计算机上有更好的性能,尽管在少量机器上协同工作在这种系统上也许会取得更好的性能,但这种为性能所要付出的努力是非线性的增长。用其它分布式框架所写的程序在从十台机器的级别到成百上千台机器需要大量的重构工作,这也许要程序重写几次,并且其它框的基础元素会限制应用的规模大小。但是特别设计的数据立方有着水平的可扩展性,一个数据立方程序写完后,在10个结点上运行,如果迁徙到更大的集群上运行,几乎不需要做什么工作, 数据立方平台会管理数据和硬件资源并提供与可用资源成比例的可靠性能。

针对PM2.5监测平台系统,在充分运用数据立方技术优势的基础上,可以做到:

1.加监测点只需要简单的配置即可连接到PM2.5监测平台数据存储中心,统一规范标准,名称体现PM2.5监测平台监测点理位置、PM2.5监测平台监测点编号等信息,便于快速检索,

2.客户需要随时更加存储设备和数据分析服务器只需要根据数据立方规范做简单修改配置即可。例如如果后续根据PM2.5监测平台的存储数据量量增加的情况下可以动态的添加存储节点。查询速度变慢只需要动态的添加少量处理节点。很大程度的节省客户成本。

3.与原有系统数据对接支持各个版本的数据库对接接入Oracle SQLServer Mysql均可。

 

2.2.2系统可靠性

随着系统越做越大越复杂,其可靠性越来越难保证。应用本身对系统运行的可靠性要求越来越高,在一些关键的应用领域,如航空、航天等,其可靠性要求尤为重要,在银行等服务性行业,其软件系统的可靠性也直接关系到自身的声誉和生存发展竞争能力。特别是软件可靠性比硬件可靠性更难保证,会严重影响整个系统的可靠性。PM2.5监测平台系统利用数据立方的可靠性机制保障和提高数据可靠性。

 

2.2.3数据查询与统计分析子系统

cProc云处理是处理海量数据的处理框架,特点是实时性高。主从式的管理节点监控着所有处理节点(slave),并接受任务,分配子任务,监控任务以及处理各类异常情况。处理节点(slave),接受子任务,监控子任务,向主节点汇报任务。数据查询子系统构架如下图:

 

 

 

 

 

图表 6 数据查询子系统构架

 

 

对前台页面传来的json字符串信息进行解析并分析各个变量,得到需要查询的信息,然后把这些信息在封装成与数据库端相合的协议,调用数据库提供的接口对后台数据库进行查询。数据库端查询完毕后将byte形式的结果存放在指定文件中。接口服务器受到信号,读取文件,并将结果封装成字符串发送到前台界面显示。下图是网页查看实时PM2.5监测平台数据

 

 

 

图表 7 数据网页查询界面

 

 

 


更多下载



联系方式    总机:400-8855-360

区域
销售人员
分 机
手机号
邮 箱
腾讯QQ
项目总监
袁高峰
8008
15051887778
点击这里给我发消息
市场部总经理
张军方
18662385792
点击这里给我发消息
新疆分公司
吴亚洲
(新疆分公司 总经理)
8022
15051819138
点击这里给我发消息
北京 安徽 天津 辽宁 黑龙江 吉林
骆梦阳
8052
13952028557
点击这里给我发消息
江西 上海 福建 河北
陈跃飞
8041
13951803427
点击这里给我发消息
山东 浙江 四川 广西
杨  剑
8030
18751869256
点击这里给我发消息
内蒙古
何家乐
8031
18616794962
点击这里给我发消息
云南
刘立宏
8034
13815414773
点击这里给我发消息
山西
刘连鹏
8018
18021395113
点击这里给我发消息
海南
左  赛
8033
18017566211
点击这里给我发消息
河南 重庆 湖北 贵州 陕西
王  军
8035
13851877991
点击这里给我发消息
湖南
张绪文心
8027
18602548008
点击这里给我发消息
青岛 甘肃 西藏 宁夏
马阳阳
8006
18651810931
点击这里给我发消息
新疆
杜轶凡
15022995020
点击这里给我发消息
徐翠兰
13815871642
点击这里给我发消息
单明月
13770311887
点击这里给我发消息
王 玮
8054
15077865340
点击这里给我发消息
谢久军
8042
13805153062 
点击这里给我发消息
河南办事处
刘宏
(河南办事处 主任)
 
13333831976
点击这里给我发消息
广西办事处
韦远雄
(广西办事处)
 
18577997606
点击这里给我发消息
湖北办事处
周俊
(湖北办事处)
 
13995587166
点击这里给我发消息
贵州办事处
汤添智
(贵州办事处)
13602805009
点击这里给我发消息
重庆办事处
曾娟
(重庆办事处)
13628383332
点击这里给我发消息


全国代理商

区域/行业 代理商 电 话 联系人 手机号 邮 箱
西安市教育行业 陕西精测电子仪器有限公司 029-85261352 康耀 13991342692 [email protected]
重庆教育行业 重庆杉臣教育科技有限公司 李方清 13320264154 [email protected]
湖北省 中创云城信息科技有限公司 027-88517519 吕辉 13801220173 [email protected]
中国移动 江杰 13720337758 [email protected]
江苏省教育行业 南京迪软软件有限公司 025-68592750 赵琦 18005161178 [email protected]
上海市教育行业
成都核心代理 四川菲普斯科技有限责任公司 028-87607880 陈先生 13808007617 [email protected]
杭州市 浙江掌尊信息科技有限公司   张成成 18267120032 [email protected]
北京市 北京北测教育科技发展有限公司   杨振宏 15811252385 [email protected]
合肥市 安徽康源物联信息科技有限公司   曹先操 18905605095 [email protected]
郑州市 河南哈努曼电子科技有限公司   董仲飞 13810619676 [email protected]
济南市 济南普云信息科技有限公司   孙刚 15253189163 [email protected]
南京市 南京北极星科技有限公司   刘星雨 13815441588 [email protected]
南京市 南京硕坤电子科技有限公司   邵平 13912950086 [email protected]
北京市 北京物语智城科技有限公司   王菁 18612995658 [email protected]
南昌市 南昌达讯科技   谭持续 18170070499 [email protected]
福州市 福州超联信息技术有限公司   陈增超 18695729557 [email protected]
苏州市 苏州扬天信息科技有限公司 0512-65133300 陈育才 15365388158 [email protected]
西安市 西安诺冠信息技术有限公司 029-62593086 付战领 13389214518 [email protected]


诚征全国代理    总机:400-8855-360

负责人
分 机
手机号
邮 箱
腾讯QQ
杨  剑
8030
18751869256
点击这里给我发消息
阅读:12371次


版权所有 © 2011-2017 南京云创大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
云创大数据-专业的云存储、大数据、云计算产品供应商