当前位置: 首页 > 业界动态 > 行业热点 > 本文


民生证券总监颜阳:金融行业大数据挑战(上)




发布时间: 2012-12-17 9:58:05  

201212月,2012年中国存储峰会在北京隆重举行,民生证券信息技术总监,颜阳先生,为我们带来金融行业大数据挑战的主题报告。颜阳从五个方面介绍了金融行业的大数据挑战。

     说明: http://image.doit.com.cn/uploadpic/2012/1214/6696441.JPG

   民生证券信息技术总监,颜阳先生

大数据的定义是什么?

“昨天网上搜集了一组数据,第一个是我们的实体商店,第一百货王府井销售额是150亿,我们再来看一下天猫商城2011年的交易额,不是一个数量级的。一千个亿,这一组数据表明了从我们的维度来讲的话,就是说他的量,我们大数据首先大家肯定要考虑建一个量。我们看一下天猫商城20121111日的,这个数据大家都比我清楚,大概是191亿,当天的销售额超过了实体店一年的销售额。” 颜阳讲到。这说明什么问题呢?网上购物基本上是单笔金额不太多。但是如果说达到190亿的销售额,实际上处理速度是比较快的。从这个维度上来讲的话大数据是体现了速度,这个案例实际上是说明我们大数据是比较关键的,它是不同类别的,包括结构化和非结构化的数据。

大数据里面,我们觉得这三个维度是同样重要的。既有速度,又有数量,还有类别,集合在一起,就变成了中间复杂度更高的这样一种情景出来。这种情景出来以后我们怎么样去解决呢?由于消费者和生产者的概念融合,使得我们终端用户的角色也发生了变化,也就是使我们终端用户,既可以消费数据,也可以产生数据。

这里面是有几个观点给大家分享一下。现在大家说大数据是新时代的石油,有些方面是正确的,因为说大数据是新时代的石油,说明它还有很多价值没有挖掘出来。比如说石油是需要勘测的,这里跟我们大数据应用是关联的,我们数据一定要找到有用的数据,才能够放到应用空间去。第二个是我们的数据需要挖掘的,挖掘需要相应的处理模型跟我们数据做关联,我们的数据是越挖价值越大的。所以我们说大数据是新时代的石油,应该是有某些方面是正确的。

大数据为存储厂商带来的机遇

存储厂商提出很多应用方案,需要和用户进行对接。但是对用户来讲,要考虑投入和产出比,这些时候,数据需要有良好的架构来处理真正的大数据,这种比较复杂的应用。现有的解决大数据的问题,一个企业如果数据都是信息孤岛,你要处理大数据基本上是无法实现的。因为大数据处理的话,一个量大,一个是效率比较高。

最后一个数据是安全,特别是提到了大数据,我们特别关注的是安全。因为金融行业在做大数据,包括云计算的推进的话,是相对比较低调的。正是因为安全的问题的话,他困扰着不管是我们的用户,困扰着我们的厂商,也困扰着我们的使用者。那么怎么解决现在大数据遇到的这些问题呢?第一个,我们的应用要进行切分,OLTPOLAP放在一起传统的解决的话,要做数据分析效率提不高,为什么?这两种应用是有很大的质的区别。

比如说在线的事务处理,很多有操作,分析上处理的话,主要是查询,查询是对磁盘的数据的交换,这里面是差别比较大的。

第二个是解决磁盘的写盘的效率有很多方式。第一个是提高转数,提高转数也不能完全解决问题。于是现在有很多的技术,包括SSD的技术,随着生产成本降低,可能应用得比较多,但是现在来讲的话,成本还是比较高。于是我们用户在解决的时候,可以采取一种混合的模式来解决我们的应用问题。

另外,第三个是分布式存储和共享式。我们在一些OLTP中多半是采用共享式的,但是在做OLAP的时候,很多用分布式的方式来解决,这里尤其是对大数据的应用非常重要。

大数据的安全很重要

那么,在安全的问题上,如果说我们将来的大数据放在云上面的话,一定要考虑安全,安全有两个方面,一个是把公共的数据放在公有云上面。但是客户的数据,私有的数据,客户的资金情况,我们的股票的余额等等商业机密的话,应该放在自己的私有云上面,现在做得越来越多的是混合云的方式来实现的。

这里简单说一下网络存储里面有很多的数据方式,包括网格的存储也是有比较好的应用的前景。当然还有其他的存储模式。随着我们大数据的应用落地越来越多,我们会有很多的解决方案。

本文来源:存储在线

分享到:
阅读:1559次
推荐阅读:

版权所有 © 2011-2016 南京云创大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
云创大数据-领先的云存储、大数据、云计算产品供应商