当前位置: 首页 > 业界动态 > 技术评论 > 本文


Hortonworks改进内存分析平台Spark与Hadoop全面整合




发布时间: 2014-9-26 10:22:54  

  Hortonworks的新代码改进了Spark与Hive的集成,并计划对Spark内存分析平台进行安全和性能方面的升级。

 

 



 
 Apache Spark内存分析平台如今是大数据分析领域的热门技术,Hadoop发行商Hortonworks近日决定加大对Spark的投入。本周三Hortonworks宣布其Spark软件将提升Hive集成度,并增加对Spark的ORC数据格式的支持,Hortonworks还计划提升Spark通过YARN资源管理工具与Hadoop协作的安全性和性能表现。

  Hortonworks的产品营销总监Jim Walker在接受媒体采访时指出,Hortonworks的目标是确保Spark支持YARN并为YARN优化,同时配备合适的安全和运营工具。

  YARN 是 Hadoop 内的数据操作系统,可在一个集群上组合多个数据集,并使用各种处理引擎访问它们。(参考阅读:Hadoop2.0:大数据新突破在即)

  而Spark是Databricks公司开发推广的一种内存(in-memory)机器学习平台(借助MLLib)。Spark同时还支持SQL分析(借助SparkSQL),流分析(借助Spark Streaming),并有望支持流行的R分析库和图谱分析(分别借助SparkR和GraphX)。Spark既可以作为一个单独的分布式集群运行,也能在Hadoop和Cassandra上运行,还能与MongoDB和传统关系型数据库资源对接。

  Hortonworks致力于让Spark能更好地与Hadoop协作,因此为Spark贡献了不少代码,提升其与Hive——一种Hortonworks偏爱的原生Hadoop开源SQL查询工具的集成。值得注意的是Hortonworks的竞争对手也采用Hive,但是Cloudera和MapR例外,Cloudera致力于推广自己专有的Impala SQL查询引擎,MapR则支持开源的Apache Drill。

  据Hortonworks透露,本周将在其官网提供预览的新代码能够提升Spark读写Hive数据的性能,包括支持以ORC(Optimized Row Columnar)格式写入数据,ORC是一种列存储个事,为数据读取和压缩性能进行了优化,而ORC也正在成为Hive的事实存储格式。

  Hortonworks是发行Spark软件的十个厂商之一,其他厂商还包括BlueData、CLoudera、DataStax、Guavus、IBM、Oracle、Pivotal、SAP和Stratio。其中三家厂商Cloudera、DataStax和MapR是Databricks的认证服务提供商。Hortonworks的认证虽然还没有下来,但是已经开始对发售的Spark软件提供支持。

 

        本文来源:IT经理网

阅读:765次
推荐阅读:

版权所有 © 2011-2017 南京云创大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
云创大数据-专业的云存储、大数据、云计算产品供应商