Hortonworks改进内存分析平台Spark与Hadoop全面整合

Hortonworks的新代码改进了Spark与Hive的集成，并计划对Spark内存分析平台进行安全和性能方面的升级。

Apache Spark内存分析平台如今是大数据分析领域的热门技术，Hadoop发行商Hortonworks近日决定加大对Spark的投入。本周三Hortonworks宣布其Spark软件将提升Hive集成度，并增加对Spark的ORC数据格式的支持，Hortonworks还计划提升Spark通过YARN资源管理工具与Hadoop协作的安全性和性能表现。

Hortonworks的产品营销总监Jim Walker在接受媒体采访时指出，Hortonworks的目标是确保Spark支持YARN并为YARN优化，同时配备合适的安全和运营工具。

YARN 是 Hadoop 内的数据操作系统，可在一个集群上组合多个数据集，并使用各种处理引擎访问它们。（参考阅读：Hadoop2.0：大数据新突破在即）

而Spark是Databricks公司开发推广的一种内存（in-memory）机器学习平台（借助MLLib）。Spark同时还支持SQL分析（借助SparkSQL），流分析（借助Spark Streaming），并有望支持流行的R分析库和图谱分析（分别借助SparkR和GraphX）。Spark既可以作为一个单独的分布式集群运行，也能在Hadoop和Cassandra上运行，还能与MongoDB和传统关系型数据库资源对接。

Hortonworks致力于让Spark能更好地与Hadoop协作，因此为Spark贡献了不少代码，提升其与Hive——一种Hortonworks偏爱的原生Hadoop开源SQL查询工具的集成。值得注意的是Hortonworks的竞争对手也采用Hive，但是Cloudera和MapR例外，Cloudera致力于推广自己专有的Impala SQL查询引擎，MapR则支持开源的Apache Drill。

据Hortonworks透露，本周将在其官网提供预览的新代码能够提升Spark读写Hive数据的性能，包括支持以ORC（Optimized Row Columnar）格式写入数据，ORC是一种列存储个事，为数据读取和压缩性能进行了优化，而ORC也正在成为Hive的事实存储格式。

Hortonworks是发行Spark软件的十个厂商之一，其他厂商还包括BlueData、CLoudera、DataStax、Guavus、IBM、Oracle、Pivotal、SAP和Stratio。其中三家厂商Cloudera、DataStax和MapR是Databricks的认证服务提供商。Hortonworks的认证虽然还没有下来，但是已经开始对发售的Spark软件提供支持。