驯服大数据的七种武器

本文将介绍七种能帮你驯服Hadoop的顶级汇报、分析、可视化、集成和开发工具

随着泰国洪水抬高的硬盘价格逐渐回落到正常水平，数据存储容量的增长速度有望重新开始飙升。这将让风头盖过商业智能的“大数据”应用更加火爆，上至白宫下至沃尔玛都在使用Hadoop、NoSQL数据库和廉价通用服务器的组合进行低成本的大数据分析，不过虽然大数据分析的软硬件成本在降低，但是为数十台大数据服务器编写应用依然比传统SQL数据库来得复杂。而且Hadoop任务是用Java编写的，这进一步增加了复杂性。目前已经有很多大数据工具能够帮助人们驾驭大数据的分布式计算马力，这些工具大多也能与NoSQL数据库一起工作，这与传统数据库相比，NoSQL数据库要灵活得多。

面对大数据，最大的挑战也许来自对数据的理解和提出正确的分析命题/问题，这远比让你的Hadoop任务运行得更快有意义。所以以下列举的这些工具也只是大数据的”器“，而非”道“。

一、Jaspersoft BI Suite

Jaspersoft是从列数据库生成PDF报告的最好的开源软件。JasperReport正跳上大数据的班车，在大数据和其报告生成软件之间增加了一个软件层。JasperReports服务器目前提供软件用于从许多主流存储平台读取数据，包括MongoDB，Cassandra、Redis、Riak、CouchDB和Neo4j。Hadoop自然也不会缺席，JasperReports向HBase提供了一个Hive Connector。但是Jaspersoft的大数据整合工作开始不久，还没有实现完全的集成，例如可视化查询设计工具还不能跟Cassandra的CQL对接，你需要手动输入。

二、Pentaho Business Analytics

Pentaho也是以报告生成引擎起步的软件平台，与Jaspersoft的策略类似，也是通过增加新的数据源来进入大数据市场。你可以讲Pentaho的工具与大多数流行的NoSQL数据库如MongoDB和Cassandra挂接起来。当连接上数据库后，你就能拖放数据库列到窗口和报告界面，就像是用来自SQL数据库的信息一样。

Pentaho还提供软件用于从Hadoop集群中抽取HDFS文件数据和HBase数据。其中最新吸引人的工具要数图形编程界面Kettle，也称Pentaho Data Integration。

三、Karmasphere Studio and Analyst

并非所有大数据工具都从报告工具开始。Karmasphere Studio就是基于Eclipse开发的一组插件。它是一个专业化的IDE集成开发环境，可以让Hadoop任务的创建和运行更加容易。

四、Talend Open Studio

Talend也提供了一个基于Eclipse的IDE，用于串联Hadoop的数据处理任务。Talend的工具可用于数据集成、数据质量和数据管理工作，同时为这些工作准备了相应的子程序。

Talend Studio允许你通过向模板拖拽建立任务，例如获取RSS的feeds。Talend的TalendForge是一些列的开源扩展，可以与该公司的其他软件搭配工作。大多数工具看上去都是库过滤器，用于将Talend的软件与其他主流厂商如Salesforce.com和SugarCRM的产品进行连接。你可以从这些系统读取数据到到你自己的项目中，这简化了集成工作。

五、Skytree Server

并非所有的工具都被设计用来简化代码与虚拟机制的串联。Skytree提供了一个功能群组，提供了更加复杂的机器学习（Machine-learning）算法。你只需要将正确的命令输入正确的命令行。

六、Tableau 桌面和服务器版

Tableau桌面版是一个可视化工具，能让你更直观地审视数据，你还能抽离数据从不同角度观察，你还能降其他数据混合进来获得新的结果。Tableau在几个版本前就开始拥抱Hadoop，现在你能想处理其他数据一样处理Hadoop的数据。Tableau通过Hive来结构化查询，然后将尽可能多的数据缓存在内存里以实现交互。其他的报告工具都是离线生成报告，而Tableau洗完功能提供一种交互机制，这样你就能不断分割数据。缓存能够部分解决Hadoop集群的延迟问题。

七、Splunk

Splunk与上述工具有所不同，它并不是一个纯粹的报告生成工具或AI路径的集合，虽然它在很大程度上也能实现这些功能。Splunk为你的海量数据创建一个索引，将其整理成可以搜索的链接，其方式就好像这些数据是一本书或者文本块。虽然数据库也内建有指标，但是Splunk的索引方式更像是文本搜索处理。

Splunk的索引功能非常灵活，可以兼容很多数据源，包括日志、配置文件、消息等，基本上所有应用产生的文本数据它都能”吃“下去。Splunk还有很多解决方案套装出售，其中包括监控微软Exchange服务器以及政策web攻击。

Splunk围绕索引抽取文本串和搜索、提供报警和报告功能。你可以敲入重要文章的URL或者IP地址。Splunk会根据数据中的时间戳将结果以时间轴的方式展示出来。这只是一个简单的应用，但如果你在数据Feed中找到的正确的指针，Splunk将非常强大。Splunk非常适合处理日志文件。

Splunk的一个新工具Shep，目前正在Beta内测，提供Hadoop和Splunk之间的双向集成，可以在两个系统间交换数据，你还可以从Hadoop中查询Splunk的数据。