大数据应用开发的12个辅助开发工具

在大数据应用的开发中， 除了基础的Hadoop或者R语言之外，还有很多优秀的辅助开发工具， 能使开发者如虎添翼。

就像当年的旧金山淘金热时， 最后挣钱的除了淘金者， 还有Levi’s这样的做牛仔裤的和那些给淘金这卖水的人，在现在的大数据淘金热里， 也出现了很多提供开发工具或者开发环境的公司。 下面介绍12个公司和他们的工具， 无论你是从事大数据应用的开发，还是希望分析你的移动应用，这些工具都可以帮助你更好的淘金。

 

1） BitDeli

BitDeli是一家刚刚成立的公司， 他的产品就是可以让开发者利用Python脚本， 对应用进行分析。 Python脚本可以很简单， 也可以很复杂。 一切可以由开发者来定制。 BitDeli的产品甚至包含了一些机器学习的模块。相比较庞大的Hadoop分析工具， BitDeli把自己比作是应用分析方面的RoR (Ruby on Rail)。

2） Continuity

Continuity的两个创始人是雅虎的前首席云架构师Todd Papaioannou和前Facebook的HiBase工程师 Jonathan Gray。 他们的目的， 就是想使客户能够像雅虎和Facebook

利用大数据。 Continuity的产品App Fabric主要是把复杂的与Hadoop和HBase集群的工作作为一个抽象层， 提供各种大数据开发工具， 来满足企业内部或外部数据需求。

3） Flurry

Flurry是个一站式的移动应用商店， 它每年已经有100美元的营收了。 它不但帮助开发者在它的平台上开发，还可以帮助开发者通过运营数据， 对应用进行分析以改善应用。 而且， Flurry平台还可以和广告网络相对接， 帮助开发者更好的实现盈利。

4） Google Predictive API

在Google提供的众多开发工具中， Google Predictive API 是最酷的一个了。如果你有好的训练样本数据， 那么Google Predictive API将会利用机器学习算法来为你的应用建立模型，并把这些模型整合到你的应用中去。 在Google给出的例程里， 包括了反垃圾邮件， 推荐引擎， 以及情绪分析等模型的搭建步骤和代码。

5） Infochimps

尽管Infochimps把自己定义为面向企业的IT平台， 他们大数据平台对开发者来说也非常有帮助。它的技术平台叫做Wukong（悟空）， 用来进行大数据环境的配置和管理。 从起一个Hadoop进程到用Ruby脚本来传递数据流。 Wukong都可以让开发者的工作变得更简单。 此外， Infochimps的平台还包括了一个数据市场，以API或者下载方式提供各类数据。

6） Keen IO

Keen IO是个强大的移动应用分析工具。 开发者只需要简单到一行代码， 就可以跟踪他们想要的关于他们应用的任何信息。开发者接下来只需要做一些Dashboard或者查询的工作就可以了。

7）Kontagent

Kontagent是一个移动， 社交， 网站应用的分析平台。 它基于Hadoop大数据平台而建。 今年， Kontagent平台增添了新功能。 它可以让用户直接采用Hive查询语言对数据进行任意查询和分析，而不像原来那样只能进行预定义的查询和分析

8） Mortar Data

Mortar Data是专为开发者打造的Hadoop开发平台，它用Pig 和Python的组合替代了MapReduce以便开发者能简单地编写Hadoop管道（Pipeline）。 今年11月， 它推出了Mortar Data开源开发框架， 利用开源社区来推动数据共享。 Mortar Data平台运行在亚马逊的云平台上。 支持亚马逊S3 以及MangoDB。

9） Placed Analytics

利用脚本语言以及API， Placed Analytics能够提供针对移动和网络应用的详细用户行为分析。包括， 用户使用时间和地理位置信息。 这些可以帮助开发者的应用更好地吸引广告商， 也可以帮助开发者对自己的应用进行改善。

10） Precog

Precog提供的是一个基于开源查询语言Quirrel的交互式开发环境， 名为Labcoat。可以帮助开发者进行应用分析的开发。 这个IDE环境还提供了关于Quirrel的教程，以及其他一些复杂的函数。 用公司首席运营官Jeff Carr的话来说：“就算是一个非技术人员， 几个小时也能掌握基本功能。”

11） Spring For Apache Hadoop

尽管Hadoop是用Java写的， 但是这并不意味着， 在Hadoop上编程或者使用Hadoop对Java程序员来说就很简单。因此， 在2012年初， SpringSource宣布推出了Spring For Apache Hadoop项目。 把Spring开发框架和Hadoop结合起来。 这样也便于其他的Spring应用或者基于Java虚拟机的脚本， 更好地和Hadoop以及利用Hadoop的其他技术如Hive或者HBase进行整合。

12） StatMix

和BitDeli以及Keen IO一样， StatMix也希望能够使开发者用他们所熟知的语言来进行数据查询与分析。 因此， 出来提供预定义的查询之外， StatMix也提供API和代码库来让开发者定制化的查询。 并可以把不同数据源的查询结果整合在一个定制的Dashboard里。