大数据的泰坦尼克号，Hadoop即将沉没了吗？

最糟糕的消息并非Hadoop这艘泰坦尼克号注定要沉没，而是海面上压根没有其它泰坦尼克级别的船只可以用来救援。

对很多大数据领域的投资者和用户，尤其是在Hadoop技术上浸透心血和汗水的专家来说，这可能是个很糟糕的消息：Hadoop可能真的不行了！

近日，云数据仓库服务提供商Snowflake Computing的首席执行官Bob Muglia在接受采访时指出：“没有一家企业客户对Hadoop满意，很显然，Hadoop已经是一项没有前景的技术。”

虽然不止Muglia，业界很早就对Hadoop的前景表示悲观，包括IT经理网早在2012年就曾发布文章指出Hadoop的核心技术已经过时，因为Hadoop并不擅长处理“快数据”。但是，在媒体、业界的合力炒作下，已经有数以千计的企业使用Hadoop来存储海量数据，这些上了贼船的企业和项目如此之多，因此Hadoop不太可能一夜之间就销声匿迹，正如今天很多企业还在使用半个世纪之前的主机应用一样。而且受益于S3（云存储）和Spark（大数据处理）等技术的续命，Hadoop依然会作为垂直和遗留技术存在很长一段时间。

据Muglia介绍，在众多Hadoop用户中，真正能够驯服Hadoop的企业不到20家，甚至可能不到10家。要知道，如果考虑到Hadoop已经进入市场很长时间，而且整个行业都投入巨大资源，Hadoop部署的成功率可谓低得惊人。易用性太差是导致Hadoop成功率低下的主要原因之一，正如“为什么如此难用Hadoop的12个技术痛点”这篇文章中所提到的，不少专家指出，如果不解决易用性问题，Hadoop将被自己终结。

Facebook是少数能够成功驾驭Hadoop这头“野象”的企业之一，Facebook甚至开发了Hive和Presto这样的关系型数据库技术来实现对HDFS系统中数据的SQL查询访问。但是正如此前曾负责运营Facebook Hadoop集群，后来创办行为分析技术公司Interana的大数据老兵Bobby Johson所指出的：

Hadoop垂而不死是一个历史性的错误，人们围绕Hadoop开展大量项目和工作，但Hadoop真的是朽木难雕。Hadoop的卖点是可以作为廉价的ETL数据存储方案（Hadoop目前只是“穷人的ETL”），但是对于运行面向用户的交互应用来说真的很不对路。

即使是在Facebook这样顶尖的互联网技术公司里，从Hadoop环境中获取分析结果也是一件非常痛苦的事情，据Johnson介绍：挖掘一个结果非常困难，除非你真的非常懂整个系统的运作原理。对于懂得为MapReduce或Pig编程的数据科学家来说，Hadoop非常棒，但是如果你往上看，在抽象层Hadoop的交付能力非常糟糕，对于那些业务分析师来说简直就是噩梦。

“Hive层还算OK，但是对于那些打算将Hadoop作为数据仓库使用的人来说，Hadoop慢得吓人，比传统数据仓库要慢上十倍！”Johnson说道：”Kudo、Impala和Presto都比Hive好得多，但距离人们的期望依然有很大一段距离。“

更加让人沮丧的是，Hadoop社区目前对Hadoop的复杂性和性能低下并没有多大作为，Hadoop生态系统依然掌握在一小撮专家手中，对于能写代码的技术专家来说，Hadoop的功能非常强大，但是对于大多数的用户来说，Hadoop就是一个大坑，每次你听说这个世界上还空缺数以万计的数据科学家的消息，那差不多是对Hadoop的一种控诉。

Hadoop是首个在业界被广泛采纳的开源分布式计算平台，不计其数的软件厂商、用户、专家跳上了Hadoop这艘“泰坦尼克号”，但最糟糕的消息并非泰坦尼克号注定要沉没，而是海面上压根没有第二艘泰坦尼克级别的船只可以用来救援。前雅虎Hadoop系统开发者Phu Hoang认为：在能够替代Hadoop的计算平台出现之前，我们能做的只能是尽量屏蔽复杂性，让Hadoop变得更加易用。企业不关心架构，企业只关心数据处理速度和分析结果，Hadoop这样的底层难题滚的越远越好。

Hadoop这艘泰坦尼克号上的成员也不是完全没有希望，类似Kafka这样的更优秀的大数据处理技术正在快速成长。Kafka的开发者Jay Kreps在创办Confluent之前，曾经负责LinkedIn的大型Hadoop集群，他认为Hadoop堆栈的搭建极为复杂，这是一个纯粹的技术性问题。如今虽然大量Hadoop发行版本中都包含了Kafka，但是Kreps建议人们在搭建Kafka是尽量避免对Hadoop的任何依赖，“Kafka是一个完全独立的系统，跟Hadoop没有任何联系。明白这一点对于那些开发生产应用的人来说非常有益。