大数据的大谎言

【编者按：私有云、大数据、NoSQL是目前IT业最火爆但争议也最多的“大生词的代表，这些名词以因过于通俗、简洁、模糊而让很多业内顶级技术专家心生无名怒火，”我这辈子见过的最愚蠢的说法“、”营销人员的垃圾词汇“等等经常见诸报端。近日美国福布斯杂志发表了一篇Irfan Khan的署名文章，“The Big Lie About Big Data”，将业界对”大生词“的批判推向一个高潮。Khan的文章的标题很吓人，但其实并不是为了否定大数据的概念，而是针对日前甚嚣尘上的”大数据危机论”进行了批判，认为企业通过改进计算架构，已经完全能够驾驭大数据并从中获益。】

作者：Irfan Khan SAP Sybase公司全球CTO，负责SAP公司全球的数据库战略方向

天又一次塌下来了。这一次是“大数据”让IT部门如临大敌。但是就像“世界末日”和“外星人”一样，“大数据”是虚构的，是一个“大谎言”。

正如街谈巷议的传闻一样，不管你走到哪里，关于“大数据”的讨论无处不在。在Google搜索这个词组，搜索结果超过13亿条。它甚至在维基百科拥有专门的条目。数据泛滥导致很多人得出结论：企业将不堪重负。这并不是说企业内部的信息量不会增长。相反地，企业内部信息量也难逃增长的命运。因为，大数据一直是个难题。

尽管不断有人声称，数据洪流将导致厄运来临，但IT行业却始终能够通过改进计算基础架构，使它们速度更快、容量更大、价格更便宜、体积更小巧，从而让挥之不去的信息“大决战”预言不攻自破。

今天，通过使用列式数据库分析架构，组织机构可以不必过度对“大数据”带来的焦虑，相反，还能够让“大数据”更好为企业运营服务。在列式数据库中，用户可以随时调用和分析大数据集，即使对诸如非结构化数据等各种数据类型的大数据集亦是如此。它们不仅随时可用，而且执行速度更快，还能根据工作要求，更方便地扩展，从而为尽可能多的用户服务，涵盖尽可能多的数据。

这种做法其实就是挖掘组织机构内外部的“大数据”，并提取有价值的部分供企业使用。它的目的是让组织机构更灵活、更具竞争力，提高组织机构的盈利能力。

对于部署一个分析数据仓库而言，最重要的步骤之一就是找到质量合格的数据。从数据净化到采用数据管理总策略——用于确保数据质量的技术已经成熟。获取最优质数据时还要对其进行内部审核。

●数据延迟：需考虑组织内部数据延迟的三个方面：数据发生时机、事件延续时间、决策所需时间。

●数据关联：与商业用户合作确定数据的前后关系，并就使用中的多个数据集建立相互联系，同时还需要考虑数据增长率以及重复的来源。

●自服务：确定高级用户如何在不影响IT或其他资源的情况下，对用于查询的数据实施控制。

●首席数据官(Chief Data Officer)：指定一名高级职员担任首席数据官的职务，使其能够在维持组织治理的同时保证数据的可操作性。

数据质量的重要性再怎么强调也不为过。以comScore为例，作为一家为电子商务市场提供分析服务和解决方案的云计算公司，该公司从创立伊始就意识到，网络营销的重点正从访客数量转变为盈利性。comScore的“客户知识平台”（Customer Knowledge Platform）针对顾客浏览互联网的行为与偏好提供了全方位的观察视角。该服务追踪所有愿意提供互联网行为以供分析的用户，记录他们在各个网站的冲浪以及购买行为。

随着数以百万计的网络用户注册该服务接受监测，comScore收集到了海量数据。事实上，comScore所分析的压缩数据达到40 TB以上，每周都会新增接近150 GB。令人印象深刻的是，尽管数据量如此庞大，您却无需耗费时间焦急等待查询结果。据comScore工程事业部副总裁Ric Elert称，由于上述原因，“我们得以更加迅速地挖掘数据，并为客户提供结果。这有助于他们提高营销效率，开发出更多业务。”

此外，该公司使用列存储技术，实现了40%的压缩率。comScore表示，若使用传统方法，存储成本会比现在高很多。数据仓库副总裁Scott Smith说道：“由于我们面对的是海量的数据，压缩对我们而言至关重要。我们拥有的数据储量如此庞大，是大多数人从未见过的。”

西班牙Airtel Vodafone公司的列存储数据仓库可根据公司的业务地图进行信息组织。尽管很多不同的部门都使用同样的数据，但Airtel Vodafone仍然能够有效保证信息的一致性和完整性。数据仓库将数据转换成知识，通过一个接口，将现实世界中的事实转化为有价值的商业情报。准确分析和预测客户行为的能力是Airtel Vodafone公司整体业务战略的关键所在。

有了列式数据仓库，用户可根据工作流（而不是按照企业的层级结构）需要获取信息，这提高了员工的工作效率和有效性。换言之，从事市场营销的用户与从事财务工作的用户（举例而言）使用的是相同的信息，只是他们接触数据的角度有所不同，分析目的也各不相同。数据仓库环境包含了市场营销数据库、呼叫系统、客户服务、全球移动通信系统统计数据、开票系统、收账与检索，以及所有的后勤管理信息。

如今，Airtel Vodafone拥有一个理想的运行环境，能够满足各种需求，从而让存储在各种运行环境中的数据实现快速、低成本的集成。因此，它可以直接从数据仓库平台中调用有关公司活动的详细信息或汇总信息。基于列存储的数据仓库使Airtel Vodafone公司赢得了市场份额，成为欧洲电信业中的一方诸侯。

当今，分析行业也没有任何借口不使用“大数据”。无论是扩大分析数据仓库、涵盖数以千计的用户，还是分析来自各种奇特来源的各类数据（如来自社交媒体网站的海量非结构化信息），它们都没有逃脱的借口。不要再躲避了，分析行业再也不能躲在“大数据”这个吓人的怪物身后，因为我们知道，通过使用列式分析基础架构，就能够让“大数据”更好为企业运营服务。

Via Forbes  编译：丁盈幸