美国国家安全局如何监控互联网大数据

在《美国国家安全局如何分析手机通话数据》一文中我们了解到“图谱分析”是NSA分析手机用户通话数据最重要的技术手段，据NSA官员透露的文档，仅Verizon的用户通话数据的图谱分析项目，规模就已经超过了Facebook。

除了结构化程度较高的通话数据外，NSA代号PRISM的超大规模数据挖掘项目能直接监测Google、Facebook、微软和苹果等九大互联网IT企业中央服务器中的各种结构化和非结构化用户数据，被提取分析的数据包括音频、视频、图片、电子邮件、文档和联系日志。

毫无疑问，NSA在分析海量非结构化数据时势必要用到大量大数据分析技术，据《华尔街日报》报道，数据库系统、机器学习和Hadoop基础架构三大技术在NSA的互联网大数据分析中发挥了非常重要的作用。

以下是文章内容全文，由腾讯科技翻译：

仅仅在五年之前，诸如美国国家安全局（National Security Agency，NSA）这样的政府机构要想通过关键词的方式高效率地分析数百万份电话、文本消息和在线聊天记录，简直是不可能完成的任务。不过目前，一系列新技术的使用则让NSA拥有相对充分的人力和财力做到这一点。尤其考虑到，这些关键词最终有可能避免未来针对美国恐怖袭击的放生。

这些新技术能够在一个单独的数据库里存储大量不同类型的数据，而且不需要使用造价昂贵的硬件设备就能够实现数据的高速处理，同时还无需数据分析专家提前设定假设条件。

哈佛商学院客座教授、数据分析专家汤姆•达文波特（Tom Davenport）指出：“这些新技术为政府部门节省了巨额开支，同时还极大地提高了政府部门分析此类数据的能力。虽然需要配套的数据中心支持才能完成数据分析任务，但这些技术的成本要远比几年前低得多。”

NSA斥资十二亿美元在犹他州打造大型数据中心将于今年秋季投入使用。目前尚不明确的是，到底NSA在覆盖全美的数据中心使用的是何种计算技术。但总体来说，这些技术被分为三大类型：

1. 数据库系统

大多数使用SQL编程语言的传统数据库是把数据存储在由行与列组成的表格中。然而，当遇到存储包括电子邮件或文本信息等字符串时，传统数据库就暴露了能力有限的弊端。而且它们还无法处理图片或视频。

而于2009年年底开始出现的新型数据库NoSQL（Not Only SQL，不仅仅是SQL）则突破了传统数据库的能力限制，可以允许数据分析专家针对所有类型的数据创建信息要求。这些新型数据库包括MongoDB、Cassandra和Simple DB等。

在帮助公司分析超大型数据组方面，NoSQL数据库体现出了非凡的能力。比如，美国保险数据供应商Verisk Analytics Inc.的分析师就在针对数十亿客户资料不断运行各种不同的数据模式和分析方法，以从中发现虚假保险索赔记录。

Verisk副总裁兼首席信息官佩里•罗泰拉（Perry Rotella）表示，使用IBM提供的传统DB2数据库“需要通宵达旦地工作6个小时才能完成工作”。此后，分析师还得投入大量时间研究得出的数据结果，并提出新的信息要求，而这恐怕还得再熬一个晚上。他指出，分析师每次都需要花费几周时间才能创建出新的数据模型。Verisk最近刚刚开始使用更换后的NoSQL数据库，分析师仅用30秒就能完成相同类型要求的运行。

罗泰拉表示：“突然之间，你的模型建构告别了几天才更新一次的传统，变成了实时更新状态。通过使用NoSQL数据库，你可以在一天内多次进行数据运行，这极大地缩短了获得数据结果的时间。这项功能简直太强大了。”

对于美国在线图片交易平台服务商Shutterstock Inc.来说，如果没有NoSQL，该公司简直无法生存。Shutterstock拥有超过2,400万张图片的存储库，而且每天还以1万张图片的速度递增。其中的每张图片都拥有相关数据来帮助用户缩小搜索范围。Shutterstock的数据库还记录用户在该网站上的所有网络行为，这些行为不仅包括诸如他们授权何种图片这样的重大决定，而且还包括微小的细节，比如他们的鼠标箭头经常停留在什么地方以及停留的具体时长。

2.机器学习

传统分析要求分析师对数据有充分的了解，然后才能创建假设问题，进而针对数据库提出复杂的问题。而最近以机器学习和自然语言处理为核心的编程技术则依靠计算机程序来发现数据类型，甚至还可以根据上下文阐明模糊词汇的意义。

达文波特指出：“你可以把机器学习程序植入多个数据之中，然后你就会看到该程序会给你提供什么样的分析结果。通过使用自然语言处理技术，你还可以分辨出‘炸弹’这个词是百老汇舞台剧的剧名，还是恐怖分子将会使用的武器。”

权威市场研究机构Gartner Inc.的分析师道格拉斯•莱尼（Douglas Laney）指出，机器学习又被称之为“认知分析”，它能够让分析师提出的问题不断进行“自我修正”。比如，在新信息出现时，零售商就可以使用该技术来实时自动更新计价算法。这些新信息包括天气、时间、甚至是消费者在其零售店里的行为视频。

莱尼表示：“以前，更新价格往往需要一天多的时间，但这些零售商现在可以每小时就制定一个新价格，并借助趋势信息实施产品的实时定价。我不确定他们在一年前能否做到这一点。”

3.Hadoop基础架构

直到最近，还是只有造价昂贵的硬件设备才能够运行特别复杂的计算机程序，比如超大型计算机设备。但现在，Hadoop开源软件分布式系统基础架构已经能够让从资料库提取信息的过程进行分布实施。在这一过程中，不同的分析任务被分配给大量造价低廉的服务器进行分析，每个服务器只负责分析其中的一部分内容，然后这些内容又会在任务结束后被汇总在一起。达文波特表示：“这非常省钱，而且运行速度特别快。”

这种将复杂的问题分配给大量造价低廉的计算机处理的能力有助于人们获得问题的及时反馈，而且人们还会获得大量的数据变量。比如，美国汽车信息网站Edmunds.com可以帮助汽车经销商预测一辆车在他们自己的停车场里停留的平均时间。这种预测能够最大限度地缩短一辆车售出的时长。Edmunds.com的首席信息官菲利普•波特洛夫（Philip Potloff）指出：“对于汽车经销商来说，这可是衡量销售业绩最为重要的指标之一。”

流媒体视频服务商Netflix Inc.则使用Hadoop勾勒出用户使用多种设备接入视频的流量数据图谱。这有助于Netflix提高其为移动设备、笔记本和电视机提供视频数据的可靠性，同时帮助Netflix规划流媒体电影和电视剧集的未来增长。此外，Hadoop还帮助Netflix更好地分析客户喜好，从而为该公司提供改进建议。