Datasift：我们如何分析Twitter社交数据

2006年3月21日，Jack Dorsey发出了史上第一条微博（tweet）。只用三年时间，Twitter就迎来了第10亿条推文。如今，Twitter每两天半就会产生10亿条推文，也就是每天4亿多条，每秒钟近5000条推文。对于社会化数据分析来说，这差不多相当于每天需要处理2TB新数据。

不久前Salesforce.com与Twitter签署了数据管道授权协议，这意味着Salesforce将能访问所有的Twitter公共数据（Firehose），也标志着企业应用与社交大数据分析的历史性对接。

关注大数据和社会化分析的企业不禁会问：Twitter的海量数据对于企业来说到底有什么价值？Twitter海量数据的分析过程是怎样的？作为同样获得Twitter授权的企业之一，社交媒体大数据分析公司Datasift在自己的官方博客上透露了Datasift分析Twitter数据的流程和方法：

Datasift的大数据平台会对每一条推文进行分析并推送给客户：

首先我们将数据按照结构分为77个领域——包括用户名、ID、描述、位置、时区、粉丝数、关注数等。

如果推文包含链接（约20%的推文有链接），我们就会抓取完整的链接网址（这意味着我们需要把t.co,bitl.ly等短网址还原）并给页面加上标题。

然后Datasift进一步分析数据，这又会为每条推文增加34类数据，包括：

Klout——包括用户的Klout得分以及推文涉及话题的Klout得分

Twitter Trend——DataSift密切关注实时的趋势话题。当有推文与话题匹配时，就会被标上相应的话题标签。

情绪（Sentiment）——通过我们合作伙伴Lexlytics提供的高级文本分析软件，我们可以判断推文的正面或者负面情绪。此外重大话题也会被识别并打分。

话题分析——我们还会对推文内容进行高级分类——例如时尚、科技或金融。

实体抽取（Entity Extraction）——我们使用自然语言处理技术识别退文中提及的人物、地点、产品或企业，以及用户对它们的态度。

人口统计——用户会被标记为男性或女性（或未知）

经过以上的处理工作，Datasift的客户获得的不再是来自Twitter主数据流的原始数据，而是更容易进一步分析趋势和模型的“熟”数据。

Twitter大数据的价值何在？

Twitter社交大数据的潜在价值无可估量，人们正在发明各种让人吃惊的应用来利用Twitter社交数据，从社交监测到医疗应用，甚至追踪疫情爆发。

在定制化的客户数据流中，通过过滤用户归属地、发推位置和相关关键词，你甚至能搜索到那些在加拿大化学的日本游客。通过过滤电影片名、位置和情绪标签，你还可以知道洛杉矶、纽约和伦敦等城市最受欢迎的电影是哪些。(参考阅读：社会化舆情分析,你信奥斯卡还是IBM)

你还能通过过滤原始网页链接、追踪转发数量的方式评估一篇华尔街日报报道的社交媒体渗透率。将社交数据与其他金融数据相结合后，你甚至能把twitter变成一个股票交易工具。（参考阅读：Twitter情绪如何影响股市）