DataSift架构曝光：每秒实时挖掘12万条Twitter内容
Twitter开放其数据管道Firehose对于社交大数据分析来说无疑是一个晴天大利好。利用Twitter实时数据你几乎能进行各种数据分析，从奥斯卡电影人气到美国总统支持率，再到产品用户满意度分析，可谓一座不设防的数据大金矿。
但是掘金Twitter“快数据”也对分析系统提出了很高要求，DataSift是少数能吃下Twitter数据的顶级社会化分析机器之一，DataSift从Twitter购买了多年的数据同步授权，能够访问所有Twitter管道数据，并将子集卖给第三方，主要是企业客户。目前只有Gnip获得了同样的授权。
DataSift的定位是实时社交数据挖掘平台，处理海量推文本身对于DataSift来说不算什么，DataSift的挑战是在互联网上向大规模用户提供Twitter数据分析服务。
要知道，是大数据概念让DataSift成为一个十亿美元俱乐部的成员。而DataSift的最大创新就是创建了一个互联网规模的关键词过滤系统，能够快速评估热门关键词（例如Lady Gaga），DataSift是如何做到这一点的呢，相信下面这个Data Sift的系统架构图能给你答案（点击查看大图）：
从上图可以看出DataSift的架构包括：
- ● 运行于SSD固态硬盘之上的MySQL（Percona server）
- ● HBase集群（目前约30个Hadoop节点，400TB存储）
- ● Memcashed（cache）
- ● Redis（依然用于一些内部队列、但也许很快将弃用）
第一时间获取面向IT决策者的独家深度资讯，敬请关注IT经理网微信号：ctociocom
除非注明，本站文章均为原创或编译，未经许可严禁转载。
相关文章：
关于作者王萌
在TMT领域具有十余年的咨询和创业经验。 目前主要关注信息安全，同时密切关注云计算、社会化媒体、移动、企业2.0等领域的技术创新和商业价值。拥有美国麻省理工学院MBA学位和清华大学经济管理学院学士学位，曾任BDA中国公司高级顾问，服务过美国高通、英特尔、中国网通、SK电讯、及沃达丰等公司。联系邮件：wangmeng@ctocio.com
