DARPA暗网搜索引擎将引发互联网二次革命

知道吗？ 你看到的互联网， 只有全部互联网的4%， 而DARPA正在开展一个雄心勃勃的项目，以搜索为中心， 向人们展示剩下的96%的互联网内容。

这个项目名为Memex， 是由美国国防部高级研究项目暑（DARPA）发起的一项研究项目， 由DARPA挑头，18家单位参与此项目，包括NASA。

“这个项目将会带来巨大的影响。” NASA负责Memex项目的首席研究员Chris Mattmann说。

Memex将会像社交媒体一样研究用户的聊天数据， 将会把各类不同的数据根据关系关联起来， 使得用户能够更容易地找到他们想要的东西。

DARPA启动这个项目的初衷， 是想来收集类似暗网这样的P2P网络里的数据， 希望藉此来打击人口贩卖等犯罪活动。

“对于执法部门来说， 这个一个前所未有的工具。“ Chris Mattmann说道：”Memex已经在执法部门里开始使用了。这其中包括纽约县地区检察长办公室。

搜索暗网

“Memex目前专注于在暗网中发现那些不法行为。” Chris Mattmann介绍道。

暗网中的有些部分可以帮助人们绕过一些国家的政府检查， Memex不关心这些部分。 Memex的目的不是让互联网“去匿名化”。

与此同时， 暗网也是各种不法活动的天堂， 包括人口贩卖， 毒品交易， 武器交易， 儿童色情， 雇佣杀人， 以及黑客活动。 这部分的互联网是目前执法部门执法的薄弱环节，因为传统的搜索引擎无法收录这些网络里的信息。 而Memex可以改变这种状况。 DARPA网站上声称通过对暗网内容的收录， 将有机会发现并且打击人口贩卖组织。

Memex的设计有两个重要的特点， 第一是能够从极小的像素中推断出图形的含义。 第二是能够搜索图像和视频的元数据。 这些元数据很多情况下对于现有的搜索引擎来说是不可见的。 ”元数据非常重要， 元数据能够描述图片和视频， 从而使得我们找到它们之间的联系“ Chris Mattmann说道。

Memex可以在现有的暗网浏览器或浏览工具的基础上， 把图像和人的关系建立起来。

利用这些， 执法部门就可以判断一副图片或者视频是否是用同一台设备拍摄的。 以及有哪些其他图片或者视频是同一个人拍摄的等等。 它们还可以把毒品和毒品贩子关联起来。 尽管很多社交网站已经在开始收集图片的元数据，比如图片拍摄的地点等。 但是Mattmann说：”那些坏人通常都不会使用这些社交平台。”

新的互联网

不过Mattmann真正感到兴奋的不是Memex被执法部门采用， 而是Memex最终会被广大普通用户所使用。 他加入Memex项目的目的是他认为“很多政府投资在DARPA的技术将最终变成成功的民用项目”。　事实上，　Internet也正是从DARPA的ARPANET脱胎而生的。

Memex的部分代码已经开源， 这也就意味着人们可以自由的下载和使用了。

作为Apache项目的志愿者委员会成员， Mattmann对把Memex的技术带给类似Apache这样的开源项目很感兴趣。 而Apache也已经开始在使用Memex。 Apache的服务器大约占了Internet服务器的53%， 而Drupal和Google也已经开始在采用Memex的代码。

Mattmann说， 用户很快就会感觉到， 信息会更容易被搜到， 而且搜索结果也会变得更加语义相关。 特别是在进行多媒体内容的搜索时。

根据DARPA网站上所指出的，　现有的搜索引擎的一个主要问题， 是”它们采用了中心化的， 对所有的搜索请求采用同一方法和同样的工具进行处理。 ” “现有的模式依然是一个严重依靠手工的过程， 这样的过程并不存储会话， 严格要求每次一个输入， 而且对返回的结果除了给出链接列表之外， 并不做进一步的整合和组织。“ DARPA指出”尽管现有的模式在被大量使用， 但是在很多政府的用例中并不适用。“

当然， 新的互联网并不会是完全替代现有的互联网， 而是会逐步整合进现有的互联网。 而这一整合已经开始了。 Mattmann说：‘在今后一两年内， 我们将会看到采用Memex的互联网“， 就像APRANET孕育了Internet一样， Mattmann认为“ Memex对于搜索的影响就像ARPANET对于Internet的影响那样。”