自然语言处理NLP开发有哪些值得关注的开源工具？

智能语音助理、聊天机器人是时下人工智能的热点和突破口，但是并非每家公司都具备谷歌、Facebook、亚马逊、苹果等公司的经济和技术实力来开发NLP应用，尤其是难度最大的会话型NLP应用。

所幸，目前NLP的开源技术已经足够强大，您可以轻松地“在巨人的肩膀上”，只需一个小型的专业团队，借助合适的平台方法就能开发出令人惊叹的，行之有效的NLP应用程序。

下表概述了当下一些值得研究的开源工具：

其次，即使有如此丰盛的精品技术资源触手可及，开发一个前端NLP（一个“会话”，这是大多数人在想到人工智能时所想到的）仍然需要远见和坚持。因为在您看到一些高级功能的回报之前，它往往需要大量的前期投资。

后端NLP更容易，并提供更直接的投资回报率

基于NLP的业务改进不一定需要具有会话前端。后端驱动或语言分析项目通常是在短期内使用NLP见效最快，成本效益最好，最高回报的方式。此类项目的开发往往只需要两到三人的团队，在几个月内完成。

Cloudera机器学习总经理Hilary Mason在最近的Strata会议的主题演讲中展示了后端NLP的一个很好的例子。Mason解释了Cloudera如何使用NLP降低其呼叫中心成本并提高客户满意度。他们从呼叫中心采集了记录呼叫的统计样本，并将其转录为文本。他们对该语料库进行了文本分析，寻求与特定问题和问题解决步骤相关的语音模式。然后，他们将基于此分析结果的预测模型部署到其呼叫中心系统中。当客户打电话时，基础算法识别出语音模式，并在客户与客户交谈时主动向客户服务代表推荐可能的解决方案。

会话型NLP成本更高，需要战略情怀和长线投入

如果你致力于会话式NLP（或AI），希望机器与人类的交互能够达到人类之间的那种流畅和模糊性，这在技术上具有极大的挑战性，成本也很高。我们不是在聊聊天机器人，聊天机器人其实是一个非常简单的程序，可以跟踪特定任务的相对结构化的对话，并处于某些预定义的环境，如Facebook Messenger。而会话AI是完全不同的，与Alexa类似，它们无处不在（它们随处可见），可以处理多个应用程序（也称为意图），并且可以处理各种响应。他们还可以迅速切换场景 – 比如从提供有关今天天气的信息到预订餐厅。

目前已经存在多个开源平台（上图），允许您的团队在合理的时间范围内构建功能性（可能算不上完善）的AI，并且成本可以提供正回报。像苹果，谷歌，微软和亚马逊这样的公司每年都投入了数亿美元，并将地球上一些最聪明的博士投入到先进的NLP接口中。而这些开源库使普通公司和团队也能凭借3-4人的团队，用大约一年时间开发出简单会话AI的基础平台，总计投入约为500,000美元。这些早期平台具有一些简单的场景对话能力，但不会预先分析用户（这需要具备安全系统的接口），并且没有先前用户会话的记忆。以此平台为起点，每开发一个新的，简单的场景对话的成本约1万美元。

企业应当将会话型NLP的基础平台作为一种长线投资，每一个新增的会话功能都会摊薄整体平台的成本。例如，允许人们对丢失/遗忘的密码或其他简单的IT问题进行自助服务可以节省每年至少一个IT运维人员的成本。通过在Excel中使用IRR功能的一些快速计算，并假设该角色每年花费100,000美元，快速计算该“复杂”应用程序的单年ROI约为260％，这显然值得做。成本只是我们用于确定会话功能开发优先级的一个因素，对于一些重要战略意义的会话功能，有时我们甚至应当在没有明确的，或极高的投资回报率的情况下进行投资。