2021最热门趋势：DataOps

企业已经竭尽所能地在其“数据”周围进行“协作”，从而阻碍了采用其它应用程序（如“ AI”）的能力。

“DataOps的技术改进可以解决该问题。虽然术语“ DataOps”已经出现了七年之久，但依旧是最佳分析的应用。研究公司Gartner称这是一个主要趋势，涵盖了数据生命周期中的多个步骤。

就像开发人员的技术趋势一样，领导者要与开发人员之间的协作，团队之间的协作，团队之间的协作，DataOps中的数据引用将团队之间的紧密协作与应用程序之间的紧密协作和部署与各个处理数据之间进行更紧密的协作。

Gartner：DataOps是2021年主流趋势

获得DataOps右边是因为所涉及的数据lifecycle.在DevOps的世界多个利益相关者和过程的显著挑战，企业可以开发，测试，并在指定时间内的部署问题应用程序更新，这是很难的举动在数据世界中发展如此之快，因为它可以“花费”八个“月”来集成“ ML”，“模型”和“业务”，“工作流”，并提供切实的价值。

” [创建]一个共同的架构模式有助于数据实际运作的科学和ML管道已被确定为主要的发展趋势之一为2021，” Gartner研究总监‌Soyeb‌ ‌Barot said.

Gartner：预计，企业将开始看到真正的通过DataOps到支持的演变和扩展这些努力收获信任AI.这家研究公司预测，已经开始运作自己的AI的努力将在2020年的8％增长到2025年70％的企业的数量因成熟AI编排
platforms.

即便如此，企业将努力把他们的AI预测项目过去的概念验证阶段，因为他们没有解决的全方位的流程，在整个AI lifecycle.一个2019 Gartner的调查合作发现，四大挑战公司面临的是安全或隐私问题（30％），与现有基础设施（30％），数据量和复杂性（22％），以及潜在的风险或责任（22％），AI。

Gartner公司认为，有关不同类型合作的思考更细致入微的方式，可以改善这种transition.这包括延长DataOps的旧观念（数据工程），包括MLOps（机器学习的发展），ModelOps（AI治理）和平台行动（AI压倒一切平台管理），它具有这样特点的能力，这XOps.整个集合
”
这些框架可以帮助实现结构化的过程，参与的人来productionalize AI.思考巴洛特说：“它的装配线和汽车生产线，工厂，生产数据都没有关系。”巴洛特说。

走向DataOps

historical从历史上看，软件开发是一个缓慢的过程，在此过程中，开发人员花了几个月甚至几年的时间来研究新的更新，这些新的更新统统扔给测试和运营团队。2008年，Andrew Clay和Patrick Debois开始讨论如何通过开发人员，测试人员和运营团队之间更好的协作来简化此过程。之所以称为DevOps，是因为它改进了开发团队和运营团队之间的交接。

随着运动的进行，它导致了各种平台，工具和流程的创建，使团队能够不断地少量集成和部署应用程序，如果出现问题，这些应用程序可能会回滚。但是，这些相同类型的创新使人们无法通过不断增长的大数据量，种类和速度来创造价值。正如专家们所预测的那样，大数据就是新的石油，各公司都在努力以DevOps改进代码部署的方式来操作大数据。

通过创建诸如分析，机器学习模型和数据驱动的应用程序之类的工件，从数据中收集价值。但是，这样做会在DevOps实践的范围之外带来一系列新的挑战和瓶颈。在2014年IBM的博客文章中，时任InformationWeek的特约编辑Lenny Liebmann介绍了DataOps的概念，以描述这些挑战并提出前进的道路。

利勃曼现在是技术采用咨询公司Morgan Armstrong的创始合伙人，在接受VentureBeat采访时说，当时许多企业都在努力使用改进的技术来解决大数据问题，而没有解决组织和流程方面的问题。他说：“人们认为您可以将大数据放到一个魔术桶中，它将起作用。” 但是他们遇到了各种各样的问题，这些问题将不同的数据源和类型的数据连接到新的应用程序和分析。

他看到的主要问题之一是，企业将专注于功能方面，例如通过更好的数据工程工具移动实际数据，而没有解决诸如性能，可用性，质量，可伸缩性，安全性和治理之类的非功能性问题。

随着企业开始将其基础架构迁移到云中，许多基本的数据工程挑战已得到解决。利勃曼说：“今天，这比我初次谈论时少了一个问题。” 下一步在于制定战略，以解决公司扩展数据运营时的安全性，治理和质量问题。

XOps的曙光

Barot与要求使用DataOps工具的企业进行了多次对话，结果发现他们已经拥有强大的DataOps框架。他们确实需要更多帮助来实现其AI流程。这就是Gartner的XOps模型出现的地方，为更全面的区分提供了基础。

巴罗特说：“我们正在研究市场上所有这些’op’术语，它们的用途以及它们之间的关系含糊不清。” “我们希望就它们所代表的意义以及它们之间的相互关系进行记录，这是企业更大的战略计划的一部分。”

在这种扩展的分类法中，Gartner将DataOps约束于与构建，管理和扩展数据管道相关的挑战，从而提高了可重用性，可再现性，并在出现问题时回滚更改。其中一些关键功能包括数据提取，集成，转换和分析。治理仅限于数据本身。

MLOps致力于改善机器学习模型开发生命周期的整个开发和运营过程中的协作。这些活动通常是在传统数据工程实践的范围之外执行的。数据科学家通常要承担一个称为功能工程的过程，该过程用于调整ML模型以改善决策制定，发现洞察力或启用新的应用程序功能。通过MLOps，可以更轻松地将这些工作与负责将模型部署到生产中的运营团队联系在一起。

ModelOps是MLOps的扩展，可帮助公司使用第三方AI模型，这些模型可植入到企业应用程序中，或使用知识图，规则引擎或新的优化算法等工具来改善决策制定。最大的区别在于，MLOps使业务专家可以更轻松地管理AI模型，而对数据工程的依赖则更少，而数据科学团队则可以更轻松地实施更改。

Platform Ops提供了一个总体框架，可帮助组织管理跨越所有这些不同类型活动以及DevOps的活动。它也是最年轻，最不成熟的市场。

Barot说，AIOps可能是描述这种关于AI管理的整体思维方式的更好的术语。但是，该术语已被广泛用于描述使用AI来改善IT运营管理。

尽管其他领域有许多商业产品，但Barot表示，如今只有四种商业Platform Ops工具：Amazon SageMaker，Cloudera SDC，ForePaas和OneLogic。商业供应商还拥护着各种各样的开源Platform Ops工具，它们是其更大范围的AI工具产品组合的一部分。Barot期望看到其他厂商之间的激烈竞争，争相成为AI编排平台。

巴洛特警告说，每个企业都将需要采用适合其现有开发实践和行业环境的最佳功能。

原文：VentureBeat