评论
作者：Steve Shwartz，人工智能作者、投资者和连续创业者。
1. 谷歌网络安全证书 - 快速进入网络安全职业轨道。
2. 谷歌数据分析专业证书 - 提升您的数据分析技能
3. 谷歌 IT 支持专业证书 - 支持您组织的 IT 工作
照片来源：iStockPhoto / NanoStockk
通常需要相当的数据科学专业知识来创建数据集并为特定应用构建模型。但构建一个好的模型通常是不够的。事实上，这远远不够。如下面所示，开发和测试模型只是第一步。
机器学习模型生命周期。
机器学习运维（MLOps）是使模型有用所需的其他一切，包括自动化开发和部署管道、监控、生命周期管理和治理等能力，如上所示。让我们详细了解每一个。
创建生产 ML 系统需要多个步骤：首先，数据必须经历一系列的转换。然后，训练模型。通常，这需要对不同的网络架构和超参数进行实验。经常需要回到数据中尝试不同的特征。接下来，模型必须通过单元测试和集成测试进行验证。它需要通过数据和模型偏差及可解释性的测试。最后，它被部署到公共云、本地环境或混合环境中。此外，过程中的某些步骤可能需要审批流程。
如果这些步骤每一步都手动执行，开发过程往往会很慢且不稳定。幸运的是，许多 MLOps 工具可以自动化这些从数据转换到最终部署的步骤。当需要重新训练时，这一过程是自动化、可靠且可重复的。
机器学习模型在首次部署时往往表现良好，但随着时间的推移表现会下降。正如 Forrester 分析师 Dr. Kjell Carlsson 所说: “AI 模型就像隔离中的六岁小孩：它们需要持续关注……否则，某些东西会坏掉。”
部署中包括各种类型的监控至关重要，以便机器学习团队在这种情况开始发生时能够收到警报。 性能可能因基础设施问题（例如不足的 CPU 或内存）而下降。 当构成模型输入的独立变量的现实世界数据开始表现出不同于训练数据的特征时，性能也可能下降，这种现象称为数据漂移。
同样，由于现实世界条件的变化，模型可能变得不再适用，这种现象称为概念漂移。 例如，许多客户和供应商行为的预测模型在 COVID-19 大流行时陷入了困境。
一些公司还监控替代模型（例如，不同的网络架构或不同的超参数），以查看这些“挑战者”模型是否开始表现得比生产模型更好。
通常，为模型做出的决策设置保护措施是合理的。 这些保护措施是简单的规则，可以触发警报、阻止决策或将决策放入人类审批的工作流中。
当模型性能由于数据或模型漂移开始下降时，需要对模型进行重新训练，并可能需要重新设计模型。 然而，数据科学团队不应从头开始。 在开发原始模型时，或许在之前的重新设计中，他们可能测试了许多架构、超参数和特征。 记录所有这些先前的实验（及其结果）至关重要，以便数据科学团队不必从头再来。这对于数据科学团队成员之间的沟通与协作也至关重要。
机器学习模型被用于许多影响人们的应用场景，如银行贷款决策、医疗诊断以及招聘/解雇决策。 机器学习模型在决策中的使用受到批评有两个原因：首先，这些模型容易受到偏见的影响，尤其是当训练数据导致模型根据种族、肤色、民族、国籍、宗教、性别、性取向或其他受保护类别进行歧视时。 其次，这些模型往往是黑箱，无法解释其决策过程。
因此，使用基于机器学习的决策的组织面临压力，确保其模型不会歧视并能够解释其决策。 许多 MLOps 供应商正在整合基于学术研究的工具（例如，SHAP和Grad-CAM），帮助解释模型决策，并使用各种技术确保数据和模型不偏见。此外，他们还在监控协议中加入了偏见和可解释性测试，因为模型可能随着时间的推移而变得有偏见或失去解释能力。
组织还需要建立信任，并开始确保持续的性能、无偏见性和可解释性是可审计的。这需要模型目录，不仅记录所有数据、参数和架构决策，还要记录每个决策并提供可追溯性，以便确定每个决策使用了哪些数据、模型和参数、何时重新训练或修改模型，以及谁做出了每个更改。审计员还需要能够重复历史交易，并用假设情境测试模型决策的边界。
安全性和数据隐私也是使用机器学习的组织的关键关注点。必须确保个人信息得到保护，并且基于角色的数据访问能力至关重要，特别是在受监管的行业中。
世界各国政府也在迅速推动对影响人们的机器学习决策进行监管。欧盟通过其 GDPR 和 CRD IV 规章制度走在了前列。在美国，包括美国联邦储备银行和 FDA 在内的几个监管机构已经制定了关于机器学习决策的法规，涉及金融和医疗决策。最近提出的《2020 年数据问责与透明法案》计划在 2021 年提交国会审议。法规可能会发展到 CEO 需要签署他们的机器学习模型的可解释性和无偏见性。
随着 2021 年的推进，MLOps 市场正在迅速增长。根据分析公司 Cognilytica 的预测，到 2025 年，这将是一个$4 billion market。
MLOps 领域有大玩家和小玩家。像 Amazon、Google、Microsoft、IBM、Cloudera、Domino、DataRobot 和 H2O 这样的主要机器学习平台供应商正在将 MLOps 能力融入他们的平台中。根据 Crunchbase 数据，在 MLOps 领域，有 35 家私人公司已融资在 $1.8M 和 $1B 之间，且在 LinkedIn 上员工数量在 3 到 2800 之间：
| 融资（百万美元） | 员工数量 | 描述 | |
|---|---|---|---|
| Cloudera | 1000 | 2803 | Cloudera 提供一个适用于任何数据、任何地方的企业数据云，从边缘到人工智能。 |
| Databricks | 897 | 1757 | Databricks 是一个软件平台，帮助其客户统一业务、数据科学和数据工程中的分析。 |
| DataRobot | 750 | 1105 | DataRobot 为全球企业带来人工智能技术和投资回报启用服务。 |
| Dataiku | 246 | 556 | Dataiku 作为一个企业人工智能和机器学习平台进行操作。 |
| Alteryx | 163 | 1623 | Alteryx 通过统一分析、数据科学和自动化流程来加速数字化转型。 |
| H2O | 151 | 257 | H2O.ai 是人工智能和自动化机器学习的开源领导者，致力于使人工智能民主化。 |
| Domino | 124 | 232 | Domino 是全球领先的企业数据科学平台，为超过 20% 的财富 100 强公司提供数据科学支持。 |
| Iguazio | 72 | 83 | Iguazio 数据科学平台使你能够大规模和实时开发、部署和管理人工智能应用 |
| Explorium.ai | 50 | 96 | Explorium 提供一个由增强数据发现和特征工程驱动的数据科学平台 |
| Algorithmia | 38 | 63 | Algorithmia 是一个机器学习模型部署和管理解决方案，自动化组织的 MLOps |
| Paperspace | 23 | 37 | Paperspace 驱动基于 GPU 的下一代应用程序。 |
| Pachyderm | 21 | 32 | Pachyderm 是一个企业级数据科学平台，使可解释、可重复和可扩展的 AI/ML 成为现实。 |
| Weights and Biases | 20 | 58 | 用于实验跟踪、提高模型性能和结果协作的工具 |
| OctoML | 19 | 37 | OctoML 正在改变开发者优化和部署机器学习模型以满足人工智能需求的方式。 |
| Arthur AI | 18 | 28 | Arthur AI 是一个监控机器学习模型生产力的平台。 |
| Truera | 17 | 26 | Truera 为企业提供一个模型智能平台，用于分析机器学习。 |
| Snorkel AI | 15 | 39 | Snorkel AI 专注于通过 Snorkel Flow 实现人工智能的实用性：企业人工智能的数据优先平台 |
| Seldon.io | 14 | 48 | 机器学习部署平台 |
| Fiddler Labs | 13 | 46 | Fiddler 使用户能够创建透明、可解释和易于理解的人工智能解决方案。 |
| run.ai | 13 | 26 | Run:AI 开发了一种自动化分布式训练技术，可虚拟化和加速深度学习。 |
| ClearML (Allegro) | 11 | 29 | ML / DL 实验管理器和 ML-Ops 开源解决方案，端到端产品生命周期管理企业解决方案 |
| Verta | 10 | 15 | Verta 构建软件基础设施，帮助企业数据科学和机器学习（ML）团队开发和部署 ML 模型。 |
| cnvrg.io | 8 | 38 | cnvrg.io 是一个完整的数据科学平台，帮助团队管理模型并构建自适应机器学习管道 |
| Datatron | 8 | 19 | Datatron 提供一个单一的模型治理（管理）平台，管理你所有的 ML、AI 和数据科学模型在生产中 |
| Comet | 7 | 19 | Comet.ml 是一个机器学习平台，旨在帮助人工智能从业者和团队构建可靠的机器学习模型。 |
| ModelOp | 6 | 39 | 管理、监控和管理企业中的所有模型 |
| WhyLabs | 4 | 15 | WhyLabs 是人工智能可观察性和监控公司。 |
| Arize AI | 4 | 14 | Arize AI 提供一个平台，用于解释和排查生产中的人工智能。 |
| DarwinAI | 4 | 31 | DarwinAI 的生成合成“AI 造 AI”技术实现了优化和可解释的深度学习。 |
| Mona | 4 | 11 | Mona 是一个用于数据和 AI 驱动系统的 SaaS 监控平台。 |
| Valohai | 2 | 13 | 您的托管机器学习平台，让数据科学家能够构建、部署和跟踪机器学习模型。 |
| Modzy | 0 | 31 | 可靠的 ModelOps 平台，用于发现、部署、管理和治理大规模机器学习——更快实现价值。 |
| Algomox | 0 | 17 | 促进您的 AI 转型 |
| Monitaur | 0 | 8 | Monitaur 是一家提供审计性、透明度和治理的机器学习软件公司。 |
| Hydrosphere.io | 0 | 3 | Hydrosphere.io 是一个用于 AI/ML 操作自动化的平台 |
这些公司中的许多专注于 MLOps 的某一个环节，例如自动化管道、监控、生命周期管理或治理。有些人认为使用多个最佳实践的 MLOps 产品比单一平台更适合数据科学项目。一些公司正在为特定行业构建 MLOps 产品。例如，Monitaur将自己定位为能够与任何平台兼容的最佳治理解决方案。Monitaur 还为受监管行业（从保险开始）构建特定行业的 MLOps 治理能力。（完全披露：我是 Monitaur 的投资者。）
还有许多开源的 MLOps 项目，包括：
-
MLFlow管理 ML 生命周期，包括实验、可重复性和部署，并包括一个模型注册库。
-
DVC管理 ML 项目的版本控制，使其可共享和可重复。
-
Polyaxon具备实验、生命周期自动化、协作和部署的能力，并包括一个模型注册库。
-
Metaflow是 Netflix 之前的一个项目，用于管理自动化管道和部署。
-
Kubeflow具备在 Kubernetes 容器中进行工作流自动化和部署的能力。
2021 年对 MLOps 来说是个有趣的一年。我们可能会看到快速增长、激烈竞争，并且很可能会有一些整合。
简介： Steve Shwartz (@sshwartz) 多年前在耶鲁大学作为博士后开始了他的人工智能事业，是成功的连续创业者和投资者，也是《邪恶机器人、杀手机器和其他神话：人工智能与人类未来的真相》的作者。
相关：