Determined AI 是开源深度学习训练平台，提供分布式训练、超参自动搜索GPU 集群管理与实验追踪能力，支持 PyTorch 与 TensorFlow。

Determined AI

Determined AI 的核心参数与统计

Determined AI 定位为"深度学习训练的操作系统"，解决的是 ML 工程中最棘手的分布式编排问题：当训练任务从单卡扩展到多节点时，代码改造成本、资源争抢、实验混乱几乎成为每个团队的必经之痛。Determined 通过统一调度层将这些问题封装，让研究员只需关注模型本身。

项目	公开信息
官方定位	开源深度学习训练平台
核心能力	分布式训练、超参搜索、实验追踪GPU 集群管理
支持框架	PyTorch、TensorFlow、Keras（含 KerasTuner）
部署方式	自托管：Kubernetes、本地 Agent 集群Slurm/PBS、AWS/GCP
访问入口	Web UI、CLI（det）、Python SDK、REST API
开源许可	Apache 2.0
代码仓库	GitHub determined-ai/determined（3.2k Stars、372 Forks、96 贡献者）
最新版本	v0.38.1（2025-03-20）
公司归属	HPE（惠普企业）——2021 年收购
技术栈	Go（44.6%）/ Python（27.9%）/ TypeScript（24.4%）

一句话简评：它不是又一个 MLOps 仪表盘，而是把"多机多卡训练"从手动配置变成声明式提交的调度引擎，核心价值在于让团队用写单机代码的心智负担完成分布式训练。

HPE 收购背景：收购后 Determined 获得了企业级支持资源，EE（Enterprise Edition）版本开始要求许可证密钥，OSS 版与 EE 版在 SSO、RBAC 审计等企业特性上出现功能分化。社区需留意 OSS 版是否持续获得与 EE 版同等质量的核心训练功能更新。

Determined AI 的用户与市场认可

GitHub 社区活跃度：仓库拥有 3.2k Stars、372 Forks，累计 121 个 Release（截至 2026-07），96 位贡献者，说明项目在开源 MLOps 领域有稳定的关注度但尚未进入超热门行列（同类项目如 MLflow 的 Stars 量级更高）。

企业采用：HPE 将 Determined 整合至其 AI 基础设施方案中，面向金融、制造、科研等行业的 HPC 客户。公开可查的采用案例以学术机构与中型 ML 团队为主，大规模企业部署数量未公开。

行业对标：相比 Kubeflow（完整 K8s 原生 MLOps）和 MLflow（偏向实验追踪 + 模型注册），Determined 的核心差异在于"训练任务自身的调度与加速"而非全链路编排。在分布式训练这一子领域，它与 Horovod（仅分布式通信层）、Weights & Biases（仅实验追踪）形成互补而非直接竞争。

对比维度	Determined AI	Kubeflow	MLflow	Horovod
定位	训练调度平台	全链路 MLOps	实验追踪+模型注册	分布式训练通信库
分布式训练	自动编排	需手动配置	不涉及	提供通信原语
超参搜索	内置（网格/贝叶斯/ASHA）	需集成 Katib	不内置	不涉及
集群调度	内置队列+配额	K8s 原生调度	不涉及	不涉及
上手难度	中（需 K8s 基础）	高	低	中

Determined AI 的成本优势

C 端/个人

开源版完全免费（Apache 2.0），个人可通过 pip install determined 安装 CLI，在单机或自有 GPU 上部署本地集群。零许可费用，但需要承担自行维护 PostgreSQL + 存储后端的运维成本。

开发者/团队

开源版无软件许可费用，团队可按需选择部署有境：

• 本地 Agent 模式：在裸金属或 VM 上部署 Master + Agent，适合已有 GPU 服务器的团队，运维复杂度较低。
• Kubernetes 模式：通过 Helm Chart 部署，适合已有 K8s 基础设施的团队，但需要 K8s 管理能力。
• 云部署：det deploy aws/gcp up 一键部署，按云资源实际使用付费，无额外许可费用。

隐性成本主要体现在运维人力：PostgreSQL 数据库管理、存储（S3/GCS/共享文件系统）配置、网络与安全组策略、版本升级迁移等。

企业/私有化

HPE 提供 Enterprise Edition，包含：

• SSO/SAML 集成
• RBAC 细粒度权限审计
• 商业 SLA 与技术支持
• 与 HPE 硬件（如 ProLiant 服务器Nimble 存储）的预集成验证

企业版定价未公开，需通过 HPE 销售获取报价。采购前需核验的关键条款：许可证是按节点/GPU 数量还是按用户数计费、是否包含生产有境 SLA 响应时间、升级路径与数据迁移支持范围。

成本层级	费用构成	典型年成本（推演）
个人/小团队（OSS）	0 许可费 + 云主机/GPU 费用	$0 + 按需云资源
中型团队（OSS + 自运维）	0 许可费 + 运维人力（约 0.5~1 人月/年）	$5K~$15K（运维折算）
企业（HPE EE）	许可费 + 支持合同 + 硬件	需商务确认

Determined AI 的主要功能

• 零改动分布式训练：用户只需在训练脚本中使用 determined.pytorch.PyTorchTrial 或 determined.keras.KerasTrial 基类，平台自动处理梯度同步（All-Reduce）、数据分片与节点容错。无需手动编写 torch.distributed.launch 或 tf.distribute.Strategy，减少分布式训练的入门门槛。

  • 专家视点：这一抽象层的隐性收益在于——团队可以从单卡原型直接过渡到多卡生产，而不需要在代码中预埋分布式逻辑。后续增加 GPU 数量只需改 YAML 配置中的 slots_per_trial，无需改训练代码。

• 自适应超参搜索（ASHA）：基于 Asynchronous Successive Halving Algorithm，在资源受限时优先淘汰低潜力 Trial，将更多算力分配给高潜力参数组合。支持早停（Early Stopping）、网格搜索与贝叶斯搜索，可在搜索过程中动态调整搜索空间。

  • 专家视点：ASHA 与平台调度器的协同是 Determined 的核心差异——搜索算法不仅能决定"下一组参数是什么"，还能通过平台调度器控制"哪些 Trial 可被抢占"，在集群满载时自动降级低优先级搜索 Trial，避免超参搜索阻塞正式训练任务。

• GPU 配额与队列调度：支持按资源池（Resource Pool）划分 GPU 配额，用户通过 det experiment create 提交任务后，平台自动排队、调度、分配 Slot。支持优先级队列（Priority Scheduler）与公平调度（Fair Scheduler），防止单个用户占满集群。

  • 专家视点：调度器 + 配额的组合解决了"GPU 空转与争抢并存"的典型团队困境。研究员不再需要手动协商谁什么时候用卡，平台保证提交的任务最终会被调度——这在 10+ 人的团队中能显著减少协调成本。

• 实验追踪与自动快照：每次训练自动记录指标（loss/accuracy 等时间序列）、超参数配置、完整代码快照（Git Commit + 未追踪文件）、模型权重 Checkpoint。Web UI 支持多实验指标对比与可视化，Checkpoint 可一键恢复或继续训练。

  • 专家视点：代码快照的自动截取比手动记录更可靠——即使研究员忘记 commit，平台也在提交时自动归档源码。这对实验可复现性至关重要，尤其在多名研究员共享集群时，"这个模型是用哪个版本的代码跑出来的"不再是悬案。

• Notebook 与交互式任务：在集群 GPU 节点上启动 Jupyter Notebook、TensorBoard 或 Shell，计算直接在 GPU 节点上进行。Notebook 中的数据与训练任务共享同一存储层（共享文件系统或对象存储），方便数据预处理后直接提交训练任务。

  • 专家视点：Notebook 与训练任务共享 GPU 池意味着同一张卡不能同时跑 notebook 和训练。建议将 notebook 限定在低优先级资源池或单独的小型 GPU 池，避免交互式任务抢占生产训练资源。

• DeepSpeed 集成：自 0.17.0 版本起内置 DeepSpeed 支持，可通过 YAML 配置启用 ZeRO 优化（Stage 1/2/3），在超大模型训练场景中降低显存占用。配合 Determined 的自动梯度同步，ZeRO 的通信模式与平台调度器可协同工作。

• Core API（底层接口）：对于不需要 Trial 基类的高级用户，Determined 提供 Core API，允许用户以最小侵入性的方式集成平台功能——只使用 det.core.init() 获取 Context 来记录指标与保存 Checkpoint，不强制修改训练循有结构。这在与 Hugging Face Trainer 等第三方训练库集成时尤其有用。

Determined AI 的模型与版本演进

Determined 采用"OSS + EE"双轨发布策略：OSS 版本遵循语义化版本，EE 版本在 OSS 版本号后追加 -ee 后缀。

主线发布

版本号	发布日期	核心变化
v0.32.0	2026-05（暂无官方精确日期）	最新发布版，含性能优化与问题修复
v0.38.1	2025-03-20	当前最新稳定版，含有境镜像更新与依赖修复
v0.38.0	2024-11-23	移除 Searcher Context（架构简化）、任务配置策略（Config Policies）GA、Global Config Policies UI
v0.37.0	2024-09-30	新 Run Object（Run Centric API）、工作负载告警（Workload Alerting）、Config Policies 初始支持
v0.36.0	2024-08-24	Flat Runs 视图 GA、RBAC Webhook、数据集谱系追踪（Data Lineage）初始支持
v0.35.0	2024-08-09	Flat Runs 对比视图、元数据过滤搜索K8s Pod 转 Job 提交、框架拆分（Framework Splitting）
v0.34.0	2024-06-29	Notebook Token 认证K8s Node Selector/Affinity 支持Pause/Resume Run
v0.33.0	2024-05-30	WebUI 模板管理Flat Runs 排序/筛选、热力图（Heatmap）、Helm 密码复杂度检查
v0.32.0	2024-04（暂无官方精确日期）	模板 CRUD API、K8s 多 RM 支持、实验批量操作

版本治理观察

• 节奏：2024 年保持约每月一个 minor 版本的迭代频率，进入 2025 年后节奏放缓（v0.38.1 为 2025-03 发布），可能反映产品成熟度提升或团队资源调整。
• 架构演进：从 v0.35 到 v0.38 的核心趋势是从"Experiment-Trial 中心化"向"Run 中心化"迁移（Flat Runs），同时引入 Config Policies 增强多租户治理能力。
• 企业版差异：EE 版本在 SSO 改进（v0.38.0+）、许可证密钥验证RBAC 审计日志等企业特性上领先 OSS。OSS 用户需关注这些功能是否会逐步下放到社区版，还是长期保持 EE 独占。

Determined AI 的技术优势

声明式训练配置：用户通过 YAML 定义训练的超参数、资源需求（slots_per_trial）、搜索算法与调度策略，平台据此生成 Trial 并调度执行。这种声明式抽象的核心优势在于——研究员描述"要什么"而非"怎么做"，平台在后台根据集群负载自动决策"在哪台机器上用多少 GPU 跑"。

自动梯度同步（All-Reduce 聚合）：Determined 的 Harness 组件在用户训练代码之上自动注入梯度同步逻辑（基于 NCCL 或 Gloo），无需用户编写分布式通信代码。多个 Trial 在各自分配的 Slot 上独立前向/反向，Harness 在每次 backward() 后自动执行 All-Reduce 聚合梯度，保证各节点模型参数一致。这一机制使得从单卡到多卡的扩展只需修改 YAML 中的 slots_per_trial，不触及训练脚本。

ASHA 搜索的调度协同：传统的超参搜索工具独立于调度器运行，搜索出的 Trial 仍需排队等资源。Determined 将搜索器（Searcher）与调度器（Scheduler）深度集成：搜索器决定下一组参数后，调度器根据当前集群负载决定是否立即启动 Trial、是否抢占低优先级 Trial。这种协同设计让超参搜索在集群满载时不会阻塞生产训练任务——搜索 Trial 被标记为可抢占，在有更高优先级任务提交时自动释放 GPU。

双轨调度（Agent RM + K8s RM）：Determined 支持两种资源管理模式——Agent RM（自主管理的 Agent 集群）与 K8s RM（Kubernetes 原生调度）。Agent RM 适用于裸金属/HPC 有境，不需要 K8s 依赖，部署更轻量；K8s RM 适用于已有 K8s 基础设施的团队，可利用 K8s 的自动扩缩容Namespace 隔离等能力。两者可同时启用（Multi-RM），允许同一个 Master 管理异构集群。

Checkpoint 的存储抽象：Checkpoint 支持存储到共享文件系统S3/GCS 对象存储、或 HDFS。平台自动维护 Checkpoint 的生命周期（GC 策略），并可配置跨存储层的数据迁移。这一抽象使得训练集群的存储与计算解耦——训练节点可以是无状态实例，Checkpoint 持久化到外部对象存储，便于实验失败后的快速恢复。

性能 Profiling 内置：Web UI 内置训练性能分析工具，可查看 GPU 利用率、数据加载吞吐、通信占比等指标，帮助定位训练瓶颈（如数据加载是瓶颈还是通信是瓶颈）。该功能无需额外集成 Prometheus/Grafana，降低了性能调优的工具链复杂度。

代码仓库的 Go 主语言选择（44.6%）说明 Master 组件对并发性能有较高要求——Master 需要同时管理数百个 Agent 的心跳、调度决策与 API 请求，Go 的 Goroutine 模型在此场景下比 Python 更高效。Python（27.9%）用于 Harness（训练运行时）与 SDK，TypeScript（24.4%）用于 Web UI。

如何使用 Determined AI

安装 CLI 与启动集群

# 安装 CLI
pip install determined

# 本地集群（单机快速体验）
det deploy local cluster-up

# AWS 部署
det deploy aws up

# GCP 部署
det deploy gcp up

提交训练任务

训练脚本适配（PyTorch 示例）：

from determined.pytorch import PyTorchTrial, DataLoader, PyTorchTrialContext

class MyTrial(PyTorchTrial):
    def __init__(self, context: PyTorchTrialContext):
        self.context = context
        self.model = self.context.wrap_model(nn.Sequential(...))

    def train_batch(self, batch, epoch_idx):
        loss = self.model(batch)
        self.context.backward(loss)
        self.context.step_optimizer(self.optimizer)
        return {"loss": loss}

YAML 配置文件（experiment.yaml）：

name: my_experiment
entrypoint: train.py
hyperparameters:
  learning_rate:
    type: double
    minval: 0.0001
    maxval: 1.0
searcher:
  name: adaptive_asha
  metric: loss
  smaller_is_better: true
  max_trials: 100
resources:
  slots_per_trial: 8

提交命令：

det experiment create experiment.yaml .

部署选项对比

部署方式	适用场景	前提条件	维护复杂度
本地集群（det deploy local）	个人开发/单机多卡	Docker	低
AWS det deploy aws	云上快速启动	AWS 账号 + 配额	中
GCP det deploy gcp	云上快速启动	GCP 账号 + 配额	中
Kubernetes Helm Chart	已有 K8s 集群	K8s 集群 + Helm 3	中高
Agent 手动部署	裸金属/HPC	PostgreSQL + 共享存储	高
Slurm/PBS 集成	HPC 集群	Slurm/PBS 有境	高

快速验证路径：个人开发者推荐 pip install determined && det deploy local cluster-up，5 分钟内可在本地拉起一个包含 Master + Agent 的单节点集群，运行官方 MNIST 示例验证核心流程。

Determined AI 的产品定价

Determined AI 采用"开源核心 + 企业版"的双轨定价模式：

• 开源版（OSS）：Apache 2.0 许可，功能完整包含分布式训练、超参搜索、实验追踪与调度。无任何使用限制或 GPU 数量上限。适用个人、学术团队以及有自运维能力的中型团队。
• 企业版（HPE Enterprise Edition）：在 OSS 基础上增加 SSO/SAML 集成RBAC 细粒度权限审计、商业 SLA 支持HPE 硬件预集成验证。价格需通过 HPE 销售获取，按年订阅，具体计费单位（节点/GPU/用户）未公开。
• 云托管版：HPE 未提供 SaaS 托管服务，所有部署均为自托管。如需免运维体验，可通过 det deploy aws/gcp 在云上快速拉起，但管理与监控仍需团队自行负责。

版本	许可	价格	适用规模
OSS	Apache 2.0	免费	个人到中型团队（<100 GPU）
EE	商业许可	需商务确认	中大型企业（100+ GPU）

企业版采购前需与 HPE 确认：是否支持按 GPU 数量阶梯定价、是否包含生产有境 24/7 支持、升级与数据迁移的具体条款。

Determined AI 的应用场景

• 多 GPU 集群训练管理：团队共享 10~100 张 GPU 时，Determined 的队列调度有效减少空闲浪费——不再需要研究员手动协调谁什么时候用卡。超参搜索自动扫描参数空间，无需人工反复修改参数重跑。核验重点：队列调度在高优先级任务频繁提交时，低优先级搜索 Trial 能否正确被抢占与恢复。

• 标准化实验流水线：每次训练自动记录代码快照、超参数、指标与 Checkpoint，新研究员接手项目时可直接在 Web UI 上查看历史实验、一键复现或从指定 Checkpoint 继续训练。核验重点：代码快照是否完整包含未追踪的本地修改文件Checkpoint GC 策略是否可能导致过早删除。

• 超大模型训练（DeepSpeed 集成）：对于百亿参数级别的模型训练，通过 ZeRO Stage 2/3 优化显存使用，配合 Determined 的自动多节点调度，降低大模型训练的基础设施门槛。核验重点：DeepSpeed 版本与 Determined 版本的兼容性ZeRO Stage 3 下的通信效率。

• 混合云/异构集群训练：通过 Multi-RM 将本地裸金属集群与云上 K8s 集群统一管理，训练任务根据资源需求自动调度到可用节点。核验重点：跨集群 Checkpoint 同步机制、网络延迟对分布式训练的影响。

• HPC/Academic 科研计算：在 Slurm/PBS 集群上部署 Determined，为科研人员提供 Web UI 提交训练任务，替代传统 SSH 手动提交作业的方式。内置实验追踪减少"忘记记录参数"导致的不可复现问题。核验重点：Slurm 集成版本对 Job Array 的支持、与现有 HPC 调度策略的共存方案。

Determined AI 的适用人群

• 深度学习研究员/算法工程师：需要频繁进行分布式训练实验，希望减少分布式代码适配工作量、自动记录实验参数与结果、一键对比多组实验指标。在 5~50 GPU 规模的中型团队中价值最明显。

• ML 基础设施/平台工程师：负责为团队搭建训练基础设施，希望提供"提交即训练"的自助平台，减少"帮研究员配有境、调驱动、装包"的日常支持工作。需要评估 K8s/PostgreSQL 运维成本与效率提升的平衡点。

• HPC 集群管理员：管理 Slurm/PBS 集群，希望通过 Web UI 降低科研人员的集群使用门槛，同时保留对作业优先级与资源配额的管控能力。需要确认 Determined 与现有调度器的兼容性与替换成本。

• 技术决策者（CTO/VP Eng）：评估 MLOps 平台选型，需要对比 Kubeflow/MLflow/Determined 的功能覆盖与运维成本。Determined 在"训练效率提升"这一单一维度上竞争力突出，但若团队需要完整的模型部署与监控链路，可能需要搭配其他工具。

不适配人群：

• 单卡即可满足需求的小团队或个人，Determined 的集群部署运维成本可能大于收益，直接使用 torchrun 或 python train.py 更轻量。
• 需要完整推理部署 + A/B 测试 + 模型监控链路的团队，Determined 不包含推理服务组件，需搭配 KServe/Seldon 等工具。
• 对无可避免的 K8s 依赖持抵制态度的团队——虽然 Agent RM 模式可用，但大多数高级功能（Multi-RM、自动扩缩容）仍依赖 K8s。

Determined AI 的总结与展望

核心竞争力：Determined AI 在"分布式训练调度"这一垂直领域提供了目前开源社区最完整的开箱即用方案。其声明式 YAML 配置 + 自动梯度同步 + ASHA 搜索 + GPU 配额管理的组合，将多机多卡训练从"每个团队自行造轮子"变成"配置即训练"。对于 GPU 资源密集（10+ GPU）的 ML 团队，它能在不改变训练代码的前提下显著提升 GPU 利用率和实验效率。

当前限制：

• 学习曲线集中在 K8s 部署与 YAML 配置理解上，非容器化有境的团队首次部署可能需要 1~2 周时间。
• OSS 版与 EE 版的功能鸿沟存在不确定性——SSO、RBAC 审计等企业特性长期锁定在 EE 版，OSS 版能否保持核心训练功能的完整迭代进度尚需观察。
• 社区规模（3.2k Stars）相比 Kubeflow（~14k Stars）和 MLflow（~18k Stars）较小，第三方生态贡献与社区问题响应速度可能受限。

采购/采用风险评估：建议团队先在现有集群上以 OSS 版部署试点，选择 1~2 个典型训练任务（非核心生产任务）验证分布式训练的易用性与调度效果。试点期建议关注以下三个关键指标：（1）从提交训练到开始训练的平均等待时间（对比人工协调的改善程度）；（2）超参搜索引入后，找到最优参数所需的 Trial 数与 GPU 时数；（3）研究员转向平台后的代码修改工作量（越少越证明抽象层的有效性）。若试点验证通过，再评估是否需要 EE 版的企业特性，并在此过程中与 HPE 确认 EE 版的价格条款与数据迁移路径。

限制与不适配场景

该工具在以下场景中存在使用限制：

场景适配边界 需要高度行业专业知识的任务、对输出格式有严格规范的场景、需要零错误的自动化流程可能效果不达预期。AI 输出应作为初稿或辅助参考，最终结果需人工核验。

技术限制 上下文长度有限、复杂推理准确性可能不足、免费版有使用额度。建议在正式采用前通过试用验证核心场景的可用性。

版本信息

• Determined 0.32.0 ：暂无官方精确日期。 （2026-05）
• Determined 0.28.0 ：暂无官方精确日期。 （2025-12）