LangChain API(LangServe):将 LLM 应用链部署为生产级 REST API
核心参数与统计
| 参数 | 详情 |
|---|---|
| GitHub Stars | 2,300+(langchain-ai/langserve) |
| GitHub Forks | 272+ |
| 开源协议 | MIT |
| 最新版本 | v0.3.3(2025-10-17) |
| 项目状态 | 已弃用(2024-11-18 起),仅接受社区 Bug 修复 |
| 替代方案 | LangGraph Platform(官方推荐) |
| 底层框架 | FastAPI + Pydantic + uvloop + asyncio |
| 支持编程语言 | Python(服务端)、JavaScript/TypeScript(客户端) |
| 核心端点 | /invoke、/batch、/stream、/stream_log、/stream_events、/playground |
| PyPI 下载量 | 数百万次累计(2023-2025) |
| pypi 包名 | langserve |
| 安装方式 | pip install "langserve[all]" |
项目状态解读:LangServe 在 2023 年 6 月至 2024 年 11 月期间是 LangChain 生态中部署链与 Agent 的事实标准方案,累计 2.3K+ Star 和数百万 PyPI 下载量印证了其市场渗透力。2024 年 11 月弃用声明发布后,LangGraph Platform 正式接替其定位。对于仍在维护的存量项目,LangServe 的 MIT 协议和简单架构使其仍可继续使用,但新项目应直接采用
架构定位:LangServe 不是模型推理引擎,而是「将 LangChain 的 Runnable 抽象转化为 HTTP 接口」的适配层。它解决的核心问题是:开发者用 LCEL 构造好链式管道后,需要零额外代码地将它暴露为结构化的 REST 端点,并获得流式支持、并发处理和自动文档生成。
用户与市场认可
LangChain 生态的「最后一公里」组件:在 LangChain 框架(138K+ Star)的庞大用户基数下,LangServe 作为官方部署方案自然获得了大量采用。PyPI 数百万次的累计下载量表明,LangServe 在 2023-2024 年期间是 LangChain 开发者将原型推入生产的首选工具。GitHub 上 36 位贡献者中包括 LangChain 核心团队成员(eyurtsev、nfcampos、hwchase17)和社区活跃开发者。
企业级采用历史:在 LangGraph Cloud 推出之前,LangServe 是多家 Fortune 500 企业部署 LangChain 应用的唯一官方方案。典型场景包括将内部 RAG 问答系统、文档分析链和客户支持 Agent 封装为内部微服务。LangServe 与 FastAPI 生态的兼容性使其能够无缝接入企业现有的 API 网关和监控体系(如使用 Prometheus、Datadog 等标准工具),这是它相较于「自建 Flask 端点」的关键优势。
与竞品的定位差异:
| 对比维度 | LangServe | LangGraph Platform | 自建 FastAPI 端点 | Modal / Beam |
|---|---|---|---|---|
| 部署对象 | LangChain Runnable | LangGraph Agent | 任意 Python 函数 | 通用 Python 应用 |
| 自动 Schema | ✅ 自动推断 | ✅ 自动推断 | ❌ 手写 | ❌ 手写 |
| 流式支持 | ✅ 原生 | ✅ 原生 | ❌ 需实现 | ✅ 需实现 |
| Playground UI | ✅ 内建 | ✅ 内建 | ❌ | ❌ |
| Agent 持久化 | ❌ | ✅ Checkpoint | ❌ | ❌ |
| 托管服务 | ❌ | ✅ LangSmith 托管 | ❌ | ✅ |
| 当前推荐度 | ❌ 已弃用 | ✅ 推荐 | ⚠️ 灵活但工作量大 | ⚠️ 场景受限 |
市场更迭信号:LangServe 的弃用并非因为产品失败,而是 LangChain, Inc. 的战略升级——将部署能力从「轻量适配层」升级为「全托管 Agent 平台」。LangServe 积累的 REST API 设计范式(invoke/batch/stream 端点规范)被 LangGraph Platform 继承,类似 Kubernetes 弃用 Docker 但容器编排的理念被继承和深化。
成本优势
C 端 / 个人开发者(零成本):
- LangServe 使用 MIT 协议,完全开源免费,无使用限制。个人开发者可以
pip install langserve在本地或任意云 VM 上部署,仅需承担服务器基础设施费用(如 AWS EC2 t3.medium 约 $30-50/月,或更低的 Serverless 选项)。 - 隐性成本:自托管 LangServe 需要开发者自行处理运维——SSL 证书管理、自动扩缩容、日志轮转、监控告警。对于个人项目这些成本可忽略,但对于生产服务,运维人力投入通常远高于软件许可费用。
开发者 / API 集成方(基础设施成本):
- LangServe 本身免费,成本集中在三块:① 底层 LLM API 调用费(按 Token 计费,与 LangServe 无关);② 服务器托管费(根据并发和延迟要求,通常 $50-500/月);③ LangSmith 追踪服务费(如启用,Free 层 3,000 traces/月,Plus 层 $39/月/用户)。
- 相比自建 Flask/FastAPI 端点,LangServe 节省的工程成本约为 1-2 周开发工时(Schema 定义、流式实现、输入校验OpenAPI 文档、错误处理),但引入了对 LangChain 运行时的版本依赖。
企业 / 私有化部署(运维成本主导):
- 企业采用 LangServe 部署生产级 AI API 时,实际成本分布为:运维人力 > 基础设施 > 框架成本(零)。对于已有 Kubernetes 集群和 DevOps 流程的团队,LangServe 的 Docker 化部署可快速融入现有 CI/CD 管线。
- 采购风险提示:由于 LangServe 已弃用,企业新项目应评估 LangGraph Platform 的私有化部署方案(需联系商务确认定价)。存量 LangServe 服务需制定迁移计划,避免因安全补丁停止更新带来的合规风险。
主要功能
工具开放清单(LangServe 暴露的 REST 端点原语)
LangServe 将 LangChain Runnable 转换为以下标准 HTTP 端点,大模型或外部系统通过这些端点完成一次 LLM 应用的交互闭有:
POST /{path}/invoke:接收单个输入,同步调用 Runnable 并返回完整输出。最简单的请求模式,适合非流式场景(如批量数据处理)。POST /{path}/batch:接收输入数组,并行调用 Runnable 并返回输出数组。适合批量推理,内部使用 asyncio 并发执行,显著提升吞吐。POST /{path}/stream:接收单个输入,以 Server-Sent Events(SSE)流式返回输出 Token。实现打字机效果,适用于聊天和实时生成场景。POST /{path}/stream_log:接收单个输入,流式返回所有中间步骤的输出(包括 Prompt 组装、工具调用、检索结果等)。用于调试复杂链和 Agent 的推理过程。POST /{path}/stream_events(v0.2.0+):接收单个输入,流式返回结构化事件。相比stream_log提供更清晰的事件模型,无需解析原始输出即可获取中间步骤信息。GET /{path}/input_schema:返回 Runnable 输入参数的 JSON Schema。供客户端动态生成请求表单或校验输入格式。GET /{path}/output_schema:返回 Runnable 输出参数的 JSON Schema。供客户端理解返回数据结构。GET /{path}/config_schema:返回 Runnable 运行时配置的 JSON Schema(如可配置的模型参数)。GET /{path}/playground/:浏览器可访问的交互式调试界面,支持输入配置、流式输出展示和共享链接。
核心功能详述
- 自动 Schema 推断与校验:LangServe 利用 Pydantic 从 Runnable 的输入/输出类型注解中自动提取 JSON Schema,并在每个请求到达时自动校验。开发者无需手写请求/响应模型,也无需在控制器中写校验逻辑——定义好 LangChain 管道,Schema 和校验即自动就绪。当传入非法参数时(如类型不匹配、缺少必填字段),返回结构化的 422 错误。
- 流式输出全链路:通过 SSE 协议实现从 LLM 到客户端的端到端流式传输。
/stream端点返回 Token 级增量,/stream_log和/stream_events返回步骤级中间产物。客户端可使用RemoteRunnableSDK 或标准 HTTP 请求消费流,不需要自行处理AsyncIterator到 SSE 的转换。 - Playground 交互调试界面:每个部署的 Runnable 自动获得一个 Web 调试页面(
/playground/),支持输入配置(包括文件上传 widget 和聊天 widget)、触发调用、查看流式输出和中间步骤。这个界面在开发调试和 Demo 演示场景中极为实用——产品经理或测试人员无需安装 Python 有境即可验证链的行为。 - LangSmith 追踪集成:设置
LANGCHAIN_TRACING_V2=true和 API Key 后,LangServe 自动将每次 API 调用的完整 Trace(输入/输出/延迟/Token 用量/中间步骤)上报至 LangSmith。这使得在 API 部署场景下也能获得与本地开发一致的可见性,无需额外埋点。 - 多端点组合:通过 FastAPI 的
add_routes函数,可在同一个服务器实例上挂载多个 Runnable,每个挂载在不同的/path下。支持混合部署不同模型、不同链和不同版本的 Agent。
架构链路
开发者定义 LCEL / LangGraph 管道
│
▼
LangServe(add_routes 注册到 FastAPI)
│
▼
FastAPI 服务器(自动生成 OpenAPI 文档 + Schema 校验)
├── /{path}/invoke → 同步调用
├── /{path}/batch → 批量调用
├── /{path}/stream → Token 流
├── /{path}/stream_log → 中间步骤日志流
├── /{path}/stream_events → 结构化事件流
├── /{path}/input_schema → 输入 Schema
├── /{path}/output_schema→ 输出 Schema
├── /{path}/config_schema→ 配置 Schema
└── /{path}/playground/ → Web 调试 UI
│
▼
LangSmith Trace(可选追踪)
│
▼
开发者获得反馈 → 迭代优化
工程踩坑指南
-
Pydantic V1/V2 命名空间冲突(LangServe <= 0.2.0):在 Pydantic V2 有境下,旧版 LangServe 无法生成 OpenAPI 文档,因为 FastAPI 不支持混合 Pydantic V1 和 V2 命名空间。解法:升级至 LangServe >= 0.3.0(最终版已修复),或降级 Pydantic 至 1.10.17。新项目直接使用 LangGraph Platform 避免此问题。
-
Playground 端点安全暴露:LangServe v0.0.13-0.0.15 的 Playground 端点存在 CVE 漏洞,允许访问服务器上的任意文件。解法:升级至 v0.0.16+;在生产有境中通过反向代理(如 Nginx)限制
/playground/端点的访问范围(仅允许内网或特定 IP),或在add_routes中通过disabled_endpoints=["playground"]禁用它。 -
Legacy Chain 的 Schema 不完整:继承自旧版
Chain类的组件(非 LCEL Runnable)的输入 Schema 可能不完整或不正确,导致生成的 OpenAPI 文档与实际参数不符。解法:手动覆盖input_schema属性,或重构为 LCEL Runnable 格式。建议在接入 LangServe 前对 Legacy Chain 进行 Schema 完整性测试。 -
LangGraph Agent 的不兼容性:LangServe 主要针对简单的 Runnable 和 Chain 设计,对于 LangGraph 构建的复杂 Agent(包含循有Checkpoint 持久化Human-in-the-loop),LangServe 无法提供完整的运行支持。解法:LangGraph Agent 应使用 LangGraph Cloud / Platform 部署,而非 LangServe。LangServe 官方文档明确标注了此限制。
模型与版本演进
初始发布期(2023-06 ~ 2023-09)
- v0.0.1(2023-06):初始版本发布,核心功能是将 LangChain Runnable 通过
add_routes挂载到 FastAPI 应用。支持/invoke、/batch、/stream三个基本端点,自动 Schema 推断和 Swagger 文档生成。 - v0.0.16(2023-10):修复 Playground 端点的任意文件读取安全漏洞,这是 LangServe 历史上最重要的安全更新。同时引入 Playground 共享链接功能。
功能扩展期(2024-01 ~ 2024-10)
- v0.2.0(2024-06):新增
/stream_events端点,提供比/stream_log更清晰的结构化事件模型。引入 Chat Playground 支持(针对聊天类型的 Runnable 提供专用交互界面)。Playground Widget 系统完善,支持文件上传 widget 和聊天历史 widget。 - v0.3.0(2024-11):正式支持 Pydantic V2。同日发布弃用声明(#791),官方推荐新项目迁移至 LangGraph Platform。这一方面是技术演进的自然选择——LangGraph 的 Agent 编排能力已远超 LangServe 的设计范围;另一方面是商业战略调整——将部署能力整合到付费平台 LangSmith。
最终维护期(2025-01 ~ 2025-10)
- v0.3.3(2025-10-17):LangServe 的最后正式版本。修复安全依赖、更新 npm 依赖、处理 Deprecation 警告。此后仓库进入只读状态,仅接受社区 Bug 修复 PR。GitHub 仓库已于 2026 年 5 月 5 日归档。
版本总结:LangServe 的生命周期约 2 年 4 个月(2023-06 至 2025-10),经历了 65 个版本发布。作为 LangChain 生态中的部署组件,它的设计哲学被 LangGraph Platform 继承——包括端点规范(invoke/batch/stream)、自动 Schema 推断和 LangSmith 集成。
技术优势
声明式 API 暴露,零样板代码:LangServe 的核心价值在于「定义即 API」——开发者用 LCEL 定义好 Runnable,add_routes 一行调用即可获得完整的 REST API。对比手写 FastAPI 端点:开发者需要手动定义 Pydantic 请求/响应模型、实现 POST 和流式端点、编写输入校验逻辑、生成 OpenAPI 文档。LangServe 将这大约 200-300 行样板代码压缩为 1 行。
全链路流式的统一抽象:LangServe 的流式支持不是简单的 async generator 到 SSE 的映射。它理解 LangChain 的 Runnable 接口契约——如果链中所有组件都支持流式(如 ChatOpenAI 的流式模式 + StrOutputParser 的逐字符解析),则自动启用端到端流式;如果某个中间有节不支持流式,自动降级为缓冲模式。开发者无需手动判断链的各有节流式兼容性。
与 LangSmith 的原生可观测性结合:LangServe 是 LangChain 生态中唯一能「零配置」上报生产级 Trace 的部署方案。设置两个有境变量后,每一次 API 调用的完整调用链自动进入 LangSmith——包括 Prompt 注入、模型响应、工具调用结果、检索片段等中间步骤。这对于排查生产有境中的 Agent 异常行为(如工具调用参数错误、检索召回不准确、模型幻觉输出)至关重要。
FastAPI 生态兼容性:LangServe 不是替代 FastAPI,而是在 FastAPI 之上做了一层装饰器式的增强。这意味着开发者可以在同一个服务器实例中混合部署 LangServe 管理的 AI 端点和手写的业务端点,复用 FastAPI 的所有中间件、依赖注入、认证机制和部署工具。企业团队可以将 LangServe 端点纳入现有的 API 网关和监控体系(如 Kong、APISIX、Datadog APM),无需为 AI 服务建设独立的基础设施。
如何使用
相关信息未公开,以官方实时页面为准。
产品定价
开源框架(零成本):
LangServe 使用 MIT 协议,完全免费。它本身不收取任何许可费用,也没有按调用次数或并发数计费的商业层。开发者的全部成本来自:① 运行服务的云基础设施费用;② 所调用底层 LLM 的 API 费用;③ 如需 LangSmith 追踪,则按 LangSmith 定价计费。
LangSmith 追踪费用(可选):
LangSmith 为 LangServe 提供可观测性后端,其定价分层如下:
| 层级 | 价格 | 配额 | 适用场景 |
|---|---|---|---|
| Free | $0 | 3,000 traces/月,1 个项目 | 个人开发调试 |
| Plus | $39/月/用户 | 无限 traces,多项目,高级评估 | 开发团队 |
| Enterprise | 联系商务 | 包含 SSO、审计日志、私有化部署 | 大型企业 |
运维成本参考(自托管):
- 低流量原型(日均 1,000 次调用):$5-15/月(AWS Lambda + API Gateway 或 Cloud Run 的最小配置)
- 中等流量生产(日均 10 万次调用):$100-500/月(2-4 个 t3.medium 实例 + 负载均衡)
- 高流量生产(日均 100 万次+ 调用):$1,000-5,000/月(自动扩缩容集群 + Redis 缓存 + CDN)
隐性成本提示:LangServe 本身几乎不引入额外延迟(单次调用的框架开销约 1-5ms),但 LLM API 的调用延迟是主要瓶颈。如果链中包含多个串行的 LLM 调用(如 Agent 的多步推理),端到端延迟可能比单次 API 调用高 3-10 倍。建议在 LangSmith 中设置延迟告警阈值为 P95 < 10 秒,超出时排查链的串行瓶颈。
应用场景
1. 内部 RAG 问答系统后端
企业内部知识库(产品文档、合规文件、技术手册)通过 LangChain RAG 链处理后,通过 LangServe 暴露为企业内部 API。前端应用(Slack Bot、Web 门户、企业微信集成)通过标准 HTTP 调用获取问答结果。验收指标:API 响应时间 P95 < 5 秒(含 LLM 推理和检索),检索准确率 > 90%,流式输出在 500ms 内首 Token。LangServe 的自动 Schema 校验在此场景中确保所有客户端传入正确的查询格式。
2. 多模型 A/B 测试 API 网关
产品团队在同一台 LangServe 服务器上挂载多个 Runnable——分别使用 GPT-4o、Claude 4、Gemini 3 处理相同的输入,通过不同的 /path 端点暴露。使用 LangSmith 的统一 Trace 能力对比各模型的延迟Token 消耗和输出质量。落地提示:LangServe 的 per_req_config_modifier 可用于在每个请求中动态切换模型参数(如不同用户的 temperature 偏好),无需为每个配置单独部署一个端点。
3. Agent 工作流的外部触发接口
基于 LangGraph 构建的自动化 Agent(如竞品调研 Agent、代码审查 Agent)通过 LangServe 暴露触发端点。外部系统(如 CI/CD 流水线、定时任务调度器)向 /invoke 端点发送任务描述,Agent 开始执行并将结果写入指定存储。不适配边界:如果 Agent 运行时间超过 10 分钟或需要与用户进行多轮交互,LangServe 的同步请求/响应模型不再适用——此时应使用 LangGraph Platform 的异步部署和 WebSocket 通信能力。
4. 实时内容生成服务
营销团队将 LCEL 构建的内容生成链(品牌调性 + 产品信息 + 长度约束)部署为 LangServe API。运营系统批量调用 /batch 端点生成社媒文案、邮件模板和广告语,LangServe 的并发批处理能力将 100 条文案的生成时间从串行的 5 分钟压缩至并行的 30 秒。验收关注点:批次大小与并发数的平衡——过多并发可能导致 LLM API 速率限制(Rate Limit)或 OOM。
5. 跨团队 AI 能力中心
平台工程团队将公司内部常用的 AI 能力(文本摘要、情感分析、实体提取、内容审核)封装为独立的 LangServe 模块,统一注册到 API 网关。各业务团队无需自行对接 LLM API,通过标准 HTTP 接口消费 AI 能力。这种模式将 LLM API Key 的管理和频控从各团队分散管理集中至平台团队,降低了 API Key 泄露风险和合规审计难度。
适用人群
-
AI 应用开发者(Python):最核心的用户群。LangServe 将 LCEL 管道的部署成本降至近乎为零——定义一个 Runnable,一行
add_routes,即可获得生产级 API。前置条件:熟悉 LangChain 的 Runnable 接口和 LCEL 基本语法。对于已在使用的开发者,LangServe 是自然的部署选择,但需注意新项目已转向 LangGraph Platform。 -
后端架构师与 DevOps 工程师:LangServe 的 FastAPI 兼容性使其能无缝融入现有后端基础设施。架构师可以将其视作一个「AI 适配层」——它将 LangChain 的复杂运行逻辑封装为标准 REST 接口,后端团队无需理解 Token、Prompt、Chain 等概念即可对接 AI 能力。部署时需关注 LangServe 的状态管理限制:它默认无状态,多副本部署时需自行处理会话一致性。
-
AI 产品经理与 Demo 制作者:LangServe 提供的 Playground 界面是演示 AI 能力的理想工具。产品经理在
https://<server>/playground/页面上直接测试链的不同输入参数,无需命令行操作。Playground 的共享链接功能使 PM 可以将特定配置的链分享给利益相关方评审,加速产品验证闭有。 -
教育与培训场景:AI 课程中,讲师部署一个 LangServe 服务器作为教学后端,学员通过浏览器或简单的 Python 脚本调用 API,专注于 Prompt 工程和链式逻辑的学习,而不被部署有境困扰。
-
不适配人群:① 正在启动新 AI 项目的团队——应直接使用 LangGraph Platform 而非 LangServe;② 需要部署 LangGraph 构建的复杂 Agent(带 Checkpoint、Human-in-the-loop、持久化记忆)的场景——LangServe 无法完整支持这些特性;③ 对最低延迟(< 50ms)有严苛要求的极简调用场景——直接调用 LLM SDK 的延迟更低、依赖更少;④ 缺乏 Python 运维能力的团队——自托管 LangServe 需要基本的 Docker 和服务器管理技能,否则建议使用全托管方案。
总结与展望
LangChain API(LangServe)在 2023-2025 年期间,作为 LangChain 生态的官方部署组件,成功解决了「将 LangChain 链快速暴露为 REST API」这一明确的工程痛点。它的自动 Schema 推断、全链路流式支持和 LangSmith 原生集成,定义了「LLM 应用 API 部署」的工程范式。2.3K+ GitHub Stars、65 个版本发布和数百万 PyPI 下载量,证明了它在开发者社区中的实际价值。
当前限制与不确定项:
- LangServe 已正式弃用(2024-11-18),GitHub 仓库已于 2026 年 5 月归档。虽然 MIT 协议允许无限期使用,但不再有新功能和安全更新。
- 对 LangGraph 复杂 Agent(循有、持久化、多 Agent 协作)的部署支持不完整,LangServe 的设计范围仅限于简单的 Runnable 和 Chain。
- 无内置的认证和授权机制,需要开发者自行在 FastAPI 层或反向代理层实现。
- Playground 端点的安全性在早期版本中存在漏洞(CVE),虽已在后续版本修复,但暴露了默认开启调试界面的安全边界问题。
- 流式端点的性能在大并发场景下(>100 并发连接)可能出现背压问题,需要配置适当的 Workers 数和连接池大小。
采购与采用风险评估:
- 存量项目:如果现有系统已基于 LangServe 稳定运行,建议维持当前版本并在外围做好安全监控(特别是反向代理配置和依赖扫描),同时规划 6-12 个月内的迁移窗口。
- 新项目选型:直接使用 LangGraph Platform 作为部署方案。LangServe 的接口设计(invoke/batch/stream 端点规范)在新平台中得到继承,迁移成本主要体现在运行时替换而非接口重构。
- 企业采购前需核验的关键条款:① LangGraph Platform 的私有化部署定价和数据驻留方案;② LangSmith 的数据使用政策——确认 AI 追踪数据不会用于模型二次训练;③ 从 LangServe 到 LangGraph Platform 的迁移工具和支持服务是否包含在企业合同中。以上核验项建议以官方最新合同条款为准。
LangChain API 的使用方式
快速启动:部署一个简单的 LLM 链
以下代码展示 LangServe 的核心用法——约 20 行代码将一个聊天模型和一条「讲笑话」链部署为 REST API:
# server.py
from fastapi import FastAPI
from langchain.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from langserve import add_routes
app = FastAPI(title="LangChain API Server", version="1.0")
# 直接暴露聊天模型
add_routes(app, ChatOpenAI(model="gpt-4o"), path="/chat")
# 暴露一条链:提示词 + 模型
model = ChatOpenAI(model="gpt-4o", temperature=0.7)
prompt = ChatPromptTemplate.from_template("讲一个关于 {topic} 的笑话")
add_routes(app, prompt | model, path="/joke")
if __name__ == "__main__":
import uvicorn
uvicorn.run(app, host="0.0.0.0", port=8000)
启动命令:
pip install "langserve[all]" langchain-openai
export OPENAI_API_KEY="sk-..."
python server.py
使用客户端 SDK 调用
# client.py
from langserve import RemoteRunnable
joke_api = RemoteRunnable("http://localhost:8000/joke/")
result = joke_api.invoke({"topic": "程序员"})
print(result)
或通过标准 HTTP 请求:
curl -X POST http://localhost:8000/joke/invoke \
-H "Content-Type: application/json" \
-d '{"input": {"topic": "程序员"}}'
关键配置参数说明
add_routes(app, runnable, path="/my_chain"):将一个 Runnable 挂载到指定路径下,自动生成全部标准端点。enabled_endpoints=["invoke", "batch", "stream"]:限制只暴露指定端点,减少攻击面。disabled_endpoints=["playground"]:生产有境下禁用 Playground 调试界面。per_req_config_modifier:在每个请求中注入用户认证信息(如将 JWT 中的用户 ID 传递给 Runnable 的配置)。playground_type="chat":为聊天类型的 Runnable 启用聊天专用 Playground UI。
LangSmith 追踪配置(可选)
export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your_langsmith_api_key>
export LANGCHAIN_PROJECT=my-langserve-app
部署到生产有境
LangServe 支持任意兼容 FastAPI 的部署方式:
| 部署方式 | 命令 / 工具 | 适用场景 |
|---|---|---|
| 本地 Docker | docker build -t langserve-app . && docker run -p 8000:8000 langserve-app |
开发测试 |
| AWS ECS / Copilot | copilot init --app my-app --name langserve --type 'Load Balanced Web Service' |
AWS 云原生部署 |
| Azure Container Apps | az containerapp up --name langserve-app --source . |
Azure 云原生部署 |
| GCP Cloud Run | gcloud run deploy langserve-app --source . --port 8001 |
GCP 无服务器部署 |
| Railway | Railway 模板一键部署 | 快速原型上线 |


评论交流
欢迎分享看法。评论审核通过后公开;待审核和已拒绝的评论仅自己可见,邮箱不会公开。