对比

2026 年最佳 LLM 可观测性与评测工具

你的 Agent 在演示里运行良好,上线后却因为你看不见的原因失败。你需要用 trace 找到出错的步骤,用数据集和评测防止问题再次出现, 还需要一张不会让你意外的账单。本文围绕这几点对比 11 款工具,价格均标注 2026 年 11 月 11 日。

本文对比的工具标志:LangSmith、Langfuse、Braintrust、Arize Phoenix、W&B Weave、Helicone、Datadog、Galileo、Opik、Laminar、Promptfoo
追踪告诉你发生了什么,评测告诉你结果好不好。两者缺一不可。

Get the latest on AI, LLMs & developer tools

New MCP servers, model updates, and guides like this one — delivered weekly.

对大多数团队来说,先从 Langfuse 开始。它有 MIT 许可的核心、免费自托管、OTLP 接入、数据集、LLM-as-judge 和 CI Action,托管版 Core 计划每月 $29。如果你基于 LangChain 或 LangGraph 开发,选 LangSmith;评测驱动发布流程,选 Braintrust;想要没有功能限制的开源方案,选 Phoenix;如果 Datadog 或 Splunk 已经在跑你的监控,就用它们。Promptfoo 适合在 CI 中做提示词回归测试和红队测试。

市场在 2026 年也发生了变化:Langfuse 加入了 ClickHouse,Helicone 易主并进入维护模式,Cisco 完成了对 Galileo 的收购, OpenAI 同意收购 Promptfoo。这让基于 OpenTelemetry 的可移植插桩比一年前更有价值。

视频:Langfuse 官方演示,涵盖 Agent 追踪、评测、实验和提示词管理,能直观展示这一类工具的整体能力(由 Langfuse YouTube 频道发布)。

快速推荐

使用场景推荐原因
综合最佳(大多数团队)LangfuseMIT 许可的核心、可自托管或用云端、支持 OTLP 接入、数据集、LLM-as-judge 和 CI Action。有免费档,Core 计划 $29。
基于 LangChain 或 LangGraph 开发LangSmith与框架集成最紧密,有离线与在线评测,Studio 可调试 Agent。Plus 每席位 $39。
评测优先的团队Braintrust评分器、数据集和在线打分是产品核心。Pro $249,托管服务,企业版可本地部署。
无功能限制的最佳开源方案Arize Phoenix可免费自托管且无功能限制(Elastic License 2.0),基于 OpenTelemetry 和 OpenInference。
最佳低预算云服务Opik仓库为 Apache-2.0,免费云档含 25k span,Pro 每月 $19。
已经在用 DatadogDatadog LLM Observability只对 LLM span 计费,追踪数据与 APM、RUM 放在一起。
最适合调试 AgentLaminarAgent 追踪、可从缓存重放的 Debugger,以及针对轨迹的评测。Apache-2.0。
最适合 CI 提示词测试与红队测试Promptfoo本地运行的 MIT CLI,YAML 配置,支持 GitHub Actions。不是追踪后端。

总对比表

每个单元格都来自厂商自己的定价页或文档页,抓取于 2026 年 11 月 11 日。各厂商的计量单位不同(trace、units、span、GB、分数、请求), 所以请用你自己的流量去对照每一行,而不是只看标题价格。许可证信息读取自各 GitHub 仓库或厂商页面。

工具价格(截至 2026 年 11 月 11 日)保留期自托管开源亮点
LangSmithDeveloper $0(1 席位,每月 5k 基础 trace);Plus 每席位每月 $39(10k 基础 trace);Enterprise 定制基础 trace 14 天,扩展 trace 180 天仅 Enterprise(hybrid 或自托管)否(SDK 为 MIT)LangChain/LangGraph 深度集成,Studio
LangfuseHobby $0(50k units,2 用户);Core $29;Pro $199;Enterprise $2,499;超额 $8/100k units30 天 / 90 天 / 3 年是,免费是(MIT 核心)开源且评测闭环完整
BraintrustStarter $0(1 GB,10k 分数);Pro $249(5 GB,50k 分数);Enterprise 定制14 天 / 30 天Enterprise(本地部署或托管)否评测优先的工作流
Arize Phoenix / AXPhoenix 免费;AX Free $0(25k span);AX Pro $50(50k span);Enterprise 定制AX 15 天 / 30 天Phoenix 免费;AX 自托管需 EnterprisePhoenix 是(ELv2)OpenInference,无功能限制的开源版
W&B WeaveFree $0(1 GB 摄取);Pro 起价 $60(1.5 GB,超额 $0.10/MB);Enterprise 超额 $0.20/MB页面未说明Enterprise 专属部署或自管SDK 为 Apache-2.0与 W&B 模型追踪打通
HeliconeHobby $0(10k 请求);Pro $79;Team $799;Enterprise 定制7 天 / 1 个月 / 3 个月Enterprise 本地部署仓库 Apache-2.0代理式日志(维护模式)
Datadog LLM ObservabilityFree $0(40k LLM span);Pro $160(100k LLM span);超出按需计费15 天(可加购 30/60/90 天)否(SaaS)否只按 LLM span 计费,并入 APM
Galileo(现为 Splunk Agent Observability)起价每月 $100 / 120 万 span,按年计费可购买延长保留期Observability Cloud 或自托管否Luna 评估模型与护栏
Opik(Comet)OSS $0;Free Cloud $0(25k span);Pro $19(100k span,额外 $5/100k);Enterprise 定制60 天是,免费是(Apache-2.0)最便宜的付费云档
LaminarFree $0(1 GB);Starter $30(3 GB);Pro $150(10 GB);Enterprise 定制7 天 / 30 天 / 6 个月是(开源),Enterprise 可本地部署是(Apache-2.0)Agent Debugger 与重放
PromptfooCommunity $0;Enterprise 与 On-Premise 定制本地结果本地运行或自托管是(MIT)CI 评测与红队测试

2026 年发生了什么变化

11 款工具中有 4 款今年换了东家或状态有变,了解这些之后,整个对比会读出不同的意味。

  • Langfuse 在 2026 年 1 月 16 日宣布加入 ClickHouse。公告称没有计划更改许可证,自托管仍是一等路径,Langfuse Cloud 保持现状运行。公告没有涉及定价。
  • Helicone 被 Mintlify 收购,后者表示 Helicone 将以维护模式继续运行(提供安全更新、缺陷修复和新模型),并协助客户迁移。Helicone 自己的定价页现在有一条横幅,称其属于 Experiential Labs,没有更多细节。
  • Galileo 在 Cisco 完成收购后更名为 Splunk Agent Observability。它原来的定价网址已重定向到 Splunk 的定价页。
  • Promptfoo 在 2026 年 3 月 9 日表示已同意被 OpenAI 收购(需满足常规交割条件),并表示将继续开源。在我抓取的来源中无法确认交割日期。
  • Weights & Biases 的 Weave 定价现在位于 CoreWeave Forge 页面,旧的 wandb.ai 定价网址会重定向到那里。

实际含义(这是我们的推断,不是厂商表述)是:当 OpenTelemetry exporter 能解决问题时,不要把应用代码与某一家厂商的 SDK 绑定。如果你还通过代理路由模型流量,请参阅我们的 最佳 LLM API 网关汇总, 因为有些网关会记录请求,与这一类工具的部分功能重叠。

LangSmith

LangSmith 是 LangChain 的追踪、评测和 Agent 部署平台。当你的 Agent 使用 LangChain 或 LangGraph 构建时,它是自然的选择, 因为开启追踪只是一个开关,而不是一个项目。

LangSmith 可观测性仪表盘,显示 Agent trace 数量、在线幻觉评测分数和按工具统计的运行次数
LangChain 提供的 LangSmith 可观测性仪表盘预览图。 来源

价格(截至 2026 年 11 月 11 日):Developer 为每席位 $0,含 1 个席位和每月 5k 基础 trace。Plus 为每席位每月 $39,席位不限, 含 10k 基础 trace。Enterprise 为定制价。超出包含额度的 trace 按用量付费,但定价页没有公布每 1k trace 的单价,因此请用厂商的计算器或报价来做预算。 基础 trace 保留 14 天数据,扩展 trace 保留 180 天。自托管和 hybrid(SaaS 控制平面加自托管数据平面)部署仅列在 Enterprise 下,托管云运行在美国或欧盟。

优势。评测覆盖面广:由人工整理用例、生产 trace 或合成数据构建的数据集,用于回归测试的离线评测,带过滤和采样率的在线评测, LLM-as-judge(包括无需参考答案的在线 judge)、人工审核、代码规则和成对比较。Studio 提供交互式环境来调试 Agent。 OpenTelemetry 通过带 x-api-key 请求头的 /otel 端点接入,langsmith[otel] 扩展可以让 trace 只发送到你自己的 OTel 端点。 关于私有云部署,我们另有一篇 LangSmith BYOC on AWS 架构指南(英文)。

劣势。按席位计价会随团队增长,页面上没有公开 trace 单价,自托管需要 Enterprise 合同。通过 OTel 的摄取是异步的, 文档警告说,如果某个 span 的父 span 始终没有到达,子 span 最终会被丢弃且不报错。最适合:希望在同一平台内完成追踪、评测和部署的 LangChain 与 LangGraph 团队。

视频:LangChain 官方对 LangSmith 的概览,涵盖 Agent 可观测性、评测和部署。

Langfuse

Langfuse 是大多数团队首先想到的开源选项。它覆盖追踪、提示词管理、数据集、实验和评估器,在云端和自有基础设施上的运行方式相同。 其仓库标注为 MIT 许可,而 LICENSE 文件注明软件的部分内容采用不同的许可,如果你打算再分发,请仔细阅读。

价格(截至 2026 年 11 月 11 日):Hobby 免费,每月 50k units、30 天数据访问、2 个用户。Core 每月 $29,含 100k units、90 天、用户不限。 Pro 每月 $199,含 100k units 和三年数据访问。Enterprise 每月 $2,499。Pro 还有可选的 Teams 附加包,每月 $300。超额为每 100k units $8, 之后阶梯下降为 $7(1M 到 10M)、$6.50(10M 到 50M)和 $6(50M 及以上)。数据保留管理仅限 Pro 和 Enterprise。自托管免费;定价页指向单独的自托管页面了解详情。

优势。评测文档列出了作用于线上 trace 的 LLM-as-a-judge、可复用的数据集、用于比较提示词/模型/代码变更的实验、标注队列、代码评估器, 以及衡量人工与 AI 标注一致性的分数分析。langfuse/experiment-action GitHub Action 会在 pull request 上运行实验, 并在分数低于阈值时抛出 RegressionError。OpenTelemetry 接入位于 /api/public/otel,文档称旧的摄取端点已弃用,推荐使用 OTLP。 区域包括 EU、US、日本和 HIPAA 云。

# Send OpenTelemetry traces from one app to Langfuse and a second backend
# via an OpenTelemetry Collector (pattern documented by LangSmith and Langfuse).
export OTEL_EXPORTER_OTLP_ENDPOINT="https://us.cloud.langfuse.com/api/public/otel"
export OTEL_EXPORTER_OTLP_HEADERS="Authorization=Basic ${AUTH_STRING},x-langfuse-ingestion-version=4"

# AUTH_STRING = base64 of "pk-lf-...:sk-lf-..."
echo -n "pk-lf-...:sk-lf-..." | base64

劣势。Langfuse 仅接受 HTTP 上的 OTLP,不支持 gRPC。按文档所述,如果没有 x-langfuse-ingestion-version: 4 请求头, 直接发送的 OTel 数据最多可能需要十分钟才会出现。按 units 计价意味着每个请求产生大量 observation 的话痨型 Agent 会很快消耗额度。 ClickHouse 收购在纸面上是稳定的,但公告没有涉及定价。最适合:想要一个开放、可自托管、追踪与评测闭环完整的默认方案的团队。

Braintrust

Braintrust 把自己定位为以评测为核心的 Agent 可观测性平台:追踪生产环境、打分,并在用户遇到之前发现回归。它是托管产品, 定价页仅在 Enterprise 下列出本地部署或托管部署。

价格(截至 2026 年 11 月 11 日):Starter 为 $0,含 1 GB 处理数据、10k 分数、14 天保留期,用户、项目、数据集和实验不限。 Pro 每月 $249,含 5 GB、50k 分数和 30 天保留期。数据超额在 Starter 为每 GB $4,Pro 为每 GB $3;分数超额分别为每 1,000 个 $2.50 和 $1.50。 Pro 增加自定义图表和环境,以及不限数量的人工审核分数;Starter 每个项目允许一个。Pro 超出包含的 30 天后,保留期为每 GB 每月 $0.50。 符合条件的初创公司可免费使用 Pro 6 到 12 个月。Enterprise 增加自定义 RBAC 和高级支持。

优势。评分器可由 autoevals、LLM-as-judge 或自定义代码构建,在线打分异步评估生产 trace,不影响延迟。数据集保存输入和可选的预期输出, 文档描述了从代码或 UI 运行实验以及在 CI/CD 中运行。OpenTelemetry 通过 api.braintrust.dev/otel 的 OTLP/HTTP 接入,使用 Bearer 密钥和x-bt-parent 请求头,并提供 EU 和 BYOC 数据平面网址。劣势。分数是计量单位,大量在线打分可能主导账单; 基础档 14 天和 30 天的保留期,与 Langfuse Pro 的三年相比很短。它没有被列为开源。最适合:以评测分数作为发布门禁并想要成熟托管工作流的团队。

Arize Phoenix 与 Arize AX

Phoenix 是 Arize 及其社区的开源追踪与评测工具。文档称它基于 OpenTelemetry,并使用 OpenInference 做插桩, 对框架、模型提供商和语言(包括 Python、TypeScript 和 Java)提供自动插桩。Arize AX 是基于相同开放标准构建的托管平台。

价格(截至 2026 年 11 月 11 日):根据自托管文档,Phoenix 可免费自托管,没有功能限制、许可费或用量限制。仓库 LICENSE 为 Elastic License 2.0, 属于源码可见而非 OSI 开源,请对照你的使用场景检查。AX Free 为 $0,含 25k span、1 GB 摄取和 15 天保留期。 AX Pro 每月 $50,含 50k span、10 GB 和 30 天。AX Enterprise 为定制价,也是唯一列出自托管的计划。三个 AX 计划的用户和评测都不限量。定价页没有描述超额计费。

优势。评估器可以是基于 LLM 的、基于代码的或人工标注,Phoenix 还能导入 Ragas、DeepEval 和 Cleanlab 的评估器。 它还提供提示词管理、playground、span 重放、数据集和实验。部署方式包括 Docker、Kubernetes、Helm,以及 Railway、Render、Cloud Run 和 Azure 的一键模板。劣势。AX Pro 仅 50k span 偏小,ELv2 许可证禁止把 Phoenix 作为托管服务提供给他人。最适合:想要无功能限制的开源工具的团队,尤其是做 RAG 与检索评测。 如果你要调试检索质量,我们的 向量数据库对比 覆盖了问题的另一半。

Weights & Biases Weave

Weave 是 W&B 用于追踪和评测 LLM 应用的工具包。Python SDK 在 GitHub 上为 Apache-2.0。定价和文档已迁移到 CoreWeave 旗下站点: wandb.ai/site/pricing 重定向到 CoreWeave Forge 定价页,Weave 文档重定向到 docs.coreweave.com。

价格(截至 2026 年 11 月 11 日):Free 为 $0,含 1 GB Weave 数据摄取、5 GB 存储和最多 5 个模型席位。Pro 每月 $60 起, 含 1.5 GB 摄取、100 GB 存储和最多 10 个席位,超出包含摄取量的部分为每 MB $0.10。Enterprise 为定制价,超额为每 MB $0.20, 提供专属或自管部署以及自带存储桶选项。页面称 Pro 面向员工少于 50 人的早期团队。学术研究免费。页面没有说明 trace 的保留期。

优势。OpenTelemetry 通过 trace.wandb.ai/otel/v1/traces 的 protobuf 端点接入,使用 wandb-api-key 请求头; Python SDK 附带本地小模型评分器(毒性、偏见、幻觉、上下文相关性、连贯性、流畅度、综合信任分,以及通过 Presidio 的 PII 检测)。 如果你的团队已经在 W&B 里追踪模型训练,把实验和 LLM trace 放在同一个工作区确实方便。劣势。摄取按 MB 计费,比按 trace 计价更难预测, 本地评分器仅限 Python,而且我无法从抓取的页面确认数据集和 CI 的细节。最适合:已在使用 W&B 的机器学习团队。

Helicone

Helicone 最初是一个记录 LLM 请求的代理:你把兼容 OpenAI 的客户端指向它的 AI Gateway,请求就会出现在仪表盘中,并带有模型回退和统一计费。 仓库在 GitHub 上为 Apache-2.0。

价格(截至 2026 年 11 月 11 日):Hobby 免费,含 10,000 个请求、7 天保留期和 1 个席位。Pro 每月 $79,席位不限,保留期 1 个月。 Team 每月 $799,含 5 个组织、3 个月保留期、SOC-2 和 HIPAA 合规。Enterprise 为定制价,列出本地部署和 SAML SSO。每个档位都包含 1 GB 存储。

需要注意的是所有权。Mintlify 宣布收购了 Helicone,并表示产品将以维护模式继续运行,提供安全更新、缺陷修复和新模型, 并帮助客户迁移到其他平台。Helicone 的定价页现在称其属于 Experiential Labs,细节待公布。我没有找到关于长期路线图或自托管承诺的公开声明。 快速入门文档描述的是代理集成,没有提到 OpenTelemetry。最适合:今天就想要请求日志的现有用户;新项目我们会选择仍在积极开发的替代品。 如果你想要的是网关功能,请看 网关汇总。

Datadog LLM Observability

Datadog 的产品会跟踪每个请求经过的提示词、检索步骤、工具调用和 Agent 决策,使用与其 APM 栈其余部分相同的 tracer。 自动插桩覆盖 OpenAI、Anthropic、Gemini、Vertex AI、Bedrock、LangChain、CrewAI、Pydantic、LiteLLM 和 Strands Agents,SDK 支持 Python、Node.js 和 Java。

价格(截至 2026 年 11 月 11 日,来自产品页):Free 为 $0,最多 40K 个 LLM span,保留 15 天。Pro 每月 $160,最多 100K 个 LLM span, 超出部分按需计费。只对 LLM span 计费,即对 LLM 提供商的一次调用;tool、workflow、agent、embedding 和 retrieval span 免费。 保留期附加包可将 trace 延长到 30、60 或 90 天。评测没有单独收费,但评测所发起的任何 LLM 调用都计入 LLM span。 我无法获取定价页上的详细费率表,所以预算前请与 Datadog 确认。

优势。内置和自定义评估器、离线与在线评测、人工审核、对幻觉、提示注入和 PII 的检测、来自生产 trace 的数据集,以及用于比较提示词和模型的实验。 Agent 运行可与 APM 服务、基础设施和 RUM 会话关联,并有针对延迟、成本和质量的监控。自定义框架和其他语言可通过 OpenTelemetry 或 HTTP API 插桩。劣势。仅提供 SaaS,如果你不是 Datadog 客户则价值最低,默认保留期较短。最适合:希望 LLM 遥测数据与现有基础设施告警放在一起的团队。

Galileo(Splunk Agent Observability)

Galileo 构建了面向 Agent 的评测和护栏。Splunk 的收购页面称 Cisco 已完成对 Galileo 的收购,Galileo 现为 Splunk Agent Observability, 帮助团队评估并改进 Agent 行为、跟踪用量和成本,并对全部流量应用实时护栏。媒体报道把公告日期定为 2026 年 4 月 9 日, 并称 Luna-2 是 Galileo 用于常开评测的小语言模型系列。galileo.ai/pricing 现已重定向到 Splunk 的定价页。

价格(截至 2026 年 11 月 11 日):Splunk 页面列出 Agent Observability 起价为每月 $100 / 120 万 span,按年计费, 每年包含 5 亿 Luna token 和 5 次 Luna 微调运行,可购买延长保留期,可用于 Observability Cloud 和自托管部署。 页面没有点名提到 Galileo,也没有说明旧免费档和现有 Galileo 合同会如何处理。优势:为评测和护栏专门构建的小模型,以及 Splunk 与 Cisco 对企业落地的支持。劣势:按年计费、前 Galileo 用户的迁移路径不明确,并且在我抓取的页面中没有 OpenTelemetry 文档。最适合:以 Splunk Observability Cloud 为标准的企业。

Opik(Comet)

Opik 是 Comet 的开源 LLM 评测与追踪平台。仓库为 Apache-2.0 且非常活跃,定价页显示自托管时 span 不限量。

价格(截至 2026 年 11 月 11 日):Open Source 为 $0 自托管,span 和保留期不限。Free Cloud 为 $0,每月 25k span、60 天保留期、最多 10 名团队成员。 Pro Cloud 每月 $19,含 100k span、最多 50 名团队成员,额外 span 每 100k $5,延长保留期(60 到 400 天)每 100k span $29。 Enterprise 为定制价,增加 SSO、SLA 和合规认证。

优势。本汇总中最便宜的付费云入口。评测文档描述了带自然语言断言并由 LLM judge 检查的 Test Suites、30 多个预置指标(如幻觉、相关性和连贯性)、 并排的实验追踪和标注队列。OpenTelemetry 通过 /api/v1/private/otel 的 OTLP/HTTP 接入。劣势。gRPC exporter 会导致错误, 没有根 span 的 trace 不会出现在 Traces 标签页中,我也没有从抓取的页面确认 pytest 或在线评测规则。最适合:想要一个开放、便宜且有托管档的小团队。

Laminar

Laminar 是面向 Agent 的开源可观测性平台。其文档列出了对 AI SDK、Claude Agent SDK、LangChain 和 Browser Use 的追踪,仓库为 Apache-2.0。

Laminar 产品拼图,显示 Agent trace 时间线、对话记录视图和事件聚类图表
Laminar 产品预览图,显示 trace、对话记录和事件聚类视图。 来源

价格(截至 2026 年 11 月 11 日):Free 为 $0,含 1 GB 数据、7 天保留期、1 个项目和 1 个席位,无超额计费。Starter 每月 $30,含 3 GB, 超额每 GB $2,保留 30 天。Pro 每月 $150,含 10 GB,超额每 GB $1.50,保留 6 个月。Starter 及以上项目和席位不限。Enterprise 增加本地部署。 计费按数据量,适合 trace 很长的 Agent,但与按 span 计价不同。

优势。Laminar 后端接受 gRPC 上的 OTLP,这也是推荐路径,地址为 api.lmnr.ai:8443。其评测文档描述了在本地或 CI 中运行的 evaluate()、 在隔离的环境副本中运行你的 Agent 并对结果和轨迹打分的 Agent 评测、由生产 trace 构建的数据集,以及一个 Debugger: 它会记录一次运行,从缓存重放到被测试的位置,并用评测验证修复。劣势。项目较新,社区规模比 Langfuse 或 Phoenix 小,免费档仅保留 7 天。最适合:调试长时间运行或由浏览器驱动的 Agent 的团队。需要插桩的框架请参阅我们的 Agent 框架汇总。

Promptfoo

Promptfoo 与其他工具不同:它是用于运行评测和红队测试的 CLI 与库,并且完全在本地运行。文档称评测在你的机器上运行,直接与模型提供商通信。 仓库为 MIT 许可。

Promptfoo 首页,显示红队测试报告预览以及红队测试、模型安全、评测、护栏和 MCP 标签页
Promptfoo 首页截图,显示红队测试报告视图。 来源

价格(截至 2026 年 11 月 11 日):Community 永久免费,包含全部评测功能、全部提供商、自托管或本地运行、漏洞扫描, 以及每月上限 10k 探测的红队测试。Enterprise 为定制价,增加团队共享、持续监控、SSO、API 访问和托管云。On-Premise 为定制价,增加在你自己的基础设施上部署和专用 runner。 2026 年 3 月 9 日,Promptfoo 表示已同意被 OpenAI 收购,交易需满足常规交割条件,并表示 Promptfoo 将继续开源。我们没有确认交割日期。

# promptfooconfig.yaml (pattern from the Promptfoo getting-started docs)
description: Automatic response evaluation using LLM rubric scoring
prompts:
  - file://prompts.txt
providers:
  - openai:gpt-6-sol
defaultTest:
  assert:
    - type: llm-rubric
      value: Do not mention that you are an AI or chat assistant
tests:
  - vars:
      name: Bob
      question: Can you help me find a specific product on your website?

用 npx promptfoo@latest eval 运行,用 npx promptfoo@latest view 查看结果;结果也可以输出为 JSON、YAML、HTML 或电子表格。 对于 CI,文档给出了一个 GitHub Actions 工作流,运行评测并在失败数大于零时让任务失败:

name: LLM Eval
on:
  pull_request:
    paths: ['prompts/**', 'promptfooconfig.yaml']
jobs:
  evaluate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with: { node-version: '24' }
      - run: npx promptfoo@latest eval -c promptfooconfig.yaml -o results.json
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
      - run: |
          FAILURES=$(jq '.results.stats.failures' results.json)
          if [ "$FAILURES" -gt 0 ]; then exit 1; fi

劣势。它不是追踪后端,所以生产可见性仍需要上面的某个工具。最适合:在 CI 中对 Agent 和 RAG 应用做提示词回归测试与安全测试。 它与会修改提示词的编码 Agent 搭配效果很好,请看我们的 最佳 AI 编码 Agent 指南(英文)。

OpenTelemetry 支持对比

OpenTelemetry(OTel)是让插桩保持可移植的实用方式。这份名单中的大多数工具现在都接受 OTLP,但传输方式、认证和属性约定各不相同, 这些细节决定了 trace 能否干净地显示出来。Langfuse 和 Opik 只接受 HTTP。Laminar 推荐 gRPC。LangSmith 会把 langsmith.* 和 gen_ai.* 属性映射到它的 run 字段, 而 Langfuse 让自己的 langfuse.* 属性优先于通用的 GenAI 约定。

工具文档所述(截至 2026 年 11 月 11 日)
LangSmithOTLP/HTTP,路径 /otel;使用 x-api-key 请求头;langsmith[otel] SDK 开关;也可导出到其他后端
LangfuseOTLP/HTTP,路径 /api/public/otel(JSON 或 protobuf);不支持 gRPC;Basic 认证;需发送 x-langfuse-ingestion-version: 4
BraintrustOTLP/HTTP,api.braintrust.dev/otel;Bearer 密钥加 x-bt-parent;提供 EU 和 BYOC 数据平面
Arize Phoenix基于 OpenTelemetry,使用 OpenInference 插桩;接受 OTLP traces
W&B WeaveOTLP protobuf,trace.wandb.ai/otel/v1/traces;wandb-api-key 请求头;专属和自管主机
Helicone代理或 AI Gateway 集成;快速入门页面未提及 OpenTelemetry
DatadogDatadog SDK 支持 Python、Node.js、Java;自定义技术栈可用 OpenTelemetry 或 HTTP API
Galileo / Splunk在我抓取的页面中没有文档说明;请查阅 Splunk 文档
Opik仅支持 OTLP/HTTP;gRPC exporter 会报错;需设置 opik.project_name 资源属性
LaminarOTLP over gRPC(推荐),api.lmnr.ai:8443,自托管端口 8001
Promptfoo不是追踪后端;评测在本地运行

LangSmith 和 Langfuse 文档中有一个值得借鉴的做法:通过 OpenTelemetry Collector 做扇出,让同一个应用在迁移期间把相同的 span 发送到两个后端。 在 collector 中过滤 span 时要保留根 span;Langfuse 和 Opik 都警告说,没有根 span 的 trace 会损坏或消失。

评测功能对比

“评测”涵盖四项工作:给线上 trace 打分、发布前在数据集上运行、收集人工标签,以及 CI 门禁。下表记录了各厂商文档页所述内容; “未涉及”表示我抓取的页面没有提到,并不表示该功能不存在。

工具LLM-as-judge / 在线评测数据集CI人工及其他
LangSmith支持,离线与在线来自 trace、合成数据、人工整理的数据集我抓取的评测页面未涉及人工审核、代码规则、成对比较
Langfuse支持,作用于线上 trace可复用的数据集与实验langfuse/experiment-action 在分数低于阈值时让 PR 失败标注队列、代码评估器
Braintrust支持,在线打分异步运行带预期输出的数据集文档位于 Run in CI/CD人工审核分数、autoevals
Phoenix支持,并可导入 Ragas、DeepEval数据集与实验通过 SDK 实验人工标注、代码检查
Weave支持(scorers、本地小模型评分器)抓取页面未涉及抓取页面未涉及毒性、偏见、PII 的本地评分器
Helicone抓取页面未涉及未涉及未涉及会话与日志
Datadog支持,内置与自定义来自生产 trace 的数据集、实验抓取页面未涉及人工审核与标注
Galileo / SplunkLuna-2 小模型用于常开评测(Splunk 表述)抓取页面未涉及未涉及实时护栏
Opik带自然语言断言的 Test Suites数据集与 30+ 指标抓取页面未涉及 pytest标注队列
Laminar支持,通过 evaluate()来自生产 trace 的数据集本地或 CIAgent 轨迹评分
Promptfoollm-rubric 断言YAML 测试用例GitHub Action、质量门禁红队测试

如果你的 Agent 还有长期记忆,请单独评估召回质量; Agent 记忆工具汇总 介绍了相关选项。关于云厂商把评测作为平台功能推出的例子,请看我们的 Gemini Enterprise Agent 评测指南(英文)。

基准与独立数据

目前没有中立的公开基准可以给这些平台排名。追踪开销、摄取延迟和评测准确率取决于你的 SDK、采样、负载大小和 judge 模型,而厂商并不公布可比的数字。 我们没有运行自己的基准,也不发布任何性能分数。我们能核实的是文档记载的行为,例如 Langfuse 提到没有 ingestion-version 请求头时,直接发送的 OTel 数据最多会延迟十分钟, 以及 LangSmith 提到摄取是异步的。GitHub 活跃度在 2026 年 11 月 12 日给出了一个粗略的维护信号:Langfuse 约 37.3k 星,Opik 约 23.4k,Promptfoo 约 27.1k, Phoenix 约 12.3k,Helicone 约 6.3k,Laminar 约 3.5k,Weave 约 1.1k。星标衡量的是关注度而非质量,请仅作背景参考。

如何选择

如果你……推荐说明
你用 LangChain 或 LangGraph 并希望零摩擦LangSmith原生追踪和 Studio;按席位计价,注意席位数量。
需要自托管但不想签企业合同Langfuse、Phoenix、Opik 或 Laminar四者都提供免费的自托管路径。
评测决定发布门禁Braintrust 或 Promptfoo评分器、数据集和 CI 是主要工作流。
你已经在用 Datadog 或 SplunkDatadog LLM Observability 或 Splunk Agent Observability同一厂商,共享告警和 APM 上下文。
Agent 运行数分钟并在中途失败Laminar 或 LangSmith重放和 Studio 有助于调试长轨迹。
想要最便宜的托管档Opik Pro $19、Arize AX Pro $50对比 span 额度,而不只是价格。
想避开处于变动中的厂商OTLP 加 Phoenix、Langfuse 或 OpikOpenTelemetry 让你的插桩可移植。
只需要提示词回归测试Promptfoo一个 YAML 文件加一个 CI 任务,无需运行后端。

合理的落地分三步。第一步,在一个服务上用 OTel 或工具自带的 SDK 做插桩,确认完整的 trace(包括工具调用)能显示出来。第二步, 把 20 到 50 个真实的生产失败案例做成数据集,写两到三个评估器,其中至少一个是确定性的。第三步,加入 CI 门禁和带采样的在线 judge, 并在信任 judge 分数之前先对照人工标签检查。如果你还自托管网关做路由, OmniRoute 配置指南(英文) 和 Vercel AI Gateway 指南(英文) 展示了日志应挂在哪里。Agent 本身的托管请看 最佳 AI Agent 托管平台。

评估方法

我们在 2026 年 11 月 11 日抓取了各厂商的定价页、文档和仓库,每个价格、限额和许可证都使用第一方来源。当页面没有说明某项内容时, 我们明确写出这一点,而不是自行填补空白。收购相关事实在能抓取到的情况下来自公司自己的文章,否则来自媒体报道,并已相应标注。 本排名没有付费推广、联盟链接或赞助。价格经常变动,承诺之前请到厂商页面确认。

常见问题

2026 年最好的 LLM 可观测性工具是什么?

没有唯一的赢家。对大多数团队来说,Langfuse 是最稳妥的默认选择:核心为 MIT 许可,可免费自托管,覆盖追踪、数据集、LLM-as-judge 和 CI。如果你基于 LangChain 或 LangGraph 开发,LangSmith 最合适。Braintrust 适合评测优先的团队。Phoenix、Opik 和 Laminar 是不错的开源替代品;如果你已经在用 Datadog 或 Splunk,则可以沿用它们。

Langfuse 和 LangSmith 该选哪个?

如果你的技术栈是 LangChain 或 LangGraph 并想要最紧密的集成,选 LangSmith;Plus 每席位每月 $39,自托管仅限 Enterprise(截至 2026 年 11 月 11 日)。如果你想要开源、免费自托管、付费云计划不限用户数以及按用量计价,选 Langfuse:Core 每月 $29,Pro 每月 $199。

哪些工具是开源且可免费自托管的?

Langfuse(MIT 核心)、Arize Phoenix(Elastic License 2.0,免费且无功能限制)、Opik(Apache-2.0)、Laminar(Apache-2.0)和 Promptfoo(MIT)都提供免费的自托管或本地路径。Weave 的 SDK 是 Apache-2.0,但其托管后端是 W&B 与 CoreWeave 的产品。LangSmith 和 Braintrust 把自托管列在 Enterprise 下。

这些工具支持 OpenTelemetry 吗?

大多数支持。LangSmith、Langfuse、Braintrust、Weave、Opik 和 Laminar 都有文档化的 OTLP 接入端点,Phoenix 则基于 OpenTelemetry 并使用 OpenInference。注意传输细节:Langfuse 和 Opik 接受 HTTP 上的 OTLP 而非 gRPC,Laminar 则推荐 gRPC。Helicone 使用代理式集成,其快速入门页面未提及 OpenTelemetry。

2026 年 Helicone、Galileo 和 Promptfoo 发生了什么?

Helicone 在 2026 年 3 月宣布被 Mintlify 收购并表示将以维护模式运行,其定价页面现在写着它属于 Experiential Labs。Cisco 已完成对 Galileo 的收购,Galileo 现为 Splunk Agent Observability。OpenAI 在 2026 年 3 月 9 日宣布同意收购 Promptfoo,后者表示将继续开源。Langfuse 在 2026 年 1 月 16 日加入 ClickHouse,并表示许可证和自托管不变。

小团队使用 LLM 可观测性要花多少钱?

你可以从 $0 起步:Langfuse Hobby、LangSmith Developer、Braintrust Starter、Arize AX Free、Opik Free Cloud、Laminar Free 或 Datadog 的免费档。截至 2026 年 11 月 11 日,最便宜的付费入口是每月 $19 的 Opik Pro 和每月 $29 的 Langfuse Core。要留意各家的计量单位不同:trace、span、GB 数据、分数或请求。

已经有追踪了,还需要单独的评测工具吗?

通常不需要。Langfuse、LangSmith、Braintrust、Phoenix、Datadog、Opik 和 Laminar 都把追踪与数据集、评估器结合在一起。Promptfoo 是例外,它没有追踪后端,只做评测和红队测试,适合与其他任一工具搭配,作为 CI 门禁。

可以避免厂商锁定吗?

尽可能用 OpenTelemetry 以及 gen_ai 或 OpenInference 约定做插桩,并保持数据集可导出。由于 2026 年有多款工具换了东家,可移植的插桩是务实的对冲手段。这是我们的推断,不是厂商的保证。

LLM-as-judge 可靠到可以用于生产门禁吗?

它有用,但存在偏差和噪声。包括 Langfuse 在内的厂商提供分数分析,用来衡量人工与 AI 标注之间的一致性,这是正确的做法。把任何 judge 用作发布门禁前,先用人工标注的样本校准,并与确定性的代码检查结合使用。

来源

除特别注明外,均抓取于 2026 年 11 月 11 日。