对比

2026 年最佳 LLM API 网关与路由器

十一款网关与路由器位于你的代码与模型提供商之间。本文对比它们的收费、故障转移方式、谁能自托管, 以及哪一款适合 Claude Code、OpenAI SDK 或全公司推广。价格与事实均截至 2026 年 11 月 11 日。

本文对比的工具标志:OpenRouter、Vercel AI Gateway、Cloudflare AI Gateway、Portkey、LiteLLM、Helicone、Kong、TrueFoundry、Requesty
一个端点对接众多提供商:密钥、预算与故障转移都放在网关里。

Get the latest on AI, LLMs & developer tools

New MCP servers, model updates, and guides like this one — delivered weekly.

LLM 网关的作用,以及谁适合什么场景

只要你调用不止一家模型提供商,迟早会想要一个基础 URL、一张账单、一套密钥,以及扛住提供商故障的办法。 这就是 LLM 网关或路由器的工作。 要托管目录,先看 OpenRouter;在 Vercel 上用 Vercel AI Gateway;在 Cloudflare 上用 Cloudflare AI Gateway;要自托管用 LiteLLM;要企业治理,看 Portkey、Kong 或 TrueFoundry。

今年市场也有变动。OpenRouter 同意并入 Stripe,Palo Alto Networks 宣布将收购 Portkey,Mintlify 收购了 Helicone,LiteLLM 则发生了供应链事件。网关位于每条提示词和每个凭据的必经之路上,所以所有权与安全历史 和价格表同样重要。下文所有内容均在 2026 年 11 月 11 日对照厂商页面核对,厂商自报数字都已标明。

社区视频(AgenticEngineering 频道),对比本地网关、托管路由和开源代理。这是第三方讲解,不是厂商演示。

Anthropic 自己的 Claude Code 文档描述了网关应提供什么:提供商密钥留在服务端、按开发者统计用量、 在一处管理预算与速率限制、审计日志,以及无需改动开发者机器即可切换提供商。它还给出一个值得重复的警告: Anthropic 不背书、不维护、也不审计第三方网关,并且不支持通过任何网关把 Claude Code 路由到非 Claude 模型。 Claude Code 还在 claude 二进制中自带一个自托管的「Claude apps gateway」,供只需要 Claude 模型的组织使用。

快速推荐

类别推荐原因
综合最佳托管路由OpenRouter公开目录最大,推理无加价,故障转移的失败尝试不计费。现已并入 Stripe。
Vercel 团队首选Vercel AI Gateway无加价、无平台费,Claude Code 一条命令配置,可按团队、项目、密钥或成员设预算。
最佳免费可观测层Cloudflare AI Gateway分析、缓存和限流在所有套餐免费;Unified Billing 对充值收 5% 手续费。
最佳开源自托管LiteLLM开源代理,带虚拟密钥、预算、故障转移,以及厂商自测的 3,000 RPS 基准。2026 年 3 月事件后请固定版本。
最佳企业治理Portkey 或 Kong AI GatewayPortkey 正并入 Palo Alto Networks 的 Prisma AIRS;Kong 在其 API 网关之上提供 AI 治理。
最佳预算 / 免费编程方案OmniRoute 或 9routerMIT 许可的本地网关,串联免费与订阅额度。连接任何提供商前请阅读其条款。

总对比表(截至 2026 年 11 月 11 日)

各厂商的模型数量不可直接比较:有的数提供商,有的数模型变体,有的只数公开 API 列出的。凡能在 11 月 12 日 查询公开 models 端点的,我都在厂商宣称旁列出该数字。费用取自厂商自己定价页上的主要费用。

网关费用 / 定价模型数量自托管BYOK亮点
OpenRouterFree:无手续费,每天 50 次请求。Standard 充值手续费 5.5%(最低 $0.80)。Business 8%。Enterprise 定制。定价页称 600+ 模型、80+ 提供商;11 月 12 日公开 models API 返回 468 个否(托管)是:每月 $25,000 标价推理免 OpenRouter 手续费,超出后 5%模型与提供商故障转移,失败尝试不计费,:nitro / :floor 变体
Vercel AI Gateway无加价、无平台费。每月 $5 免费额度;付费层 = 购买的额度。11 月 12 日公开 models API 返回 507 个模型否(托管)是,付费层,无加价按团队、项目、密钥或成员设预算;Claude Code CLI 配置;虚拟模型
Cloudflare AI Gateway核心功能免费。Unified Billing:充值 5% 手续费,推理无加价。文档中有提供商目录;定价页未公布数量否(托管)是(存储提供商密钥)免费缓存、限流、分析;动态路由;DLP;经 Workers AI 提供护栏
Portkey开源免费。Developer 免费(每月 1 万条日志)。Production $49/月。Enterprise 定制。250+ LLM(网关 README);1,600+ 模型(README 正文)是(开源网关)是(Model Catalog 中的提供商 slug)用 Config 配置故障转移、负载均衡、语义缓存、护栏
LiteLLM开源代理免费。SSO 与商业功能需企业许可证。100+ 提供商是是(自己持有提供商密钥)虚拟密钥、预算、Router 故障转移,1k RPS 下 8ms P95(厂商自报)
HeliconeHobby 免费(1 万请求)。Pro $79/月。Team $799/月。网关额度 0% 加价。100+ 提供商是(开源)是以可观测性为先的网关;所有权刚发生变化,处于维护式状态
Kong AI GatewayPlus 每月 $25 起加用量;每多 100 万请求 $200;Enterprise 定制。文档列有提供商;Plus 含 5 个模型,超出每个 $100是(可自托管)是语义缓存、提示防护、限流、MCP 与 A2A 流量
TrueFoundryDeveloper $0(3 用户)。Pro $25/用户/月。Enterprise 定制。1000+ LLM(文档)是(Enterprise 支持 VPC、本地部署)是虚拟模型、预算、MCP 网关、护栏
RequestyFree(免费模型每天 200 次请求)。按量付费:5% 加价。600+ 模型,30+ 提供商否(托管)是故障转移与负载均衡策略、延迟路由、欧盟数据驻留
OmniRoute免费,MIT。你自备提供商账号。375 个提供商,1,400+ 模型(README)是(本地、Docker)是带配额感知故障转移的 Combo,RTK + Caveman 压缩
9router免费,MIT。40+ 提供商(README)是(本地 npm)是自动故障转移、RTK 省 token、免费提供商预设

现在谁拥有谁

这十一款产品中有三款在 2026 年易主或宣布了交易。它们都没有停止服务,但每一项都改变了风险画像。

  • OpenRouter 于 2026 年 8 月 19 日宣布并入 Stripe,承诺「同样的使命、同样的名字、同样的产品、 同样的路线图」,并称其每天处理 10 万亿以上 token,来自 400+ 模型,服务 1,000 万开发者与公司。11 月 10 日, 其账号发文称已正式成为 Stripe 的一部分(见下方嵌入)。我查阅的来源中未披露交易条款。
  • Portkey:Palo Alto Networks 于 2026 年 5 月宣布有意收购 Portkey,并让其成为 Prisma AIRS 的 AI Gateway,预计在其 2026 财年第四季度完成。Portkey 首页现在写着「Portkey is now PRISMA AIRS AI Gateway, 面向所有企业正式发布」。有媒体报道交易已完成,但我无法从一手来源确认。
  • Helicone:Mintlify 于 2026 年 3 月 3 日宣布收购。Helicone 当前定价页的横幅称其现属于 Experiential Labs,「细节稍后公布」。我找不到解释第二次变动的一手来源,因此长期路线图视为未知。

OpenRouter is officially part of @stripe today! More than 10 million developers and companies use OpenRouter, and as they build with more models across more workloads, they need control over what it costs and where their data goes.

— @OpenRouter 2026 年 11 月 10 日

OpenRouter

它是什么。托管的模型市场与网关:一个 OpenAI 兼容 API(/chat/completions 和 /responses)对接数百个模型。定价页称付费套餐有来自 80+ 提供商的 600+ 模型,Free 套餐有来自 4 个免费提供商的 25+ 免费模型。11 月 12 日公开 models API 返回 468 项,所以宣传数字与实际列出的数字会有差距。

定价。OpenRouter 称所有套餐都不对推理加价。费用在你购买额度时收取:Standard 5.5%(按 FAQ 最低 $0.80),Business 8%,加密货币 5%,Enterprise 可协商折扣。Free 套餐无手续费,但限制每天 50 次请求, 且不支持 BYOK。使用 BYOK 时,Standard 和 Business 每月包含 $25,000 标价推理且无 OpenRouter 手续费,超出部分 5%。失败或故障转移的尝试不计费,所以你只为最终给出答案的那次付费。

优势。目录最广;路由变体(:nitro 优先吞吐、:floor 优先价格、:exacto、:free)、openrouter/auto、提供商故障转移;Standard 及以上有 支出控制和提示词缓存;工作区(Free 与 Standard 5 个,Business 1,000 个)。欧盟与美国区域内路由从 Business 起。劣势。不能自托管;充值手续费随用量增加;其自家文档对 Claude Code 有警告:只保证配合 Anthropic 第一方提供商可用,所以应把该提供商设为最高优先级。最适合想要最大目录且不想管服务器的个人和团队。

# OpenRouter docs: Claude Code
export ANTHROPIC_BASE_URL="https://openrouter.ai/api"
export ANTHROPIC_AUTH_TOKEN="$OPENROUTER_API_KEY"
export ANTHROPIC_API_KEY=""   # must be explicitly empty
export CLAUDE_CODE_ENABLE_GATEWAY_MODEL_DISCOVERY=1  # optional model picker

Vercel AI Gateway

它是什么。内置于 Vercel 团队的网关,可从 AI SDK 或任何兼容 OpenAI、Anthropic 或 Responses 的客户端使用。 11 月 12 日其公开 models API 列出 507 个模型。Vercel 定价页称对 token 不加价、不收平台费:你用购买的额度按提供商标价付费。

定价。每个团队都有免费层,每月 $5 额度,可用部分模型,速率限制更低;免费层无 BYOK。购买额度后进入付费层, 可用全部模型、自定义限额和 BYOK,依然零加价。附加项需额外付费:Custom Reporting 每 1,000 次标签写入 $0.075、每 1,000 次查询 $5; 团队级提供商白名单在 Pro 和 Enterprise 上每 1,000 个计费请求 $0.10;团队级 Zero Data Retention 与 Trace Drains 另行定价。 Enterprise 团队可以按发票付款,批量折扣定制。

优势。可按团队、项目、API 密钥或成员设预算;模型故障转移、提供商超时、缓存、路由规则和虚拟模型(2026 年 10 月 28 日发布); 对众多编程 Agent 一条命令即可配置。劣势。预算不含 BYOK 支出,所以还需要提供商侧限额;BYOK 请求失败时, 网关会用自己的凭据重试,并把该次回退计入你的额度;与 Vercel 平台绑定。最适合Vercel 用户以及想要清晰零加价计费的团队。 Claude Code 的完整流程见我们的 Vercel AI Gateway 编程 Agent 指南(英文)。

# Vercel docs: one-command setup
npx vercel@latest ai-gateway setup --agent claude-code

# or manually
export ANTHROPIC_BASE_URL="https://ai-gateway.vercel.sh/claude-code"
export ANTHROPIC_AUTH_TOKEN="your-ai-gateway-api-key"
export ANTHROPIC_API_KEY=""

Introducing virtual models on AI Gateway. Use a single virtual model ID across agents to centrally manage model strings and configs, immediately update to new models, and enforce Zero Data Retention.

— @vercel 2026 年 10 月 28 日

Cloudflare AI Gateway

它是什么。Cloudflare 网络上的代理层。其定价页(2026 年 11 月 2 日更新)称 AI Gateway 适用于所有套餐, 核心功能,即仪表盘分析、缓存和限流,是免费的。它支持模型别名、动态路由、重试与故障转移、DLP 扫描(免费)和 Guardrails(按 Workers AI 推理计费,使用 Llama Guard 3 8B)。

定价细节。Unified Billing 让你充值后用一个钱包调用第三方模型:充值收 5% 手续费($100 买到的额度收 $105), 仅限信用卡,推理按提供商价格透传。日志存储在 2026 年 9 月 24 日发生变化:首个网关创建于该日期或之后的账户使用 Workers Logs 定价, 更早的账户沿用 Legacy Logs(Workers Free 合计 100,000 条,Workers Paid 每个网关 10,000,000 条)。Logpush 导出另计费。 Cloudflare 在 2026 年 6 月加入了与 Cloudflare Access 身份预算结合的实时支出限制(其文档标注为 beta)。

优势。免费缓存与限流,与 Cloudflare 深度集成,可存储提供商密钥(BYOK),为 Claude Code 提供 Anthropic、Bedrock 和 Vertex 端点。劣势。不能自托管;OpenAI 兼容的 chat-completions 端点对单模型调用已标记为弃用,推荐改用 REST API (/ai/v1/chat/completions、/ai/v1/messages);定价页没有公开模型数量。最适合已在 Cloudflare 上、想在任意提供商前加免费可观测性与缓存的团队。

# Cloudflare docs: Claude Code through an authenticated gateway
export ANTHROPIC_BASE_URL="https://gateway.ai.cloudflare.com/v1/<ACCOUNT_ID>/<GATEWAY_ID>/anthropic"
export ANTHROPIC_API_KEY="<CF_AIG_TOKEN>"
export ANTHROPIC_CUSTOM_HEADERS="cf-aig-authorization: Bearer <CF_AIG_TOKEN>"

AI Gateway now features real-time spend limits to prevent runaway token bills across multiple AI providers. By integrating with Cloudflare Access, companies can use identity-driven budgets and policies.

— @Cloudflare 2026 年 6 月 5 日

Portkey

它是什么。AI 网关加可观测性、护栏与提示词管理。开源网关(其定价页称约 10.2K GitHub 星标)可自托管; README 宣称可路由到 250+ LLM,并有一个 Gateway 2.0 预发布版,把其企业网关合并进开源。

定价。Developer 永久免费,每月 1 万条记录日志、日志保留 3 天、最多 3 个提示词模板,Portkey 称其不适合生产。 Production 为每月 $49,含 10 万条日志,每多 10 万条 $9(最高 300 万请求)、30 天日志、简单与语义缓存、护栏和 RBAC。 Enterprise 定制(SSO、VPC 托管、合规文件)。故障转移、负载均衡、重试和超时在所有套餐中列为可用。

优势。用 Config 驱动的故障转移、负载均衡与缓存,带预算的虚拟密钥,丰富的日志与追踪。劣势。Palo Alto Networks 的交易让产品方向偏向企业安全,且定价页页脚仍是 2025 年,请向销售确认当前套餐。最适合想要网关加可观测性一体、且能容忍厂商变动的团队。

Portkey 示意图:左侧应用无故障转移直接调用一个 AI 提供商,右侧应用调用网关,失败时由网关重试第二个提供商
故障转移行为示意,取自 Portkey 故障转移文档。

LiteLLM

它是什么。开源 Python SDK 与代理服务器(「AI Gateway」),以 OpenAI 格式调用 100+ 提供商。 README 列出虚拟密钥、支出跟踪、护栏、负载均衡和管理仪表盘,以及 /chat/completions、/responses、/embeddings、/messages 和 /a2a 等端点。属于 LiteLLM Commercial License 的功能 (SSO、专业支持、定制 SLA)需要企业许可证;核心代理免费。

性能(厂商自报)。README 宣称 1k RPS 下 P95 延迟 8 ms。文档基准页报告了 3,000 RPS, 在 33 个 pod、使用模拟模型、PostgreSQL 和 Redis 的条件下,网关延迟 p50 30.6 ms、p95 54.0 ms、p99 91.6 ms。 这些是 LiteLLM 在自家测试环境中的自测数字,不包含真实提供商延迟。

安全历史。2026 年 3 月 24 日,PyPI 上的 litellm 1.82.7 和 1.82.8 被入侵,在 PyPI 隔离前上线约 40 分钟。 LiteLLM 称入侵很可能源自其 CI/CD 扫描流程中的 Trivy 依赖,使用官方 Proxy Docker 镜像的客户未受影响, 并于 3 月 30 日通过新的 CI/CD 流水线发布了 v1.83.0。它推荐使用 -stable Docker 标签。 请固定版本,并按事件页面核对校验和。

优势。完全可控,支持任何提供商,带预算的虚拟密钥(需要 Postgres),三类 Router 故障转移(通用、上下文窗口、内容策略)。劣势。你要自己运维:数据库、Redis、升级、补丁。提供商原生功能有时落后于提供商自己的 API。最适合想在自己掌控下自托管网关的平台团队。

# LiteLLM docs: unified endpoint (proxy on port 4000)
export ANTHROPIC_BASE_URL="http://0.0.0.0:4000"
export ANTHROPIC_AUTH_TOKEN="$LITELLM_KEY"   # master key or a virtual key
# LiteLLM docs: config.yaml with a fallback
model_list:
  - model_name: primary-model
    litellm_params:
      model: azure/<your-deployment-name>
      api_base: <your-azure-endpoint>
      api_key: <your-azure-api-key>
      rpm: 6
  - model_name: backup-model
    litellm_params:
      model: azure/gpt-4-ca
      api_base: https://my-endpoint-canada-berri992.openai.azure.com/
      api_key: <your-azure-api-key>
      rpm: 6

router_settings:
  fallbacks: [{"primary-model": ["backup-model"]}]

# then: litellm --config /path/to/config.yaml

Helicone

它是什么。开源 LLM 可观测性平台,带位于 https://ai-gateway.helicone.ai 的 AI 网关, 宣传为 100+ 提供商的统一 OpenAI 兼容 API,额度 0% 加价,带自动故障转移、缓存和自定义速率限制。

定价(定价页,截至 2026 年 11 月 11 日)。Hobby 免费,含 10,000 次请求、1 GB 存储、7 天保留。 Pro 每月 $79(无限席位、告警、HQL 查询语言,另加按用量计费)。Team 每月 $799(5 个组织、SOC 2 与 HIPAA)。 Enterprise 增加 SAML SSO 和本地部署。有创业公司(第一年 5 折)、学生和开源公司折扣。

注意事项。Helicone 自家文档在与 OpenRouter 对比时把后者的费用称为 5.5% 加价;而 OpenRouter 自己说明该费用是在购买额度时收取, 不是按请求收取。再加上 Mintlify 收购和新的「Experiential Labs」横幅,在没有确认其路线图之前,我不会开始新的长期依赖。最适合已用它做日志的团队。如果主要关注日志与评测,见我们的 LLM 可观测性综述。

Kong AI Gateway

它是什么。Kong 在其 API 网关之上的 AI 层:AI Proxy 插件接受 OpenAI 格式请求,并转换为所配置提供商的格式, 支持聊天、嵌入、批处理、文件、音频、图像和视频。Kong 把它定位为 LLM、MCP 和 A2A 流量的统一网关。

定价。Kong 定价页列出 AI Management Plus 每月 $25 起加用量,有 30 天免费试用。Serverless AI 网关控制平面每个每月 $25(最多 5 个), 混合控制平面每月 $200,Dedicated Cloud Gateways 每个控制平面每月 $500 加每 GB $0.15 带宽,每月包含 100 万请求,每多 100 万收 $200。 Plus 层限制 5 个被代理的不同 LLM,额外模型每个每月 $100。Enterprise 定制。语义缓存、语义提示防护、提示压缩与高级限流属于企业层或附加插件。

优势。成熟的 API 管理基础设施、可自托管的数据平面、策略插件。劣势。定价面向平台团队而非个人开发者; 按模型数量计价不常见。最适合已经在跑 Kong、想把 AI 流量纳入同一套治理的组织。

TrueFoundry

它是什么。一个 AI 平台,其 AI Gateway 在 OpenAI 兼容 schema 之后代理 LLM 和 MCP 服务器。其文档声称可访问 1000+ LLM, 支持按权重、延迟或优先级的负载均衡、语义缓存、批处理 API、访问控制与 API 密钥。

定价。Developer 为 $0,最多 3 个用户,每用户每月 1 万次请求和工具调用,日志保留 7 天。Pro 为每用户每月 $25, 每用户 2 万次请求,内置护栏、预算限制、SSO 和 30 天保留,另外每多 10 万次请求 $20。Enterprise 增加 VPC、本地部署、数据驻留和自定义保留。优势。每席位价格低却有治理功能,有虚拟模型和 MCP 网关。劣势。比简单路由器更宽的平台,需要接入的东西更多; 按用户配额对服务流量可能不太合适。最适合想要预算、护栏和 MCP 治理而不想自己搭建的团队。

TrueFoundry AI Gateway 架构图:左侧是用户界面,中间是网关,右侧是模型提供商和 MCP 服务器
架构图取自 TrueFoundry AI Gateway 文档:一个网关对接模型提供商和 MCP 服务器。

Requesty

它是什么。托管路由器,一个 OpenAI 兼容端点,600+ 模型、30+ 提供商。定价。定价页称:无按席位收费、无最低消费, 你为应用的花费另加 5%;每百万 token $10 的模型通过它是 $10.50。Free 套餐可使用免费模型,每天 200 次请求;路由、缓存、故障转移以及欧盟数据驻留包含在所有套餐中。 Enterprise 按需提供 SSO、RBAC、审计日志和定制 SLA。

优势。故障转移、负载均衡和基于延迟的路由策略,按密钥的支出限制,BYOK,MCP 网关,以及能为你写好 Claude Code 设置的 CLI。劣势。对所有模型花费一律收 5%,在用量大时是托管方案中最高的持续成本;生态比 OpenRouter 小。最适合想在托管产品中使用欧盟数据驻留与路由策略的团队。

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://router.requesty.ai",
    "ANTHROPIC_AUTH_TOKEN": "your_requesty_api_key"
  }
}

OmniRoute 与 9router

这两个是面向编程 Agent 的开源 MIT 本地网关。它们与上文的托管及企业产品是不同类别:你在自己的机器或 VPS 上运行, 自备提供商账号,主要卖点是把免费额度和订阅额度拉长到多个工具上使用。

OmniRoute 自称是免费的 MIT AI 网关,一个端点、375 个提供商(150+ 免费)、1,400+ 模型,带配额感知自动故障转移、MCP 与 A2A 支持, 以及 RTK 加 Caveman 压缩,称可节省 15% 到 95% 的 token(厂商自报,未经独立测量)。安装命令为 npm install -g omniroute, 本地端点为 http://localhost:20128/v1。「Combo」是一条模型链,当额度耗尽或提供商失败时它会依次切换。我们的 OmniRoute 配置指南(英文)详细介绍了安装与 Combo。

9router 主打通过 40+ 提供商实现「无限免费 AI 编程」,带自动故障转移和 RTK 省 token 功能,声称可减少 20% 到 40% 的 token(厂商自报)。 安装命令为 npm install -g 9router,仪表盘在 http://localhost:20128 打开。见 9router 省 token 指南。

注意事项。两个项目都是迭代很快的社区软件,依赖树庞大,本地仪表盘保存着提供商凭据。通过路由器使用免费或消费级订阅额度 可能与提供商条款冲突,连接账号前请先阅读条款,也不要把它们放在生产流量前面。就我抓取的页面而言,OmniRoute 约有 86.7k GitHub 星标, 9router 约 32.3k;星标代表关注度,不代表安全。最适合预算有限的业余与原型编程,以及想要本地故障转移链的人。

让 Claude Code 指向网关

Claude Code 文档说:把 ANTHROPIC_BASE_URL 设为网关地址;当网关使用 bearer token 时用 ANTHROPIC_AUTH_TOKEN(若网关期望 x-api-key,则用 ANTHROPIC_API_KEY)。 只设置基础 URL 并不会替换已保存的 claude.ai 订阅登录,所以用量限制和计费仍按订阅走;设置了网关凭据变量或 apiKeyHelper 后,流量改用网关凭据发送,按 token 向转发凭据的所有者计费。运行 /status 可以看到当前生效的基础 URL 和凭据来源, 并且不要把凭据放进会被提交的 .claude/settings.json。

上文各厂商的片段均复制自厂商文档。三点提醒:

  • 厂商要求时,把 ANTHROPIC_API_KEY 置空(OpenRouter 和 Vercel 都要求)。Claude Code 会先读取它。
  • 网关如果把流量继续转给 Anthropic,必须转发 Authorization 头以及 anthropic-beta 中的 OAuth 能力,这是 Claude Code 协议说明中的要求。
  • 路由到非 Claude 模型不在 Anthropic 支持范围内。如果你仍然这样做,请自行测试工具调用和 thinking 块。

如果你还在选 Agent 本身,我们的 最佳 AI 编程 Agent 综述(英文)和 Claude Code MCP 服务器清单(英文)覆盖了技术栈的另一半。

OpenAI SDK base_url 片段

这里几乎每个产品都暴露 OpenAI 兼容端点,所以迁移通常只要两行:改基础 URL,换 API 密钥。模型命名各不相同,这是第一天最常见的报错来源: Cloudflare 用 {provider}/{model},Portkey 用 @provider-slug/model,OpenRouter 用 author/model。

// Cloudflare (docs): OpenAI JS SDK against the compat endpoint
const client = new OpenAI({
  apiKey: "{cf_api_token}",
  baseURL: "https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/compat",
});
// model format: "{provider}/{model}"

// Helicone (docs)
const client = new OpenAI({
  baseURL: "https://ai-gateway.helicone.ai",
  apiKey: process.env.HELICONE_API_KEY,
});

# Portkey (docs)
from portkey_ai import PORTKEY_GATEWAY_URL
client = OpenAI(api_key="PORTKEY_API_KEY", base_url=PORTKEY_GATEWAY_URL)
# model="@openai/gpt-4o"  (provider slug from Model Catalog)

# LiteLLM proxy: point any OpenAI client at http://0.0.0.0:4000
# OpenRouter: base URL https://openrouter.ai/api/v1
# OmniRoute (README): POST http://localhost:20128/v1/chat/completions, model "auto"

故障转移配置对比

故障转移在功能列表上看起来相似,实际差别很大。OpenRouter 每个请求带一个 models 数组,并且不对失败尝试计费。 Portkey 把故障转移放在可复用的 Config 里,可按特定状态码触发。LiteLLM 把它放在 router_settings 中,区分一般错误、上下文窗口错误和内容策略错误; 当故障转移跨提供商时,它还会剥离无法解密的加密推理内容,因此备用模型在那一轮重新推理。Vercel 记录了模型故障转移和提供商超时, Requesty 与 TrueFoundry 提供按延迟、权重或优先级的策略路由。

// OpenRouter docs: models array, tried in order
body: JSON.stringify({
  models: ['~anthropic/claude-sonnet-latest', 'gryphe/mythomax-l2-13b'],
  input: 'What is the meaning of life?',
})  // POST https://openrouter.ai/api/v1/responses
// Portkey docs: fallback config (any non-2xx by default)
{
  "strategy": { "mode": "fallback", "on_status_codes": [429] },
  "targets": [
    { "provider": "@openai-prod" },
    { "provider": "@azure-prod" }
  ]
}

基准测试与独立数据

我没有找到中立、可复现、能在附加延迟、吞吐或故障转移时间上比较所有这些网关的基准。现有的都是厂商发布的:上文 LiteLLM 的 3,000 RPS 测试(厂商自报,模拟模型)、 Vercel 在 GA 发布中的「sub-20ms latency」说法(厂商自报),以及各种由竞争网关厂商撰写的对比文章。请把它们都当作方向性参考。 由于网关开销相对模型延迟很小,更好的测试是你自己做:把几千个有代表性的请求分别经过每个候选方案,对比有无网关时的 p50、p95 和错误率。

另一类较独立的数据是公开用量:Vercel 的 2026 年 10 月 AI Gateway Index 和 OpenRouter 的排行榜显示开发者实际在路由哪些模型, 但它们描述的是模型热度,不是网关质量。

如何选择

你需要候选备注
我想要一个密钥访问所有模型,且不想管服务器OpenRouter、Vercel AI Gateway、Requesty托管目录;比较充值手续费(5.5%、0%、5%)。
我的应用已经跑在 Vercel 上Vercel AI Gateway同一账单与控制台;零加价;按密钥预算。
我的流量已经经过 CloudflareCloudflare AI Gateway免费分析、缓存和限流;只有想要统一钱包时才加 Unified Billing。
数据必须留在我的网络内LiteLLM、Portkey 开源版、Kong、TrueFoundry、OmniRoute自托管;运行时间与补丁由你负责。
我需要按团队预算和审计日志LiteLLM(虚拟密钥)、Portkey、TrueFoundry Pro、Vercel检查预算是否排除 BYOK 支出(Vercel 排除)。
我已经在用 Kong 管 APIKong AI Gateway复用插件、认证与可观测性。
我主要需要日志与成本分析Helicone(先确认其状态)、Portkey、Cloudflare另见下方链接的可观测性综述。
我想为业余编程拉长免费额度OmniRoute、9router本地、非官方的免费额度路由。不适合生产。

几条经验法则。比较充值的总费用而不是标签:OpenRouter Standard 5.5%,Cloudflare Unified Billing 和 Requesty 5%,Vercel 和 Helicone 额度 0%。 检查预算是否包含 BYOK。检查日志与提示词的去向:OpenRouter 称默认不记录提示词,Vercel 和 Cloudflare 提供零数据保留与 DLP 选项, 自托管网关则把一切保存在你自己的数据库里。还要决定谁来给网关打补丁,因为它会持有你所有的提供商凭据。

如果你打算自己运行网关,还需要一个托管的地方。我们的 Agent 托管综述 以及模型侧的 推理提供商综述是自然的下一步阅读。

评估方法

我在 2026 年 11 月 11 日和 12 日抓取了每个厂商的定价页、文档,并在有用时查询公开 API,记录了带日期的价格、限制和模型数量。 我没有做压力测试,也没有接受任何厂商的付款、推荐链接或赞助:本排名没有付费位置。厂商把价格藏在销售后面时(Enterprise 层),我会如实说明。 所有权变动的表述,能抓到的来自公司自己的公告,抓不到的来自媒体报道。无法核实的说法都在正文中标出。价格变化频繁,购买前请在厂商页面核对。

常见问题

2026 年最好的 LLM API 网关是哪个?

取决于你跑在哪里。OpenRouter 是默认的托管路由,目录最大且推理无加价;Vercel AI Gateway 是 Vercel 应用的自然之选;Cloudflare AI Gateway 提供免费缓存与分析;LiteLLM 是使用最广的开源自托管代理。需要策略强制的企业可看 Portkey、Kong AI Gateway 或 TrueFoundry。2026 年价格与所有权都有变化,请以上方带日期的表格为准。

OpenRouter 会给模型价格加价吗?

截至 2026 年 11 月 11 日,根据 OpenRouter 定价页,按请求不加价。推理按提供商标价计费。OpenRouter 在你购买额度时收取手续费:Standard 5.5%(按其 FAQ 最低 $0.80),Business 8%,加密货币支付 5%。一些竞品把这笔费用称为加价,这样比较总成本是合理的,但不是 OpenRouter 自己的说法。

Vercel AI Gateway 免费吗?

有每月 $5 额度的免费层,只能用部分模型,速率限制更低。付费层通过购买额度按量付费,按提供商标价,无加价、无平台费。可选附加项如团队级提供商白名单(每 1,000 个计费请求 $0.10)和 Custom Reporting 需要额外付费。

网关和路由器有什么区别?

实际上这两个词常混用。路由器决定由哪个模型或提供商响应请求(OpenRouter、OmniRoute、9router)。网关则在调用外围加治理:密钥、预算、日志、缓存、护栏(Portkey、Kong、TrueFoundry、LiteLLM)。这里大多数产品两者兼有。

Claude Code 能通过网关使用吗?

可以。Claude Code 读取 ANTHROPIC_BASE_URL 和 ANTHROPIC_AUTH_TOKEN,Anthropic 为任何暴露受支持 API 格式的网关记录了配置方法。Anthropic 同时声明,不支持通过任何网关把 Claude Code 路由到非 Claude 模型,因此非 Claude 路由属于不受支持的领域。

2026 年 3 月供应链事件之后 LiteLLM 还安全吗?

LiteLLM 自己的事件报告称,PyPI 上的 1.82.7 和 1.82.8 版本是恶意的,于 2026 年 3 月 24 日上线约 40 分钟;官方 Proxy Docker 镜像未受影响;3 月 30 日通过新的 CI/CD 流水线发布了干净的 v1.83.0。如果你要用,请固定经审计的版本,优先使用 -stable Docker 标签,并轮换暴露给恶意版本的凭据。

哪个网关最便宜?

自托管的 LiteLLM、OmniRoute 和 9router 没有许可证费用,但要花你的时间和服务器。托管方案中,Vercel AI Gateway 和 Cloudflare(核心功能)不按 token 加价,OpenRouter 和 Cloudflare Unified Billing 收充值手续费,Requesty 对模型费用收 5%。无论哪种,账单的大头都是提供商标价。

Helicone 和 Portkey 发生了什么?

Mintlify 于 2026 年 3 月 3 日宣布收购 Helicone,Helicone 定价页现在写着它属于 Experiential Labs,细节稍后公布。Palo Alto Networks 于 2026 年 5 月宣布将收购 Portkey,Portkey 网站现称其为 Prisma AIRS AI Gateway。两者仍可使用,但在投入前请评估路线图风险。

来源

均抓取于 2026 年 11 月 11 至 12 日。