/README.md

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

English | 中文 | 日本語

Important

🚀 Gateway 2.0（预发布版）Portkey 的核心企业级网关将随 2.0 版本发布并入开源项目。你可以在此试用预发布分支 此处. 在我们的 A 轮融资公告. 中了解更多 Portkey 的未来规划

🆕 Portkey Models - 覆盖 40+ 提供商、2,300+ 模型的开源 LLM 定价。Explore →

AI Gateway

通过 1 个快速友好的 API 路由至 250+ 个 LLM

文档 | 企业版 | 托管网关 | 更新日志 | API 参考

AI Gateway 专为快速、可靠、安全地路由至 1600+ 语言、视觉、音频和图像模型而设计。这是一款轻量级、开源且企业就绪（enterprise-ready）的解决方案，可让你在 2 分钟内集成任意语言模型。

• 极速（延迟 <1ms），体积小巧（122kb）
• 久经考验，每天处理超过 100 亿 token
• 企业就绪，具备增强的安全性、可扩展性和自定义部署能力

AI Gateway 能做什么？

• 在 2 分钟内集成任意 LLM - 快速开始
• 通过 自动重试 和 故障回退 防止服务中断
• 借助 负载均衡 和 条件路由 扩展 AI 应用
• 使用 防护栏（guardrails） 保护 AI 部署
• 借助 多模态能力 超越纯文本场景
• 探索 智能体工作流（agentic workflow） 集成
• 使用 MCP Gateway 以企业级认证和可观测性管理 MCP 服务器

Tip

为本仓库加 Star 可帮助更多开发者发现 AI Gateway 🙏🏻

快速开始（2 分钟）

1. 配置 AI Gateway

# Run the gateway locally (needs Node.js and npm)
npx @portkey-ai/gateway

Gateway 运行在 http://localhost:8787/v1

Gateway 控制台运行在 http://localhost:8787/public/

^{部署指南：   Portkey Cloud（推荐）   Docker   Node.js   Cloudflare   Replit   其他...}

2. 发起首次请求

# pip install -qU portkey-ai

from portkey_ai import Portkey

# OpenAI compatible client
client = Portkey(
    provider="openai", # or 'anthropic', 'bedrock', 'groq', etc
    Authorization="sk-***" # the provider API key
)

# Make a request through your AI Gateway
client.chat.completions.create(
    messages=[{"role": "user", "content": "What's the weather like?"}],
    model="gpt-4o-mini"
)

^{支持的库：   JS   Python   REST   OpenAI SDKs   Langchain   LlamaIndex   Autogen   CrewAI   More..}

在 Gateway 控制台（http://localhost:8787/public/）中，你可以在一处查看所有本地日志。

3. 路由与防护栏（Guardrails）

LLM 网关中的 Configs 允许你创建路由规则、增强可靠性并配置防护栏。

config = {
  "retry": {"attempts": 5},

  "output_guardrails": [{
    "default.contains": {"operator": "none", "words": ["Apple"]},
    "deny": True
  }]
}

# Attach the config to the client
client = client.with_options(config=config)

client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Reply randomly with Apple or Bat"}]
)

# This would always response with "Bat" as the guardrail denies all replies containing "Apple". The retry config would retry 5 times before giving up.

你还可以在 AI Gateway 中通过配置实现更多功能。跳转到示例 →

企业版（私有部署）

AWS   Azure   GCP   OpenShift   Kubernetes

LLM Gateway 的企业版 提供面向组织管理、治理、安全及更多能力 的开箱即用高级功能。查看功能对比 →

各支持平台的企业部署架构可在此查看 — 企业私有云部署

MCP Gateway

MCP Gateway 为你的组织提供集中式控制平面，用于管理 MCP（Model Context Protocol，模型上下文协议）服务器。

• Authentication（身份认证） — 在网关层提供统一认证。用户只需认证一次；你的 MCP 服务器将收到已验证的请求
• Access Control（访问控制） — 控制哪些团队和用户可以访问哪些服务器与工具。可即时撤销访问权限
• Observability（可观测性） — 记录每一次工具调用的完整上下文：谁调用了什么、参数、响应、延迟
• Identity Forwarding（身份转发） — 自动将用户身份（邮箱、团队、角色）转发至 MCP 服务器

可与 Claude Desktop、Cursor、VS Code 及任何兼容 MCP 的客户端配合使用。立即开始 →

核心功能

可靠路由

• Fallbacks（降级回退）：通过 LLM Gateway 在请求失败时回退到另一供应商或模型。你可指定触发回退的错误类型，从而提升应用的可靠性。
• Automatic Retries（自动重试）：自动重试失败的请求，最多 5 次。采用指数退避策略分散重试间隔，避免网络过载。
• Load Balancing（负载均衡）：按权重将 LLM 请求分发到多个 API 密钥或 AI 供应商，确保高可用与最佳性能。
• Request Timeouts（请求超时）：通过细粒度请求超时管理难以控制的 LLM 与延迟，自动终止超过指定时长的请求。
• Multi-modal LLM Gateway（多模态 LLM Gateway）：调用多家供应商的视觉、音频（文本转语音与语音转文本）及图像生成模型 — 均使用熟悉的 OpenAI 签名
• Realtime APIs（实时 API）：通过集成的 WebSocket 服务器调用 OpenAI 推出的实时 API。

安全与准确性

• Guardrails（护栏）：校验 LLM 输入与输出是否符合你指定的检查项。可从 40+ 预置护栏中选择，确保符合安全与准确性标准。你可以自带护栏，或从我们的众多合作伙伴中选择。
• Secure Key Management（安全密钥管理）: 使用你自己的密钥，或即时生成虚拟密钥。
• Role-based access control（基于角色的访问控制）: 为用户、工作区与 API 密钥提供细粒度访问控制。
• Compliance & Data Privacy（合规与数据隐私）：该 AI Gateway 符合 SOC2、HIPAA、GDPR 与 CCPA 合规要求。

成本管理

• Smart caching（智能缓存）: 缓存 LLM 响应以降低成本并改善延迟。支持简单缓存与语义*缓存。
• Usage analytics（用量分析）: 监控并分析 AI 与 LLM 用量，包括请求量、延迟、成本与错误率。
• Provider optimization（供应商优化）*: 根据使用模式与定价模型自动切换到最具成本效益的供应商。

协作与工作流

• Agents Support（Agent 支持）：与主流 Agent 框架无缝集成，构建复杂 AI 应用。该 Gateway 可与 Autogen, CrewAI, LangChain, LlamaIndex, Phidata, Control Flow, 乃至 Custom Agents. 无缝集成
• Prompt Template Management（提示词模板管理）*: 通过通用提示词 Playground 协作创建、管理与版本化提示词模板。
  
  

^{* 在托管版与企业版中可用}

Portkey Models

面向 40+ 供应商的开源 LLM 定价数据库 — 供 Gateway 用于成本追踪。

GitHub | Model Explorer

Cookbooks

☄️ 热门

• 通过 AI Gateway 使用 Nvidia NIM 模型
• 使用 Portkey 监控 CrewAI Agents！
• 使用 AI Gateway 对比 Top 10 LMSYS Models。

🚨 最新

• 使用 Nemotron 创建合成数据集
• 将 LLM Gateway 与 Vercel 的 AI SDK 配合使用
• 使用 Portkey 的 LLM Gateway 监控 Llama Agents

查看全部 Cookbooks →

支持的供应商

探索 Gateway 与 45+ 供应商 及 8+ Agent 框架. 的集成

	Provider	Support	Stream
	OpenAI	✅	✅
	Azure OpenAI	✅	✅
	Anyscale	✅	✅
	Google Gemini	✅	✅
	Anthropic	✅	✅
	Cohere	✅	✅
	Together AI	✅	✅
	Perplexity	✅	✅
	Mistral	✅	✅
	Nomic	✅	✅
	AI21	✅	✅
	Stability AI	✅	✅
	DeepInfra	✅	✅
	Ollama	✅	✅
	Novita AI	✅	✅

在此查看 200+ 款受支持模型的完整列表

智能体（Agents）

Gateway 可与主流智能体框架无缝集成。在此阅读文档.

框架	调用 200+ 款 LLM	高级路由（Advanced Routing）	缓存（Caching）	日志与追踪*（Logging & Tracing）	可观测性*（Observability）	提示词管理*（Prompt Management）
Autogen	✅	✅	✅	✅	✅	✅
CrewAI	✅	✅	✅	✅	✅	✅
LangChain	✅	✅	✅	✅	✅	✅
Phidata	✅	✅	✅	✅	✅	✅
Llama Index	✅	✅	✅	✅	✅	✅
Control Flow	✅	✅	✅	✅	✅	✅
Build Your Own Agents	✅	✅	✅	✅	✅	✅
	IO Intelligence	✅	✅

*功能适用于托管应用. 详细文档请点击此处.

Gateway 企业版

让你的 AI 应用更可靠、更具前向兼容性，同时确保完全的数据安全与隐私保护。

✅  安全密钥管理（Secure Key Management）—— 用于基于角色的访问控制与追踪
✅  简单与语义缓存（Simple & Semantic Caching）—— 更快响应重复查询并节省成本
✅  访问控制与入站规则（Access Control & Inbound Rules）—— 控制哪些 IP 与地理区域可连接到你的部署
✅  PII 脱敏（PII Redaction）—— 自动从请求中移除敏感数据，防止无意泄露
✅  SOC2、ISO、HIPAA、GDPR 合规 —— 遵循最佳安全实践
✅  专业支持 —— 并提供功能优先级排序

预约通话，讨论企业版部署

贡献

最简单的贡献方式是挑选带有 good first issue 标签的 issue 💪。贡献指南请见此处。

Bug 报告？在此提交 | 功能请求？在此提交

加入社区入门

每周五（太平洋时间上午 8 点）参加我们的 AI Engineering Hours，你可以：

• 结识其他贡献者与社区成员
• 学习 Gateway 高级功能与实现模式
• 分享经验并获得帮助
• 了解最新开发优先级

参加下一场活动 → | 会议纪要

社区

加入我们在全球不断壮大的社区，获取 AI 相关帮助、灵感与讨论。

• 浏览我们的官方博客
• 在 Discord 与我们聊天
• 在 Twitter 关注我们
• 在 LinkedIn 与我们连接
• 阅读日语版文档
• 在 YouTube 访问我们
• 加入我们的开发者社区