Portkey AI Gateway

Portkey 的 AI 网关是您的应用程序和托管 LLM 之间的接口。它通过统一的 API 简化了对 OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini 等的 API 请求。

✅ 速度极快（快 9.9 倍），占用空间小（已安装 ~45kb）

✅ 跨多个模型、提供程序和密钥的负载均衡

✅ 回退可确保应用保持复原能力

✅ 默认情况下，具有指数回退的自动重试

✅ 按需插件中间件

✅ 经过超过100B tokens 的战斗测试

支持接入的GPT产品有100+。以下只是一部分AI产品截图：

GitHub：https://github.com/Portkey-AI/gateway

官网：https://portkey.ai/features/ai-gateway