llm-wiki wiki · concepts 2026-06-12

AI Gateway 是面向 LLM/MCP/Agent 流量的入口治理层,通常处理 provider 适配、认证、凭据托管、rate limit、routing、redaction、guardrails、telemetry 和 policy。

当前项目族

项目 定位
agentgateway LLM/MCP/A2A 三协议 Rust 数据面 + Gateway API 控制面
Envoy AI Gateway Envoy Gateway 上的 GenAI provider translator / extproc / policy
kgateway Gateway API / Envoy xDS / API+AI Gateway 能力分支
Higress AI Native API Gateway,和 HiClaw/凭据托管强相关
Plano AI-native proxy/data plane,偏 model routing / guardrails / agent orchestration

和 inference routing 的关系

inference-routing 是 AI Gateway 的一个子问题:请求应该去哪个模型、哪个 endpoint、哪个 pod。AI Gateway 还要处理凭据、安全、协议转换和治理。