直接答案
编码代理网关应按明确策略路由,请求条件至少包括任务能力、批准模型、协议能力、数据边界、预算和路线健康。模型别名和回退规则需要版本化,凭据必须隔离,流式与工具语义必须保留,并在生产前用最小端到端任务核对实际路线。
关键结论
- 按工作流声明的能力路由,不能只看模型名称相似。
- 对别名、策略、回退顺序、协议转换和凭据所有权进行版本化。
- 限制故障切换,禁止静默跨越数据或能力边界。
- 分别验证非流式、流式、工具、错误和用量归因。
关键事实
这篇内容解决什么问题
帮助平台团队设计网关路由,避免把文本响应成功误认为完整编码代理兼容。
核验范围与限制
- 证据类型
- 官方文档协议规范
- 核验范围
- 设计覆盖供应商配置、网关协议行为、策略路由、故障切换、凭据和工作流验证。
- 限制与失效条件
- - 不推荐任何特定网关或供应商。
- - 兼容性取决于实际部署的转换和客户端版本。
- - 不声明延迟、可用性或价格基准。
写策略前先定义路线契约
为每类工作流声明请求响应协议、流式事件、工具语义、上下文需求、认证所有者、数据区域、允许模型、预算等级和失败行为。只有满足完整契约的路线才有资格被选择。
用户别名与上游模型 ID 分开维护。别名通过版本化策略解析,并产生可观察的实际路线,同时不暴露凭据。
分层验证兼容性
一次文本请求成功,只能证明该请求本身。认证、模型发现、非流式输出、流式结束、错误映射、取消、工具调用、用量报告和长任务行为必须分别测试。
记录网关进行的每项转换。丢弃未知字段、缓冲流、重写模型名称或统一错误结构,即使 HTTP 成功也可能改变客户端行为。
隔离客户端和上游凭据
客户端使用有限凭据向网关认证;网关在秘密存储中持有供应商凭据,并在服务端执行租户、项目、模型与速率策略。任何响应和日志都不能返回上游 Token 或 Authorization Header。
- 短期或可轮换的客户端凭据
- 编码会话无法读取供应商秘密
- 按路线授权与限额
- 提供脱敏 request ID 支持排错
- 客户端与上游权限可独立吊销
让故障切换明确且有上限
只允许回退到满足相同能力、策略和数据边界的路线。限制尝试次数与总时间,避免重放改变状态的工具操作,并明确暴露发生过回退。有些错误应停止,而不是静默换模型或供应商。
对策略版本化,并在重要变化后重新核验
记录客户端版本、网关 release、路线策略版本、别名映射、协议转换和验证日期。任一项变化后重跑能力套件,分阶段发布,并为破坏流式、错误、工具或计费的路线保留快速禁用入口。
官方来源与核验范围
本文以公开官方文档为事实依据;命令和配置可能随客户端版本变化,执行前请同时核对对应来源。
查看技术核验方法