AI API 调用:先按运行场景选线路
为 AI API 调用选 VPN,推荐先确认请求从哪里发出,再比较固定出口、并发和超时。本地脚本、构建任务和生产服务可能走不同的网络路径。网页能打开,只说明浏览器的路径可用,不代表终端里的 SDK、容器或后台进程也走这条线路。开始测试前,先确认 API 提供方对部署地区、账号和数据处理的要求;网络连接不会改变这些要求。
| 调用场景 | 优先关注 | 验收方法 |
|---|---|---|
| 本地调试 | SDK 与终端的代理配置 | 用实际开发进程发请求,确认代理和响应状态 |
| 白名单环境 | 可确认的固定出口 | 重连和故障切换后核对来源地址是否仍在允许范围内 |
| 交互式生成 | 首个内容片段与流式连续性 | 记录首段等待、片段间停顿和完整结束情况 |
| 后台批处理 | 并发容量、排队和接口配额 | 逐步增加受控负载,区分本地等待与上游拒绝 |
固定出口:稳定地址不等于独享地址
固定出口指远端看到的来源公网 IP 在约定条件内保持不变。独享指该地址不与其他客户共用,两者不是同一项能力。节点名称、所在地区或专线标签也不能证明公网 IP 固定。若公司网关或 API 项目使用来源地址白名单,应先查书面说明,确认地址是否保留、维护时是否变更、故障切换会使用哪个出口。若备用地址不在白名单内,自动切换可能让连接恢复,却让请求继续被拒绝。
验收要从真正调用 API 的环境发起。优先在有权限的网关日志中核对来源,或用受控的地址回显服务验证同一路径。若客户端启用了分流,地址回显域名和 API 域名可能匹配不同规则,不能拿前者的结果直接证明后者。分别在启动、重连和切换后检查,并核对应用是否可能通过另一种地址族走不同出口。不要把 API 密钥附在地址验证请求中。
并发测试:区分连接池、线路与接口配额
并发请求数不等于底层连接数。连接复用可以减少重复握手,支持多路复用时多个请求还可能共用一条连接。流式请求则会持续占用连接池容量或流槽位。如果应用排队等待可用连接,总耗时会增加,但不一定是线路拥塞。测试时把排队、建立连接、收到响应头和收到首个内容片段分开记录;复用连接的请求单独标记,不把它和冷连接直接比较。
- 立基线。固定运行环境、模型、请求类型与输入规模,用代表性的小负载确认请求可以成功。流式和非流式分开测,不用下载测速代替。
- 分批加负载。在允许的配额内逐步增加并发,记录成功、失败、排队时间和尾部延迟。比较候选线路时保留相同的客户端配置,避免同时改连接池和线路。
- 按错误归因。连接池等待先查应用并发上限;连接建立失败先查解析、路由和握手;收到限流响应则看错误码细项及配额说明。HTTP 429 可能涉及请求、令牌或额度限制,不应当成换线信号。
- 复测工作时段。在实际使用的时段重复同一批场景。重点看是否反复出现慢请求或流式中断,而不是只比较最快的一次。
超时重试:按失败阶段设置预算
连接超时限制建立连接的等待,具体是否包含 DNS 查询和 TLS 握手,要看客户端实现。读取超时在不少客户端里指等待下一次读取的间隔,并非整条请求的运行上限。应用还应设置总截止时间,把排队、发起请求、接收内容及重试都算进去。交互式场景优先控制用户等待;后台任务可以用不同的预算,但应该把超时和取消传递给实际执行请求的代码。
流式接口收到响应头,不代表模型已经开始返回内容。中间代理也可能缓冲响应,使片段攒在一起才送到客户端。若响应头很快、首段内容却迟迟不来,先在相同模型与输入下对比直连基线和候选路径,再检查代理缓冲及上游生成时间。若流已开始后才中断,记录最后一个完整事件和结束原因,不要把半截输出记作成功。
重试只针对文档允许重试的暂时性失败,使用有上限的退避与随机抖动;若上游给出等待提示,优先遵守,并检查是否仍有剩余预算。鉴权错误、请求参数错误或额度不足,应修正问题而不是继续重发。客户端超时也不代表服务端没收到请求。对于可能计费或产生业务副作用的操作,先核对接口是否支持幂等键;已向用户展示片段的请求,不宜静默重发后直接拼接新输出。
上线前的验收清单
直连、中转和 IEPL 专线描述的是路径,不是 API 功能。直连不需要额外的服务侧中转环节;中转先接入入口,再由入口转送到出口;IEPL 专线可用于承载其中一段,并不意味着从应用到 API 的整条路径都在专线上。不要从线路名称推断固定 IP,也不要用节点列表的延迟替代应用请求耗时。核对节点类型可参考线路页面,最终用实际调用结果验收。
- ✅ 从部署环境确认 API 请求走预期路径,并验证白名单场景下的重连与切换。
- ✅ 用代表性的负载测过排队、首段等待与完整结束,知道接近配额时应用如何收敛并发。
- ✅ 日志保留可用于归因的请求标识、阶段耗时与状态码,不写入密钥、认证头或含敏感信息的提示词。
- ❌ 不把浏览器可用、测速领先或一次请求成功当作上线依据。