主题模式
服务商筛选、排序与智能路由
同一个模型有多家服务商提供 API 服务,此文档将介绍如何根据您的自身需求(如价格、吞吐、延迟、上下文长度等),在模型详情页内选择最合适的服务商和智能路由策略为您提供 API 调用服务。
1. 根据需求定制 API 服务智能路由
AI Ping 将使用智能路由为您提供 API 服务,您的请求将被转发至高性价比的服务商。智能路由的默认路由策略可以满足大部分用户需求,该策略会在服务商服务的成本与性能之间进行平衡,同时在请求失败时为您自动路由至其他服务商。默认策略按标准价 × 1.00 计费;一旦在请求里指定服务商偏好或筛选排序,将按实际执行路线的倍率计费。
您也可以根据自身对 API 调用的各指标需求,定制自己的 API 调用服务。相关功能在模型详情页底部的 API 部分上方。

例如,您希望计费倍率在 1.5 倍至 3 倍之间,首字延迟在 1 秒至 10 秒之间。那么就可以手动筛选排序:
倍率:1.5x-3x
延迟:1s-10s+
智能路由策略:自动
下方的 API 示例代码将随着您的筛选排序一起被修改,您可以直接复制示例代码并使用。

由于每家服务商在不同时间的吞吐、延迟等指标存在波动,智能路由会根据 7x24 小时长期监控数据为您选择最匹配您需求的服务商进行转发。 当某时刻所有服务商指标都不满足您的需求时,智能路由会将您的请求转发至和您的需求最接近的服务商。
更多与智能路由策略相关的 API 功能(如多关键字排序),可查看 路由策略。
2. 根据需求查看服务商数据
在模型详情页上方,您也可以根据需求,筛选匹配自身需求的服务商,并按照某指标进行排序(点击表格第一行的指标文字,如“吞吐”)。文本/视觉类模型默认按照输出吞吐从高到低排序,其余类型模型默认按照延迟从低到高排序。 