评测方法
AI 网络连接评测方法
「适合 AI」是一个容易被滥用的说法。本页说明我们如何把它拆成可测量的指标:测什么、什么时候测、怎样换算成分数,以及这些数据不能说明什么。
核心结论
- AI 适用性评分由流式完成率、长任务完成率、晚高峰衰减、地区与出口四部分组成。
- 测试分为全天时段与晚高峰时段,晚高峰结果权重更高。
- 只有标注为「实测数据」的数值来自我们的测试;「示例数据」「示意数据」用于说明方法或展示数据结构。
- 任何评测都受测试地点和运营商影响,结果只代表测试环境下的表现。
评分构成
| 组成部分 | 权重 | 测量方式 |
|---|---|---|
| 流式完成率 | 35% | 发起需要较长流式输出的请求,统计完整接收的比例 |
| 长任务完成率 | 30% | 运行固定脚本模拟编程代理的多轮请求,统计一次完成的比例 |
| 晚高峰衰减 | 20% | 晚高峰与全天结果的差值,差值越小得分越高 |
| 地区与出口 | 15% | 支持地区落地节点数量、测试期间出口 IP 的一致性 |
四个 AI 产品分别计算,得到 Claude、Codex、ChatGPT、Gemini 四个单项分;「AI 适用性」为四项平均值。
测试场景设计
流式输出测试
向 AI 服务的 API 发起请求,要求生成一段较长的文本,记录:
- 首字时间(TTFT):从发出请求到收到第一段内容的时间;
- 是否完整接收:连接是否在结束标记之前被断开;
- 中途停顿:两段内容之间超过阈值的间隔次数。
长任务测试
用脚本模拟编程代理的行为:连续发起多轮请求,每一轮携带逐渐增长的上下文。只要任意一轮失败且重试后仍失败,即记为一次「任务中断」。
时段安排
- 全天采样:每天均匀分布的多个时间点;
- 晚高峰采样:20:00–23:00 加密采样。
晚高峰是国际出口最拥堵的时段,也是大多数用户下班后使用 AI 工具的时间,因此在评分中权重更高。
分数换算
完成率与分数之间不是线性关系。例如流式完成率从 90% 提高到 95%,对用户体验的改善远大于从 50% 提高到 55%。因此我们使用分段换算:
| 项目 | 数值 |
|---|---|
| 完成率 99% 以上 | |
| 97% – 99% | |
| 94% – 97% | |
| 90% – 94% | |
| 80% – 90% | |
| 80% 以下 |
示意数据:展示换算思路,具体分段会随测试样本量调整并在此页更新。
数据性质标注
站内所有图表和数据都会标注性质:
- 实测数据:来自本页方法的实际测试;
- 编辑评估:编辑依据品牌公开资料、线路类型与套餐做出的评分,尚未经过本页方法实测;
- 示例数据:用于演示数据结构的占位数据,不代表真实服务;
- 示意数据:用于解释概念或量级差异的说明性数值;
- 公开资料:来自服务商官网或官方文档。
局限性
- 测试地点有限:结果反映的是测试节点所在城市和运营商的情况。
- 服务会变化:机场的线路和负载经常调整,评分只代表测试期间。
- 不覆盖账号问题:账号受限、地区政策等问题不在网络测试范围内。
- 不测内容质量:只评价网络连接,不评价 AI 模型。
更多通用评价维度见 机场品牌评测方法。
常见问题
你们会测试 AI 回复的质量吗?
不会。我们只测试网络连接层面的表现,例如连接是否中断、请求是否超时。回复质量取决于模型本身,与网络服务无关。
为什么不直接用测速数字评分?
客户端测速通常只测一次短连接延迟,无法反映长连接保持、晚高峰丢包和出口变化,而这些恰恰是影响 AI 工具体验的主要因素。
测试结果适用于我的网络吗?
只能作为参考。不同城市、运营商和宽带类型的表现可能差异很大,建议用月付套餐在自己的环境中验证。
资料来源与数据性质
- 编辑分析机场品牌评测方法(综合评分)
- 编辑分析稳定机场评价方法