评测方法
每个推荐都来自公开数据,并按同一套规则自动计算。这一页说明数据从哪来、怎么算、什么时候更新。
数据来源
为什么只用这些评测
很多经典评测已经被刷到接近满分,或者几个月没有新模型参评,拿来比较最新模型没有意义。我们只采用仍在持续收录新模型的评测,并且只展示最近约 300 天内发布的模型,让图表始终反映当下的选择。
任务与评测的对应
横轴的花费怎么算
每任务实测花费:CursorBench、ARC-AGI-2 公布了每个任务实际消耗的 API 费用(美元),已经包含推理产生的 token。这是最准的口径,同一个模型的不同推理档位会作为不同的点出现。
混合标价:其他评测没有公布花费,横轴改用 OpenRouter 公开标价,按 输入 : 输出 = 3 : 1 加权成每百万 token 的混合价。这时每个模型只保留得分最高的推理档位。注意:标价不反映模型实际会用多少 token,喜欢长篇推理的模型实际花费会更高。
帕累托前沿
把所有有价格的模型按花费从低到高排开,一个点只要比所有更便宜的点得分都高,就在前沿上。前沿以外的点意味着:总能找到一个更便宜、得分也不低于它的选择。
三个推荐怎么选
- 最强:这个任务得分最高的模型档位,不论价格。
- 明智之选:前沿上达到最强 95% 分数的选择中最便宜的。
- 便宜够用:前沿上达到最强 80% 分数的选择中最便宜的,并且要比明智之选更便宜;没有这样的模型就不推荐。
- Elo 类任务(WebDev Arena、EQ-Bench 写作)用分差代替比例:明智之选与最强相差不超过 30 分,便宜够用不超过 100 分。Epoch 能力指数 ECI 的刻度更紧凑,分别用 3 分和 10 分。
更新频率
每 6 小时自动更新一次评测与价格数据。当前数据时间:…。
暂未匹配到价格的模型
这些模型在评测中出现,但 OpenRouter 上没有对应的公开价格(或名称暂未对上),所以不参与前沿和推荐计算。