文章

2026 年 7 月 AI/LLM 趋势图表解读

基于 AI Trends (July 2026) — AI Trend Analysis, LLM Statistics & Industry Insights 最新数据快照,逐图解读 48 张 AI/LLM 趋势图表及其比较边界。

2026 年 7 月 AI/LLM 趋势图表解读
  1. 整体趋势总结
    1. 1. 前沿能力继续上升,但头部模型已经非常拥挤
    2. 2. 中美是模型发布的绝对中心,中国前沿能力正在逼近
    3. 3. 开放生态已经从数量补充走向能力竞争
    4. 4. 同等能力正在快速变便宜,高价主要购买最后几个百分点
    5. 5. 参数量和训练数据都不能单独解释模型能力
    6. 6. 上下文窗口继续扩张,但速度仍要支付能力税
    7. 7. 基准能够提供方向,但不能替代真实用户偏好
    8. 8. 更贵的模型不必然更受用户欢迎
  2. 方法与局限
  3. 数据范围与读图方法
    1. 读图术语
  4. 基准能力:上限继续提高,头部开始拥挤
    1. 图 01|基准测试饱和度
    2. 图 02|头部模型正在收敛
    3. 图 03|主要实验室过去一年的进步
    4. 图 04|组织级 GPQA 纪录演进
  5. 实验室与国家:发布重心集中,中美差距缩小
    1. 图 05|中美前沿模型差距
    2. 图 06|各国累计模型发布量
    3. 图 07|月度模型发布热力图
    4. 图 08|各国发布份额变化
    5. 图 09|主要实验室累计发布轨迹
  6. 开放模型:发布占比过半,能力差距继续收窄
    1. 图 10|开放与闭源发布占比
    2. 图 11|开放权重与闭源能力差距
    3. 图 12|中美开放权重竞赛
  7. 模型形态:多模态成为常态,MoE 进入高分区
    1. 图 13|新模型的多模态转向
    2. 图 14|开放模型中的 MoE 采用
  8. 价格与价值:能力更便宜,但高价仍购买边际上限
    1. 图 15|中美模型价格分布
    2. 图 16|单位能力价格持续下降
    3. 图 17|达到 75% GPQA 的最低价格
    4. 图 18|能力提升与平均价格并不同步
    5. 图 19|GPQA 能力与价格分布
    6. 图 20|不同规模档位的成本效率
    7. 图 21|单位价格价值的季度演化
    8. 图 22|GPQA 与价格的帕累托前沿
    9. 图 23|SWE-Bench 与价格的帕累托前沿
    10. 图 24|Arena 偏好与价格的帕累托前沿
  9. 效率与规模:小模型跨过高门槛,规模收益递减
    1. 图 25|MoE 与 Dense 的价格—能力分布
    2. 图 26|跨过能力门槛的最低成本
    3. 图 27|达到能力门槛所需的最小模型
    4. 图 28|不同模型规模档位的 GPQA
    5. 图 29|训练数据规模纪录
    6. 图 30|训练数据与 GPQA 的关系
    7. 图 31|参数效率帕累托前沿
    8. 图 32|MoE 与 Dense 的推理价格前沿
    9. 图 33|推理能力与吞吐前沿
    10. 图 34|推理能力与模型规模前沿
    11. 图 35|GPQA 与参数量帕累托前沿
    12. 图 36|SWE-Bench 与参数量帕累托前沿
    13. 图 37|Arena 偏好与参数量
  10. 速度与上下文:窗口继续扩张,吞吐仍有能力税
    1. 图 38|上下文窗口竞赛
    2. 图 39|速度税:更快不等于更聪明
    3. 图 40|GPQA 与生成吞吐前沿
    4. 图 41|SWE-Bench 与生成吞吐前沿
    5. 图 42|Arena 偏好与生成吞吐前沿
  11. 人类偏好:基准有参考价值,价格解释力很弱
    1. 图 43|主要基准之间的相关矩阵
    2. 图 44|人类偏好是否认同 GPQA
    3. 图 45|GPQA 对 Arena 偏好的预测力
    4. 图 46|用户评分与基准的另一组样本
    5. 图 47|价格能否买到更高人类偏好
    6. 图 48|人类偏好榜单快照

数据来源:AI Trends (July 2026) — AI Trend Analysis, LLM Statistics & Industry Insights;抓取日期:2026-07-11;动态图表数量:48。

AI 模型的能力、价格、速度和使用偏好都在持续变化。单看某一张排行榜,很容易把评测分数、真实体验和成本效率混为一谈。这份报告先给出跨图整体判断及其依据,再说明方法和口径,随后按主题逐图展开。

整体趋势总结

1. 前沿能力继续上升,但头部模型已经非常拥挤

判断依据: GPQA 当前第 1 与第 10 名只差 3.0 分,多条较早基准也进入 85% 以上的饱和区。能力上限仍在刷新,但领先优势正从“代际跨越”变成个位数百分点竞争。

2. 中美是模型发布的绝对中心,中国前沿能力正在逼近

判断依据: 来源站点累计收录美国 164 个、中国 118 个模型,远高于其他国家;同时中国前沿 GPQA 轨迹已接近 90%,与美国只剩数个百分点的视觉差距。

3. 开放生态已经从数量补充走向能力竞争

判断依据: 最近季度开放发布占比约 53%,开放权重 GPQA 前沿也逼近闭源模型;但比较的是各自最好模型,不代表开放模型的平均质量已经完全追平。

4. 同等能力正在快速变便宜,高价主要购买最后几个百分点

判断依据: 达到 75% GPQA 的最低价格从每百万 token 5 美元降到 0.09 美元,降幅 98%;单位价格能力中位数较 2024 年第二季度提高约 5 倍,而帕累托图显示 90% 之后的边际提升仍明显更贵。

5. 参数量和训练数据都不能单独解释模型能力

判断依据: 达到 70% GPQA 的最小参数量从 671B 降到 4B;训练 token 与 GPQA 的回归 R² 只有 0.02。算法、数据质量、训练方法和推理时计算显然共同决定结果。

6. 上下文窗口继续扩张,但速度仍要支付能力税

判断依据: 上下文纪录已达到 200 万 token;能力—吞吐前沿却显示,最高 GPQA 和 SWE-Bench 分数集中在中低吞吐区,数百至上千 token/s 的模型往往牺牲部分能力。

7. 基准能够提供方向,但不能替代真实用户偏好

判断依据: 页面给出 GPQA 与 Arena 的 r=0.52、另一口径 R²=0.516,但另一组样本只有 R²=0.18。样本和评分口径一变,解释力就会明显变化。

8. 更贵的模型不必然更受用户欢迎

判断依据: 价格与人类偏好的 R² 只有 8%;低于 1 美元和十几美元的模型都能进入相近的高偏好区间。价格还购买上下文、限额和服务质量,但这些价值未必反映在盲测偏好中。

方法与局限

  • 时间快照:模型、价格、评测和用户投票会持续变化,所有判断只代表本次抓取日期。
  • 口径差异:不同图表可能采用不同样本、基准、硬件、区域或定价单位,不能把数值直接拼成因果关系。
  • 相关不等于因果:散点图或时间趋势只能说明变量共同变化,不能单独证明某个因素导致另一个结果。
  • 来源边界:图表版权与原始数据解释权归来源网站;引用时应保留来源链接和抓取日期。

数据范围与读图方法

本次分析覆盖来源页面在抓取时稳定呈现的 48 张图表。只有连续两次扫描得到相同的有序图表集合,才会进入解读阶段。明确数字来自图卡文字、坐标、图例或可见标签;仅凭图形走势得到的判断会明确标记为视觉推断。

不同评测、价格口径、参数规模和吞吐量的采集条件并不完全一致,因此跨图比较适合发现候选趋势,不应被理解为严格受控实验。

读图术语

  • Benchmark(基准测试):Benchmark 是用统一任务、数据集和评分规则比较模型能力的测试体系;它只能覆盖被设计出来的能力维度。
  • GPQA(Graduate-Level Google-Proof Q&A Benchmark):面向研究生水平科学问题的问答基准,常用于观察模型的高难度知识与推理能力。
  • SWE-bench Verified(Software Engineering Benchmark Verified):SWE-bench 中经软件工程师确认可解决的 500 个真实 GitHub 问题子集,用于评估模型或 Agent 生成有效代码补丁的能力。
  • Arena Rating / Elo(Arena Rating / Elo Rating):来自匿名模型对战和用户偏好的相对评分;Elo 名称源自其提出者 Arpad Elo,不是英文缩写。
  • 帕累托前沿(Pareto frontier):前沿上的点无法在不牺牲一个维度的情况下继续改善另一个维度。
  • MoE(Mixture of Experts):混合专家架构,每次只激活部分专家参数;总参数量不等于单次推理的实际激活计算量。
  • Open-weight model(开放权重模型):公开模型权重、允许本地部署或再开发的模型;它不必然等同于完整意义上的开源软件。
  • Throughput(吞吐量):通常以每秒生成的 token 数衡量,会受到硬件、服务商和测试配置影响。
  • R² / Pearson r(Coefficient of Determination / Pearson Correlation Coefficient):R² 表示回归模型解释的方差比例,Pearson r 表示线性相关方向和强度;相关不等于因果。

基准能力:上限继续提高,头部开始拥挤

本组结论: 多项旧基准已进入 85% 以上饱和区,GPQA 第 1 与第 10 名只差 3.0 分;前沿仍在进步,但竞争已经从代际跨越转为拥挤的高分追逐。

图 01|基准测试饱和度

原始标题:Benchmark Saturation

基准测试饱和度

怎么看: 横轴是时间,纵轴是各基准的历史最佳得分;阶梯每次上升代表新模型刷新纪录,红色带以上是 85% 饱和参考区。

图表显示: 多条较早建立的基准已经进入或接近 85% 以上区域,但 BrowseComp、OSWorld 等更难任务仍明显低于饱和线,评测正在从旧基准向更难基准迁移。

关键模型 / 数据点:

  • 85%:图中定义的基准饱和参考线。
  • 2024 年 11 月:GPQA 84.0%、MMMLU 81.4%、MMMU 72.2%、SWE-Bench 49.0%。

解读边界: 不同基准的分数不能直接横向比较难度;阶梯线只展示历史最好成绩,也不代表所有模型的整体水平。

证据依据
  • 直接证据:图中明确标出 Saturation (85%) 参考线
  • 视觉推断:多条阶梯线已进入 85% 以上区域,同时仍有曲线停留在较低区间

图 02|头部模型正在收敛

原始标题:The Convergence

头部模型正在收敛

怎么看: 两条阶梯线分别表示 GPQA 第 1 名和第 10 名随时间的得分,线间距离就是头部十强差距。

图表显示: 当前第 1 名 Gemini 3.1 Pro 与第 10 名 Claude Opus 4.6 只差 3.0 分,说明前沿不再由单一模型拉开巨大距离,而是形成拥挤的高分集群。

关键模型 / 数据点:

  • ChatGPT-4o Latest(2024 年 5 月):GPQA 第 1 名为 84.0%,与第 10 名相差 48.3 分。
  • GPT-5 Medium(2025 年 8 月):第 1 名 88.1%,头尾差距缩至 4.8 分。
  • Gemini 3.1 Pro(2026 年 2 月):第 1 名 94.3%,与第 10 名相差 6.2 分。

解读边界: 排名差距只针对 GPQA,不能推导到编程、多模态、速度或真实用户偏好。

证据依据
  • 直接证据:图卡写明 Current gap: 3.0 points
  • 直接证据:图卡标出 #1 Gemini 3.1 Pro 与 #10 Claude Opus 4.6

图 03|主要实验室过去一年的进步

原始标题:Lab Progress

主要实验室过去一年的进步

怎么看: 左右两栏分别是 GPQA 与 SWE-Bench;灰色表示 12 个月前起点,彩色段表示提升,按当前分数排序。

图表显示: GPQA 头部已经高度收敛,Anthropic 为 95%,Google 与 OpenAI 均为 94%;SWE-Bench 上 Anthropic 也是 95%,而第二梯队集中在约 78%–81%。

关键模型 / 数据点:

  • Anthropic:GPQA 从 80.9% 升至 94.6%,一年增加 13.7 分;SWE-Bench 从 74.5% 升至 95.0%,增加 20.5 分。
  • OpenAI:GPQA 从 80.1% 升至 93.6%,增加 13.5 分。
  • Qwen 团队:GPQA 从 77.5% 升至 92.4%,增加 14.9 分。
  • NVIDIA:GPQA 从 64.0% 升至 87.0%,以 23.0 分成为图中一年增幅较大的组织之一。

解读边界: 每个组织只展示其最好模型,不能据此比较模型数量、平均质量或研发效率。

证据依据
  • 直接证据:GPQA 栏标出 Anthropic 95%、Google 94%、OpenAI 94%
  • 直接证据:SWE-Bench 栏标出 Anthropic 95%,DeepSeek、Google、MiniMax 均为 81%

图 04|组织级 GPQA 纪录演进

原始标题:Organization Progress

组织级 GPQA 纪录演进

怎么看: 每条阶梯线代表一个组织的最佳 GPQA 成绩;横轴是时间,纵轴是分数,图中仅展示模型数量最多的十个组织。

图表显示: 2024 至 2026 年各组织的最好成绩普遍上升,2025 年后多条曲线进入 80%–90% 区间,前沿能力扩散到更多实验室。

关键模型 / 数据点:

  • 2024 年 5 月组织纪录:OpenAI 84%、Zhipu AI 79%、Anthropic 67%。
  • 同一时点的 Qwen 团队为 65%、Google 62%、DeepSeek 59%。

解读边界: 图例密集且没有标出每个终点数值;这张图适合看趋势,不适合精确读取组织间的个位数差距。

证据依据
  • 直接证据:图卡说明 Each line represents SOTA progression
  • 视觉推断:2025 年后多条组织曲线进入 80% 以上区间

实验室与国家:发布重心集中,中美差距缩小

本组结论: 模型发布高度集中在美国和中国:累计数量分别为 164 与 118;美国仍领先,但中国前沿能力和发布份额都在快速逼近。

图 05|中美前沿模型差距

原始标题:US vs China Gap

中美前沿模型差距

怎么看: 两条阶梯线分别表示美国与中国模型的 GPQA 历史最好成绩;线间垂直距离反映前沿差距。

图表显示: 美国仍保持领先,但中国轨迹从 2024 年约 40% 附近快速上升到接近 90%,到 2026 年双方只剩数个百分点的视觉差距。

关键模型 / 数据点:

  • 2023 年 3 月:中国前沿 GPQA 42.4%,美国 30.8%。
  • 2024 年 7 月:美国升至 84.0%,中国仍为 42.4%。
  • 2024 年 11 月:美国 84.0%,中国升至 49.5%。

解读边界: 国家归属按来源站点口径划分;图中没有给出当前精确差值,数个百分点属于视觉估计。

证据依据
  • 直接证据:图卡定义为 GPQA performance gap between US and Chinese frontier models
  • 视觉推断:2026 年美国曲线约在 94%,中国曲线接近 90%

图 06|各国累计模型发布量

原始标题:Cumulative AI Model Releases

各国累计模型发布量

怎么看: 横向条形长度表示来源站点自 2023 年以来收录的累计模型发布数量。

图表显示: 美国以 164 个居首,中国 118 个居次,法国 32 个;其余国家均不超过 3 个,发布活动高度集中在中美。

关键模型 / 数据点:

  • 美国:累计收录 164 个模型。
  • 中国:累计收录 118 个模型,约为美国的 72%。
  • 法国:32 个;加拿大 3 个;以色列和印度各 2 个。

解读边界: 这是站点收录的模型发布数,不等同于各国全部模型、算力投入或产业规模。

证据依据
  • 直接证据:图中标出美国 164、中国 118、法国 32
  • 直接证据:加拿大 3,以色列和印度各 2,韩国 1

图 07|月度模型发布热力图

原始标题:The Release Heatmap

月度模型发布热力图

怎么看: 行表示年份,列表示月份;格子数字是当月发布量,颜色越深表示发布越密集。

图表显示: 2025 年是最密集的一年,12 月达到单月 30 个;2026 年前六个月分别为 6、16、20、18、8、13 个,发布节奏仍然活跃但波动明显。

关键模型 / 数据点:

  • 2025 年 9 月发布 22 个模型,12 月达到图中峰值 30 个。
  • 2026 年 2–4 月分别发布 16、20、18 个模型。
  • 2026 年 5–6 月回落至 8 个和 13 个。

解读边界: 2023 与 2026 都是不完整年度,不能直接与完整的 2024、2025 年总量比较。

证据依据
  • 直接证据:图卡写明 322 models released since 2023
  • 直接证据:热力图显示 2025 年 12 月为 30,2026 年 1–6 月为 6、16、20、18、8、13

图 08|各国发布份额变化

原始标题:Model Releases by Country

各国发布份额变化

怎么看: 堆叠面积显示各国模型发布量占同期总发布量的比例,所有国家份额在每个时点合计为 100%。

图表显示: 美国份额从接近全部逐步下降到约一半,中国份额升到约三分之一,法国及其他国家贡献剩余部分,发布来源正在多元化。

关键模型 / 数据点:

  • 2023 年 4 月:美国占发布量 100%,其他国家均为 0%。
  • 2024 年 11 月:美国 65%、中国 18%、法国 11%、以色列 4%、加拿大 2%。

解读边界: 末端比例没有数值标签,约一半和约三分之一是视觉估计;份额下降不代表绝对发布数下降。

证据依据
  • 直接证据:图卡定义为 Share of total model releases by country of origin
  • 视觉推断:2026 年末端美国面积约占一半,中国面积约占三分之一

图 09|主要实验室累计发布轨迹

原始标题:Cumulative Releases by Lab

主要实验室累计发布轨迹

怎么看: 阶梯线表示 Qwen、OpenAI、Google、Mistral、DeepSeek 的累计发布轨迹,纵轴按站点展示为百分比尺度。

图表显示: Qwen 与 OpenAI 位于最上方,Google 与 Mistral 构成第二梯队,DeepSeek 的累计轨迹较低;2025 年后各家发布节奏明显加快。

关键模型 / 数据点:

  • 2024 年 11 月:Qwen 累计 10 个、OpenAI 9 个、Google 7 个。
  • 同一时点:Mistral 6 个、DeepSeek 2 个。

解读边界: 标题写累计发布,但纵轴使用百分比且没有终点标签;不应把视觉高度当成精确模型数量。

证据依据
  • 直接证据:图例列出 Qwen、OpenAI、Google、Mistral、DeepSeek
  • 视觉推断:Qwen 与 OpenAI 的末端阶梯线高于其余三家

开放模型:发布占比过半,能力差距继续收窄

本组结论: 开放发布在最近季度约占 53%,开放权重 GPQA 前沿也逼近闭源模型;开放生态已经进入能力前沿,但平均质量和许可证差异仍需单独判断。

图 10|开放与闭源发布占比

原始标题:Open vs Proprietary Releases

开放与闭源发布占比

怎么看: 每个季度的两类面积分别表示开放和专有模型发布占比,50% 虚线是均分参考。

图表显示: 最近季度开放发布约占 53%,专有发布约占 48%(四舍五入导致合计略超 100%),开放模型在数量上已略占多数。

关键模型 / 数据点:

  • 2025 年 1 月:37 次发布中,开放模型 28 个(76%),专有模型 9 个(24%)。
  • 2025 年 10 月:46 次发布中,开放 22 个(48%),专有 24 个(52%)。
  • 2026 年 4 月:40 次发布中,开放 21 个(53%),专有 19 个(48%,占比经四舍五入)。

解读边界: 发布数量不代表能力、使用量或商业收入;开放分类也依赖站点对许可证的判定。

证据依据
  • 直接证据:图末端标出 Open Source 53%
  • 直接证据:图末端标出 Proprietary 48%

图 11|开放权重与闭源能力差距

原始标题:The Closing Gap

开放权重与闭源能力差距

怎么看: 两条阶梯线分别跟踪闭源和开放权重模型的 GPQA 历史最好成绩,垂直距离代表能力差距。

图表显示: 闭源模型仍领先,但开放权重前沿从 2025 年初约 50% 快速逼近到 90% 左右,当前差距已缩小到数个百分点。

关键模型 / 数据点:

  • 2023 年 3 月:开放权重前沿 GPQA 51%,闭源前沿 31%。
  • 2024 年 11 月:闭源前沿升至 84%,开放权重前沿为 66%。

解读边界: 这里只比较各自最好模型;开放生态的平均质量、可部署性和许可证限制不在图中。

证据依据
  • 直接证据:图卡定义为 GPQA performance gap between proprietary and open-weight models
  • 视觉推断:2026 年末端闭源约 94%,开放权重约 91%

图 12|中美开放权重竞赛

原始标题:Open Weights Race: US vs China

中美开放权重竞赛

怎么看: 四条阶梯线分别表示美国开放、美国闭源、中国开放、中国闭源模型的 GPQA 前沿。

图表显示: 美国闭源轨迹仍最高;中国闭源与开放权重轨迹已进入接近 90% 的区域,而美国开放权重轨迹相对更低。

关键模型 / 数据点:

  • 2024 年 7 月:中国闭源 74.0%、美国开放权重 50.7%、中国开放权重 42.4%、美国闭源 30.8%。
  • 2024 年 8 月:美国闭源升至 84.6%,中国闭源 74.0%,美国开放权重 66.1%,中国开放权重 65.2%。

解读边界: 图中只有美国闭源终点带文字标签,其余终点需视觉判断;不能据此概括两国全部模型生态。

证据依据
  • 直接证据:图例包含 US Open、US Closed、China Open、China Closed
  • 视觉推断:美国闭源末端最高,中国闭源和开放末端紧随其后

模型形态:多模态成为常态,MoE 进入高分区

本组结论: 最新季度 69% 的新模型具备多模态能力;高分开放模型中 MoE 点明显更多,但样本并不能证明 MoE 本身直接造成高分。

图 13|新模型的多模态转向

原始标题:The Multimodal Shift

新模型的多模态转向

怎么看: 折线表示每季度新发布模型中多模态与纯文本模型的占比,二者合计为 100%。

图表显示: 最新季度多模态模型占 69%,纯文本模型占 31%;经历早期剧烈波动后,多模态已经重新成为新发布的主流。

关键模型 / 数据点:

  • 2024 年 7 月:32 个新模型中,多模态 9 个(28%),纯文本 23 个(72%)。
  • 2025 年 10 月:46 个新模型中,多模态 36 个(78%)。
  • 2026 年 4 月:39 个新模型中,多模态 27 个(69%),纯文本 12 个(31%)。

解读边界: 季度样本量不同会放大占比波动;具备视觉输入也不代表所有多模态能力达到同一水平。

证据依据
  • 直接证据:图末端标出 Multimodal 69%
  • 直接证据:图末端标出 Text-only 31%

图 14|开放模型中的 MoE 采用

原始标题:MoE Adoption Over Time

开放模型中的 MoE 采用

怎么看: 每个点是一款开放权重模型;横轴是发布时间,纵轴是 GPQA,蓝色为 MoE,灰色为非 MoE。

图表显示: 近几个月高于 80% 的开放模型中蓝色 MoE 点占多数,MoE 已成为高分开放模型的重要架构路线。

关键模型 / 数据点:

  • Kimi K2.6(MoE,2026-04-20):GPQA 90.5%。
  • DeepSeek-V4-Pro-Max(MoE,2026-04-23):GPQA 90.1%。
  • Qwen3.5-4B(2026-03-02):GPQA 76.2%;同系列 9B 模型达到 81.7%。
  • GLM-5.2(2026-06-16):GPQA 91.2%。

解读边界: 图中没有控制参数量、训练数据与团队差异,不能把高分直接归因于 MoE;非 MoE 样本也明显更少。

证据依据
  • 直接证据:图例将蓝色标为 MoE Open Models、灰色标为 Non-MoE Open Models
  • 视觉推断:80% 以上区域的大多数点为蓝色

价格与价值:能力更便宜,但高价仍购买边际上限

本组结论: 75% GPQA 的最低价格已下降 98%,低价模型快速进入高分区;然而从约 90% 继续追求最后几个百分点,成本仍会显著上升。

图 15|中美模型价格分布

原始标题:Price by Country

中美模型价格分布

怎么看: 纵轴是每百万 token 价格的对数尺度,每个点代表模型,横线表示各国价格中位数。

图表显示: 中国模型的最低中位价格为每百万 token 0.65 美元,明显低于美国组;美国价格分布更宽,高价点也更多。

关键模型 / 数据点:

  • DeepSeek-V4-Flash-Max:中国模型,每百万 token 0.12 美元,GPQA 88.1%。
  • Qwen3.7-Plus:中国模型,每百万 token 0.48 美元,GPQA 90.3%。
  • Gemini 3.1 Pro:每百万 token 4.6 美元,GPQA 94.3%。
  • Claude Opus 4.8:每百万 token 8.3 美元,GPQA 93.6%。

解读边界: 站点使用的价格可能是混合输入/输出价;不同服务商、区域、缓存和批处理折扣不可直接等同。

证据依据
  • 直接证据:图卡写明 Lowest median price: China at $0.65/M tokens
  • 视觉推断:美国组中位线高于中国组且纵向分布更宽

图 16|单位能力价格持续下降

原始标题:The Price of Intelligence

单位能力价格持续下降

怎么看: 纵轴是每个 GPQA 百分点的成本,对数尺度;三条阶梯线分别跟踪达到 50%、75%、85% 门槛的最便宜模型。

图表显示: 75%+ GPQA 档位的单位能力成本从 0.06 美元降到 0.001 美元,页面给出的降幅为 98%;高能力门槛也在持续下探。

关键模型 / 数据点:

  • Grok-3:每百万 token 5.0 美元,GPQA 84.6%,每个 GPQA 点成本约 0.06 美元。
  • Gemini 2.5 Flash:0.67 美元、GPQA 82.8%,每点成本约 0.008 美元。
  • Nemotron 3 Nano(30B A3B):0.09 美元、GPQA 75.0%,每点成本约 0.001 美元。
  • DeepSeek-V4-Flash-Max:0.12 美元、GPQA 88.1%,每点成本约 0.001 美元。

解读边界: “每个 GPQA 点”是派生指标,并不等于完成实际业务任务的总成本;不同时间价格口径可能变化。

证据依据
  • 直接证据:图卡写明 75%+ tier: 98% cheaper
  • 直接证据:图卡给出 $0.06 → $0.001 per GPQA point

图 17|达到 75% GPQA 的最低价格

原始标题:Cheapest 75%+ GPQA Model

达到 75% GPQA 的最低价格

怎么看: 纵轴是每百万 token 价格的对数尺度;绿色阶梯连接每个时期刷新最低价的合格模型,灰点是其他达到门槛的模型。

图表显示: 达到 75% GPQA 的最低价格从 Grok-3 约 5 美元降至 Nemotron 3 Nano 约 0.09 美元,每百万 token 成本下降 98%。

关键模型 / 数据点:

  • Grok-3:每百万 token 5.0 美元,GPQA 84.6%。
  • Gemini 2.5 Flash:0.67 美元,GPQA 82.8%。
  • GPT OSS 120B:0.15 美元,GPQA 80.1%。
  • Nemotron 3 Nano(30B A3B):0.09 美元,GPQA 75.0%。

解读边界: 最低价前沿依赖模型可用地区、服务商和计费口径;低价并不代表延迟、上下文或工具能力相同。

证据依据
  • 直接证据:图卡写明 98% cheaper: $5.0 → $0.09 per 1M tokens
  • 直接证据:前沿标注 Grok-3、Gemini 2.5 Flash、GPT OSS 120B、Nemotron 3 Nano

图 18|能力提升与平均价格并不同步

原始标题:Capability vs Price

能力提升与平均价格并不同步

怎么看: 绿色折线是 SWE-Bench SOTA,右轴为百分比;灰色柱是各季度平均模型价格,左轴为每百万 token 美元。

图表显示: SWE-Bench 最佳成绩从约三成持续升到九成以上,但平均价格先降后升、波动明显,能力上限提升并没有对应一条单调涨价曲线。

关键模型 / 数据点:

  • 2024 年第 3 季度 GPT-4o:SWE-Bench SOTA 33.2%,季度平均价格 6.3 美元/百万 token。
  • 2025 年第 3 季度 Grok Code Fast 1:SOTA 70.8%,平均价格 0.85 美元。
  • 2026 年第 2 季度 Claude Fable 5:SOTA 95.0%,平均价格 6.5 美元。

解读边界: 平均价格容易受季度模型组合和少数高价模型影响,不能理解成同一款模型的价格变化。

证据依据
  • 直接证据:图卡定义为 SWE-Bench SOTA (line) vs average model price (bars)
  • 视觉推断:绿色线持续上升,而灰色柱先从约 6 美元降到不足 1 美元后再次升高

图 19|GPQA 能力与价格分布

原始标题:Performance vs Price

GPQA 能力与价格分布

怎么看: 横轴是每百万 token 价格的对数尺度,纵轴是 GPQA;点的颜色表示模型组织,虚线表示总体趋势。

图表显示: 价格与 GPQA 只有弱到中等的正趋势:高分模型分布在从低于 1 美元到接近 10 美元的广阔区间,低价区也已经出现 80%–90% 的模型。

关键模型 / 数据点:

  • DeepSeek-V4-Flash-Max:每百万 token 0.12 美元,GPQA 88%。
  • Qwen3.7-Plus:0.48 美元,GPQA 90%。
  • Gemini 3.1 Pro:4.6 美元,GPQA 94%。
  • Claude Opus 4.8:8.3 美元,GPQA 94%。

解读边界: 图中没有给出回归系数,趋势强弱来自视觉判断;价格还可能与上下文、速度和服务质量绑定。

证据依据
  • 直接证据:横轴标为 Price ($/M tokens),纵轴标为 GPQA Score (%)
  • 视觉推断:80% 以上点横跨约 $0.1–$10 的价格范围

图 20|不同规模档位的成本效率

原始标题:Cost Efficiency by Tier

不同规模档位的成本效率

怎么看: 横轴按参数规模分为 Tiny、Small、Large、Frontier,纵轴是每个 GPQA 点的成本,对数尺度;颜色区分开放与专有模型。

图表显示: 最佳性价比来自 Nemotron 3 Nano(30B A3B),每个质量点约 0.12 美元;更大规模档位内部的成本离散也很大。

关键模型 / 数据点:

  • Nemotron 3 Nano(30B A3B):GPQA 75.0%、价格 0.09 美元/百万 token,每点成本 0.12 美元。
  • DeepSeek-V4-Flash-Max:GPQA 88.1%、价格 0.12 美元,每点成本 0.13 美元。
  • Gemma 4 31B:GPQA 84.3%、价格 0.17 美元,每点成本 0.20 美元。
  • Kimi K2.6:GPQA 90.5%、价格 1.2 美元,每点成本 1.3 美元。

解读边界: MoE 的 A3B 表示激活参数而非总参数;把模型放入规模档位时必须确认站点使用的是哪种参数口径。

证据依据
  • 直接证据:图卡写明 Best value: Nemotron 3 Nano (30B A3B) at $0.12/quality point
  • 视觉推断:各规模档位内部点位跨越多个价格数量级

图 21|单位价格价值的季度演化

原始标题:Value Evolution

单位价格价值的季度演化

怎么看: 纵轴是每美元可获得的 GPQA 百分点,对数尺度;每个点是模型,横线表示季度中位值。

图表显示: 页面给出的结论是单位价格能力中位数自 2024 年第二季度以来提高约 5 倍,但同一季度内模型间差异仍可跨越一个以上数量级。

关键模型 / 数据点:

  • DeepSeek-V4-Flash-Max:价值指标 755.1 GPQA%/$/M,GPQA 88.1%,价格 0.12 美元。
  • Gemma 4 31B:价值指标 491.1,GPQA 84.3%,价格 0.17 美元。
  • Gemini 3.1 Pro:价值指标 20.6,GPQA 94.3%,价格 4.6 美元。
  • Claude Opus 4.8:价值指标 11.2,GPQA 93.6%,价格 8.3 美元。

解读边界: 季度样本构成不同,且该指标会同时受到价格和分数变化影响,不能单独归因于推理效率提升。

证据依据
  • 直接证据:图卡写明 Median value per dollar improved 5x since Q2 2024
  • 视觉推断:同季度散点在纵轴上高度分散

图 22|GPQA 与价格的帕累托前沿

原始标题:GPQA Score (%) vs Price ($/1M tokens)

GPQA 与价格的帕累托前沿

怎么看: 横轴是每百万 token 价格,纵轴是 GPQA;蓝线连接在当前样本中无法同时被更便宜、更高分模型支配的点。

图表显示: 前沿在低价区迅速从约 75% 抬升到 90% 左右,之后再提高几个百分点需要把价格推到约 9 美元及以上,边际成本明显增加。

关键模型 / 数据点:

  • DeepSeek-V4-Flash-Max:每百万 token 0.15 美元,GPQA 88%。
  • Qwen3.7-Plus:0.80 美元,GPQA 90%。
  • Qwen3.7 Max:3 美元,GPQA 92%。
  • Gemini 3.1 Pro:9 美元,GPQA 94%。

解读边界: 前沿只在当前样本和价格口径内成立;点位没有模型标签,无法从图中可靠点名每个前沿模型。

证据依据
  • 直接证据:图卡标注 Pareto frontier analysis
  • 视觉推断:蓝线在低于约 $3 时已接近 90%,后续小幅提升对应更高价格

图 23|SWE-Bench 与价格的帕累托前沿

原始标题:SWE-Bench Verified (%) vs Price ($/1M tokens)

SWE-Bench 与价格的帕累托前沿

怎么看: 横轴是每百万 token 价格,纵轴是 SWE-Bench Verified;蓝线连接当前样本的成本—编程能力前沿。

图表显示: 低价模型已能达到约 80%,但把前沿继续推到接近 90% 需要约 15–30 美元,编程前沿的高分尾部仍然昂贵。

关键模型 / 数据点:

  • DeepSeek-V4-Flash-Max:每百万 token 0.15 美元,SWE-Bench Verified 79%。
  • MiniMax M3:0.75 美元,SWE-Bench Verified 81%。
  • Claude Opus 4.8:15 美元,SWE-Bench Verified 89%。
  • Claude Fable 5:30 美元,SWE-Bench Verified 95%。

解读边界: 图中部分价格接近零或略为负轴留白,这是坐标绘制方式,不代表实际负价格。

证据依据
  • 直接证据:图卡标注 Pareto frontier analysis
  • 视觉推断:蓝线从低价区约 80% 延伸到约 $30、93% 的端点

图 24|Arena 偏好与价格的帕累托前沿

原始标题:Arena Rating vs Price ($/1M tokens)

Arena 偏好与价格的帕累托前沿

怎么看: 横轴是每百万 token 价格,纵轴是 Arena Rating;蓝线表示当前样本中价格与偏好评分的非支配前沿。

图表显示: 评分从数百提升到约 2000 的主要跃迁发生在 0–10 美元区间,之后把价格提高到 15–30 美元只带来较小的前沿增益。

关键模型 / 数据点:

  • Gemma 4 31B:每百万 token 0.26 美元,Arena Rating 1162。
  • Kimi K2.6:2 美元,Arena Rating 1491。
  • Gemini 3.1 Pro:9 美元,Arena Rating 2047。
  • Qwen3.7 Max:3 美元,Arena Rating 1718。

解读边界: Arena 分数可能受样本时间和模型曝光影响;前沿不包含速度、稳定性与上下文等服务维度。

证据依据
  • 直接证据:图卡标注 Pareto frontier analysis
  • 视觉推断:蓝线在约 $9 已超过 2000,之后到 $30 的提升较小

效率与规模:小模型跨过高门槛,规模收益递减

本组结论: 达到 70% GPQA 的最小模型已从 671B 缩到 4B;参数和训练 token 都只能解释部分能力,规模扩大后的边际收益越来越小。

图 25|MoE 与 Dense 的价格—能力分布

原始标题:Performance vs Price, Colored by MoE

MoE 与 Dense 的价格—能力分布

怎么看: 横轴是混合 API 价格的对数尺度,纵轴是 GPQA;蓝点为 MoE,灰点为 Dense。

图表显示: 多个 MoE 模型在低于 1 美元区间达到 80% 以上,Dense 也能进入高分区但价格分布更宽;MoE 在当前样本中占据多处高性价比位置。

关键模型 / 数据点:

  • Gemma 4 26B-A4B(MoE):每百万 token 0.18 美元,GPQA 82%。
  • DeepSeek-V4-Pro-Max(MoE):1.9 美元,GPQA 90%。
  • GLM-5.2(MoE):1.3 美元,GPQA 91%。
  • Kimi K2.6(MoE):1.2 美元,GPQA 91%。

解读边界: 架构不是唯一变量,样本量也不均衡;不能把价格优势直接归因于 MoE。

证据依据
  • 直接证据:图例区分 MoE 与 Dense
  • 视觉推断:低于 $1 且高于 80% 的区域存在多个蓝色 MoE 点

图 26|跨过能力门槛的最低成本

原始标题:Minimum Cost to Reach Capability

跨过能力门槛的最低成本

怎么看: 横轴是 GPQA 门槛,纵轴是满足门槛的最低每百万 token 价格;蓝线代表 MoE,灰线代表 Dense,越低越好。

图表显示: MoE 在 40%–70% 门槛下最低价约保持在 0.09 美元,80% 也仅约 0.12 美元;Dense 在 70% 后最低价跃升到约 0.65 美元。

关键模型 / 数据点:

  • 40%–70% GPQA 门槛:Nemotron 3 Nano(30B A3B)均以 0.09 美元/百万 token 成为最低成本 MoE。
  • 80% GPQA 门槛:DeepSeek-V4-Flash-Max 以 0.12 美元成为最低成本模型。
  • Dense 40%–60% 门槛:Qwen3 VL 4B Thinking 的最低价格为 0.25 美元。

解读边界: 这是少数最便宜模型组成的前沿,不代表两类架构的平均价格;数值为图上近似读取。

证据依据
  • 直接证据:图卡说明 Cheapest blended API price to clear each GPQA threshold
  • 视觉推断:MoE 蓝线在各门槛均低于 Dense 灰线,Dense 在 70% 附近明显上跳

图 27|达到能力门槛所需的最小模型

原始标题:The Efficiency Curve

达到能力门槛所需的最小模型

怎么看: 横轴是时间,纵轴是参数量的对数尺度;四条阶梯线跟踪达到 40%、50%、60%、70% GPQA 的最小模型。

图表显示: 达到 70% GPQA 的最小参数量从 671B 降到 4B,缩小 99%;当前 40% 和 50% 门槛可由约 2B 模型跨过,60% 和 70% 约为 4B。

关键模型 / 数据点:

  • 2024 年 7 月 Llama 3.1 405B Instruct:405B 参数,GPQA 50.7%,当时跨过 50% 的最小模型。
  • 2024 年 11 月 QwQ-32B-Preview:32.5B 参数,GPQA 65.2%。
  • 2025 年 6 月 ERNIE 4.5:21B 参数,GPQA 74.0%。
  • 2025 年 8 月 GPT OSS 20B:20.9B 参数,GPQA 71.5%。

解读边界: 参数量不是推理成本的完整代理,尤其对 MoE;量化、上下文和推理时计算也会改变实际资源需求。

证据依据
  • 直接证据:图卡写明 70% GPQA: from 671.0B params to 4.0B — 99% smaller
  • 直接证据:图末端标出 40%=2.0B、50%=2.0B、60%=4.0B、70%=4.0B

图 28|不同模型规模档位的 GPQA

原始标题:GPQA Score by Tier

不同模型规模档位的 GPQA

怎么看: 横轴是参数规模档位,纵轴是 GPQA;散点是模型,横线表示每档中心位置。

图表显示: 规模越大总体分数越高,但档位内部重叠很强;页面给出的档位最高分是 GLM-5.2 的 91.2%,小型档也出现了 80% 以上模型。

关键模型 / 数据点:

  • DeepSeek R1 Distill Qwen 1.5B:1.8B 参数,GPQA 33.8%。
  • DeepSeek R1 Distill Llama 8B:8.0B 参数,GPQA 49.0%。
  • DeepSeek R1 Distill Qwen 32B:32.8B 参数,GPQA 62.1%。
  • DeepSeek-R1-0528:671B 参数,GPQA 81.0%。

解读边界: 分档会隐藏连续差异,且站点可能混用总参数与激活参数;不能把档位差异解释为纯粹的规模因果。

证据依据
  • 直接证据:图卡写明 Highest GPQA by tiered-size view: GLM-5.2 at 91.2%
  • 视觉推断:Small 与 Frontier 档位的分数范围存在明显重叠

图 29|训练数据规模纪录

原始标题:The Training Data Race

训练数据规模纪录

怎么看: 横轴是发布时间,纵轴是训练 token 的对数尺度;散点表示模型,虚线表示数据规模趋势。

图表显示: 页面估算训练数据规模约每 1.6 年翻倍,并收录了 66 个使用 1T 以上训练 token 的模型,数据规模仍在扩张。

关键模型 / 数据点:

  • Llama 3.1 8B Instruct:15.0T 训练 token,2024 年 7 月发布。
  • Qwen2.5 7B Instruct:18.0T token,2024 年 9 月发布。
  • Gemma 2 27B:13.0T token,2024 年 6 月发布。
  • Phi-3.5-mini-instruct:3.4T token,2024 年 8 月发布。

解读边界: 训练 token 多来自公开披露或估算,不同模型的数据质量、去重和重复轮次不可比。

证据依据
  • 直接证据:图卡写明 Training data doubles every 1.6 years
  • 直接证据:图卡写明 66 models with 1T+ tokens

图 30|训练数据与 GPQA 的关系

原始标题:The Data Appetite

训练数据与 GPQA 的关系

怎么看: 横轴是训练 token 的对数尺度,纵轴是 GPQA;虚线是回归趋势,点的颜色区分开放和专有模型。

图表显示: 训练数据与 GPQA 的线性关系非常弱,R² 只有 0.02;即使回归给出数据每增加 10 倍约提升 4.4 分,数据量也几乎解释不了样本中的性能差异。

关键模型 / 数据点:

  • DeepSeek R1 Distill Qwen 1.5B:14.8T 训练 token,GPQA 33.8%。
  • DeepSeek R1 Distill Llama 70B:同为 14.8T token,GPQA 65.2%。
  • DeepSeek-V3 0324:14.8T token,GPQA 68.4%。
  • Qwen3-Next-80B-A3B-Instruct:15.0T token,GPQA 72.9%。

解读边界: 披露数据的模型不是随机样本,训练 token 也不包含数据质量和训练方法;不能据此断言更多数据没有价值。

证据依据
  • 直接证据:图卡写明 R² = 0.02
  • 直接证据:图卡写明 Each 10x more data ≈ +4.4 GPQA points

图 31|参数效率帕累托前沿

原始标题:Efficiency Frontier

参数效率帕累托前沿

怎么看: 横轴是参数量的对数尺度,纵轴是 GPQA;越靠左上越高效,蓝线连接参数—能力的帕累托前沿。

图表显示: 前沿在约 1B–10B 区间快速上升到 80% 左右,此后参数扩大几个数量级只换来较小的前沿提升,显示明显的规模边际收益递减。

关键模型 / 数据点:

  • Qwen3.5-0.8B:0.8B 参数,GPQA 12%。
  • Qwen3.5-2B:2B 参数,GPQA 52%。
  • Qwen3.5-4B:4B 参数,GPQA 76%。
  • Qwen3.5-9B:9B 参数,GPQA 82%。

解读边界: 参数量不是推理计算量,MoE 与 Dense 不能只看总参数横向比较;前沿也受训练数据和算法进步影响。

证据依据
  • 直接证据:图卡写明 Upper-left = most efficient. Blue line marks the Pareto frontier
  • 视觉推断:蓝线在约 10B 后长期停留在 80%–90% 区间

图 32|MoE 与 Dense 的推理价格前沿

原始标题:Reasoning vs Price

MoE 与 Dense 的推理价格前沿

怎么看: 横轴是每百万 token 价格,纵轴是 GPQA;蓝线为 MoE 前沿,灰线为 Dense 前沿。

图表显示: MoE 前沿在低价端更早进入 75%–90% 区间,Dense 也能接近 90%,但需要更高的价格点,当前样本中 MoE 的成本前沿更有优势。

关键模型 / 数据点:

  • DeepSeek-V4-Flash-Max(MoE):每百万 token 0.12 美元,GPQA 88.1%。
  • Gemma 4 26B-A4B(MoE):0.18 美元,GPQA 82.3%。
  • Kimi K2.6(MoE):1.2 美元,GPQA 90.5%。
  • GLM-5.2(MoE):1.3 美元,GPQA 91.2%。

解读边界: 前沿由极少数模型决定,且没有显示置信区间;不能推广为所有 MoE 都比 Dense 更便宜。

证据依据
  • 直接证据:图例标出 MoE Frontier 与 Dense Frontier
  • 视觉推断:蓝色前沿在同等 GPQA 附近整体位于灰色前沿左侧

图 33|推理能力与吞吐前沿

原始标题:Reasoning vs Throughput

推理能力与吞吐前沿

怎么看: 横轴是生成吞吐量,纵轴是 GPQA;蓝线和灰线分别表示 MoE 与 Dense 的非支配前沿。

图表显示: MoE 前沿点约在 100 token/s、80% GPQA,Dense 前沿延伸到约 500 token/s 但 GPQA 约 67%,体现高能力与高吞吐之间的取舍。

关键模型 / 数据点:

  • LongCat-Flash-Lite(MoE):500 token/s,GPQA 66.8%。
  • MiniMax M2.1(MoE):100 token/s,GPQA 81.0%。
  • Mistral Large 3(675B Instruct):46 token/s,GPQA 43.9%。

解读边界: 图中的前沿点很少,且吞吐高度依赖硬件和服务商;数值为视觉近似,不能代表架构固有速度。

证据依据
  • 直接证据:横轴标为 Throughput (tokens/sec),纵轴标为 GPQA (%)
  • 视觉推断:MoE 前沿约为 100 tok/s、80%,Dense 前沿约为 500 tok/s、67%

图 34|推理能力与模型规模前沿

原始标题:Reasoning vs Size

推理能力与模型规模前沿

怎么看: 横轴是参数量的对数尺度,纵轴是 GPQA;蓝线为 MoE 前沿,灰线为 Dense 前沿。

图表显示: 能力在小规模区随参数迅速上升,进入约 80% 后前沿趋平;MoE 与 Dense 都能接近 90%,没有简单的“参数越大越强”直线关系。

关键模型 / 数据点:

  • Gemma 4 26B-A4B(MoE):25B 参数,GPQA 82.3%。
  • DeepSeek-V4-Flash-Max(MoE):284B 参数,GPQA 88.1%。
  • DeepSeek-V3.2(MoE):685B 参数,GPQA 82.4%。
  • DeepSeek-V4-Pro-Max(MoE):1600B 参数,GPQA 90.1%。

解读边界: MoE 总参数与激活参数含义不同,横轴的参数口径会直接影响架构比较。

证据依据
  • 直接证据:图卡定义为 Pareto frontier: MoE vs dense
  • 视觉推断:两条前沿在 80% 以上逐渐变平并接近

图 35|GPQA 与参数量帕累托前沿

原始标题:GPQA Score (%) vs Parameters (Billions)

GPQA 与参数量帕累托前沿

怎么看: 横轴是参数量的对数尺度,纵轴是 GPQA;蓝线连接参数更少且得分更高的非支配模型。

图表显示: 前沿在个位数十亿参数附近已跨过约 75%,约 10B 左右达到 80% 以上,之后扩大到数百 B 主要换取个位数百分点提升。

关键模型 / 数据点:

  • Qwen3.5-0.8B:0.8B 参数,GPQA 12%。
  • Qwen3.5-2B:2B 参数,GPQA 52%。
  • Qwen3.5-4B:4B 参数,GPQA 76%。
  • Qwen3.5-9B:9B 参数,GPQA 82%。

解读边界: 散点没有逐点模型标签,参数也可能混合总参数与激活参数;读图重点应是边际趋势。

证据依据
  • 直接证据:图卡标注 Pareto frontier analysis
  • 视觉推断:蓝线在约 10B 达到 80% 以上,之后到数百 B 的纵向提升较小

图 36|SWE-Bench 与参数量帕累托前沿

原始标题:SWE-Bench Verified (%) vs Parameters (Billions)

SWE-Bench 与参数量帕累托前沿

怎么看: 横轴是参数量的对数尺度,纵轴是 SWE-Bench Verified;蓝线表示当前样本中的参数效率前沿。

图表显示: 前沿在不足百 B 区间快速进入约 75%–80%,之后扩大参数只带来有限提升;编程能力也呈现明显的规模边际收益递减。

关键模型 / 数据点:

  • Qwen3.5-27B:27B 参数,SWE-Bench Verified 72%。
  • Qwen3.6-27B:28B 参数,SWE-Bench Verified 77%。
  • Mistral Medium 3.5:128B 参数,SWE-Bench Verified 78%。
  • MiniMax M2.5:230B 参数,SWE-Bench Verified 80%。

解读边界: 参数规模不能代表推理时计算,且 SWE-Bench 成绩还受工具、脚手架和采样策略影响。

证据依据
  • 直接证据:图卡标注 Pareto frontier analysis
  • 视觉推断:蓝线在百 B 以内已接近 80%,之后基本横向延伸

图 37|Arena 偏好与参数量

原始标题:Arena Rating vs Parameters (Billions)

Arena 偏好与参数量

怎么看: 横轴是参数量的对数尺度,纵轴是 Arena Rating;蓝线是参数—偏好评分的帕累托前沿。

图表显示: 偏好前沿随参数增大而上升,但相同参数区间的评分分散很大,大模型也存在低分点,参数规模只能解释部分用户偏好。

关键模型 / 数据点:

  • Gemma 4 26B-A4B:25B 参数,Arena Rating 1165。
  • Qwen3.6-27B:28B 参数,Arena Rating 1297。
  • GLM-5.1:754B 参数,Arena Rating 1747。
  • DeepSeek-R1-0528:671B 参数,Arena Rating 485,显示大参数量并不保证高偏好。

解读边界: Arena Rating 受模型版本、提示分布和上线时间影响;参数披露不完整也会造成样本选择偏差。

证据依据
  • 直接证据:图卡标注 Pareto frontier analysis
  • 视觉推断:同一参数数量级的点在纵轴上分布很宽

速度与上下文:窗口继续扩张,吞吐仍有能力税

本组结论: 上下文纪录已到 200 万 token,但最高推理、编程和偏好评分仍集中在中低吞吐区;更快通常需要牺牲部分能力。

图 38|上下文窗口竞赛

原始标题:The Context Race

上下文窗口竞赛

怎么看: 横轴是时间,纵轴是上下文 token 数的对数尺度;橙色阶梯表示每次刷新最大窗口纪录的模型。

图表显示: 上下文纪录已从 GPT-3.5 Turbo 的万级、GPT-4 Turbo 的十万级,推进到 GPT-4.1 的百万级;当前 Grok 4 Fast 纪录为 200 万 token。

关键模型 / 数据点:

  • GPT-4.1:2025 年 4 月发布,上下文窗口 100 万 token。
  • GPT-5 mini:2025 年 8 月发布,上下文窗口 40 万 token。
  • Grok 4 Fast:2025 年 8 月发布,上下文窗口 200 万 token。
  • Qwen3 VL 8B Thinking:2025 年 9 月发布,上下文窗口约 26.2 万 token。

解读边界: 最大窗口不代表模型能在全部长度上稳定检索和推理,也不反映长上下文的价格与延迟。

证据依据
  • 直接证据:图卡写明 Current record: Grok 4 Fast at 2.0M tokens
  • 直接证据:阶梯标注 GPT-3.5 Turbo、GPT-4 Turbo、DeepSeek-V3 0324、GPT-4.1、Grok 4 Fast

图 39|速度税:更快不等于更聪明

原始标题:The Speed Tax

速度税:更快不等于更聪明

怎么看: 横轴是吞吐量的对数尺度,纵轴是 GPQA;蓝线是能力—速度帕累托前沿,点的颜色区分开放与专有模型。

图表显示: 页面标出的前沿代表 Gemini 3.1 Pro:58 token/s、94.3% GPQA。最高能力集中在中等吞吐区,数百 token/s 的最快模型往往得分更低。

关键模型 / 数据点:

  • Gemini 3.1 Pro:58 token/s,GPQA 94.3%。
  • GPT-5.4:150 token/s,GPQA 92.8%。
  • Gemini 3 Flash:435 token/s,GPQA 90.4%。
  • LongCat-Flash-Lite:500 token/s,GPQA 66.8%。

解读边界: 吞吐来自不同硬件和供应商测试,不能视为严格同机基准;高吞吐也可能来自更短输出或服务优化。

证据依据
  • 直接证据:图卡写明 Pareto-optimal: Gemini 3.1 Pro — 94.3% GPQA at 58 tok/s
  • 视觉推断:最右侧高吞吐点的 GPQA 多低于约 90%

图 40|GPQA 与生成吞吐前沿

原始标题:GPQA Score (%) vs Throughput (tokens/sec)

GPQA 与生成吞吐前沿

怎么看: 横轴是每秒 token 数,纵轴是 GPQA;蓝线连接在能力和吞吐上无法同时被支配的模型。

图表显示: 最高 GPQA 位于较低吞吐区,前沿向 1000 token/s 延伸时分数降到约 70%,说明当前样本中速度和高难推理存在明显权衡。

关键模型 / 数据点:

  • Claude Opus 4.8:42 token/s,GPQA 94%。
  • Gemini 3.1 Pro:90 token/s,GPQA 94%。
  • GPT-5 mini:200 token/s,GPQA 82%。
  • Mercury 2:1009 token/s,GPQA 74%。

解读边界: 前沿曲线没有模型名称,吞吐测试环境也未统一;约 70% 是视觉估计。

证据依据
  • 直接证据:图卡标注 Pareto frontier analysis
  • 视觉推断:蓝色前沿从低吞吐高分区向高吞吐较低分区下降

图 41|SWE-Bench 与生成吞吐前沿

原始标题:SWE-Bench Verified (%) vs Throughput (tokens/sec)

SWE-Bench 与生成吞吐前沿

怎么看: 横轴是每秒 token 数,纵轴是 SWE-Bench Verified;蓝线表示编程能力—吞吐的非支配前沿。

图表显示: 约 80%–88% 的编程前沿集中在 100 token/s 以下,前沿延伸到约 500 token/s 时分数降到约 55%,高速与编程成功率之间同样存在取舍。

关键模型 / 数据点:

  • Claude Opus 4.8:42 token/s,SWE-Bench Verified 89%。
  • Gemini 3.1 Pro:90 token/s,SWE-Bench Verified 81%。
  • Step-3.5-Flash:150 token/s,SWE-Bench Verified 74%。
  • LongCat-Flash-Lite:500 token/s,SWE-Bench Verified 54%。

解读边界: SWE-Bench 可能包含工具调用和多轮执行,单纯生成 token 吞吐并不能代表完成任务的总时延。

证据依据
  • 直接证据:图卡标注 Pareto frontier analysis
  • 视觉推断:蓝线在约 500 token/s 的端点落在约 55%

图 42|Arena 偏好与生成吞吐前沿

原始标题:Arena Rating vs Throughput (tokens/sec)

Arena 偏好与生成吞吐前沿

怎么看: 横轴是每秒 token 数,纵轴是 Arena Rating;蓝线表示偏好评分—速度的非支配前沿。

图表显示: 最高偏好评分超过 2000 的点位于较低吞吐区;前沿向 1000 token/s 移动时评分下降到约 400,最快模型并非用户最偏好的模型。

关键模型 / 数据点:

  • Claude Opus 4.6:42 token/s,Arena Rating 2041。
  • Gemini 3.1 Pro:90 token/s,Arena Rating 2047。
  • LongCat-Flash-Lite:500 token/s,Arena Rating 639。
  • Mercury 2:1009 token/s,Arena Rating 405。

解读边界: Arena 偏好和吞吐可能来自不同时间、不同提供商;图中关系不代表速度导致偏好下降。

证据依据
  • 直接证据:图卡标注 Pareto frontier analysis
  • 视觉推断:蓝线从低吞吐约 2000 分下降到 1000 token/s 附近约 400 分

人类偏好:基准有参考价值,价格解释力很弱

本组结论: GPQA 与人类偏好存在正相关,但不同样本的 R² 从 0.18 到 0.516 不等;价格的解释力更低,R² 只有 8%。

图 43|主要基准之间的相关矩阵

原始标题:Benchmark Correlation

主要基准之间的相关矩阵

怎么看: 每个格子是两个评测分数的 Pearson 相关系数,越接近 1 表示线性同向程度越强。

图表显示: GPQA 与 AIME、SWE-Bench、MMMU 的相关系数分别为 0.84、0.82、0.84;最弱的是 AIME 与 Coding Arena,仅 0.27,说明不同基准覆盖的能力并不相同。

关键模型 / 数据点:

  • GPQA 与 AIME:Pearson r = 0.84。
  • GPQA 与 SWE-Bench:r = 0.82;GPQA 与 MMMU:r = 0.84。
  • SWE-Bench 与 MMMU:r = 0.85,是图中较强的跨基准相关之一。
  • AIME 与 Coding Arena:r = 0.27,是图中最弱关系。

解读边界: 相关系数受共同样本和分数范围影响;高相关不代表两个基准可以互相替代。

证据依据
  • 直接证据:热力图给出 GPQA-AIME 0.84、GPQA-SWE-Bench 0.82、GPQA-MMMU 0.84
  • 直接证据:AIME-Coding Arena 的相关系数为 0.27

图 44|人类偏好是否认同 GPQA

原始标题:Do Humans Agree With Benchmarks?

人类偏好是否认同 GPQA

怎么看: 当前选中 GPQA 标签;横轴是 GPQA,纵轴是 Coding Arena Elo,虚线表示回归趋势。

图表显示: 57 个模型上的 R² 为 0.516,页面称为强相关;GPQA 较高的模型通常也有更高的编程 Arena Elo,但仍存在明显离群点。

关键模型 / 数据点:

  • GPT-5.5:GPQA 94%,Coding Arena Elo 21。
  • Gemini 3.1 Pro:GPQA 94%,Coding Arena Elo 20。
  • Claude Opus 4.8:同为 GPQA 94%,Coding Arena Elo 16。
  • DeepSeek-R1-0528:GPQA 81%,Coding Arena Elo 5。

解读边界: R²=0.516 仍意味着约一半变异未被这条线解释;切换 SWE-Bench、AIME、SimpleQA 标签可能得到不同关系。

证据依据
  • 直接证据:图卡写明 R² = 0.516 — Strong correlation • 57 models
  • 视觉推断:散点总体沿虚线向右上分布但存在离群点

图 45|GPQA 对 Arena 偏好的预测力

原始标题:Benchmark vs Arena

GPQA 对 Arena 偏好的预测力

怎么看: 横轴是 GPQA,纵轴是另一种缩放的 Arena Rating;颜色表示组织,虚线是线性趋势。

图表显示: 57 个模型上的 Pearson r 为 0.52,属于中等正相关:高 GPQA 通常伴随更高偏好,但同一高分区模型仍可相差多个 Arena 分。

关键模型 / 数据点:

  • Claude Opus 4.7:GPQA 94%,Arena Rating 25.6。
  • Gemini 3.1 Pro:GPQA 94%,Arena Rating 24.8。
  • MiMo-V2.5-Pro:GPQA 67%,Arena Rating 24.3,属于低基准分但高偏好的明显对照点。
  • Seed 2.0 Pro:GPQA 89%,Arena Rating 16.3,说明高基准分也不必然对应高偏好。

解读边界: 这张图使用 Pearson r,而上一张使用 R² 且纵轴口径不同;两者不能直接当成矛盾或等价数字。

证据依据
  • 直接证据:图卡写明 Pearson r = 0.52 across 57 models
  • 视觉推断:80%–95% GPQA 区间的 Arena Rating 仍分布在约 16–26

图 46|用户评分与基准的另一组样本

原始标题:User Ratings vs Benchmarks

用户评分与基准的另一组样本

怎么看: 横轴是 GPQA,纵轴是 Arena Rating;散点覆盖 46 个模型,虚线是回归趋势。

图表显示: 这组样本的 R² 只有 0.18,页面将其判定为弱相关,说明基准与用户偏好的关系对样本选择和评分口径很敏感。

关键模型 / 数据点:

  • GPT-5.5:GPQA 94%,Arena Rating 20。
  • Claude Opus 4.8:GPQA 94%,Arena Rating 15。
  • Gemini 3.1 Pro:GPQA 94%,Arena Rating 16。
  • Mistral Large 3(675B Instruct):GPQA 44%,Arena Rating 13。

解读边界: 与前两图的模型数和纵轴尺度不同,不能把 0.18 与 0.516 直接合并;更合理的结论是关系并不稳定。

证据依据
  • 直接证据:图卡写明 46 models • R² = 0.18 — Weak correlation
  • 视觉推断:高 GPQA 区域的 Arena Rating 仍有明显纵向分散

图 47|价格能否买到更高人类偏好

原始标题:Cost vs Arena Rating

价格能否买到更高人类偏好

怎么看: 横轴是每百万 token 价格的对数尺度,纵轴是 Arena Rating;虚线表示总体价格—偏好趋势。

图表显示: 价格与人类偏好的 R² 只有 8%,关系很弱;从低于 1 美元到十几美元的模型都能落在约 20–25 分区间。

关键模型 / 数据点:

  • DeepSeek-V4-Flash-Max:每百万 token 0.15 美元,Arena Rating 22.5。
  • MiMo-V2.5-Pro:0.65 美元,Arena Rating 24.3。
  • Qwen3.7 Max:2.5 美元,Arena Rating 24.9。
  • Claude Fable 5:30 美元,Arena Rating 24.1。

解读边界: 价格可能购买更长上下文、更高限额或服务质量,这些维度不一定体现在单一 Arena 评分里。

证据依据
  • 直接证据:图卡写明 R² = 8%. Weak relationship between cost and human preference
  • 视觉推断:高偏好点横跨低价与高价区间

图 48|人类偏好榜单快照

原始标题:Human Preference Map

人类偏好榜单快照

怎么看: 当前选中 Top Models 标签;横条是盲测偏好的保守评分 μ−3σ,越长越高。

图表显示: GPT-5.5 以 24.4 位列第一,Claude Fable 5 为 24.0;随后是 Gemini 3.1 Pro 22.5、Qwen3.7 Max 22.1 和 Claude Opus 4.6 的 21.8。

关键模型 / 数据点:

  • GPT-5.5:保守偏好评分 24.4,位列第一。
  • Claude Fable 5:24.0,位列第二。
  • Gemini 3.1 Pro:22.5;Qwen3.7 Max:22.1。
  • Claude Opus 4.6:21.8。

解读边界: 这是保守评分而非简单平均值,且只展示 Top Models 标签;按国家、年龄分组可能产生不同排序,榜单也会持续变化。

证据依据
  • 直接证据:SVG 文本列出 GPT-5.5 24.4、Claude Fable 5 24.0、Gemini 3.1 Pro 22.5
  • 直接证据:图下注明 μ − 3σ conservative rating shown
本文由作者按照 CC BY 4.0 进行授权