2026 年 7 月 AI/LLM 趋势图表解读
基于 AI Trends (July 2026) — AI Trend Analysis, LLM Statistics & Industry Insights 最新数据快照,逐图解读 48 张 AI/LLM 趋势图表及其比较边界。
- 整体趋势总结
- 方法与局限
- 数据范围与读图方法
- 基准能力:上限继续提高,头部开始拥挤
- 实验室与国家:发布重心集中,中美差距缩小
- 开放模型:发布占比过半,能力差距继续收窄
- 模型形态:多模态成为常态,MoE 进入高分区
- 价格与价值:能力更便宜,但高价仍购买边际上限
- 效率与规模:小模型跨过高门槛,规模收益递减
- 速度与上下文:窗口继续扩张,吞吐仍有能力税
- 人类偏好:基准有参考价值,价格解释力很弱
数据来源:AI Trends (July 2026) — AI Trend Analysis, LLM Statistics & Industry Insights;抓取日期:2026-07-11;动态图表数量:48。
AI 模型的能力、价格、速度和使用偏好都在持续变化。单看某一张排行榜,很容易把评测分数、真实体验和成本效率混为一谈。这份报告先给出跨图整体判断及其依据,再说明方法和口径,随后按主题逐图展开。
整体趋势总结
1. 前沿能力继续上升,但头部模型已经非常拥挤
判断依据: GPQA 当前第 1 与第 10 名只差 3.0 分,多条较早基准也进入 85% 以上的饱和区。能力上限仍在刷新,但领先优势正从“代际跨越”变成个位数百分点竞争。
2. 中美是模型发布的绝对中心,中国前沿能力正在逼近
判断依据: 来源站点累计收录美国 164 个、中国 118 个模型,远高于其他国家;同时中国前沿 GPQA 轨迹已接近 90%,与美国只剩数个百分点的视觉差距。
3. 开放生态已经从数量补充走向能力竞争
判断依据: 最近季度开放发布占比约 53%,开放权重 GPQA 前沿也逼近闭源模型;但比较的是各自最好模型,不代表开放模型的平均质量已经完全追平。
4. 同等能力正在快速变便宜,高价主要购买最后几个百分点
判断依据: 达到 75% GPQA 的最低价格从每百万 token 5 美元降到 0.09 美元,降幅 98%;单位价格能力中位数较 2024 年第二季度提高约 5 倍,而帕累托图显示 90% 之后的边际提升仍明显更贵。
5. 参数量和训练数据都不能单独解释模型能力
判断依据: 达到 70% GPQA 的最小参数量从 671B 降到 4B;训练 token 与 GPQA 的回归 R² 只有 0.02。算法、数据质量、训练方法和推理时计算显然共同决定结果。
6. 上下文窗口继续扩张,但速度仍要支付能力税
判断依据: 上下文纪录已达到 200 万 token;能力—吞吐前沿却显示,最高 GPQA 和 SWE-Bench 分数集中在中低吞吐区,数百至上千 token/s 的模型往往牺牲部分能力。
7. 基准能够提供方向,但不能替代真实用户偏好
判断依据: 页面给出 GPQA 与 Arena 的 r=0.52、另一口径 R²=0.516,但另一组样本只有 R²=0.18。样本和评分口径一变,解释力就会明显变化。
8. 更贵的模型不必然更受用户欢迎
判断依据: 价格与人类偏好的 R² 只有 8%;低于 1 美元和十几美元的模型都能进入相近的高偏好区间。价格还购买上下文、限额和服务质量,但这些价值未必反映在盲测偏好中。
方法与局限
- 时间快照:模型、价格、评测和用户投票会持续变化,所有判断只代表本次抓取日期。
- 口径差异:不同图表可能采用不同样本、基准、硬件、区域或定价单位,不能把数值直接拼成因果关系。
- 相关不等于因果:散点图或时间趋势只能说明变量共同变化,不能单独证明某个因素导致另一个结果。
- 来源边界:图表版权与原始数据解释权归来源网站;引用时应保留来源链接和抓取日期。
数据范围与读图方法
本次分析覆盖来源页面在抓取时稳定呈现的 48 张图表。只有连续两次扫描得到相同的有序图表集合,才会进入解读阶段。明确数字来自图卡文字、坐标、图例或可见标签;仅凭图形走势得到的判断会明确标记为视觉推断。
不同评测、价格口径、参数规模和吞吐量的采集条件并不完全一致,因此跨图比较适合发现候选趋势,不应被理解为严格受控实验。
读图术语
- Benchmark(基准测试):Benchmark 是用统一任务、数据集和评分规则比较模型能力的测试体系;它只能覆盖被设计出来的能力维度。
- GPQA(Graduate-Level Google-Proof Q&A Benchmark):面向研究生水平科学问题的问答基准,常用于观察模型的高难度知识与推理能力。
- SWE-bench Verified(Software Engineering Benchmark Verified):SWE-bench 中经软件工程师确认可解决的 500 个真实 GitHub 问题子集,用于评估模型或 Agent 生成有效代码补丁的能力。
- Arena Rating / Elo(Arena Rating / Elo Rating):来自匿名模型对战和用户偏好的相对评分;Elo 名称源自其提出者 Arpad Elo,不是英文缩写。
- 帕累托前沿(Pareto frontier):前沿上的点无法在不牺牲一个维度的情况下继续改善另一个维度。
- MoE(Mixture of Experts):混合专家架构,每次只激活部分专家参数;总参数量不等于单次推理的实际激活计算量。
- Open-weight model(开放权重模型):公开模型权重、允许本地部署或再开发的模型;它不必然等同于完整意义上的开源软件。
- Throughput(吞吐量):通常以每秒生成的 token 数衡量,会受到硬件、服务商和测试配置影响。
- R² / Pearson r(Coefficient of Determination / Pearson Correlation Coefficient):R² 表示回归模型解释的方差比例,Pearson r 表示线性相关方向和强度;相关不等于因果。
基准能力:上限继续提高,头部开始拥挤
本组结论: 多项旧基准已进入 85% 以上饱和区,GPQA 第 1 与第 10 名只差 3.0 分;前沿仍在进步,但竞争已经从代际跨越转为拥挤的高分追逐。
图 01|基准测试饱和度
原始标题:Benchmark Saturation
怎么看: 横轴是时间,纵轴是各基准的历史最佳得分;阶梯每次上升代表新模型刷新纪录,红色带以上是 85% 饱和参考区。
图表显示: 多条较早建立的基准已经进入或接近 85% 以上区域,但 BrowseComp、OSWorld 等更难任务仍明显低于饱和线,评测正在从旧基准向更难基准迁移。
关键模型 / 数据点:
- 85%:图中定义的基准饱和参考线。
- 2024 年 11 月:GPQA 84.0%、MMMLU 81.4%、MMMU 72.2%、SWE-Bench 49.0%。
解读边界: 不同基准的分数不能直接横向比较难度;阶梯线只展示历史最好成绩,也不代表所有模型的整体水平。
证据依据
- 直接证据:图中明确标出 Saturation (85%) 参考线
- 视觉推断:多条阶梯线已进入 85% 以上区域,同时仍有曲线停留在较低区间
图 02|头部模型正在收敛
原始标题:The Convergence
怎么看: 两条阶梯线分别表示 GPQA 第 1 名和第 10 名随时间的得分,线间距离就是头部十强差距。
图表显示: 当前第 1 名 Gemini 3.1 Pro 与第 10 名 Claude Opus 4.6 只差 3.0 分,说明前沿不再由单一模型拉开巨大距离,而是形成拥挤的高分集群。
关键模型 / 数据点:
- ChatGPT-4o Latest(2024 年 5 月):GPQA 第 1 名为 84.0%,与第 10 名相差 48.3 分。
- GPT-5 Medium(2025 年 8 月):第 1 名 88.1%,头尾差距缩至 4.8 分。
- Gemini 3.1 Pro(2026 年 2 月):第 1 名 94.3%,与第 10 名相差 6.2 分。
解读边界: 排名差距只针对 GPQA,不能推导到编程、多模态、速度或真实用户偏好。
证据依据
- 直接证据:图卡写明 Current gap: 3.0 points
- 直接证据:图卡标出 #1 Gemini 3.1 Pro 与 #10 Claude Opus 4.6
图 03|主要实验室过去一年的进步
原始标题:Lab Progress
怎么看: 左右两栏分别是 GPQA 与 SWE-Bench;灰色表示 12 个月前起点,彩色段表示提升,按当前分数排序。
图表显示: GPQA 头部已经高度收敛,Anthropic 为 95%,Google 与 OpenAI 均为 94%;SWE-Bench 上 Anthropic 也是 95%,而第二梯队集中在约 78%–81%。
关键模型 / 数据点:
- Anthropic:GPQA 从 80.9% 升至 94.6%,一年增加 13.7 分;SWE-Bench 从 74.5% 升至 95.0%,增加 20.5 分。
- OpenAI:GPQA 从 80.1% 升至 93.6%,增加 13.5 分。
- Qwen 团队:GPQA 从 77.5% 升至 92.4%,增加 14.9 分。
- NVIDIA:GPQA 从 64.0% 升至 87.0%,以 23.0 分成为图中一年增幅较大的组织之一。
解读边界: 每个组织只展示其最好模型,不能据此比较模型数量、平均质量或研发效率。
证据依据
- 直接证据:GPQA 栏标出 Anthropic 95%、Google 94%、OpenAI 94%
- 直接证据:SWE-Bench 栏标出 Anthropic 95%,DeepSeek、Google、MiniMax 均为 81%
图 04|组织级 GPQA 纪录演进
原始标题:Organization Progress
怎么看: 每条阶梯线代表一个组织的最佳 GPQA 成绩;横轴是时间,纵轴是分数,图中仅展示模型数量最多的十个组织。
图表显示: 2024 至 2026 年各组织的最好成绩普遍上升,2025 年后多条曲线进入 80%–90% 区间,前沿能力扩散到更多实验室。
关键模型 / 数据点:
- 2024 年 5 月组织纪录:OpenAI 84%、Zhipu AI 79%、Anthropic 67%。
- 同一时点的 Qwen 团队为 65%、Google 62%、DeepSeek 59%。
解读边界: 图例密集且没有标出每个终点数值;这张图适合看趋势,不适合精确读取组织间的个位数差距。
证据依据
- 直接证据:图卡说明 Each line represents SOTA progression
- 视觉推断:2025 年后多条组织曲线进入 80% 以上区间
实验室与国家:发布重心集中,中美差距缩小
本组结论: 模型发布高度集中在美国和中国:累计数量分别为 164 与 118;美国仍领先,但中国前沿能力和发布份额都在快速逼近。
图 05|中美前沿模型差距
原始标题:US vs China Gap
怎么看: 两条阶梯线分别表示美国与中国模型的 GPQA 历史最好成绩;线间垂直距离反映前沿差距。
图表显示: 美国仍保持领先,但中国轨迹从 2024 年约 40% 附近快速上升到接近 90%,到 2026 年双方只剩数个百分点的视觉差距。
关键模型 / 数据点:
- 2023 年 3 月:中国前沿 GPQA 42.4%,美国 30.8%。
- 2024 年 7 月:美国升至 84.0%,中国仍为 42.4%。
- 2024 年 11 月:美国 84.0%,中国升至 49.5%。
解读边界: 国家归属按来源站点口径划分;图中没有给出当前精确差值,数个百分点属于视觉估计。
证据依据
- 直接证据:图卡定义为 GPQA performance gap between US and Chinese frontier models
- 视觉推断:2026 年美国曲线约在 94%,中国曲线接近 90%
图 06|各国累计模型发布量
原始标题:Cumulative AI Model Releases
怎么看: 横向条形长度表示来源站点自 2023 年以来收录的累计模型发布数量。
图表显示: 美国以 164 个居首,中国 118 个居次,法国 32 个;其余国家均不超过 3 个,发布活动高度集中在中美。
关键模型 / 数据点:
- 美国:累计收录 164 个模型。
- 中国:累计收录 118 个模型,约为美国的 72%。
- 法国:32 个;加拿大 3 个;以色列和印度各 2 个。
解读边界: 这是站点收录的模型发布数,不等同于各国全部模型、算力投入或产业规模。
证据依据
- 直接证据:图中标出美国 164、中国 118、法国 32
- 直接证据:加拿大 3,以色列和印度各 2,韩国 1
图 07|月度模型发布热力图
原始标题:The Release Heatmap
怎么看: 行表示年份,列表示月份;格子数字是当月发布量,颜色越深表示发布越密集。
图表显示: 2025 年是最密集的一年,12 月达到单月 30 个;2026 年前六个月分别为 6、16、20、18、8、13 个,发布节奏仍然活跃但波动明显。
关键模型 / 数据点:
- 2025 年 9 月发布 22 个模型,12 月达到图中峰值 30 个。
- 2026 年 2–4 月分别发布 16、20、18 个模型。
- 2026 年 5–6 月回落至 8 个和 13 个。
解读边界: 2023 与 2026 都是不完整年度,不能直接与完整的 2024、2025 年总量比较。
证据依据
- 直接证据:图卡写明 322 models released since 2023
- 直接证据:热力图显示 2025 年 12 月为 30,2026 年 1–6 月为 6、16、20、18、8、13
图 08|各国发布份额变化
原始标题:Model Releases by Country
怎么看: 堆叠面积显示各国模型发布量占同期总发布量的比例,所有国家份额在每个时点合计为 100%。
图表显示: 美国份额从接近全部逐步下降到约一半,中国份额升到约三分之一,法国及其他国家贡献剩余部分,发布来源正在多元化。
关键模型 / 数据点:
- 2023 年 4 月:美国占发布量 100%,其他国家均为 0%。
- 2024 年 11 月:美国 65%、中国 18%、法国 11%、以色列 4%、加拿大 2%。
解读边界: 末端比例没有数值标签,约一半和约三分之一是视觉估计;份额下降不代表绝对发布数下降。
证据依据
- 直接证据:图卡定义为 Share of total model releases by country of origin
- 视觉推断:2026 年末端美国面积约占一半,中国面积约占三分之一
图 09|主要实验室累计发布轨迹
原始标题:Cumulative Releases by Lab
怎么看: 阶梯线表示 Qwen、OpenAI、Google、Mistral、DeepSeek 的累计发布轨迹,纵轴按站点展示为百分比尺度。
图表显示: Qwen 与 OpenAI 位于最上方,Google 与 Mistral 构成第二梯队,DeepSeek 的累计轨迹较低;2025 年后各家发布节奏明显加快。
关键模型 / 数据点:
- 2024 年 11 月:Qwen 累计 10 个、OpenAI 9 个、Google 7 个。
- 同一时点:Mistral 6 个、DeepSeek 2 个。
解读边界: 标题写累计发布,但纵轴使用百分比且没有终点标签;不应把视觉高度当成精确模型数量。
证据依据
- 直接证据:图例列出 Qwen、OpenAI、Google、Mistral、DeepSeek
- 视觉推断:Qwen 与 OpenAI 的末端阶梯线高于其余三家
开放模型:发布占比过半,能力差距继续收窄
本组结论: 开放发布在最近季度约占 53%,开放权重 GPQA 前沿也逼近闭源模型;开放生态已经进入能力前沿,但平均质量和许可证差异仍需单独判断。
图 10|开放与闭源发布占比
原始标题:Open vs Proprietary Releases
怎么看: 每个季度的两类面积分别表示开放和专有模型发布占比,50% 虚线是均分参考。
图表显示: 最近季度开放发布约占 53%,专有发布约占 48%(四舍五入导致合计略超 100%),开放模型在数量上已略占多数。
关键模型 / 数据点:
- 2025 年 1 月:37 次发布中,开放模型 28 个(76%),专有模型 9 个(24%)。
- 2025 年 10 月:46 次发布中,开放 22 个(48%),专有 24 个(52%)。
- 2026 年 4 月:40 次发布中,开放 21 个(53%),专有 19 个(48%,占比经四舍五入)。
解读边界: 发布数量不代表能力、使用量或商业收入;开放分类也依赖站点对许可证的判定。
证据依据
- 直接证据:图末端标出 Open Source 53%
- 直接证据:图末端标出 Proprietary 48%
图 11|开放权重与闭源能力差距
原始标题:The Closing Gap
怎么看: 两条阶梯线分别跟踪闭源和开放权重模型的 GPQA 历史最好成绩,垂直距离代表能力差距。
图表显示: 闭源模型仍领先,但开放权重前沿从 2025 年初约 50% 快速逼近到 90% 左右,当前差距已缩小到数个百分点。
关键模型 / 数据点:
- 2023 年 3 月:开放权重前沿 GPQA 51%,闭源前沿 31%。
- 2024 年 11 月:闭源前沿升至 84%,开放权重前沿为 66%。
解读边界: 这里只比较各自最好模型;开放生态的平均质量、可部署性和许可证限制不在图中。
证据依据
- 直接证据:图卡定义为 GPQA performance gap between proprietary and open-weight models
- 视觉推断:2026 年末端闭源约 94%,开放权重约 91%
图 12|中美开放权重竞赛
原始标题:Open Weights Race: US vs China
怎么看: 四条阶梯线分别表示美国开放、美国闭源、中国开放、中国闭源模型的 GPQA 前沿。
图表显示: 美国闭源轨迹仍最高;中国闭源与开放权重轨迹已进入接近 90% 的区域,而美国开放权重轨迹相对更低。
关键模型 / 数据点:
- 2024 年 7 月:中国闭源 74.0%、美国开放权重 50.7%、中国开放权重 42.4%、美国闭源 30.8%。
- 2024 年 8 月:美国闭源升至 84.6%,中国闭源 74.0%,美国开放权重 66.1%,中国开放权重 65.2%。
解读边界: 图中只有美国闭源终点带文字标签,其余终点需视觉判断;不能据此概括两国全部模型生态。
证据依据
- 直接证据:图例包含 US Open、US Closed、China Open、China Closed
- 视觉推断:美国闭源末端最高,中国闭源和开放末端紧随其后
模型形态:多模态成为常态,MoE 进入高分区
本组结论: 最新季度 69% 的新模型具备多模态能力;高分开放模型中 MoE 点明显更多,但样本并不能证明 MoE 本身直接造成高分。
图 13|新模型的多模态转向
原始标题:The Multimodal Shift
怎么看: 折线表示每季度新发布模型中多模态与纯文本模型的占比,二者合计为 100%。
图表显示: 最新季度多模态模型占 69%,纯文本模型占 31%;经历早期剧烈波动后,多模态已经重新成为新发布的主流。
关键模型 / 数据点:
- 2024 年 7 月:32 个新模型中,多模态 9 个(28%),纯文本 23 个(72%)。
- 2025 年 10 月:46 个新模型中,多模态 36 个(78%)。
- 2026 年 4 月:39 个新模型中,多模态 27 个(69%),纯文本 12 个(31%)。
解读边界: 季度样本量不同会放大占比波动;具备视觉输入也不代表所有多模态能力达到同一水平。
证据依据
- 直接证据:图末端标出 Multimodal 69%
- 直接证据:图末端标出 Text-only 31%
图 14|开放模型中的 MoE 采用
原始标题:MoE Adoption Over Time
怎么看: 每个点是一款开放权重模型;横轴是发布时间,纵轴是 GPQA,蓝色为 MoE,灰色为非 MoE。
图表显示: 近几个月高于 80% 的开放模型中蓝色 MoE 点占多数,MoE 已成为高分开放模型的重要架构路线。
关键模型 / 数据点:
- Kimi K2.6(MoE,2026-04-20):GPQA 90.5%。
- DeepSeek-V4-Pro-Max(MoE,2026-04-23):GPQA 90.1%。
- Qwen3.5-4B(2026-03-02):GPQA 76.2%;同系列 9B 模型达到 81.7%。
- GLM-5.2(2026-06-16):GPQA 91.2%。
解读边界: 图中没有控制参数量、训练数据与团队差异,不能把高分直接归因于 MoE;非 MoE 样本也明显更少。
证据依据
- 直接证据:图例将蓝色标为 MoE Open Models、灰色标为 Non-MoE Open Models
- 视觉推断:80% 以上区域的大多数点为蓝色
价格与价值:能力更便宜,但高价仍购买边际上限
本组结论: 75% GPQA 的最低价格已下降 98%,低价模型快速进入高分区;然而从约 90% 继续追求最后几个百分点,成本仍会显著上升。
图 15|中美模型价格分布
原始标题:Price by Country
怎么看: 纵轴是每百万 token 价格的对数尺度,每个点代表模型,横线表示各国价格中位数。
图表显示: 中国模型的最低中位价格为每百万 token 0.65 美元,明显低于美国组;美国价格分布更宽,高价点也更多。
关键模型 / 数据点:
- DeepSeek-V4-Flash-Max:中国模型,每百万 token 0.12 美元,GPQA 88.1%。
- Qwen3.7-Plus:中国模型,每百万 token 0.48 美元,GPQA 90.3%。
- Gemini 3.1 Pro:每百万 token 4.6 美元,GPQA 94.3%。
- Claude Opus 4.8:每百万 token 8.3 美元,GPQA 93.6%。
解读边界: 站点使用的价格可能是混合输入/输出价;不同服务商、区域、缓存和批处理折扣不可直接等同。
证据依据
- 直接证据:图卡写明 Lowest median price: China at $0.65/M tokens
- 视觉推断:美国组中位线高于中国组且纵向分布更宽
图 16|单位能力价格持续下降
原始标题:The Price of Intelligence
怎么看: 纵轴是每个 GPQA 百分点的成本,对数尺度;三条阶梯线分别跟踪达到 50%、75%、85% 门槛的最便宜模型。
图表显示: 75%+ GPQA 档位的单位能力成本从 0.06 美元降到 0.001 美元,页面给出的降幅为 98%;高能力门槛也在持续下探。
关键模型 / 数据点:
- Grok-3:每百万 token 5.0 美元,GPQA 84.6%,每个 GPQA 点成本约 0.06 美元。
- Gemini 2.5 Flash:0.67 美元、GPQA 82.8%,每点成本约 0.008 美元。
- Nemotron 3 Nano(30B A3B):0.09 美元、GPQA 75.0%,每点成本约 0.001 美元。
- DeepSeek-V4-Flash-Max:0.12 美元、GPQA 88.1%,每点成本约 0.001 美元。
解读边界: “每个 GPQA 点”是派生指标,并不等于完成实际业务任务的总成本;不同时间价格口径可能变化。
证据依据
- 直接证据:图卡写明 75%+ tier: 98% cheaper
- 直接证据:图卡给出 $0.06 → $0.001 per GPQA point
图 17|达到 75% GPQA 的最低价格
原始标题:Cheapest 75%+ GPQA Model
怎么看: 纵轴是每百万 token 价格的对数尺度;绿色阶梯连接每个时期刷新最低价的合格模型,灰点是其他达到门槛的模型。
图表显示: 达到 75% GPQA 的最低价格从 Grok-3 约 5 美元降至 Nemotron 3 Nano 约 0.09 美元,每百万 token 成本下降 98%。
关键模型 / 数据点:
- Grok-3:每百万 token 5.0 美元,GPQA 84.6%。
- Gemini 2.5 Flash:0.67 美元,GPQA 82.8%。
- GPT OSS 120B:0.15 美元,GPQA 80.1%。
- Nemotron 3 Nano(30B A3B):0.09 美元,GPQA 75.0%。
解读边界: 最低价前沿依赖模型可用地区、服务商和计费口径;低价并不代表延迟、上下文或工具能力相同。
证据依据
- 直接证据:图卡写明 98% cheaper: $5.0 → $0.09 per 1M tokens
- 直接证据:前沿标注 Grok-3、Gemini 2.5 Flash、GPT OSS 120B、Nemotron 3 Nano
图 18|能力提升与平均价格并不同步
原始标题:Capability vs Price
怎么看: 绿色折线是 SWE-Bench SOTA,右轴为百分比;灰色柱是各季度平均模型价格,左轴为每百万 token 美元。
图表显示: SWE-Bench 最佳成绩从约三成持续升到九成以上,但平均价格先降后升、波动明显,能力上限提升并没有对应一条单调涨价曲线。
关键模型 / 数据点:
- 2024 年第 3 季度 GPT-4o:SWE-Bench SOTA 33.2%,季度平均价格 6.3 美元/百万 token。
- 2025 年第 3 季度 Grok Code Fast 1:SOTA 70.8%,平均价格 0.85 美元。
- 2026 年第 2 季度 Claude Fable 5:SOTA 95.0%,平均价格 6.5 美元。
解读边界: 平均价格容易受季度模型组合和少数高价模型影响,不能理解成同一款模型的价格变化。
证据依据
- 直接证据:图卡定义为 SWE-Bench SOTA (line) vs average model price (bars)
- 视觉推断:绿色线持续上升,而灰色柱先从约 6 美元降到不足 1 美元后再次升高
图 19|GPQA 能力与价格分布
原始标题:Performance vs Price
怎么看: 横轴是每百万 token 价格的对数尺度,纵轴是 GPQA;点的颜色表示模型组织,虚线表示总体趋势。
图表显示: 价格与 GPQA 只有弱到中等的正趋势:高分模型分布在从低于 1 美元到接近 10 美元的广阔区间,低价区也已经出现 80%–90% 的模型。
关键模型 / 数据点:
- DeepSeek-V4-Flash-Max:每百万 token 0.12 美元,GPQA 88%。
- Qwen3.7-Plus:0.48 美元,GPQA 90%。
- Gemini 3.1 Pro:4.6 美元,GPQA 94%。
- Claude Opus 4.8:8.3 美元,GPQA 94%。
解读边界: 图中没有给出回归系数,趋势强弱来自视觉判断;价格还可能与上下文、速度和服务质量绑定。
证据依据
- 直接证据:横轴标为 Price ($/M tokens),纵轴标为 GPQA Score (%)
- 视觉推断:80% 以上点横跨约 $0.1–$10 的价格范围
图 20|不同规模档位的成本效率
原始标题:Cost Efficiency by Tier
怎么看: 横轴按参数规模分为 Tiny、Small、Large、Frontier,纵轴是每个 GPQA 点的成本,对数尺度;颜色区分开放与专有模型。
图表显示: 最佳性价比来自 Nemotron 3 Nano(30B A3B),每个质量点约 0.12 美元;更大规模档位内部的成本离散也很大。
关键模型 / 数据点:
- Nemotron 3 Nano(30B A3B):GPQA 75.0%、价格 0.09 美元/百万 token,每点成本 0.12 美元。
- DeepSeek-V4-Flash-Max:GPQA 88.1%、价格 0.12 美元,每点成本 0.13 美元。
- Gemma 4 31B:GPQA 84.3%、价格 0.17 美元,每点成本 0.20 美元。
- Kimi K2.6:GPQA 90.5%、价格 1.2 美元,每点成本 1.3 美元。
解读边界: MoE 的 A3B 表示激活参数而非总参数;把模型放入规模档位时必须确认站点使用的是哪种参数口径。
证据依据
- 直接证据:图卡写明 Best value: Nemotron 3 Nano (30B A3B) at $0.12/quality point
- 视觉推断:各规模档位内部点位跨越多个价格数量级
图 21|单位价格价值的季度演化
原始标题:Value Evolution
怎么看: 纵轴是每美元可获得的 GPQA 百分点,对数尺度;每个点是模型,横线表示季度中位值。
图表显示: 页面给出的结论是单位价格能力中位数自 2024 年第二季度以来提高约 5 倍,但同一季度内模型间差异仍可跨越一个以上数量级。
关键模型 / 数据点:
- DeepSeek-V4-Flash-Max:价值指标 755.1 GPQA%/$/M,GPQA 88.1%,价格 0.12 美元。
- Gemma 4 31B:价值指标 491.1,GPQA 84.3%,价格 0.17 美元。
- Gemini 3.1 Pro:价值指标 20.6,GPQA 94.3%,价格 4.6 美元。
- Claude Opus 4.8:价值指标 11.2,GPQA 93.6%,价格 8.3 美元。
解读边界: 季度样本构成不同,且该指标会同时受到价格和分数变化影响,不能单独归因于推理效率提升。
证据依据
- 直接证据:图卡写明 Median value per dollar improved 5x since Q2 2024
- 视觉推断:同季度散点在纵轴上高度分散
图 22|GPQA 与价格的帕累托前沿
原始标题:GPQA Score (%) vs Price ($/1M tokens)
怎么看: 横轴是每百万 token 价格,纵轴是 GPQA;蓝线连接在当前样本中无法同时被更便宜、更高分模型支配的点。
图表显示: 前沿在低价区迅速从约 75% 抬升到 90% 左右,之后再提高几个百分点需要把价格推到约 9 美元及以上,边际成本明显增加。
关键模型 / 数据点:
- DeepSeek-V4-Flash-Max:每百万 token 0.15 美元,GPQA 88%。
- Qwen3.7-Plus:0.80 美元,GPQA 90%。
- Qwen3.7 Max:3 美元,GPQA 92%。
- Gemini 3.1 Pro:9 美元,GPQA 94%。
解读边界: 前沿只在当前样本和价格口径内成立;点位没有模型标签,无法从图中可靠点名每个前沿模型。
证据依据
- 直接证据:图卡标注 Pareto frontier analysis
- 视觉推断:蓝线在低于约 $3 时已接近 90%,后续小幅提升对应更高价格
图 23|SWE-Bench 与价格的帕累托前沿
原始标题:SWE-Bench Verified (%) vs Price ($/1M tokens)
怎么看: 横轴是每百万 token 价格,纵轴是 SWE-Bench Verified;蓝线连接当前样本的成本—编程能力前沿。
图表显示: 低价模型已能达到约 80%,但把前沿继续推到接近 90% 需要约 15–30 美元,编程前沿的高分尾部仍然昂贵。
关键模型 / 数据点:
- DeepSeek-V4-Flash-Max:每百万 token 0.15 美元,SWE-Bench Verified 79%。
- MiniMax M3:0.75 美元,SWE-Bench Verified 81%。
- Claude Opus 4.8:15 美元,SWE-Bench Verified 89%。
- Claude Fable 5:30 美元,SWE-Bench Verified 95%。
解读边界: 图中部分价格接近零或略为负轴留白,这是坐标绘制方式,不代表实际负价格。
证据依据
- 直接证据:图卡标注 Pareto frontier analysis
- 视觉推断:蓝线从低价区约 80% 延伸到约 $30、93% 的端点
图 24|Arena 偏好与价格的帕累托前沿
原始标题:Arena Rating vs Price ($/1M tokens)
怎么看: 横轴是每百万 token 价格,纵轴是 Arena Rating;蓝线表示当前样本中价格与偏好评分的非支配前沿。
图表显示: 评分从数百提升到约 2000 的主要跃迁发生在 0–10 美元区间,之后把价格提高到 15–30 美元只带来较小的前沿增益。
关键模型 / 数据点:
- Gemma 4 31B:每百万 token 0.26 美元,Arena Rating 1162。
- Kimi K2.6:2 美元,Arena Rating 1491。
- Gemini 3.1 Pro:9 美元,Arena Rating 2047。
- Qwen3.7 Max:3 美元,Arena Rating 1718。
解读边界: Arena 分数可能受样本时间和模型曝光影响;前沿不包含速度、稳定性与上下文等服务维度。
证据依据
- 直接证据:图卡标注 Pareto frontier analysis
- 视觉推断:蓝线在约 $9 已超过 2000,之后到 $30 的提升较小
效率与规模:小模型跨过高门槛,规模收益递减
本组结论: 达到 70% GPQA 的最小模型已从 671B 缩到 4B;参数和训练 token 都只能解释部分能力,规模扩大后的边际收益越来越小。
图 25|MoE 与 Dense 的价格—能力分布
原始标题:Performance vs Price, Colored by MoE
怎么看: 横轴是混合 API 价格的对数尺度,纵轴是 GPQA;蓝点为 MoE,灰点为 Dense。
图表显示: 多个 MoE 模型在低于 1 美元区间达到 80% 以上,Dense 也能进入高分区但价格分布更宽;MoE 在当前样本中占据多处高性价比位置。
关键模型 / 数据点:
- Gemma 4 26B-A4B(MoE):每百万 token 0.18 美元,GPQA 82%。
- DeepSeek-V4-Pro-Max(MoE):1.9 美元,GPQA 90%。
- GLM-5.2(MoE):1.3 美元,GPQA 91%。
- Kimi K2.6(MoE):1.2 美元,GPQA 91%。
解读边界: 架构不是唯一变量,样本量也不均衡;不能把价格优势直接归因于 MoE。
证据依据
- 直接证据:图例区分 MoE 与 Dense
- 视觉推断:低于 $1 且高于 80% 的区域存在多个蓝色 MoE 点
图 26|跨过能力门槛的最低成本
原始标题:Minimum Cost to Reach Capability
怎么看: 横轴是 GPQA 门槛,纵轴是满足门槛的最低每百万 token 价格;蓝线代表 MoE,灰线代表 Dense,越低越好。
图表显示: MoE 在 40%–70% 门槛下最低价约保持在 0.09 美元,80% 也仅约 0.12 美元;Dense 在 70% 后最低价跃升到约 0.65 美元。
关键模型 / 数据点:
- 40%–70% GPQA 门槛:Nemotron 3 Nano(30B A3B)均以 0.09 美元/百万 token 成为最低成本 MoE。
- 80% GPQA 门槛:DeepSeek-V4-Flash-Max 以 0.12 美元成为最低成本模型。
- Dense 40%–60% 门槛:Qwen3 VL 4B Thinking 的最低价格为 0.25 美元。
解读边界: 这是少数最便宜模型组成的前沿,不代表两类架构的平均价格;数值为图上近似读取。
证据依据
- 直接证据:图卡说明 Cheapest blended API price to clear each GPQA threshold
- 视觉推断:MoE 蓝线在各门槛均低于 Dense 灰线,Dense 在 70% 附近明显上跳
图 27|达到能力门槛所需的最小模型
原始标题:The Efficiency Curve
怎么看: 横轴是时间,纵轴是参数量的对数尺度;四条阶梯线跟踪达到 40%、50%、60%、70% GPQA 的最小模型。
图表显示: 达到 70% GPQA 的最小参数量从 671B 降到 4B,缩小 99%;当前 40% 和 50% 门槛可由约 2B 模型跨过,60% 和 70% 约为 4B。
关键模型 / 数据点:
- 2024 年 7 月 Llama 3.1 405B Instruct:405B 参数,GPQA 50.7%,当时跨过 50% 的最小模型。
- 2024 年 11 月 QwQ-32B-Preview:32.5B 参数,GPQA 65.2%。
- 2025 年 6 月 ERNIE 4.5:21B 参数,GPQA 74.0%。
- 2025 年 8 月 GPT OSS 20B:20.9B 参数,GPQA 71.5%。
解读边界: 参数量不是推理成本的完整代理,尤其对 MoE;量化、上下文和推理时计算也会改变实际资源需求。
证据依据
- 直接证据:图卡写明 70% GPQA: from 671.0B params to 4.0B — 99% smaller
- 直接证据:图末端标出 40%=2.0B、50%=2.0B、60%=4.0B、70%=4.0B
图 28|不同模型规模档位的 GPQA
原始标题:GPQA Score by Tier
怎么看: 横轴是参数规模档位,纵轴是 GPQA;散点是模型,横线表示每档中心位置。
图表显示: 规模越大总体分数越高,但档位内部重叠很强;页面给出的档位最高分是 GLM-5.2 的 91.2%,小型档也出现了 80% 以上模型。
关键模型 / 数据点:
- DeepSeek R1 Distill Qwen 1.5B:1.8B 参数,GPQA 33.8%。
- DeepSeek R1 Distill Llama 8B:8.0B 参数,GPQA 49.0%。
- DeepSeek R1 Distill Qwen 32B:32.8B 参数,GPQA 62.1%。
- DeepSeek-R1-0528:671B 参数,GPQA 81.0%。
解读边界: 分档会隐藏连续差异,且站点可能混用总参数与激活参数;不能把档位差异解释为纯粹的规模因果。
证据依据
- 直接证据:图卡写明 Highest GPQA by tiered-size view: GLM-5.2 at 91.2%
- 视觉推断:Small 与 Frontier 档位的分数范围存在明显重叠
图 29|训练数据规模纪录
原始标题:The Training Data Race
怎么看: 横轴是发布时间,纵轴是训练 token 的对数尺度;散点表示模型,虚线表示数据规模趋势。
图表显示: 页面估算训练数据规模约每 1.6 年翻倍,并收录了 66 个使用 1T 以上训练 token 的模型,数据规模仍在扩张。
关键模型 / 数据点:
- Llama 3.1 8B Instruct:15.0T 训练 token,2024 年 7 月发布。
- Qwen2.5 7B Instruct:18.0T token,2024 年 9 月发布。
- Gemma 2 27B:13.0T token,2024 年 6 月发布。
- Phi-3.5-mini-instruct:3.4T token,2024 年 8 月发布。
解读边界: 训练 token 多来自公开披露或估算,不同模型的数据质量、去重和重复轮次不可比。
证据依据
- 直接证据:图卡写明 Training data doubles every 1.6 years
- 直接证据:图卡写明 66 models with 1T+ tokens
图 30|训练数据与 GPQA 的关系
原始标题:The Data Appetite
怎么看: 横轴是训练 token 的对数尺度,纵轴是 GPQA;虚线是回归趋势,点的颜色区分开放和专有模型。
图表显示: 训练数据与 GPQA 的线性关系非常弱,R² 只有 0.02;即使回归给出数据每增加 10 倍约提升 4.4 分,数据量也几乎解释不了样本中的性能差异。
关键模型 / 数据点:
- DeepSeek R1 Distill Qwen 1.5B:14.8T 训练 token,GPQA 33.8%。
- DeepSeek R1 Distill Llama 70B:同为 14.8T token,GPQA 65.2%。
- DeepSeek-V3 0324:14.8T token,GPQA 68.4%。
- Qwen3-Next-80B-A3B-Instruct:15.0T token,GPQA 72.9%。
解读边界: 披露数据的模型不是随机样本,训练 token 也不包含数据质量和训练方法;不能据此断言更多数据没有价值。
证据依据
- 直接证据:图卡写明 R² = 0.02
- 直接证据:图卡写明 Each 10x more data ≈ +4.4 GPQA points
图 31|参数效率帕累托前沿
原始标题:Efficiency Frontier
怎么看: 横轴是参数量的对数尺度,纵轴是 GPQA;越靠左上越高效,蓝线连接参数—能力的帕累托前沿。
图表显示: 前沿在约 1B–10B 区间快速上升到 80% 左右,此后参数扩大几个数量级只换来较小的前沿提升,显示明显的规模边际收益递减。
关键模型 / 数据点:
- Qwen3.5-0.8B:0.8B 参数,GPQA 12%。
- Qwen3.5-2B:2B 参数,GPQA 52%。
- Qwen3.5-4B:4B 参数,GPQA 76%。
- Qwen3.5-9B:9B 参数,GPQA 82%。
解读边界: 参数量不是推理计算量,MoE 与 Dense 不能只看总参数横向比较;前沿也受训练数据和算法进步影响。
证据依据
- 直接证据:图卡写明 Upper-left = most efficient. Blue line marks the Pareto frontier
- 视觉推断:蓝线在约 10B 后长期停留在 80%–90% 区间
图 32|MoE 与 Dense 的推理价格前沿
原始标题:Reasoning vs Price
怎么看: 横轴是每百万 token 价格,纵轴是 GPQA;蓝线为 MoE 前沿,灰线为 Dense 前沿。
图表显示: MoE 前沿在低价端更早进入 75%–90% 区间,Dense 也能接近 90%,但需要更高的价格点,当前样本中 MoE 的成本前沿更有优势。
关键模型 / 数据点:
- DeepSeek-V4-Flash-Max(MoE):每百万 token 0.12 美元,GPQA 88.1%。
- Gemma 4 26B-A4B(MoE):0.18 美元,GPQA 82.3%。
- Kimi K2.6(MoE):1.2 美元,GPQA 90.5%。
- GLM-5.2(MoE):1.3 美元,GPQA 91.2%。
解读边界: 前沿由极少数模型决定,且没有显示置信区间;不能推广为所有 MoE 都比 Dense 更便宜。
证据依据
- 直接证据:图例标出 MoE Frontier 与 Dense Frontier
- 视觉推断:蓝色前沿在同等 GPQA 附近整体位于灰色前沿左侧
图 33|推理能力与吞吐前沿
原始标题:Reasoning vs Throughput
怎么看: 横轴是生成吞吐量,纵轴是 GPQA;蓝线和灰线分别表示 MoE 与 Dense 的非支配前沿。
图表显示: MoE 前沿点约在 100 token/s、80% GPQA,Dense 前沿延伸到约 500 token/s 但 GPQA 约 67%,体现高能力与高吞吐之间的取舍。
关键模型 / 数据点:
- LongCat-Flash-Lite(MoE):500 token/s,GPQA 66.8%。
- MiniMax M2.1(MoE):100 token/s,GPQA 81.0%。
- Mistral Large 3(675B Instruct):46 token/s,GPQA 43.9%。
解读边界: 图中的前沿点很少,且吞吐高度依赖硬件和服务商;数值为视觉近似,不能代表架构固有速度。
证据依据
- 直接证据:横轴标为 Throughput (tokens/sec),纵轴标为 GPQA (%)
- 视觉推断:MoE 前沿约为 100 tok/s、80%,Dense 前沿约为 500 tok/s、67%
图 34|推理能力与模型规模前沿
原始标题:Reasoning vs Size
怎么看: 横轴是参数量的对数尺度,纵轴是 GPQA;蓝线为 MoE 前沿,灰线为 Dense 前沿。
图表显示: 能力在小规模区随参数迅速上升,进入约 80% 后前沿趋平;MoE 与 Dense 都能接近 90%,没有简单的“参数越大越强”直线关系。
关键模型 / 数据点:
- Gemma 4 26B-A4B(MoE):25B 参数,GPQA 82.3%。
- DeepSeek-V4-Flash-Max(MoE):284B 参数,GPQA 88.1%。
- DeepSeek-V3.2(MoE):685B 参数,GPQA 82.4%。
- DeepSeek-V4-Pro-Max(MoE):1600B 参数,GPQA 90.1%。
解读边界: MoE 总参数与激活参数含义不同,横轴的参数口径会直接影响架构比较。
证据依据
- 直接证据:图卡定义为 Pareto frontier: MoE vs dense
- 视觉推断:两条前沿在 80% 以上逐渐变平并接近
图 35|GPQA 与参数量帕累托前沿
原始标题:GPQA Score (%) vs Parameters (Billions)
怎么看: 横轴是参数量的对数尺度,纵轴是 GPQA;蓝线连接参数更少且得分更高的非支配模型。
图表显示: 前沿在个位数十亿参数附近已跨过约 75%,约 10B 左右达到 80% 以上,之后扩大到数百 B 主要换取个位数百分点提升。
关键模型 / 数据点:
- Qwen3.5-0.8B:0.8B 参数,GPQA 12%。
- Qwen3.5-2B:2B 参数,GPQA 52%。
- Qwen3.5-4B:4B 参数,GPQA 76%。
- Qwen3.5-9B:9B 参数,GPQA 82%。
解读边界: 散点没有逐点模型标签,参数也可能混合总参数与激活参数;读图重点应是边际趋势。
证据依据
- 直接证据:图卡标注 Pareto frontier analysis
- 视觉推断:蓝线在约 10B 达到 80% 以上,之后到数百 B 的纵向提升较小
图 36|SWE-Bench 与参数量帕累托前沿
原始标题:SWE-Bench Verified (%) vs Parameters (Billions)
怎么看: 横轴是参数量的对数尺度,纵轴是 SWE-Bench Verified;蓝线表示当前样本中的参数效率前沿。
图表显示: 前沿在不足百 B 区间快速进入约 75%–80%,之后扩大参数只带来有限提升;编程能力也呈现明显的规模边际收益递减。
关键模型 / 数据点:
- Qwen3.5-27B:27B 参数,SWE-Bench Verified 72%。
- Qwen3.6-27B:28B 参数,SWE-Bench Verified 77%。
- Mistral Medium 3.5:128B 参数,SWE-Bench Verified 78%。
- MiniMax M2.5:230B 参数,SWE-Bench Verified 80%。
解读边界: 参数规模不能代表推理时计算,且 SWE-Bench 成绩还受工具、脚手架和采样策略影响。
证据依据
- 直接证据:图卡标注 Pareto frontier analysis
- 视觉推断:蓝线在百 B 以内已接近 80%,之后基本横向延伸
图 37|Arena 偏好与参数量
原始标题:Arena Rating vs Parameters (Billions)
怎么看: 横轴是参数量的对数尺度,纵轴是 Arena Rating;蓝线是参数—偏好评分的帕累托前沿。
图表显示: 偏好前沿随参数增大而上升,但相同参数区间的评分分散很大,大模型也存在低分点,参数规模只能解释部分用户偏好。
关键模型 / 数据点:
- Gemma 4 26B-A4B:25B 参数,Arena Rating 1165。
- Qwen3.6-27B:28B 参数,Arena Rating 1297。
- GLM-5.1:754B 参数,Arena Rating 1747。
- DeepSeek-R1-0528:671B 参数,Arena Rating 485,显示大参数量并不保证高偏好。
解读边界: Arena Rating 受模型版本、提示分布和上线时间影响;参数披露不完整也会造成样本选择偏差。
证据依据
- 直接证据:图卡标注 Pareto frontier analysis
- 视觉推断:同一参数数量级的点在纵轴上分布很宽
速度与上下文:窗口继续扩张,吞吐仍有能力税
本组结论: 上下文纪录已到 200 万 token,但最高推理、编程和偏好评分仍集中在中低吞吐区;更快通常需要牺牲部分能力。
图 38|上下文窗口竞赛
原始标题:The Context Race
怎么看: 横轴是时间,纵轴是上下文 token 数的对数尺度;橙色阶梯表示每次刷新最大窗口纪录的模型。
图表显示: 上下文纪录已从 GPT-3.5 Turbo 的万级、GPT-4 Turbo 的十万级,推进到 GPT-4.1 的百万级;当前 Grok 4 Fast 纪录为 200 万 token。
关键模型 / 数据点:
- GPT-4.1:2025 年 4 月发布,上下文窗口 100 万 token。
- GPT-5 mini:2025 年 8 月发布,上下文窗口 40 万 token。
- Grok 4 Fast:2025 年 8 月发布,上下文窗口 200 万 token。
- Qwen3 VL 8B Thinking:2025 年 9 月发布,上下文窗口约 26.2 万 token。
解读边界: 最大窗口不代表模型能在全部长度上稳定检索和推理,也不反映长上下文的价格与延迟。
证据依据
- 直接证据:图卡写明 Current record: Grok 4 Fast at 2.0M tokens
- 直接证据:阶梯标注 GPT-3.5 Turbo、GPT-4 Turbo、DeepSeek-V3 0324、GPT-4.1、Grok 4 Fast
图 39|速度税:更快不等于更聪明
原始标题:The Speed Tax
怎么看: 横轴是吞吐量的对数尺度,纵轴是 GPQA;蓝线是能力—速度帕累托前沿,点的颜色区分开放与专有模型。
图表显示: 页面标出的前沿代表 Gemini 3.1 Pro:58 token/s、94.3% GPQA。最高能力集中在中等吞吐区,数百 token/s 的最快模型往往得分更低。
关键模型 / 数据点:
- Gemini 3.1 Pro:58 token/s,GPQA 94.3%。
- GPT-5.4:150 token/s,GPQA 92.8%。
- Gemini 3 Flash:435 token/s,GPQA 90.4%。
- LongCat-Flash-Lite:500 token/s,GPQA 66.8%。
解读边界: 吞吐来自不同硬件和供应商测试,不能视为严格同机基准;高吞吐也可能来自更短输出或服务优化。
证据依据
- 直接证据:图卡写明 Pareto-optimal: Gemini 3.1 Pro — 94.3% GPQA at 58 tok/s
- 视觉推断:最右侧高吞吐点的 GPQA 多低于约 90%
图 40|GPQA 与生成吞吐前沿
原始标题:GPQA Score (%) vs Throughput (tokens/sec)
怎么看: 横轴是每秒 token 数,纵轴是 GPQA;蓝线连接在能力和吞吐上无法同时被支配的模型。
图表显示: 最高 GPQA 位于较低吞吐区,前沿向 1000 token/s 延伸时分数降到约 70%,说明当前样本中速度和高难推理存在明显权衡。
关键模型 / 数据点:
- Claude Opus 4.8:42 token/s,GPQA 94%。
- Gemini 3.1 Pro:90 token/s,GPQA 94%。
- GPT-5 mini:200 token/s,GPQA 82%。
- Mercury 2:1009 token/s,GPQA 74%。
解读边界: 前沿曲线没有模型名称,吞吐测试环境也未统一;约 70% 是视觉估计。
证据依据
- 直接证据:图卡标注 Pareto frontier analysis
- 视觉推断:蓝色前沿从低吞吐高分区向高吞吐较低分区下降
图 41|SWE-Bench 与生成吞吐前沿
原始标题:SWE-Bench Verified (%) vs Throughput (tokens/sec)
怎么看: 横轴是每秒 token 数,纵轴是 SWE-Bench Verified;蓝线表示编程能力—吞吐的非支配前沿。
图表显示: 约 80%–88% 的编程前沿集中在 100 token/s 以下,前沿延伸到约 500 token/s 时分数降到约 55%,高速与编程成功率之间同样存在取舍。
关键模型 / 数据点:
- Claude Opus 4.8:42 token/s,SWE-Bench Verified 89%。
- Gemini 3.1 Pro:90 token/s,SWE-Bench Verified 81%。
- Step-3.5-Flash:150 token/s,SWE-Bench Verified 74%。
- LongCat-Flash-Lite:500 token/s,SWE-Bench Verified 54%。
解读边界: SWE-Bench 可能包含工具调用和多轮执行,单纯生成 token 吞吐并不能代表完成任务的总时延。
证据依据
- 直接证据:图卡标注 Pareto frontier analysis
- 视觉推断:蓝线在约 500 token/s 的端点落在约 55%
图 42|Arena 偏好与生成吞吐前沿
原始标题:Arena Rating vs Throughput (tokens/sec)
怎么看: 横轴是每秒 token 数,纵轴是 Arena Rating;蓝线表示偏好评分—速度的非支配前沿。
图表显示: 最高偏好评分超过 2000 的点位于较低吞吐区;前沿向 1000 token/s 移动时评分下降到约 400,最快模型并非用户最偏好的模型。
关键模型 / 数据点:
- Claude Opus 4.6:42 token/s,Arena Rating 2041。
- Gemini 3.1 Pro:90 token/s,Arena Rating 2047。
- LongCat-Flash-Lite:500 token/s,Arena Rating 639。
- Mercury 2:1009 token/s,Arena Rating 405。
解读边界: Arena 偏好和吞吐可能来自不同时间、不同提供商;图中关系不代表速度导致偏好下降。
证据依据
- 直接证据:图卡标注 Pareto frontier analysis
- 视觉推断:蓝线从低吞吐约 2000 分下降到 1000 token/s 附近约 400 分
人类偏好:基准有参考价值,价格解释力很弱
本组结论: GPQA 与人类偏好存在正相关,但不同样本的 R² 从 0.18 到 0.516 不等;价格的解释力更低,R² 只有 8%。
图 43|主要基准之间的相关矩阵
原始标题:Benchmark Correlation
怎么看: 每个格子是两个评测分数的 Pearson 相关系数,越接近 1 表示线性同向程度越强。
图表显示: GPQA 与 AIME、SWE-Bench、MMMU 的相关系数分别为 0.84、0.82、0.84;最弱的是 AIME 与 Coding Arena,仅 0.27,说明不同基准覆盖的能力并不相同。
关键模型 / 数据点:
- GPQA 与 AIME:Pearson r = 0.84。
- GPQA 与 SWE-Bench:r = 0.82;GPQA 与 MMMU:r = 0.84。
- SWE-Bench 与 MMMU:r = 0.85,是图中较强的跨基准相关之一。
- AIME 与 Coding Arena:r = 0.27,是图中最弱关系。
解读边界: 相关系数受共同样本和分数范围影响;高相关不代表两个基准可以互相替代。
证据依据
- 直接证据:热力图给出 GPQA-AIME 0.84、GPQA-SWE-Bench 0.82、GPQA-MMMU 0.84
- 直接证据:AIME-Coding Arena 的相关系数为 0.27
图 44|人类偏好是否认同 GPQA
原始标题:Do Humans Agree With Benchmarks?
怎么看: 当前选中 GPQA 标签;横轴是 GPQA,纵轴是 Coding Arena Elo,虚线表示回归趋势。
图表显示: 57 个模型上的 R² 为 0.516,页面称为强相关;GPQA 较高的模型通常也有更高的编程 Arena Elo,但仍存在明显离群点。
关键模型 / 数据点:
- GPT-5.5:GPQA 94%,Coding Arena Elo 21。
- Gemini 3.1 Pro:GPQA 94%,Coding Arena Elo 20。
- Claude Opus 4.8:同为 GPQA 94%,Coding Arena Elo 16。
- DeepSeek-R1-0528:GPQA 81%,Coding Arena Elo 5。
解读边界: R²=0.516 仍意味着约一半变异未被这条线解释;切换 SWE-Bench、AIME、SimpleQA 标签可能得到不同关系。
证据依据
- 直接证据:图卡写明 R² = 0.516 — Strong correlation • 57 models
- 视觉推断:散点总体沿虚线向右上分布但存在离群点
图 45|GPQA 对 Arena 偏好的预测力
原始标题:Benchmark vs Arena
怎么看: 横轴是 GPQA,纵轴是另一种缩放的 Arena Rating;颜色表示组织,虚线是线性趋势。
图表显示: 57 个模型上的 Pearson r 为 0.52,属于中等正相关:高 GPQA 通常伴随更高偏好,但同一高分区模型仍可相差多个 Arena 分。
关键模型 / 数据点:
- Claude Opus 4.7:GPQA 94%,Arena Rating 25.6。
- Gemini 3.1 Pro:GPQA 94%,Arena Rating 24.8。
- MiMo-V2.5-Pro:GPQA 67%,Arena Rating 24.3,属于低基准分但高偏好的明显对照点。
- Seed 2.0 Pro:GPQA 89%,Arena Rating 16.3,说明高基准分也不必然对应高偏好。
解读边界: 这张图使用 Pearson r,而上一张使用 R² 且纵轴口径不同;两者不能直接当成矛盾或等价数字。
证据依据
- 直接证据:图卡写明 Pearson r = 0.52 across 57 models
- 视觉推断:80%–95% GPQA 区间的 Arena Rating 仍分布在约 16–26
图 46|用户评分与基准的另一组样本
原始标题:User Ratings vs Benchmarks
怎么看: 横轴是 GPQA,纵轴是 Arena Rating;散点覆盖 46 个模型,虚线是回归趋势。
图表显示: 这组样本的 R² 只有 0.18,页面将其判定为弱相关,说明基准与用户偏好的关系对样本选择和评分口径很敏感。
关键模型 / 数据点:
- GPT-5.5:GPQA 94%,Arena Rating 20。
- Claude Opus 4.8:GPQA 94%,Arena Rating 15。
- Gemini 3.1 Pro:GPQA 94%,Arena Rating 16。
- Mistral Large 3(675B Instruct):GPQA 44%,Arena Rating 13。
解读边界: 与前两图的模型数和纵轴尺度不同,不能把 0.18 与 0.516 直接合并;更合理的结论是关系并不稳定。
证据依据
- 直接证据:图卡写明 46 models • R² = 0.18 — Weak correlation
- 视觉推断:高 GPQA 区域的 Arena Rating 仍有明显纵向分散
图 47|价格能否买到更高人类偏好
原始标题:Cost vs Arena Rating
怎么看: 横轴是每百万 token 价格的对数尺度,纵轴是 Arena Rating;虚线表示总体价格—偏好趋势。
图表显示: 价格与人类偏好的 R² 只有 8%,关系很弱;从低于 1 美元到十几美元的模型都能落在约 20–25 分区间。
关键模型 / 数据点:
- DeepSeek-V4-Flash-Max:每百万 token 0.15 美元,Arena Rating 22.5。
- MiMo-V2.5-Pro:0.65 美元,Arena Rating 24.3。
- Qwen3.7 Max:2.5 美元,Arena Rating 24.9。
- Claude Fable 5:30 美元,Arena Rating 24.1。
解读边界: 价格可能购买更长上下文、更高限额或服务质量,这些维度不一定体现在单一 Arena 评分里。
证据依据
- 直接证据:图卡写明 R² = 8%. Weak relationship between cost and human preference
- 视觉推断:高偏好点横跨低价与高价区间
图 48|人类偏好榜单快照
原始标题:Human Preference Map
怎么看: 当前选中 Top Models 标签;横条是盲测偏好的保守评分 μ−3σ,越长越高。
图表显示: GPT-5.5 以 24.4 位列第一,Claude Fable 5 为 24.0;随后是 Gemini 3.1 Pro 22.5、Qwen3.7 Max 22.1 和 Claude Opus 4.6 的 21.8。
关键模型 / 数据点:
- GPT-5.5:保守偏好评分 24.4,位列第一。
- Claude Fable 5:24.0,位列第二。
- Gemini 3.1 Pro:22.5;Qwen3.7 Max:22.1。
- Claude Opus 4.6:21.8。
解读边界: 这是保守评分而非简单平均值,且只展示 Top Models 标签;按国家、年龄分组可能产生不同排序,榜单也会持续变化。
证据依据
- 直接证据:SVG 文本列出 GPT-5.5 24.4、Claude Fable 5 24.0、Gemini 3.1 Pro 22.5
- 直接证据:图下注明 μ − 3σ conservative rating shown















































