Official AI model benchmark results by model and benchmark
Professional work 22
Finance Agentpartial2 (release-page harness · version not disclosed)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	64.4%adaptive · max	—	—	—	—	—	55.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
FinanceAgentpartial3 (v1.1)	—	—	—	—	—	60%xhigh	—	—	61.5%xhigh	56%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Finance Agentpartial8 (v2)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	56.31%adaptive · max	53.9%adaptive · max	51.5%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	61.4%effort n/d	59%effort n/d	—	57.9%effort n/d	43%effort n/d	—	42.6%effort n/d	—	—	—	—	—	—	—
GDPvalpublic7 (ties allowed · wins or ties)	—	—	—	—	82.3%xhigh	84.9%xhigh	—	—	82%xhigh	83%xhigh	—	70.9%xhigh	—	74.1%xhigh	70.9%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GDPvalpublic2 (ties allowed · clear wins)	—	—	—	—	—	—	—	—	—	—	—	—	—	60%xhigh	49.8%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GDPvalpublic2 (no ties)	—	—	—	—	—	—	—	—	—	—	—	—	—	67.6%xhigh	61%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GDPval-AApublic8 (Artificial Analysis Elo)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1,932effort n/d	1,890adaptive · max	1,753adaptive · max	—	1,633adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1,656effort n/d	1,314adaptive · high	—	1,204effort n/d	—	1,195adaptive · high	—	—	—	—	—
Investment Banking Modeling Tasksinternal7 (Internal)	—	—	—	—	88.6%xhigh	88.5%xhigh	—	—	83.6%xhigh	87.3%xhigh	—	—	—	71.7%xhigh	68.4%xhigh	—	—	59.1%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OfficeQApartial2 (Full)	—	—	—	—	—	—	—	—	—	68.1%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.3%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OfficeQApartial3 (Pro)	—	—	—	—	—	54.1%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	57.9%effort n/d	—	80.6%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Agents' Last Exampublic6	59.3%best effort*	52.7%effort n/d	50.4%effort n/d	50.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	26.3%effort n/d	24.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—
GDPval-AA v2public12	—	1,747.8effort n/d	1,593effort n/d	1,591.8effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1,853adaptive · max	1,853shared · adaptive · max	1,861adaptive · max	1,618adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1,545effort n/d	1,482effort n/d	1,422effort n/d	1,349effort n/d	965effort n/d	—	—	—	—	—	—	—	—	—
Management Consulting Tasksinternal3 (Internal)	—	43.2%effort n/d	37.2%effort n/d	35.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Big Finance Benchinternal3	—	53%effort n/d	51%effort n/d	36%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Artificial Analysis Intelligence Index v4.1public3	—	58.9max	55effort n/d	51.2effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Artificial Analysis Intelligence Index v4.1.1public2	61.2best effort*	60.9best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AA-Briefcasepartial3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1,694adaptive · max	1,694shared · adaptive · max	1,720adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Legal Agent Benchmarkpublic4 (Full Public Set)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	8.9%adaptive · max	16.9%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	10%effort n/d	8.8%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—
Legal Agent Benchmarkpartial2 (Harvey's Held-Out Set)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	5.8%adaptive · max	—	13.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
APEX-Agentspublic2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	33.5%adaptive · high	—	—	—	18.4%adaptive · high	—	—	—	—	—
Artificial Analysis Intelligence Indexpublic2 (August 2026 snapshot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	56effort n/d	52effort n/d	—	—	—	—	—	—	—	—	—	—	—
Harvey LAB-AApartial2 (Artificial Analysis leaderboard)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	90.7%effort n/d	85.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—
Coding 36
Codeforcespartial5 (simulated contestant Elo)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	2,036high	1,673effort n/d	1,650effort n/d	1,258effort n/d	—	808effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
HumanEvalpublic21 (0-shot · pass@1)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	99.3%effort n/d	88.4%effort n/d	—	—	—	—	97.6%effort n/d	—	92.4%effort n/d	92.4%effort n/d	87.2%effort n/d	91%effort n/d	88.2%effort n/d	67%effort n/d	48.1%effort n/d	—	28.8%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	88.1%effort n/d	93.7%effort n/d	—	75.9%effort n/d	84.9%effort n/d	73%effort n/d	—	58.7%effort n/d	71.2%effort n/d	56%effort n/d	52.8%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	74.4%no thinking · effort n/d
SWE-bench Verifiedpublic32 (full 500 · pass@1)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.9%effort n/d	73.7%effort n/d	76.3%high	74.5%high	—	—	—	—	—	—	—	—	—	—	38%best effort*	—	—	—	—	—	33.2%effort n/d	—	—	—	—	—	—	—	—	—	—	96%adaptive · max	85.2%adaptive · max	95.5%adaptive · max	95%adaptive · max	88.6%adaptive · max	87.6%adaptive · max	93.9%adaptive · max	79.6%adaptive · max	80.8%adaptive · max	80.9%no thinking · high	73.3%adaptive · max	77.2%high	74.5%high	72.5%effort n/d	72.7%effort n/d	—	40.6%effort n/d	49%effort n/d	33.4%effort n/d	7.2%effort n/d	22.2%effort n/d	—	—	—	—	—	—	—	—	—	—	80.6%adaptive · high	—	78%effort n/d	—	76.2%effort n/d	—	59.6%effort n/d	21.4%no thinking · effort n/d	22.3%no thinking · effort n/d	—
SWE-bench Verifiedpublic6 (full 500 · parallel test-time compute)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82%adaptive · max	—	79.4%max	80.2%max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	67.2%effort n/d	34.2%no thinking · effort n/d	34.2%no thinking · effort n/d	—
SWE-bench Verifiedpublic1 (489-task subset · single attempt)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	63.7%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SWE-bench Verifiedpublic1 (489-task subset · parallel test-time compute)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	70.3%max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SWE-bench Verifiedpublic8 (OpenAI 477-task subset)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	54.7%high	71%high	74.9%high	72.1%medium	68.1%high	69.1%high	—	23.6%high	54.6%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Aider Polyglotpublic11 (diff editing format)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	48.4%high	71.6%high	88%high	—	58.2%high	79.6%high	6.2%high	31.6%high	52.9%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82.2%effort n/d	21.3%no thinking · effort n/d	16.9%no thinking · effort n/d	—
Terminal-benchpublic3 (v1 · Claude Code harness)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	43.3%effort n/d	43.2%effort n/d	35.5%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Terminal-Bench 2.0public20	—	—	—	—	—	82.7%xhigh	46.3%xhigh	60%xhigh	—	75.1%xhigh	58.4%effort n/d	77.3%xhigh	64%xhigh	—	—	58.1%xhigh	52.8%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.4%no thinking · effort n/d	82%adaptive · max	59.1%no thinking · max	65.4%adaptive · max	59.3%high	41%effort n/d	50%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	68.5%adaptive · high	—	47.6%effort n/d	—	56.9%adaptive · high	—	32.6%effort n/d	—	—	—
SWE-Lancerpublic5 (IC Diamond · percent earned)	—	—	—	—	—	—	—	—	—	—	—	81.4%xhigh	76%xhigh	—	74.6%xhigh	—	—	69.7%xhigh	—	—	—	—	—	—	—	—	—	—	—	32.6%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SWE-Lancerpublic2 (IC SWE)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	79.9%effort n/d	66.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Expert-SWEinternal1 (Internal)	—	—	—	—	—	73.1%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Artificial Analysis Coding Agent Index v1.1public3	—	80max	77.4effort n/d	74.6effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SWE-Bench Propublic27	—	64.6%effort n/d	63.4%effort n/d	62.7%effort n/d	—	58.6%xhigh	52.4%xhigh	54.4%xhigh	—	57.7%xhigh	—	56.8%xhigh	56.4%xhigh	—	55.6%xhigh	—	—	50.8%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	81.2%adaptive · max	81.2%shared · adaptive · max	79.2%adaptive · max	63.2%adaptive · max	80.3%adaptive · max	80%adaptive · max	69.2%adaptive · xhigh	64.3%adaptive · max	77.8%adaptive · max	—	53.4%adaptive · max	52%no thinking · high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	58.7%effort n/d	55.1%effort n/d	54.2%adaptive · high	—	49.6%effort n/d	—	43.3%adaptive · high	—	—	—	—	—
SWE-bench Multilingualpublic11	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	89.1%adaptive · max	89.1%shared · adaptive · max	89.5%adaptive · max	78.3%adaptive · max	92.2%adaptive · max	—	84.4%adaptive · max	80.5%adaptive · max	87.3%adaptive · max	75.9%adaptive · max	77.83%adaptive · max	76.2%no thinking · high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SWE-bench Multimodalpublic8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	54.7%adaptive · max	54.7%shared · adaptive · max	59.4%adaptive · max	28.1%adaptive · max	54.9%adaptive · max	—	38.4%adaptive · max	34.5%adaptive · max	59%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
DeepSWE v1.1public10	74.1%best effort*	72.7%effort n/d	69.6%effort n/d	67.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	68.8%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	73.7%adaptive · high	65.3%adaptive · high	48.6%adaptive · high	37%adaptive · medium	12%best effort*	—	—	—	—	—	—	—	—	—
Terminal-Bench 2.1public14	—	88.8%effort n/d	87.4%effort n/d	84.7%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.4%adaptive · xhigh	88%adaptive · high	84.3%adaptive · high	74.6%adaptive · high	66.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	89.4%effort n/d	85.8%effort n/d	78%effort n/d	76.2%effort n/d	73.8%effort n/d	—	58%effort n/d	—	—	—	—	—	—	—
Terminal-Bench 2.1public1 (multi-agent · 4 agents)	—	91.9%ultra	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Terminal-Bench 4.0public6	57.7%best effort*	37.3%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	55.8%adaptive · max	60.9%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	19.1%best effort*	11.2%best effort*	—	—	—	—	—	—	—	—	—	—	—	—
FrontierCode 1.1partial5 (Main)	53.3%best effort*	47.5%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	53.4%adaptive · medium	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	43.6%effort n/d	34.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—
FrontierCode 1.1partial2 (Extended · score)	64.5%best effort*	60.6%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
FrontierCode v1partial1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	38.8%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
FrontierCodepartial1 (Diamond subset · score · mean@5)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	29.3%adaptive · xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
FrontierBench v0.1partial1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	43.3%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
CursorBench 3.2.0internal1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	73.4%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Database Migration Tasksinternal2 (Internal)	63.9%best effort*	42.7%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Artificial Analysis Coding Agent Index v1.4public2	67best effort*	65.1best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LiveCodeBench v6public4 (2025-01-01–2025-05-01 · pass@1)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.6%adaptive · ultra	74.2%effort n/d	29.1%no thinking · effort n/d	29.7%no thinking · effort n/d	—
LiveCodeBench Propublic4 (Elo)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	2,887adaptive · high	—	2,316effort n/d	—	2,439effort n/d	—	1,775effort n/d	—	—	—
SciCodepublic2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	59%adaptive · high	—	—	—	56%adaptive · high	—	—	—	—	—
Code Arenapublic2 (Web development · Elo)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1,588effort n/d	1,538effort n/d	—	—	—	—	—	—	—	—	—	—	—
Terminal-Bench 3.0public2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	14.9%best effort*	5.4%best effort*	—	—	—	—	—	—	—	—	—	—	—
Natural2Codepartial1 (0-shot · chat preamble)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	74.9%no thinking · effort n/d
Codeforcespublic1 (no tools · Elo)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	3,455adaptive · ultra	—	—	—	—	—	—	—	—
Science & health 25
Frontier Science Researchpartial2	—	—	—	—	—	—	—	—	36.7%xhigh	33%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GeneBenchpartial2	—	—	—	—	33.2%xhigh	25%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BixBenchpublic1	—	—	—	—	—	80.5%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Terminal-Bench-Science 0.1public4	64.6%best effort*	22.4%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	52.6%adaptive · max	52.6%shared · adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Terminal-Bench-Science 0.1public1 (lower-cost setting · effort not named)	61.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GeneBench Propartial4	37.8%best effort*	28.7%effort n/d	23.3%effort n/d	10.8%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LifeSciBenchpartial4	60.3%best effort*	59.9%effort n/d	56%effort n/d	51.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MedChemBenchinternal4 (Internal)	49.3%best effort*	48.3%effort n/d	35%effort n/d	30.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
HealthBench Professionalpublic8	—	60.5%effort n/d	57.7%effort n/d	55.7%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	62.1%adaptive · max	62.1%shared · adaptive · max	59.8%adaptive · max	57.8%adaptive · max	66%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
HealthBench Professionalpublic2 (length-adjusted · unclipped · GPT-5.4 grader)	63.4%best effort*	60.5%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BioMysteryBenchpartial4 (Human Solvable)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	90.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	88.8%effort n/d	87.1%effort n/d	80.6%effort n/d	—	—	—	—	—	—	—	—	—	—	—
BioMysteryBenchpartial4 (Human Difficult)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	44.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	56.5%effort n/d	43.5%effort n/d	41.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—
LatchBio SpatialBenchpartial1 (Verified)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.6%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LatchBio SingleCellBenchpartial1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	61.9%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ProteinGympublic1 (Hard · rank correlation)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	49.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Protein Designinternal1 (Sequence Generation)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	46%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Protein Designinternal1 (Library Ranking)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	49.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Organic Chemistryinternal1 (v2)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Protocolsinternal1 (Troubleshooting)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	70.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Protocolspartial1 (Understanding · no external network)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LABBench2public3 (macro-average across 11 subtasks)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.2%effort n/d	82.1%effort n/d	76.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—
PhysicsFinalsinternal1 (0-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	41%no thinking · effort n/d
International Physics Olympiad 2025public1 (theory)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.7%adaptive · ultra	—	—	—	—	—	—	—	—
CMT-Benchmarkpublic1 (condensed matter theory)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	50.5%adaptive · ultra	—	—	—	—	—	—	—	—
International Chemistry Olympiad 2025public1 (theory)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82.8%adaptive · ultra	—	—	—	—	—	—	—	—
Computer use 19
ScreenSpot-Propublic4 (Python tool)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.3%xhigh	—	—	64.2%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.9%adaptive · max	87.6%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BrowseComppublic2 (single-agent · Anthropic 2026 compaction harness)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	84.3%adaptive · max	79.8%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OSWorld-Verifiedpublic4 (Anthropic May 2026 zoom fix · 128K/turn)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	85%adaptive · max	85%effort n/d	83.4%adaptive · max	82.8%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OSWorld 2.0public6	—	62.6%effort n/d	50.2%effort n/d	45.6%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	70.6%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	47.9%effort n/d	33.8%effort n/d	—	—	—	—	—	—	—	—	—	—	—
OSWorld 2.0public2 (v2026.08.08 · offline set · partial score)	72.6%best effort*	65.7%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OSWorld 2.0public2 (Aug 2026 tasks · partial)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.9%adaptive · max	77.9%shared · adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OSWorld 2.0public2 (Aug 2026 tasks · strict)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	41.7%adaptive · max	41.7%shared · adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OSWorld-Verifiedpublic18	—	—	—	—	—	78.7%xhigh	39%xhigh	72.1%xhigh	—	75%xhigh	—	64.7%xhigh	38.2%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	81.2%adaptive · max	—	—	—	78%adaptive · max	79.6%adaptive · max	72.5%adaptive · max	72.7%adaptive · max	66.3%high	50.7%effort n/d	61.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83%effort n/d	78.4%effort n/d	76.2%effort n/d	—	65.1%effort n/d	—	—	—	—	—	—	—
BrowseComppublic15 (single-agent)	91.5%best effort*	90.4%effort n/d	87.5%effort n/d	83.3%effort n/d	90.1%xhigh	84.4%xhigh	—	—	89.3%xhigh	82.7%xhigh	—	—	—	77.9%xhigh	65.8%xhigh	—	—	50.8%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	90.8%adaptive · max	84.7%adaptive · max	88%adaptive · max	—	—	79.3%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BrowseComppublic4 (multi-agent)	—	92.2%ultra	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.6%adaptive · max	93.3%adaptive · max	—	88.5%adaptive · ultra	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ScreenSpot-Propublic7 (no tools)	92.7%best effort*	76.9%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82.3%adaptive · max	79.5%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.1%effort n/d	—	72.7%effort n/d	—	11.4%effort n/d	—	—	—
BenchCADpublic3	—	70.6%effort n/d	62.3%effort n/d	63.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BenchCADpublic3 (python tool)	—	83.4%effort n/d	78.2%effort n/d	73.9%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BenchCADpublic2 (with tools · geometric overlap)	95.9%best effort*	83.3%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenScore String Quartetspublic2 (1 − OMR-NED)	0.84best effort*	0.19best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Design Tasksinternal2 (Internal)	50%best effort*	47.4%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Data Science Tasksinternal2 (Internal)	40.9%best effort*	30.5%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BrowseComppublic2 (Deep Research · Search + Python + Browse)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	85.9%adaptive · high	—	—	—	59.2%adaptive · high	—	—	—	—	—
OSWorld 2.0public2 (pre-2026-08-08 patch · partial score · batched tool calls)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	59%effort n/d	50.6%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—
Cybersecurity 17
Capture-the-Flag Challengespartial6	—	96.7%effort n/d	91.8%effort n/d	85.2%effort n/d	—	88.1%xhigh	—	—	—	—	—	77.6%xhigh	67.4%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SEC-Bench Propartial3	—	71.2%effort n/d	57.7%effort n/d	48.9%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SEC-Bench Propartial1 (multi-agent · 16 agents)	—	74.3%ultra	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ExploitBenchpartial3	—	73.5%effort n/d	52.9%effort n/d	33.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ExploitGympartial3 (6-hour cap)	—	33.7%effort n/d	23.2%effort n/d	12.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ExploitBenchpublic1 (mean capability flags · plain arm)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	11.8effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ExploitBenchpublic1 (mean capability flags · AutoNudge arm)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	12.61effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ExploitBenchpublic1 (Full ACEs · count out of 410 runs)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	222effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OSS-Fuzzinternal1 (top-score targets · count)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	17effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OSS-Fuzzinternal1 (vulnerability identification · score > 0)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	78.7%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Firefox 147 Exploitationinternal1 (full working exploits · 250 trials)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	98%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ExploitBenchpartial2 (without production safeguards · OpenAI Sep 2026)	100%best effort*	78.5%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ExploitGympartial2 (without production safeguards · no 6-hour limit)	42.4%best effort*	30.3%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ExploitBenchinternal2 (Internal Port · June–August 2026)	39%best effort*	5.5%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SRE-Benchpublic2 (single attempt)	88%best effort*	55.9%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SRE-Benchpublic2 (within 4 attempts)	99.2%best effort*	68.7%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SEC-Bench Propartial2 (OpenAI Sep 2026 settings)	85.4%best effort*	79.1%best effort*	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AI R&D 6
Internal Research Debugging Evaluationinternal3	—	68.3%effort n/d	67.8%effort n/d	50.8%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
KernelGen 1Ppartial3	—	61.1%effort n/d	49.2%effort n/d	22.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
NanoGPTpartial3	—	9.69%effort n/d	14.5%effort n/d	1.66%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
PostTrainBench Litepartial3	—	50.3%effort n/d	51.5%effort n/d	29.6%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
RSI Indexpartial3	—	57.9%effort n/d	56.3%effort n/d	41.9%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MLE-benchpublic3 (canonical Partial 30 · average position score)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	63.9%effort n/d	49.7%effort n/d	42.6%effort n/d	—	—	—	—	—	—	—	—	—
Multimodal 66
MMMUpublic10 (validation set)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.7%high	73.2%effort n/d	77.8%effort n/d	77.1%effort n/d	—	—	75%high	—	70.4%effort n/d	68.3%effort n/d	—	59.4%effort n/d	53.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	59.4%no thinking · effort n/d
MMMUpublic13 (standard)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	75.6%high	81.6%high	84.2%high	—	81.6%high	82.9%high	55.4%high	72.7%high	74.8%high	74.4%effort n/d	—	—	—	—	59.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82%effort n/d	69.3%no thinking · effort n/d	67.7%no thinking · effort n/d	—
MathVistapublic9 (testmini)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	56.2%effort n/d	73.1%effort n/d	72.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	70.7%effort n/d	67.7%effort n/d	46.4%effort n/d	50.5%effort n/d	47.9%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	53%no thinking · effort n/d
AI2Dpublic6 (test)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	95.3%effort n/d	94.7%effort n/d	86.7%effort n/d	88.1%effort n/d	88.7%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	79.5%no thinking · effort n/d
ChartQApublic6 (test · relaxed accuracy)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	90.8%effort n/d	90.8%effort n/d	81.7%effort n/d	80.8%effort n/d	81.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.8%no thinking · effort n/d
ChartQAPropublic2 (full test set · no tools · Chain-of-Thought prompting)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.4%adaptive · max	67.6%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ChartQAPropublic2 (full test set · Python tool · Chain-of-Thought prompting)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	72.3%adaptive · max	69.8%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
DocVQApublic6 (test · ANLS)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	94.2%effort n/d	95.2%effort n/d	88.8%effort n/d	89.3%effort n/d	89.5%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	90.9%no thinking · effort n/d
CharXiv Reasoningpublic15 (no tools)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82.1%xhigh	—	—	67%xhigh	—	—	—	—	—	—	—	—	40.5%effort n/d	56.8%effort n/d	56.7%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82.1%adaptive · max	86.1%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.2%effort n/d	84.5%effort n/d	85.2%effort n/d	84.2%effort n/d	83.3%effort n/d	—	80.3%effort n/d	—	81.4%effort n/d	—	69.6%effort n/d	—	—	—
CharXiv Reasoningpublic9 (Python tool)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	88.7%xhigh	—	—	80.3%xhigh	—	—	62.7%high	75.5%high	81.1%high	—	72%high	78.6%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	91%adaptive · max	93.2%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MMMU-Propublic5 (average across standard and vision sets)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	62.6%high	74.1%high	78.4%high	—	73.4%high	76.4%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Video-MMMUpublic5 (max 256 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	66.8%high	82.5%high	84.6%high	—	79.4%high	83.3%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Video-MMMUpublic4 (no tools)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	85.9%xhigh	—	—	82.9%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.9%effort n/d	—	87.6%effort n/d	—	—	—	—	—
ERQApublic5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	50.1%high	62.9%high	65.7%high	—	56.5%high	64%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OmniDocBench 1.5public6 (overall edit distance · no tools · lower is better)	—	—	—	—	—	—	0.24effort n/d	0.13effort n/d	—	0.11effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.12effort n/d	—	0.12effort n/d	—	0.15effort n/d	—	—	—
MMMU-Propublic16 (no tools)	—	83%effort n/d	80.7%effort n/d	78.4%effort n/d	—	81.2%xhigh	66.1%xhigh	76.6%xhigh	—	81.2%xhigh	—	—	—	—	79.5%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	74.5%adaptive · max	73.9%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.6%effort n/d	80.5%adaptive · high	81.5%adaptive · ultra	81.2%effort n/d	—	81%effort n/d	—	68%effort n/d	—	—	—
MMMU-Propublic11 (with tools)	—	84.6%effort n/d	82%effort n/d	79.5%effort n/d	—	83.2%xhigh	69.5%xhigh	78%xhigh	—	82.1%xhigh	—	—	—	—	80.4%xhigh	—	—	79%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	75.6%adaptive · max	77.3%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
gdp.pdfpublic7	—	30.7%effort n/d	24.7%effort n/d	22.7%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	29.8%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	35%effort n/d	34%effort n/d	22%effort n/d	—	—	—	—	—	—	—	—	—	—	—
Blueprint-Bench 2partial4 (Andon Labs standard harness · weighted composite)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	38.6%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	33.6%effort n/d	26.5%effort n/d	—	0%effort n/d	—	—	—	—	—	—	—
Vibe-Evalpublic3 (Reka subset · Gemini judge)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	67.2%effort n/d	55.4%no thinking · effort n/d	55.9%no thinking · effort n/d	—
ZeroBenchpublic3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	4.5%effort n/d	1.25%no thinking · effort n/d	1%no thinking · effort n/d	—
BetterChartQApartial3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	72.4%effort n/d	57.8%no thinking · effort n/d	65.8%no thinking · effort n/d	—
CharXiv Reasoningpublic4 (Google Search + code execution)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	88.7%effort n/d	89.4%effort n/d	84.9%effort n/d	83.2%effort n/d	—	—	—	—	—	—	—	—	—
LVBenchpublic3 (static · 1024 frames · no tools)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.1%effort n/d	85.4%effort n/d	84.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—
LVBenchpublic1 (agentic · 1024 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.8%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—
MMMUpublic1 (validation · Maj1@32)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	62.4%no thinking · effort n/d
TextVQApublic1 (validation · pixel only · no external OCR)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82.3%no thinking · effort n/d
InfographicVQApublic1 (test · pixel only · no external OCR)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.3%no thinking · effort n/d
VQAv2public1 (test-dev · pixel only · no external OCR)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.8%no thinking · effort n/d
FLEURSpublic3 (53 languages · WER · lower is better)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	6.66%effort n/d	9.04%no thinking · effort n/d	7.14%no thinking · effort n/d	—
CoVoST 2public3 (21 languages to English · BLEU)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	38.48effort n/d	36.35no thinking · effort n/d	37.53no thinking · effort n/d	—
ActivityNet-QApublic3 (test · 0-shot · 1 FPS · ≤1024 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	66.7%effort n/d	56.4%no thinking · effort n/d	57.3%no thinking · effort n/d	—
EgoTempopublic3 (test · 0-shot · 1 FPS · ≤256 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	44.3%effort n/d	39.3%no thinking · effort n/d	36.3%no thinking · effort n/d	—
Perception Testpublic3 (test · 0-shot · 1 FPS · ≤256 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	78.4%effort n/d	68.8%no thinking · effort n/d	69.4%no thinking · effort n/d	—
QVHighlightspublic3 (validation · 4-shot · R1@0.5 · ≤256 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	75%effort n/d	63.9%no thinking · effort n/d	68.7%no thinking · effort n/d	—
Video-MMMUpublic3 (test · 0-shot · ≤256 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.6%effort n/d	68.5%no thinking · effort n/d	70.4%no thinking · effort n/d	—
Video-MMMUpublic1 (test · no tools · high media resolution)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.6%effort n/d	—	—	—
1H-VideoQApartial3 (test · 0-shot · ≤7200 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	81%effort n/d	67.5%no thinking · effort n/d	72.2%no thinking · effort n/d	—
LVBenchpublic3 (test · 0-shot · audio + visual · ≤1024 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	78.7%effort n/d	61.8%no thinking · effort n/d	65.7%no thinking · effort n/d	—
Video-MMEpublic3 (long test subset · audio + visual · 0-shot · ≤1024 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	84.3%effort n/d	72.8%no thinking · effort n/d	73.2%no thinking · effort n/d	—
VATEXpublic3 (test · 4-shot · CIDEr · ≤64 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	71.3effort n/d	56.9no thinking · effort n/d	55.5no thinking · effort n/d	—
VATEX-ZHpublic3 (validation · 4-shot · CIDEr · ≤64 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	59.7effort n/d	48.5no thinking · effort n/d	52.2no thinking · effort n/d	—
YouCook2 Cappublic3 (validation · 4-shot · CIDEr · ≤256 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	188.3effort n/d	129no thinking · effort n/d	170no thinking · effort n/d	—
Minervapublic3 (test · 0-shot · ≤1024 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	67.6%effort n/d	52.4%no thinking · effort n/d	52.8%no thinking · effort n/d	—
Neptunepublic3 (test · 0-shot · ≤1024 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.3%effort n/d	83.1%no thinking · effort n/d	82.7%no thinking · effort n/d	—
Video-MMEpublic3 (full test · audio + visual + subtitles · 0-shot · ≤1024 frames)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.9%effort n/d	78.8%no thinking · effort n/d	79.8%no thinking · effort n/d	—
AI2Dpublic1 (test · transparent bounding box)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.7%no thinking · effort n/d
ChemicalDiagramQAinternal1 (0-shot · internal)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	55.2%no thinking · effort n/d
BetterChartQApartial1 (0-shot · Gemini 1.5 report setup)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	47.9%no thinking · effort n/d
DocVQApublic1 (test · ANLS · Google Cloud OCR)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	92.4%no thinking · effort n/d
DUDEpublic1 (test · 0-shot · ANLS)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	44%no thinking · effort n/d
TAT-DQApublic1 (test · 0-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	13.2%no thinking · effort n/d
V* Benchpublic1 (test · 0-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	62.8%no thinking · effort n/d
BLINKpublic1 (validation · 0-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	51.7%no thinking · effort n/d
RealWorldQApublic1 (test · 0-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	64.7%no thinking · effort n/d
VATEXpublic1 (test · 4-shot · CIDEr · Gemini 1.5 report setup)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	62.7no thinking · effort n/d
VATEX-ZHpublic1 (validation · 4-shot · CIDEr · Gemini 1.5 report setup)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	50.8no thinking · effort n/d
YouCook2 Cappublic1 (validation · 4-shot · CIDEr · Gemini 1.5 report setup)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	135.4no thinking · effort n/d
ActivityNet-QApublic1 (test · 0-shot · Gemini 1.5 report setup)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	52.2%no thinking · effort n/d
EgoSchemapublic1 (test · 0-shot · Gemini 1.5 report setup)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	61.5%no thinking · effort n/d
OpenEQApublic1 (validation · 0-shot · LLM evaluation score)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	61.3no thinking · effort n/d
YouTube ASRinternal1 (English · WER · lower is better)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	4.7%no thinking · effort n/d
YouTube ASRinternal1 (52 languages · WER · lower is better)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	21%no thinking · effort n/d
Multilingual LibriSpeechpublic1 (English · WER · lower is better)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	4.4%no thinking · effort n/d
FLEURSpublic1 (55 languages · WER · lower is better)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	6%no thinking · effort n/d
CoVoST 2public1 (20 languages to English · BLEU)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	41no thinking · effort n/d
Academic reasoning 76
GLUEpublic1 (test-set average)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	72.8%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LAMBADApublic1 (zero-shot · accuracy)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	63.24%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LAMBADApublic1 (few-shot · accuracy)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Human Preference vs GPT-3 175Bpartial1 (API prompt distribution · 175B PPO-ptx)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	85%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MMLUpublic9 (5-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.4%effort n/d	70%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.6%effort n/d	88.7%effort n/d	88.7%effort n/d	75.2%effort n/d	86.8%effort n/d	79%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.7%no thinking · effort n/d
MMLUpublic9 (5-shot chain-of-thought)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.9%effort n/d	90.5%effort n/d	90.4%effort n/d	76.7%effort n/d	88.2%effort n/d	81.5%effort n/d	—	—	78.5%effort n/d	77%effort n/d	73.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MMLUpublic9 (simple-evals · 0-shot chain-of-thought)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	90.3%effort n/d	93.3%effort n/d	—	—	—	—	86.9%effort n/d	91.8%effort n/d	85.2%effort n/d	90.8%effort n/d	82%effort n/d	87.2%effort n/d	86.7%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GSM8Kpublic7 (0-shot chain-of-thought)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	88.9%effort n/d	95%effort n/d	92.3%effort n/d	—	86.7%effort n/d	88%effort n/d	85.2%effort n/d	80.9%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GSM8Kpublic2 (5-shot chain-of-thought)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	92%effort n/d	57.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MATHpublic9 (simple-evals · 0-shot chain-of-thought)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	98.2%effort n/d	98.1%effort n/d	—	—	—	—	97.9%effort n/d	96.4%effort n/d	90%effort n/d	85.5%effort n/d	70.2%effort n/d	76.6%effort n/d	73.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GPQA Diamondpublic9 (simple-evals · 0-shot chain-of-thought)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	81.3%effort n/d	83.4%effort n/d	—	—	—	—	77.2%effort n/d	75.7%effort n/d	60%effort n/d	73.3%effort n/d	40.2%effort n/d	49.9%effort n/d	49.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GPQApublic1 (science · GPT-4.5 release harness)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	71.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AIME 2024public10 (pass@1)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	29.4%effort n/d	49.6%effort n/d	48.1%effort n/d	36.7%effort n/d	—	74.4%effort n/d	—	44.6%effort n/d	—	9.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	61.3%high	5.3%effort n/d	16%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AIME 2024public6 (consensus@64)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.3%effort n/d	—	56.7%effort n/d	—	13.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80%max	10.1%effort n/d	27.6%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MMMLUpublic21 (average over 14 non-English languages)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	89.6%xhigh	—	—	89.5%xhigh	—	—	—	—	—	—	—	—	66.9%effort n/d	78.5%effort n/d	87.3%effort n/d	85.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	91.5%adaptive · max	92.7%adaptive · max	89.3%adaptive · max	91.1%adaptive · max	90.8%high	83%effort n/d	89.1%effort n/d	89.5%effort n/d	88.8%high	86.5%high	86.1%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	92.6%adaptive · high	—	91.8%effort n/d	—	91.8%effort n/d	—	89.5%effort n/d	—	—	—
TriviaQApublic3 (5-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.5%effort n/d	86.7%effort n/d	78.9%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ARC-Challengepublic3 (5-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	91%effort n/d	90%effort n/d	85.7%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—
RACE-Hpublic3 (5-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	88.3%effort n/d	88.8%effort n/d	85.5%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MATHpublic6 (0-shot chain-of-thought)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.2%effort n/d	78.3%effort n/d	71.1%effort n/d	38.9%effort n/d	60.1%effort n/d	43.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MGSMpublic7 (0-shot chain-of-thought)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	85.6%effort n/d	92.5%effort n/d	91.6%effort n/d	75.1%effort n/d	90.7%effort n/d	83.5%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
DROPpublic6 (3-shot · F1)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.1 F1effort n/d	88.3 F1effort n/d	87.1 F1effort n/d	78.4 F1effort n/d	83.1 F1effort n/d	78.9 F1effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BIG-Bench Hardpublic6 (3-shot chain-of-thought)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.6%effort n/d	93.2%effort n/d	93.1%effort n/d	73.7%effort n/d	86.8%effort n/d	82.9%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MMLU-Propublic2 (0-shot chain-of-thought)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	65%effort n/d	78%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
IFEvalpublic6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	74.5%effort n/d	84.1%effort n/d	87.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	93.2%high	85.9%effort n/d	90.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GPQA Diamondpublic1 (no extended thinking)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	68%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GPQA Diamondpublic1 (64K extended thinking · pass@1)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	78.2%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GPQA Diamondpublic1 (64K extended thinking · parallel test-time compute)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	84.8%max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MATH 500public1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	96.2%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AIME 2025public17 (no tools)	—	—	—	—	—	—	—	—	—	—	—	—	—	100%xhigh	100%xhigh	—	—	94%xhigh	—	—	85.2%high	91.1%high	94.6%high	—	92.7%high	88.9%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.7%effort n/d	87%effort n/d	78%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	95.2%effort n/d	—	95%effort n/d	99.2%adaptive · ultra	88%effort n/d	29.7%no thinking · effort n/d	17.5%no thinking · effort n/d	—
AIME 2025public2 (Python tool)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	96.3%effort n/d	100%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
USAMO 2026partial1	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	97.6%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
FrontierMathpartial5 (Python tool)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	9.6%high	22.1%high	26.3%high	—	15.4%high	15.8%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
HMMT 2025public5 (no tools)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	75.6%high	87.8%high	93.3%high	—	85%high	81.7%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
HMMTpublic3 (February 2025 · no tools)	—	—	—	—	—	—	—	—	—	—	—	—	—	100%xhigh	99.4%xhigh	—	—	96.3%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Scale MultiChallengepublic8 (o3-mini grader)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	54.9%high	62.3%high	69.6%high	—	57.5%high	60.4%high	31.1%effort n/d	42.2%effort n/d	46.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI API Instruction Followinginternal8 (hard · internal)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	56.1%high	65.8%high	64%high	—	44.7%high	47.4%high	31.6%effort n/d	45.1%effort n/d	49.1%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
COLLIEpublic8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	96.9%high	98.5%high	99%high	—	96.1%high	98.4%high	42.5%effort n/d	54.6%effort n/d	65.8%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
MultiChallengepublic3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	15%effort n/d	35.8%effort n/d	38.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Multi-IFpublic3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	57.2%effort n/d	67%effort n/d	70.8%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LongFact-Conceptspublic5 (hallucination rate · no tools · lower is better)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1%high	0.7%high	1%high	—	3%high	5.2%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LongFact-Objectspublic5 (hallucination rate · no tools · lower is better)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	2.8%high	1.3%high	1.2%high	—	8.9%high	6.8%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
FActScorepublic5 (hallucination rate · no tools · lower is better)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	7.3%high	3.5%high	2.8%high	—	38.7%high	23.5%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GPQA Diamondpublic43	96%best effort*	94.6%effort n/d	92.9%effort n/d	92.3%effort n/d	—	93.6%xhigh	82.8%xhigh	88%xhigh	94.4%xhigh	92.8%xhigh	—	—	—	93.2%xhigh	92.4%xhigh	—	—	88.1%high	—	88.4%max	71.2%high	82.3%high	85.7%high	—	—	—	50.3%effort n/d	65%effort n/d	66.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	93.6%adaptive · max	94.2%adaptive · max	94.5%adaptive · max	89.9%adaptive · max	91.3%adaptive · max	87%high	73%effort n/d	83.4%high	80.9%effort n/d	79.6%high	75.4%high	—	41.6%effort n/d	65%effort n/d	59.4%effort n/d	33.3%effort n/d	50.4%effort n/d	40.4%effort n/d	—	—	—	—	—	—	—	—	—	94.3%adaptive · high	—	90.4%effort n/d	93.8%adaptive · ultra	91.9%effort n/d	—	86.4%effort n/d	65.2%no thinking · effort n/d	58.1%no thinking · effort n/d	—
ArXivMathpublic1 (June 2026 · no tools)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	91.33%max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ArXivMathpublic1 (June 2026 · with tools)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	93.88%max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
FrontierMath Tier 1-3partial9 (v2)	—	89%effort n/d	84.9%effort n/d	78.6%effort n/d	52.4%xhigh	51.7%xhigh	—	—	50%xhigh	47.6%xhigh	—	—	—	—	40.3%xhigh	—	—	31%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
FrontierMath Tier 4partial11 (v2)	97.6%best effort*	83%effort n/d	68.3%effort n/d	58.5%effort n/d	39.6%xhigh	35.4%xhigh	—	—	38%xhigh	27.1%xhigh	—	—	—	31.3%xhigh	14.6%xhigh	—	—	12.5%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GPQA Diamondpublic1 (lower-cost setting · effort not named)	94.9%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Humanity's Last Exampublic33 (no tools)	—	—	—	—	43.1%xhigh	41.4%xhigh	24.3%xhigh	28.2%xhigh	42.7%xhigh	39.8%xhigh	—	—	—	36.6%xhigh	34.5%xhigh	—	—	25.7%xhigh	—	—	8.7%high	16.7%high	24.8%high	—	14.7%high	20.2%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	60.9%adaptive · max	60.9%shared · adaptive · max	56.3%adaptive · max	43.2%adaptive · max	59%adaptive · max	—	49.8%adaptive · max	46.9%adaptive · max	56.8%adaptive · max	33.2%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	40.2%effort n/d	44.4%adaptive · high	48.4%adaptive · ultra	33.7%effort n/d	41%adaptive · ultra	37.5%effort n/d	34.8%adaptive · ultra	21.6%effort n/d	5.1%no thinking · effort n/d	4.6%no thinking · effort n/d	—
Humanity's Last Exampublic19 (with tools)	57.2%best effort*	—	—	—	57.2%xhigh	52.2%xhigh	37.7%xhigh	41.5%xhigh	58.7%xhigh	52.1%xhigh	—	—	—	50%xhigh	45.5%xhigh	—	—	42.7%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	65%adaptive · max	65%shared · adaptive · max	64.7%adaptive · max	57.4%adaptive · max	64.5%adaptive · max	—	57.9%adaptive · max	54.7%adaptive · max	64.7%adaptive · max	49%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
SimpleQApublic3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	54%effort n/d	29.9%no thinking · effort n/d	24.9%no thinking · effort n/d	—
FACTS Groundingpublic3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.8%effort n/d	84.6%no thinking · effort n/d	80%no thinking · effort n/d	—
Global MMLUpublic3 (Lite)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	89.2%effort n/d	83.4%no thinking · effort n/d	80.8%no thinking · effort n/d	—
ECLeKTicpublic3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	46.8%effort n/d	33.6%no thinking · effort n/d	27%no thinking · effort n/d	—
HiddenMath-Hardinternal3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.5%effort n/d	53.7%no thinking · effort n/d	44.3%no thinking · effort n/d	—
IMO 2025public1 (pass@1 · model grade)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	60.7%adaptive · ultra	—	—	—	—
Humanity's Last Exampublic3 (Search (blocklist) + Code)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	51.4%adaptive · high	—	43.5%effort n/d	—	45.8%effort n/d	—	—	—	—	—
AIME 2025public2 (code execution)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	99.7%effort n/d	—	100%effort n/d	—	—	—	—	—
FACTS Benchmark Suitepublic3 (overall suite score)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	61.9%effort n/d	—	70.5%effort n/d	—	63.4%effort n/d	—	—	—
SimpleQA Verifiedpublic3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	68.7%effort n/d	—	72.1%effort n/d	—	54.5%effort n/d	—	—	—
Global PIQApublic3 (100+ languages and cultures)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	92.8%effort n/d	—	93.4%effort n/d	—	91.5%effort n/d	—	—	—
HLE-Verifiedpublic3 (full 1,811-item verified set)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	54.9%effort n/d	53.6%effort n/d	51.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—
GPQApublic1 (4-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	35.7%no thinking · effort n/d
MATHpublic1 (4-shot · Minerva prompt)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	53.2%no thinking · effort n/d
HiddenMathinternal1 (0-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	11.2%no thinking · effort n/d
Functional MATHpartial1 (December snapshot · 0-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	55.8%no thinking · effort n/d
AMC 2022–23public1 (4-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	30%no thinking · effort n/d
GSM8Kpublic1 (11-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	88.9%no thinking · effort n/d
BIG-Bench Hardpublic1 (3-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.6%no thinking · effort n/d
DROPpublic1 (variable-shot · F1)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82.4 F1no thinking · effort n/d
HellaSwagpublic1 (10-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.8%no thinking · effort n/d
WMT23public1 (1-shot · sentence-level translation · BLEURT)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	74.4no thinking · effort n/d
MGSMpublic1 (8-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	79%no thinking · effort n/d
MMLUpublic1 (5-shot chain-of-thought · maj@32)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	90%no thinking · effort n/d
Humanity's Last Exampublic1 (Search + code execution)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	53.4%adaptive · ultra	—	—	—	—	—	—	—	—
International Math Olympiad 2025public1 (theory · model score)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	81.5%adaptive · ultra	—	—	—	—	—	—	—	—
Tool use 13
τ-benchpublic6 (Retail)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	22.6%effort n/d	55.8%effort n/d	68%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82.4%effort n/d	81.4%high	80.5%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
τ-benchpublic6 (Airline)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	14%effort n/d	36%effort n/d	49.4%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	56%effort n/d	59.6%high	60%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
τ²-benchpublic14 (Retail)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82%xhigh	—	—	77.9%xhigh	—	—	62.3%high	78.3%high	81.1%high	—	70.5%high	80.2%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	91.7%adaptive · max	91.9%adaptive · max	88.9%high	83.2%effort n/d	86.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	90.8%adaptive · high	—	—	—	85.3%adaptive · high	—	—	—	—	—
τ²-benchpublic8 (Airline)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	41%high	60%high	62.6%high	—	60.2%high	64.8%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	67.9%high	63.6%effort n/d	70%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
τ²-benchpublic18 (Telecom)	—	—	—	—	—	98%xhigh	92.5%xhigh	93.4%xhigh	—	98.9%xhigh	—	—	—	—	98.7%xhigh	—	—	95.6%xhigh	—	—	35.5%high	74.1%high	96.7%high	—	40.5%high	58.2%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	97.9%adaptive · max	99.3%adaptive · max	98.2%high	83%effort n/d	98%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	99.3%adaptive · high	—	—	—	98%adaptive · high	—	—	—	—	—
MCP-Atlaspublic15 (pass rate)	—	—	—	—	—	75.3%xhigh	56.1%xhigh	57.7%xhigh	—	67.2%xhigh	—	—	—	—	60.6%xhigh	—	—	44.5%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.3%adaptive · max	—	61.3%adaptive · max	59.5%adaptive · max	62.3%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.6%effort n/d	78.2%adaptive · high	—	62%effort n/d	—	54.1%effort n/d	—	8.8%effort n/d	—	—	—
MCP-Atlaspublic3 (April 2026 Scale config · 100-tool budget · updated judge)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	82.2%adaptive · max	79.1%adaptive · max	—	—	76.8%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ComplexFuncBenchpublic3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	5.7%effort n/d	49.3%effort n/d	65.5%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
AutomationBenchpublic11	41.4%best effort*	18.1%effort n/d	15.2%effort n/d	14.9%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	31.4%adaptive · max	31.4%shared · adaptive · max	26%adaptive · max	13.5%adaptive · max	—	17.4%max	15.5%adaptive · max	9.9%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
Toolathlonpublic13	—	58%effort n/d	53.1%effort n/d	53.4%effort n/d	—	55.6%xhigh	35.5%xhigh	42.9%xhigh	—	54.6%xhigh	—	—	—	—	46.3%xhigh	—	—	36.1%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	56.5%effort n/d	—	—	49.4%effort n/d	—	36.4%effort n/d	—	10.5%effort n/d	—	—	—
τ²-benchpublic3 (Retail + fixed Airline + Telecom average)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	90.2%effort n/d	—	90.7%effort n/d	—	77.8%effort n/d	—	—	—
Vending-Bench 2public3 (mean ending net worth)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	3,635effort n/d	—	5,478effort n/d	—	574effort n/d	—	—	—
AutomationBenchpartial2 (private set)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	30.4%effort n/d	17%effort n/d	—	—	—	—	—	—	—	—	—	—	—
Long context 27
Long-document factuality errorsinternal1 (reduction vs Claude 2)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	30%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
QuALITYpublic3 (5-shot)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.2%effort n/d	84.1%effort n/d	80.5%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GraphWalks Parentspartial3 (256K · accuracy)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	99.96%adaptive · max	—	99.3%adaptive · max	93.6%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GraphWalks Parentspartial2 (1M · accuracy)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	83.3%adaptive · max	56.6%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GraphWalks BFSpartial13 (<128K)	—	—	—	—	—	—	73.4%xhigh	76.3%xhigh	—	93%xhigh	—	—	—	—	94%xhigh	—	—	76.8%xhigh	—	—	64%high	73.4%high	78.3%high	—	62.3%high	77.3%high	25%effort n/d	61.7%effort n/d	61.7%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GraphWalks BFSpartial4 (>128K)	—	—	—	—	—	—	—	—	—	21.4%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	2.9%effort n/d	15%effort n/d	19%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GraphWalks Parentspartial13 (<128K)	—	—	—	—	—	—	50.8%xhigh	71.5%xhigh	—	89.8%xhigh	—	—	—	—	89%xhigh	—	—	71.5%xhigh	—	—	43.8%high	64.3%high	73.3%high	—	51.1%high	72.9%high	9.4%effort n/d	60.5%effort n/d	58%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GraphWalks Parentspartial4 (>128K)	—	—	—	—	—	—	—	—	—	32.4%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	5.6%effort n/d	11%effort n/d	25%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCRpartial8 (2-needle · 128K)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	43.2%high	84.3%high	95.2%high	—	56.4%high	55%high	36.6%effort n/d	47.2%effort n/d	57.2%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCRpartial3 (2-needle · 256K)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	34.9%high	58.8%high	86.8%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCRpartial3 (2-needle · 1M)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	12%effort n/d	33.3%effort n/d	46.3%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCR v2partial3 (8-needle · 4K–8K)	—	—	—	—	—	—	—	—	—	97.3%xhigh	—	—	—	—	98.2%xhigh	—	—	65.3%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCR v2partial3 (8-needle · 8K–16K)	—	—	—	—	—	—	—	—	—	91.4%xhigh	—	—	—	—	89.3%xhigh	—	—	47.8%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCR v2partial3 (8-needle · 16K–32K)	—	—	—	—	—	—	—	—	—	97.2%xhigh	—	—	—	—	95.3%xhigh	—	—	44%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCR v2partial3 (8-needle · 32K–64K)	—	—	—	—	—	—	—	—	—	90.5%xhigh	—	—	—	—	92%xhigh	—	—	37.8%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCR v2partial5 (8-needle · 64K–128K)	—	—	—	—	—	—	44.2%xhigh	47.7%xhigh	—	86%xhigh	—	—	—	—	85.6%xhigh	—	—	36%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCR v2partial5 (8-needle · 128K–256K)	—	—	—	—	—	—	33.1%xhigh	33.6%xhigh	—	79.3%xhigh	—	—	—	—	77%xhigh	—	—	29.6%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BrowseComp Long Contextpublic7 (128K)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	92%xhigh	—	—	90%xhigh	—	—	80.4%high	89.4%high	90%high	—	80%high	88.3%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
BrowseComp Long Contextpublic5 (256K)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	89.8%xhigh	—	—	89.5%xhigh	—	—	68.4%high	86%high	88.8%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCR v2partial5 (8-needle · 256K-512K)	100%best effort*	91.5%effort n/d	89.6%effort n/d	41.3%effort n/d	—	—	—	—	—	57.5%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
OpenAI MRCR v2partial5 (8-needle · 512K-1M)	96.3%best effort*	73.8%effort n/d	72.5%effort n/d	41.3%effort n/d	—	—	—	—	—	36.6%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GraphWalks BFSpartial8 (256K · F1)	—	90.7 F1effort n/d	76.9 F1effort n/d	81.3 F1effort n/d	—	73.7 F1xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	91.1 F1adaptive · max	—	85.9 F1adaptive · max	76.9 F1adaptive · max	80 F1adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
GraphWalks BFSpartial6 (1M · F1)	—	77.1 F1effort n/d	71.2 F1effort n/d	51.2 F1effort n/d	—	45.4 F1xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	68.1 F1adaptive · max	40.3 F1adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
LOFTpublic3 (hard retrieval · ≤128K)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87%effort n/d	58%no thinking · effort n/d	75.9%no thinking · effort n/d	—
LOFTpublic3 (hard retrieval · 1M)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.8%effort n/d	7.6%no thinking · effort n/d	47.1%no thinking · effort n/d	—
GDM-MRCR v2public9 (8-needle · ≤128K cumulative average)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	97%effort n/d	91.8%effort n/d	77.3%effort n/d	84.9%adaptive · high	—	67.2%effort n/d	—	77%effort n/d	—	58%effort n/d	19%no thinking · effort n/d	26.2%no thinking · effort n/d	—
GDM-MRCR v2public8 (8-needle · 1M pointwise)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	54%effort n/d	26.6%effort n/d	26.3%adaptive · high	—	22.1%effort n/d	—	26.3%effort n/d	—	16.4%effort n/d	5.3%no thinking · effort n/d	12.1%no thinking · effort n/d	—
Abstract reasoning 4
ARC-AGI-1public10	98.5%best effort*	—	—	—	—	—	—	—	94.5%xhigh	93.7%xhigh	—	—	—	90.5%xhigh	86.2%xhigh	—	—	72.8%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	97.5%adaptive · max	97.5%shared · adaptive · max	97.5%adaptive · max	—	—	—	—	92%adaptive · max	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ARC-AGI-2public19	95%best effort*	—	—	—	—	—	—	—	83.3%xhigh	73.3%xhigh	—	—	—	54.2%xhigh	52.9%xhigh	—	—	17.6%xhigh	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	90%adaptive · max	90%shared · adaptive · max	90.4%adaptive · max	—	—	—	—	75.83%adaptive · max	—	58.3%adaptive · max	68.8%adaptive · max	37.6%high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	72.1%effort n/d	77.1%adaptive · high	84.6%adaptive · ultra	33.6%effort n/d	—	31.1%effort n/d	—	4.9%effort n/d	—	—	—
ARC-AGI-3public5	99.9%best effort*	7.78%effort n/d	0.8%effort n/d	0.18%effort n/d	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	30.2%adaptive · high	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—
ARC-AGI-2public1 (code execution · ARC Prize Verified)	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	45.1%adaptive · ultra	—	—	—	—	—	—

Effort: max/high/xhigh are disclosed settings · ultra is multi-agent · best effort* means the source reports the maximum score across effort settings · shared marks one score reported for configurations with identical model weights · n/d means not disclosed. Scores are vendor-reported snapshots; no automatic winner highlighting.

Comparability

同一 benchmark 也可能因 task revision、harness、工具、上下文或评分方式而不可直接比较。因此不自动标冠军；hover 每个分数可查看完整条件。

Sources

OpenAI · 31 official sources

Anthropic · 21 official sources

Google · 13 official sources

AI model benchmark union table

Comparability

Sources