模型日与运行日未知;本图按模型名称排列 · 题目pass@1 %
Claude-3.5-Sonnet-20241022
36.39%。分母:同默认题目窗口454题;一次生成执行评分
LiveCodeBench历史代码生成窗口;当前保留引用
模型日与运行日未知;本图按模型名称排列
Claude-3.5-Sonnet-20241022
36.39%
- 分母与样本
- 同默认题目窗口454题;一次生成执行评分;具体样本数454
- 衡量什么
- 窗口边界2024-08-01至2025-05-01;实际题目2024-08-04至2025-04-07;只选overall;pass@1估计单次候选代码通过测试的表现,k=1不等于各模型只生成一次;逐行实际生成次数未知
- 原始公布值
- 36.38766519823788 · 来源公布
- 模型 / 配置
- Claude-3.5-Sonnet-20241022;单行工具/重试预算未完整披露
- 区间
- 本记录未给区间,未由标准误制造区间
- 同页费用
- 本记录未取得
- 记录定位
- performances_generation.json;model=Claude-3.5-Sonnet-20241022;overall 默认窗口
- 条件与限制
- 实际题日期2024-08-04至2025-04-07;发布日无法可靠对齐,保持未知;执行评分;逐行工具/预算不完整;不是2026新题实测;模型发布日未可靠建立,全部保持null;不与AIME合并排名
收集2026-10-14 · 阅读2026-10-15 · 真实工作覆盖未知