Model reports

P-ContextBench

检验助手能否理解不断变化的个人证据，并在回应请求时尊重个人约束。

原论文官方仓库收录来源

AI Benchmark Radar / Equality Machine · 核对于 2026-11-02

论文v1表2：主成绩只列五个系统覆盖全部测试的加权Overall分数；所有题型分项及可靠性指标完整保留在下方。

从记住事实到采取恰当行动

五类任务覆盖单源事实、多源事实、时间状态更新、个人行为模式推断，以及请求与个人约束冲突时的恰当回应。它评测回答与行为边界，不是实际执行工具的成功率。

P-ContextBench paper v1 · P-ContextBench author code and sample pipeline

合成个人历史

论文使用100个人口分布种子来自美国的合成人物、10,088条隐藏事实、18,261条聊天与日历片段，以及4,810道已验证测试。填充与证据片段之比为2.5:1，不加诱饵；模型读取完整相关日志，不使用检索增强。

P-ContextBench paper v1

平均得分不等于稳定全对

独立LLM裁判检查引用证据与题型要求。Overall accuracy 对获得的分数取平均；Pass³ 要求同一道题在三次运行中都拿满分，二者必须分开阅读。页面日期是论文发布日，不是逐次运行时间。

P-ContextBench paper v1

Overall accuracy · 全部题型与模型

严格保留表2全部五个系统与T1–T5列；Avg.是作者报告的全部4,810题按测试数量加权的平均值。

论文v1表2 · Overall accuracy（%）
模型	T1	T2	T3	T4	T5	Avg. · 全部测试
GPT-5.4-mini	78.98	66.22	49.05	54.83	46.05	56.25
Gemini-3-Flash	89.09	74.74	50.68	54.69	54.63	61.61
Claude Haiku 4.5	84.5	72.7	50.0	59.3	50.8	60.75
Qwen3.5-35B-A3B	75.87	57.99	39.17	47.45	35.72	48.1
Claude Sonnet 4.6	94.78	86.03	72.90	74.53	64.16	75.52

T1单源事实、T2多源事实、T3时间状态、T4个人模式推断、T5约束感知回应。只在同一指标和题型内比较；三张表的指标不同。

P-ContextBench paper v1

Worst-run accuracy · 全部题型与模型

严格保留表2全部五个系统与T1–T5列；Avg.是作者报告的全部4,810题按测试数量加权的平均值。

论文v1表2 · Worst-run accuracy（%）
模型	T1	T2	T3	T4	T5	Avg. · 全部测试
GPT-5.4-mini	73.09	60.59	44.49	51.70	41.12	51.66
Gemini-3-Flash	85.60	70.55	46.46	52.05	51.49	58.27
Claude Haiku 4.5	84.2	72.1	49.6	58.5	50.3	60.19
Qwen3.5-35B-A3B	69.63	51.96	34.13	44.21	29.67	42.96
Claude Sonnet 4.6	94.19	85.10	72.73	73.33	63.08	74.62

T1单源事实、T2多源事实、T3时间状态、T4个人模式推断、T5约束感知回应。只在同一指标和题型内比较；三张表的指标不同。

P-ContextBench paper v1

Pass³ accuracy · 全部题型与模型

严格保留表2全部五个系统与T1–T5列；Avg.是作者报告的全部4,810题按测试数量加权的平均值。

论文v1表2 · Pass³ accuracy（%）
模型	T1	T2	T3	T4	T5	Avg. · 全部测试
GPT-5.4-mini	50.89	22.22	2.63	3.37	0.85	11.64
Gemini-3-Flash	72.57	39.81	5.72	5.60	2.98	18.75
Claude Haiku 4.5	59.3	28.0	5.1	5.5	0.6	14.46
Qwen3.5-35B-A3B	43.23	10.84	0.60	0.07	0.09	7.57
Claude Sonnet 4.6	84.85	59.09	30.81	32.35	4.76	34.65

T1单源事实、T2多源事实、T3时间状态、T4个人模式推断、T5约束感知回应。只在同一指标和题型内比较；三张表的指标不同。

P-ContextBench paper v1

版本与报告限制

表2的Sonnet汇总值为Overall 75.52、Pass³ 34.65，正文则写75.49和34.58；本页保留表值，不自行修正。合成美国人物日志与模型裁判所得结果不能直接证明真实用户场景的可靠性。

P-ContextBench paper v1 · P-ContextBench author code and sample pipeline

原始发布

原始版本论文与作者公开材料；作者运行的成绩保留对应实验条件。

核对于 2026-11-02

已收录的评测资料

这条来源记录收录了 5 条数值成绩。来源区分了 5 个模型身份或配置。同一模型可能有多条记录；比较前请核对具体版本、工具和运行预算。查看成绩及逐条证据 →

报告指标: Overall accuracy (all test cases)
原始单位: percent
指标方向: 数值越高越好

从这些资料开始

论文 · 任务设计与实验 · arxiv.org
收录来源 · github.com

引用文档及日期（1）

P-ContextBench paper v1 · Table 2 overall accuracy · 2026-10-29

评测信息与证据

来源: Model reports
发布者: 未收录
评测发布日期: 2026-10-29
采集日期: 未收录
模态: 未收录

本站保留来源报告的结果，不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期；不同运行条件不能直接合并为统一排名。

报告成绩 5

按来源中的观察顺序展示，顺序不代表排名。日期保留原始精度。

模型	数值	单位	协议	报告日期与口径	来源
Claude Haiku 4.5	60.75	percent	Paper v1 Table 2 Overall (%), mean awarded score rather than Pass³ or worst-run; test-count-weighted average over all T1–T5; 4810 test cases across 100 synthetic U.S.-seeded personas; three independent runs; full app logs+questions in context, no RAG; filler:evidence=2.5:1, no decoys; separate evidence-grounded LLM judge (exact judge model/revision not explicitly assigned to Table 2); Claude Haiku 4.5 via Claude Code; reasoning effort not specified in paper; generation GPT-5.5/high and verification GPT-5.4/high; no per-run dates reported	2026-10-29 · document_publication	P-ContextBench paper v1 · Table 2 overall accuracy
Claude Sonnet 4.6	75.52	percent	Paper v1 Table 2 Overall (%), mean awarded score rather than Pass³ or worst-run; test-count-weighted average over all T1–T5; 4810 test cases across 100 synthetic U.S.-seeded personas; three independent runs; full app logs+questions in context, no RAG; filler:evidence=2.5:1, no decoys; separate evidence-grounded LLM judge (exact judge model/revision not explicitly assigned to Table 2); Claude Sonnet 4.6 via Claude Code; reasoning effort not specified in paper; generation GPT-5.5/high and verification GPT-5.4/high; no per-run dates reported	2026-10-29 · document_publication	P-ContextBench paper v1 · Table 2 overall accuracy
GPT-5.4-mini	56.25	percent	Paper v1 Table 2 Overall (%), mean awarded score rather than Pass³ or worst-run; test-count-weighted average over all T1–T5; 4810 test cases across 100 synthetic U.S.-seeded personas; three independent runs; full app logs+questions in context, no RAG; filler:evidence=2.5:1, no decoys; separate evidence-grounded LLM judge (exact judge model/revision not explicitly assigned to Table 2); GPT-5.4-mini via Codex with low reasoning effort; generation GPT-5.5/high and verification GPT-5.4/high; no per-run dates reported	2026-10-29 · document_publication	P-ContextBench paper v1 · Table 2 overall accuracy
Gemini-3-Flash	61.61	percent	Paper v1 Table 2 Overall (%), mean awarded score rather than Pass³ or worst-run; test-count-weighted average over all T1–T5; 4810 test cases across 100 synthetic U.S.-seeded personas; three independent runs; full app logs+questions in context, no RAG; filler:evidence=2.5:1, no decoys; separate evidence-grounded LLM judge (exact judge model/revision not explicitly assigned to Table 2); google/gemini-3-flash-preview via OpenRouter; reasoning effort not specified in paper; generation GPT-5.5/high and verification GPT-5.4/high; no per-run dates reported	2026-10-29 · document_publication	P-ContextBench paper v1 · Table 2 overall accuracy
Qwen3.5-35B-A3B	48.1	percent	Paper v1 Table 2 Overall (%), mean awarded score rather than Pass³ or worst-run; test-count-weighted average over all T1–T5; 4810 test cases across 100 synthetic U.S.-seeded personas; three independent runs; full app logs+questions in context, no RAG; filler:evidence=2.5:1, no decoys; separate evidence-grounded LLM judge (exact judge model/revision not explicitly assigned to Table 2); qwen/qwen3.5-35b-a3b via OpenRouter; reasoning effort not specified in paper; generation GPT-5.5/high and verification GPT-5.4/high; no per-run dates reported	2026-10-29 · document_publication	P-ContextBench paper v1 · Table 2 overall accuracy

从记住事实到采取恰当行动

合成个人历史

平均得分不等于稳定全对

Overall accuracy · 全部题型与模型

Worst-run accuracy · 全部题型与模型

Pass³ accuracy · 全部题型与模型

版本与报告限制

原始发布

已收录的评测资料

从这些资料开始

评测信息与证据

报告成绩 5

相关评测探索

继续阅读

六个新评测详情：上下文、Agent 与可执行任务

Navers Lab / Einsia：六个评测分别测什么

AI 评测与排行榜，分别告诉你什么

怎样比较 AI 评测成绩，避免混用评测口径

为编程、网络安全与电脑操作智能体选择评测

四个新 Agent 评测：适应变化、安全执行与视频交付

继续探索