DataCite
CryptoBench: A benchmark of cryptographic API misuse for evaluating LLM code reviewers
做什么: 评测 LLM 代码审查者检测加密 API 误用的 benchmark
摘要所述结果: 数据集含 54 个 Python 片段、9 类误用,7 个模型共 1,890 次试验
BENCHMARK RADAR / 发现简报 · 2026-10-30
127 条首次发现的评测相关记录,按领域和类型整理,并链接原始来源。
AI 辅助概述 · 未独立复核
原简报类型统计:新 benchmark 66 · 新数据集 17 · 评测报告 13 · 方法论文 20 · 其他 11
这些记录在本次保存的快照中首次出现,按原项目的精确 artifact 标识去重。首次发现时间不等于发布日期,也不表示它们都是新发布的 AI benchmark。
本页保留 2026-10-30 发布时的 127 条首次发现记录,以当时保存的采集历史为准;后续补充的历史来源不会改写这份已发布简报。
分类与概述模型:deepseek-v4-flash
分类与中文概述来自原始自动简报;英文为其译文,个别更正另行标注。请通过每条链接核对原始材料。概述不作为模型成绩写入目录。
DataCite
做什么: 评测 LLM 代码审查者检测加密 API 误用的 benchmark
摘要所述结果: 数据集含 54 个 Python 片段、9 类误用,7 个模型共 1,890 次试验
DataCite
做什么: 用于多文档 LLM 筛查中自适应间接提示注入的可复现 benchmark
摘要所述结果: 用合成应答器验证管线,未测量任何真实模型
DataCite
做什么: 面向 UAV 群入侵检测的网络物理 benchmark 数据集
摘要所述结果: 含 144 次模拟、6 类(正常流量与 5 类攻击),2,427 个 30 秒窗口和 74 个特征。
摘要更正:已依据保存的来源摘要澄清。
Crossref
做什么: 基于技术专家报告构建的可靠 Android 恶意软件 benchmark 数据集
摘要所述结果: 来源未提供摘要
Kaggle Dataset
做什么: 关于区分操作记忆保留与作者信号的 AI 治理 benchmark
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 评测流量转客户端代码的 benchmark,含隐藏执行测试
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 合成 SQL 查询的 benchmark
摘要所述结果: 来源未提供摘要
Kaggle Dataset
做什么: 评测 Gemma 4 检查器对补丁审计的 benchmark,含 552 个标注补丁
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 法语临床与影像语音识别 benchmark,覆盖 9 类影像和 SNOMED CT 处方
摘要所述结果: WannaMedASR v2 达 0.48% CER、99.52% 精确率、0.82% WER
Hugging Face
做什么: 牙种植体品牌分类 benchmark,含 3276 个图像与患者级 5 折划分
摘要所述结果: 摘要未给出结果
DataCite
做什么: 评测日语 LLM 虚拟病人污染后恢复能力的 benchmark,含人类评估
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 面向组织图像问题检测的 Tissues-with-Issues benchmark 数据集
摘要所述结果: 来源未提供摘要
Crossref
做什么: 测量无患者标识符场景下数据泄漏的公共肾脏 CT benchmark
摘要所述结果: 来源未提供摘要
Crossref
做什么: 评估通用 LLM 在多种影像学、多中心真实环境中的报告质检能力
摘要所述结果: 摘要未给出结果
Crossref
做什么: 评估 LLM 医疗指导对不同情绪敏感度与识字水平的适应能力
摘要所述结果: 识字适应准确近乎零误差;情绪适应变异性更大,受模型架构与提示设计影响
Crossref
做什么: 评测10个LLM在结直肠癌腹膜转移复杂决策中的表现
摘要所述结果: 1080次主要回答中完全一致率56.4%,模型间无稳健差异;语义审查降至45.5%。
Crossref
做什么: 评测多个LLM在临床均衡场景下给出甲状腺结节活检建议的表现
摘要所述结果: LLM活检率46%–74%(Claude 3.5最低,Llama 3.2-90B最高),与临床医生一致性中等(α=0.372–0.453)。
Crossref
做什么: 对结合YOLOv8m等模型的口腔健康筛查原型做端到端审计
摘要所述结果: 测试集中17.3%为训练近重复;移除后mAP仅+0.001;路由器拒绝23%图像,溃疡灵敏度0.36;标签缺陷致73%结果命名错误。
Crossref
做什么: 评测15个LLM检测随机临床试验方法学错误的能力
摘要所述结果: 2026年试验上主要错误检测得分58%–99%,Opus 5.5最高99%,GPT-6.1 Sol和GPT-6 Luna为94%和86%。
Crossref
做什么: 评测从ModernBert到LLaMA的LLM在社交媒体文本抑郁检测中的鲁棒性
摘要所述结果: 来源未提供摘要
DataCite
做什么: 评估经 LimeWire MCP 服务器的多智能体文件共享工作流的遥测 benchmark
摘要所述结果: 摘要未给出结果
GitHub
做什么: 评测编码 agent 与 LLM 的端到端 Elixir/OTP CLI 工程 benchmark
摘要所述结果: 摘要未给出结果
DataCite
做什么: 提供 MCP 多智能体文件共享遥测记录的数据集
摘要所述结果: 共 180 条经验记录,覆盖 Claude、ChatGPT、Cursor、VS Code、Gemini CLI
DataCite
做什么: 评测前沿 LLM 与 agent 运行时使用受治理注册技能的 benchmark 套件
摘要所述结果: 摘要未给出结果
GitHub
做什么: 评测 agent 在模拟软件公司中完成任务的 benchmark
摘要所述结果: 摘要未给出结果
GitHub
做什么: 收集游戏 agent 评测 benchmark 的仓库
摘要所述结果: 来源未提供摘要
Hugging Face Papers
做什么: 评测计算机使用 agent 服务不同用户个性需求的 benchmark
摘要所述结果: 44 个角色下任务完成率平均降 36%;完全完成时用户最高满意率仅 62.7%,原请求为 84.1%
Hugging Face Papers
做什么: 统一评测 CLI agent 任务执行与人机协作质量的 benchmark
摘要所述结果: 最强配置平均分仅 49.2%,协作联合分最高 37.6%,任务效果与协作质量差距显著
Hugging Face Papers
做什么: 评测对话 agent 遵守银行流程的动作导向 benchmark
摘要所述结果: 包含 1,000 个印度零售银行任务;仅查最终记录时,6.5%–12.0% 会话被误判为成功
Hugging Face
未提供可用概述,请查看原始来源。
Hugging Face Papers
做什么: WorkFactory 框架通过信息支持图构建可执行专业任务,用于扩展 agent 训练
摘要所述结果: 构建 112,686 个任务覆盖 612 个职业;WorkPilot-35B-A3B 在 GDPval-AA v2.1 上 Elo 从 879 升至 1565
Hugging Face
做什么: 提供 Tech-Graphics-Benchmark 的人工评估原始数据,每个生成对应一个 JSON 文件
摘要所述结果: 摘要未给出结果
DataCite
做什么: LimeWire 发布的生成式 AI 与 3D 重建模型 benchmark 数据集
摘要所述结果: 数据集含 350 条实证记录,评测 7 个生成式 AI 与 3D 重建模型在 50 个提示上的表现
Hugging Face
做什么: 提供生成视频故障细粒度诊断的 pilot 数据集,含 33 个故障子类与 8 个家族
摘要所述结果: 含 33 个故障子类、8 个家族,支持故障发现、子类分类和时间诊断
Hugging Face
做什么: 提供 Tech-Graphics-Benchmark 的测试提示集,用于评测图像模型生成技术图形
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 提供名为 MiRAGeNews-Splicing-Benchmark 的 benchmark 数据集
摘要所述结果: 来源未提供摘要
Hugging Face Papers
做什么: 提出 IntReal,真实世界多模态交错生成的数据集与 benchmark
摘要所述结果: IntReal-100K 含四类样本;评估与人类一致率 83.3%,指标间 ρ≤0.42,四个 UMM 家族强弱各异
Hugging Face Papers
做什么: 提出 EditAgent,用验证记录扩展代理式图像编辑的动作与观察空间
摘要所述结果: 通用编辑器超 40% 案例无可用结果;EditAgent 使现成 VLM judge 胜过微调奖励模型,专家 78.5% 偏好,提升两个开放权重编辑器在三个 benchmark 上的表现
Hugging Face
做什么: 提供修正版 mirohand-egohand-umetrack benchmark 视频与表格
摘要所述结果: 修正版含 54 个 mesh-overlay 视频和完整 ARCTIC/H2O/EgoRenderer 表格;EgoHand 由 SOMA 转换为 MANO
Hugging Face
做什么: 提供 Tech-Graphics-Benchmark 的每轮生成图像及 manifest 文件
摘要所述结果: 图像按轮组织,manifest 行已打乱且 gen id 不透明以保持盲评
Hugging Face
做什么: 评测 LAION CLAP 融合与未融合 checkpoint 在音频-文本检索上的 benchmark
摘要所述结果: short-clip 协议下 AudioCaps 差异不显著;Clotho 上 unfused 双向得分更高,95% 区间不含零,未建立等价。
Crossref
做什么: 定义正确选项表面剖面并审计工业 MLLM 评测的组成敏感性
摘要所述结果: High-Low 风险差 5.20–5.90 个百分点,仅 19/90 单元严格有序;组成改变标准化准确率 -0.46 至 +0.48,导致四次局部排名交换,Top-3 稳定。
DataCite
做什么: RNAflash 的 benchmark 数据集
摘要所述结果: 来源未提供摘要
DataCite
做什么: SomBench:用于月球科学机器学习的 benchmark 数据集,含 30+ 层和基准任务套件
摘要所述结果: ResNet-50 与 SwinV2-B 基线实验显示各 benchmark 任务可从所发布输入学习,建立了参考点。
Crossref
做什么: 评测 18 种共现网络推断方法在合成 16S rDNA-seq 数据上的 benchmark
摘要所述结果: 方法仅在受限且常不现实的场景有效,更现实参数下效果下降。
DataCite
做什么: 基于 MassIVE MSV000103779 的 de novo 肽段测序 benchmark
摘要所述结果: 来源未提供摘要
DataCite
做什么: GEMS-GER benchmark 数据集,用于机器学习地下水建模,含水位、气象和静态特征
摘要所述结果: 含德国 3,207 口监测井 1991–2022 周数据,并报告单井、全局动态及加静态模型的 NSE/RMSE 等性能
Crossref
做什么: 提供 AI-ready 井下微震 benchmark 数据库 AMBER,含波形和人工验证的震相拾取标签
摘要所述结果: 含超过 4,000 个事件、150,000 个 P/S 波拾取和 10,000 个无信号噪声示例,均经人工验证
Crossref
做什么: 比较概念性水文模型与深度学习模型,提出基于流域属性的 benchmark 参考模型选择框架
摘要所述结果: PB 模型在 70 个流域平均 modified KGE 0.82,LSTM 在 82 个流域平均 0.68
Crossref
做什么: 提出评估超参数优化方法等价性的协议,用于深度学习全球太阳辐照预测模型调参
摘要所述结果: 10 轮目标下优化器间无显著差异,优化器解释 0.8% 方差而种子 7.9%;50 轮时两种引导方法优于随机搜索 0.74 W/m²
Crossref
做什么: 以决策为中心的 benchmark,评测 CNN 重打分分子对接的富集与 potency 排序
摘要所述结果: Potency 排序几乎无效(ρ=0.020);富集受 benchmark 设置影响,无结构分类器 ROC-AUC 0.959–0.993。
Hugging Face
做什么: OpenNLI leaderboard 的 44 个公开测试集及可复现分数的评估脚本
摘要所述结果: 摘要未给出结果
Crossref
做什么: 中文文本长度控制的 benchmark,含 5 主题×4 词数档,并提出 LAPP 后处理框架
摘要所述结果: DeepSeek-V3、Qwen2.5、Kimi 原始偏差率 11.93%–38.70%,LAPP 后约 5%,通过率升至 85%–100%,BERTScore 0.97。
Hugging Face
做什么: NLI benchmark 的排行榜,展示准确率、校准和速度
摘要所述结果: 摘要未给出结果
Kaggle Dataset
做什么: 用于多语言 LLM 反幻觉 benchmark 的 100 个建筑 QTO 案例数据集
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 提供LLM benchmark与本地GPU评测数据的机器可读镜像。
摘要所述结果: 覆盖100个全球模型、56个benchmark、2540个表格单元、5069个测量变体和24个本地GPU变体。
Hugging Face
做什么: 提供Sovereign G4 Hermetic benchmark的审计日志与记分卡数据集。
摘要所述结果: 涵盖RouterBench与Aider Polyglot等交互式评测数据。
DataCite
做什么: 提供论文Mind the Gap的benchmark分数快照与复现包。
摘要所述结果: 包含520个模型、359个benchmark版本、6180个实测分数、14314个估计值等复现数据。
Crossref
做什么: 提出结构化科学证据抽取的分层评估框架并评测多种LLM。
摘要所述结果: 模型在低复杂度抽取任务上明显更好,扩展规模收益不均且未消除弱点。
Hugging Face
做什么: 评估藏文 OCR 的 benchmark,含 472 页图像、人工转录文本及标注。
摘要所述结果: 含472页带转录的页面图像及逐页元数据,供多种OCR系统评测。
摘要更正:已依据保存的来源摘要澄清。
GitHub
做什么: 带证明的几何艺术与模型评测 benchmark,含可重放约束检查与 OpenEnv 强化学习环境。
摘要所述结果: 摘要未给出结果
Crossref
做什么: 评测九种深度学习模型提取农田地块边界的多源基准数据集。
摘要所述结果: 空间分辨率影响非线性;BsiNet 在平原/丘陵 F1 最高 86.58%,山区降至 36.56%;山区 RCF 最高 70.85%。
GitHub Organization
做什么: 评测模型猜测物体隐藏第六视角能力的 benchmark 数据。
摘要所述结果: 摘要未给出结果
Kaggle Dataset
做什么: 名为 CW-SSN AiOIR Clean Benchmarks 的数据集。
摘要所述结果: 来源未提供摘要
Hugging Face
做什么: 评测 VLM 空间理解能否迁移至 VLA 行为的 benchmark,含三个组件并基于 BEHAVIOR-1K/OmniGibson。
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 提供工厂包装场景的机器人操作benchmark,含遥操作演示用于构建和评估操作策略
摘要所述结果: 摘要未给出结果
GitHub
做什么: 公开的RoboDojo agent benchmark图谱
摘要所述结果: 摘要未给出结果
Crossref
做什么: 用于巴基斯坦城市和高速公路驾驶员行为分析的多模态benchmark数据集
摘要所述结果: 来源未提供摘要
Hugging Face
做什么: GR1六任务小型排行榜
摘要所述结果: 来源未提供摘要
Hugging Face
做什么: 面向LLM的连续动力学与刚性ODE benchmark
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 含280对数学题的benchmark,研究推理模型描述推理轨迹
摘要所述结果: 每对题目仅改一个数值,解法相同但答案不同,支持受控推理轨迹迁移实验
Hugging Face
做什么: 印度语言和 Hinglish 的语音转文本排行榜。
摘要所述结果: 摘要未给出结果
摘要更正:已依据保存的来源摘要澄清。
Hugging Face
做什么: 印度语言和Hinglish的语音转文本排行榜
摘要所述结果: 摘要未给出结果
DataCite
做什么: 评估可迁移推荐的benchmark数据集套件
摘要所述结果: 来源未提供摘要
DataCite
做什么: 锂电池储能系统运行时间序列和语义报告的benchmark套件
摘要所述结果: 覆盖2023-12-01至2024-05-31,每分钟采样,含SOC预测等三个下游任务
DataCite
做什么: 全灌浆混凝土砌块棱柱体来源可验证的 benchmark 数据集。
摘要所述结果: 含159个基准组、32个测试项目、至少870个棱柱体,数据分A/B级。
DataCite
做什么: 列车单元调车问题及服务调度与劳动力指派的 benchmark 数据集。
摘要所述结果: 含论文实例及两个附录:实例生成说明与经典求解器完整结果。
Crossref
做什么: 深度学习水网泄漏检测的系统综述与实验 benchmark。
摘要所述结果: 综述244条记录;最高检测准确率96.1%(Time-transformer),实用最佳1D-CNN自编码器为92.6%。
Crossref
做什么: 基于振动信号的结构异常检测 benchmark 数据集,含多尺度模式学习方法。
摘要所述结果: 提出的 TimeMixer-OCSVM 方法在异常检测准确率上优于其他典型方法。
Hugging Face
做什么: 名为 observatory-relational-recovery 的 benchmark 数据集。
摘要所述结果: 来源未提供摘要。
Hugging Face
做什么: 扑克 ELO 排行榜数据集
摘要所述结果: 来源未提供摘要
GitHub
做什么: 在 8GB 笔记本 GPU 上经 Ollama 评测开源权重 LLM 的 benchmark
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: Slayer1B 的 benchmark 套件:50 个独立 benchmark、单一协议、经污染检查
摘要所述结果: 摘要未给出结果
Crossref
做什么: 提出 RAC-qRON 排序方法,并在含 21 条记录、4 项标准的工业过程 benchmark 上评测
摘要所述结果: q=3 时最优记录为第 21 天(贴近度 0.6885);10% 随机遮蔽下 RAC-qRON 的 Kendall 相关 0.750,低于 TOPSIS 的 0.806,缺数稳定性不占优
Hugging Face
做什么: 印尼游戏充值 benchmark 数据集
摘要所述结果: 来源未提供摘要
Kaggle Dataset
做什么: 评测边缘开发板上大语言模型每秒 token 生成速度的 benchmark。
摘要所述结果: 摘要未给出结果
DataCite
做什么: 提供 17 个 IHTC-2024 benchmark 实例改进上界的解文件与完整记录。
摘要所述结果: 17 个解改进 IHTC-2024 实例最佳上界,零硬约束违规;由 Claude Opus 5.5 各自 1 小时会话生成,无人类代码。
DataCite
做什么: 评测印尼游戏充值交易延迟、吞吐量与履约可靠性的 open benchmark 数据集。
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 覆盖 213 个 AI 联盟计划,记录佣金、支付期限、cookie 长度等信息的 benchmark 数据集。
摘要所述结果: 数据集含 213 个计划,206 个活跃;活跃计划中位佣金为 30%。
Hugging Face
做什么: 提供柏林、巴黎、新加坡、里约 CEDAE 水务公司运营指标与跨公司对比矩阵的数据集。
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 评测 AI 搜索工具推荐本地服务商提及率的 benchmark,覆盖20个都市区、13类服务
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 评测AI答案引擎回答B2B购买问题提及品牌的benchmark,含94品牌、50问题、5平台
摘要所述结果: 摘要未给出结果
Hugging Face
做什么: 本地 AI 服务器性能 benchmark,含 273 行数据,包括自测数据及明确标注的外部参考数据。
摘要所述结果: 摘要未给出结果
摘要更正:已依据保存的来源摘要澄清。
Hugging Face
做什么: 基于职位发布薪资的benchmark,覆盖55国、1675个单元格
摘要所述结果: 摘要未给出结果
Kaggle Dataset
做什么: GPU租赁价格指数数据集,含22种型号、26个云平台
摘要所述结果: 摘要未给出结果
Kaggle Dataset
做什么: 提供2024-2026年AI硬件GPU与CPU规格、性能、功耗和价格的benchmark数据集
摘要所述结果: 摘要未给出结果
原简报将这些记录折叠为方法论文和其他记录的总数,没有提供逐条分类。此处保留全部来源链接,不推测各条所属类型。
Hugging Face
Crossref
Crossref
DataCite
Crossref
Crossref
Crossref
DataCite
GitHub
GitHub
Crossref
Crossref
Crossref
Crossref
Crossref
Crossref
Crossref
Crossref
GitHub Organization
GitHub Organization
Crossref
Crossref
Crossref
Hugging Face Papers
Hugging Face Papers
Hugging Face Papers
Hugging Face Papers
Hugging Face Papers
Hugging Face Papers
Hugging Face Papers
Hugging Face Papers