AI EVALUATION, IN CONTEXT.BY EQUALITY MACHINE

OpenCompass Hub

AudioTrust

AudioTrust针对Audio Large Language Models(ALLMs)的全方位可信评估框架,有效揭示音频大模型在公平性、幻觉、安全、隐私、鲁棒性和身份验证六大维度的潜在风险。汇集4,420+条真实场景音频/文本数据,覆盖日常对话、紧急呼叫、语音助手等18种实验设置,设计9项音频特定评测指标,构建自动化评估流水线。主要发现:闭源模型在鲁棒性和安全防护上表现更佳,开源模型对隐私和公平性仍存盲区;多数ALLMs对性别、口音、年龄等敏感属性存在系统性偏见。期待研究者基于AudioTrust继续优化音频大模型,共同推动更安全、可信的AI音频生态发展!

评测信息与证据

来源
OpenCompass Hub
发布者
Tsinghua University, Nanyang Technological University
评测发布日期
2025-06-06
采集日期
2026-08-18
模态
multimodal

本站保留来源报告的结果,不代表独立复测。请先核对任务版本、评测协议、分数单位和报告日期;不同运行条件不能直接合并为统一排名。

原始资料

报告成绩 0

本来源记录尚未收录数值成绩。这不表示模型得分为零,也不表示该评测没有公开成绩;请查阅原始资料。