OpenCompass Hub

CPRet

编程竞赛长期用于评估算法与编程能力，近年来也被用于大语言模型的评测。但随着题库扩展，重复或相似题激增，影响竞赛公平性与模型评测效果。为此，本文提出“相似题目检索”任务，并构建统一检索基准数据集 CPRet，涵盖题目与代码的四类检索任务，包含自动爬取和人工标注的数据样本。同时，设计并训练了两种检索模型 CPRetriever-Code 与 CPRetriever-Prob，显著提升检索效果。实验还发现相似题会提高模型得分、减小模型差异，强调了评测中引入“相似性感知”的必要性。我们还发布了开源检索平台，支持重复题检测与相似题推荐。项目地址：https://github.com/coldchair/