MMMU-Pro：如何构建一个“无捷径”的多模态模型能力评估基准

1. 为什么我们需要一个无捷径的多模态评估基准最近在测试各种多模态模型时我发现一个有趣的现象有些号称视觉-语言双修的模型其实是在作弊。它们看似能回答图像相关的问题但实际上只是靠题目中的文字线索在猜答案。这就好比一个学生考试时不看题目配图光读题干就能答对——这显然不是真正的多模态能力。这种现象在业内被称为文本依赖性问题。我去年参与过一个电商问答系统的项目当时测试的模型在商品图片识别任务中表现优异。但后来发现它其实是通过商品标题中的关键词比如红色连衣裙来答题根本没用图片信息。这种伪多模态现象严重影响了评估的真实性。现有的多模态基准测试主要存在三大漏洞文字泄题约30%的视觉问答题目仅凭问题文字就能猜出答案选项提示四个选项中往往包含明显错误项模型通过排除法就能提高准确率图文割裂测试时文本和图像信息分离不符合真实场景中图文混合的输入方式2. MMMU-Pro的三重防御体系设计2.1 第一道防线纯文本问题过滤团队采用了一个很聪明的反作弊策略先用纯文本模型试答所有题目。我们测试时动用了Llama3-70B和Qwen2-72B这样的顶级语言模型让它们在不看图片的情况下答题。结果令人震惊——近40%的视觉问题被这些盲人模型答对了具体过滤流程是这样的让文本模型对同一问题生成5次不同答案统计正确率超过60%的问题将这些可文本破解的题目移出测试集我尝试用这个方法清洗了一个开源VQA数据集发现原本的准确率指标虚高了15个百分点。这就像考试前先让学霸闭眼做一遍卷子把那些不用看题就能答的题目都剔除。2.2 第二道防线选项扩容战术传统多选题的四个选项太容易被破解了。根据我们的实验记录在4选项设置下随机猜测的正确率是25%当选项增加到10个时纯靠运气答对的概率骤降至10%但扩容不是简单堆砌错误选项。我们开发了一套语义干扰生成算法def generate_distractors(correct_answer, knowledge_graph): # 从知识图谱中提取相关但错误的关联概念 neighbors kg.query(correct_answer, depth2) # 根据语义相似度排序 ranked sorted(neighbors, keylambda x: cosine_sim(x, correct_answer)) # 选取相似度适中的9个干扰项 return ranked[3:12] [correct_answer]这种设计迫使模型必须真正理解图像内容。就像辨认猫的品种时干扰项都是外观相似的猫种而非随便拿狗或汽车来充数。2.3 第三道防线纯视觉输入挑战最狠的一招是把问题文本也变成图像。我们模拟了三种真实场景手机截图用户分享的社交媒体内容文档扫描件带注释的论文或报告页场景文字照片路牌、菜单等现实拍摄测试时遇到个典型案例一张药品说明书的局部照片要求回答服用剂量。模型必须同时OCR识别微小文字理解图表中的时间轴综合计算每日总量这种设置直接暴露了现有模型的短板。在我们内部测试中包括GPT-4V在内的顶级模型在纯视觉输入下的表现比图文并茂时平均下降了23%。3. 构建评估基准的实战经验3.1 数据清洗的五个陷阱在筛选3460个最终问题时我们踩过不少坑学科平衡性初期艺术类题目占比过高后来按STEM(35%)、人文(30%)、艺术(20%)、社科(15%)重新配比难度梯度通过教师专家组评估确保简单:中等:困难3:5:2文化偏见删除了包含特定文化背景知识的题目如需要棒球知识的问题时效性排除依赖时事热点的题目确保基准的长期有效性版权风险所有图像都经过CC协议验证或原创绘制3.2 评估指标的创新设计传统准确率指标会掩盖关键信息。我们开发了多维度评分卡维度权重测量方式模态融合度40%对比纯文本/纯视觉与多模态输入的准确率差值抗干扰性30%在增强干扰选项下的表现稳定性推理深度20%需要推理步骤数与正确率的相关系数响应速度10%首次响应时间与准确率的权衡系数这套指标帮助我们发现某些模型在简单题目上追求速度牺牲精度而在复杂题目上又过度思考导致超时。4. 从理论到实践的挑战4.1 真实场景的模拟困境最大的意外是发现模型在处理不完美图像时表现骤降。我们设计的压力测试包括低分辨率手机快速拍摄部分遮挡手指挡住关键信息非常规角度倾斜拍摄的文档复杂背景广告传单上的重点信息一个银行票据识别的案例特别典型当票据被对折拍摄时所有测试模型的准确率都跌破50%。这提醒我们现实场景远比实验室条件复杂。4.2 模型作弊的新花样即使经过三重防护仍发现模型在钻空子文字位置记忆记住常见问题在图像中的位置分布字体关联特定字体风格与题目类型的隐性关联色彩线索利用图表颜色而非实际数据答题为此我们不得不引入动态渲染系统每次测试时随机改变文字排版位置字体样式和大小图表配色方案图像背景纹理这个过程让我想起反作弊考试的出题艺术——既要考出真实水平又要堵住所有取巧路径。