港大最新测评：36款大语言模型中文推理能力比拼 国产模型占据半壁江山
项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B 香港大学经济及工商管理学院今日正式发布《大语言模型中文推理能力评估报告》，对当前市场上36款主流大语言模型（LLM）的中文语境推理能力进行了全方位基准测试。这项研究首次系统揭示了不同模型在逻辑推理、情境分析等核心能力上的差异化表现。测试结果显示，GPT-o3在基础逻辑领域表现突出，Gemini 2.5 Flash则在情境推理环节拔得头筹。综合能力排行榜上，豆包1.5 Pro（思考模式）以总分优势位居榜首，OpenAI最新发布的GPT-5紧随其后，包括DeepSeek-R1在内的多款中国本土模型均进入前十，充分彰显了中国大语言模型在中文场景下的推理实力。
随着OpenAI推出o1系列推理专用模型引发行业变革，以及DeepSeek-R1因卓越解题能力成为公众热议焦点，大语言模型赛道的竞争已从通用能力比拼转向推理性能的深度较量。为此，港大经管学院创新及资讯管理学教授、夏利莱伉俪基金教授蒋镇辉带领人工智能评估实验室（AIEL）团队，耗时半年构建了涵盖基础逻辑与情境推理的双层评估体系，通过梯度化测试集对中美两国36款主流模型展开专业评测。测试样本包含14款推理专用模型、20款通用模型及2款一体化系统。评估数据显示，在基础逻辑任务中，专用推理模型与通用模型的性能差距并不显著；而在更复杂的情境推理任务中，推理专用模型的优势开始显现。同一企业的多模型对比进一步证实，针对复杂任务优化的模型架构具有更强的综合竞争力。
"大语言模型的推理能力发展与其文化语境和语言特性存在深度耦合关系。"蒋镇辉教授在解读报告时强调，"在推理能力成为AI产业核心竞争力的当下，我们希望通过这套具有自主知识产权的评测体系，精准定位中文语境下的推理强者，推动行业形成'以评促建'的良性循环，最终实现模型推理效率提升与应用成本优化的双重突破。"
为确保评测结果的真实性与权威性，研究团队采用"原创为主、改编为辅"的题目设计策略，其中90%的测试题目为团队原创或深度改编，10%精选自中国初高中升学考试真题及国际知名推理数据集。题目难度分布呈现"简易题60%、复杂题40%"的黄金配比，并构建了逻辑复杂度逐级递增的评估链条，以精确绘制各模型的推理能力边界。评分体系则从准确性（含正确率与合理性）、逻辑连贯性、语言精炼度三个维度进行量化评估。
基础逻辑能力测试环节，GPT-o3以95.6分的加权得分位居榜首，豆包1.5 Pro（思考模式）以0.3分之差屈居次席。测试同时暴露了部分模型的明显短板，如Llama 3.3 70B在多步推理中出现逻辑断裂，360智脑2-o1的多前提推导正确率仅为58.7%。值得关注的是，中国模型DeepSeek-R1在该环节获得92分，位列第五，展现出稳健的基础推理能力。
情境推理能力评估涵盖常识判断、学科应用、不确定性决策、道德伦理四个维度。Google Gemini 2.5 Flash凭借在常识推理（96分）和学科推理（94分）的双重优势综合夺冠；豆包1.5 Pro（思考模式）在常识推理领域获得全场最高的97分，与在学科推理（95分）和决策推理（92分）表现突出的Gemini 2.5 Pro并列第二。DeepSeek-R1在情境推理环节获得87分排名第九，各维度得分分别为：常识推理94分、学科推理93分、不确定性决策78分、道德伦理推理82分，显示出在专业领域推理的优势和决策场景的提升空间。
综合能力排行榜呈现出更为激烈的竞争格局。豆包1.5 Pro（思考模式）以基础逻辑95.3分、情境推理91.2分的均衡表现，以总分93.2分摘得桂冠；GPT-5以91.8分紧随其后；GPT-o3和豆包1.5 Pro（默认模式）分别以90.5分和89.9分位列第三、四名。中国模型表现亮眼，DeepSeek-R1以89.5分与Gemini 2.5 Pro、通义千问3（思考模式）共同占据第五名位置，形成"国产三强"的竞争态势。
此次评测的重要发现是，中国本土大语言模型在中文推理领域已形成集团化竞争优势。前十名中，中国模型占据五席，展现出从"跟跑"到"并跑"再到部分"领跑"的发展态势。随着评测体系的持续完善，预计将有更多专注中文场景的推理模型实现能力突破，推动大语言模型在金融分析、医疗诊断、教育辅导等专业领域的深度应用。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
