01 本期看点
-
教育行业大模型选型必读
1.闭卷考试！独家评测集：用最新K12真题（小学-高中全学科）构建“闭卷考场”，108个模型同台竞技，数据污染率<5%（传统评测集污染率超60%）
2.价格透明对比：40元/M tokens的阿里系模型VS 2元/M tokens的字节系、腾讯系模型，谁更值？
3.四大选型禁区：>60元但得分<75的模型被列入不推荐名单（附避坑清单）
4.核心结论直出：教学核心环节必须用专用模型，90%场景用通用模型可降本50%+
▶ 模型评分、价格成本、评测集和评测结果等更多行业应用选型资讯详见：https://nonelinear.com/static/home.html
-
关于本次评测集构建：
1.构建目标：因传统评测集多已被模型训练使用，再拿来评测相当于让大模型“开卷考试”，且更新滞后，导致结果参考性十分有限。本期评测基于最新小学至高中全学段各学科试题及高考真题构建评测集（数据污染度低），模拟“闭卷考试”检验大模型的真实能力，可为教育行业应用选型，提供贴合实际场景应用的真实参考。
2.亮点：
（1）维度全：基于最新小学至高中全学段各学科试题及高考真题，贴合真实应用场景，选型参考性高；
（2）题集新：评测集均为最新题集（按周频率更新），未被各模型训练使用，数据污染度低；
（3）全透明：每一个大模型评测的评测题集、评测得分、评测错题（badcase），均可见、可查询、可溯源。
k12+高教+考研+教资」33
2996
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
