星案例 | 三类主观题型AI判分效果
作者:小星
时间:2024-11-01
阅读量:88254

体验智能防作弊考试


自考试星推出AI判分以来,我们已经为众多招聘考试、证书考试提供了判分服务并获得了客户伙伴的认可。这次我们以其中6场考试为例,我们与客户伙伴同时进行了AI判分和人工判分并做了复盘比对,题型涉及材料作文题、实用文写作题、论述题三种。文中部分信息已做脱敏处理


实用文写作题


实用文写作是事业编招考中会考到的题型,答题有基本的格式和要求。本题要求考生根据材料拟一份公告,分值25分。


我们将判分规则设定为格式正确内容准确层次清晰方案完整表达得体创新性6个维度来综合衡量被试者的公文写作能力,用AI判分模型给出更加全面和客观的分数。


从AI评分和人工判分的结果来看,AI判分成绩围绕着人工判分成绩上下波动,成绩本身具有相似形态,人工评分的成绩更集中在中高分段,AI评分更符合正态分布。


我们使用Pearson相关性分析方法,对AI判分和人工判分的相关性进行比对,结果显示I判分和人工判分结果有较强的正相关关系,也就是说AI判分在实用文写作类的考试判分中有着较强的相关性,AI判分在公文写作这类主观题中有着高度信任的可用心。


↓↓ AI判分与人工判分分数分布对比图

AI判分与人工判分分数分布对比图


论述题


论述题是一种常见的主观题形式,题干本身会提供若干材料,要求考试者根据题目要求和自己的理解,清晰而全面的阐述自己的观点,这类题目重点考察考试者对问题的理解深度、逻辑思维、文字表达等综合能力。在人工判分模式下,即使有相对统一的判分要求,也比较容易受到判分老师主观因素的影响。


使用AI判分时,我们将原始的判分规则进行了结构优化,把观点鲜明立意明确条理清晰表达流畅等评分维度融合,划分为6个分数等级,并详细给出每个分数等级评分标准,将评分标准结构化,更精细化地进行智能评分。


↓↓ 多级结构化AI判分规则示例

多级结构化AI判分规则示例


在这次的判分项目中,我们对200份试卷进行了人工+AI双判的模式,并对最终成绩进行比对分析,AI判分的离散程度更高,在一定分数段更符合正态分布。


材料写作题


材料写作题一般给出一两篇材料,考生结合实际书写规定字数的议论文。这类考题,考验考生的审题、立论、写作、思维连贯等综合能力。同样采用多级分数区间法来制定AI判分规则:从文章主旨文章结构语言表达字数四个维度来综合判分。


从最后1033份试卷的人工判分和AI判分的效果对比来看,最高分、最低分、平均分,中位数、众数几个维度都非常接近。实测对比下来,AI判分在材料写作题判分上已经高度可用


↓↓ AI判分与人工判分分数效果对比

AI判分与人工判分分数效果对比


考试星AI智能判分支持线下纸笔考试线上电子试卷,如果您也有各类试卷批量智能化判分需求,欢迎咨询我们或免费注册体验(注册可免费领判分次数)

以上内容未解决您的问题?

联系在线客服
热门标签
考试星 在线考试系统 飞书版在线培训考试 考试云平台 线上考试平台 AI智能录题功能 学员线上考试 企业微信在线答题系统 考试平台 网络考试平台 在线培训学习系统 监考系统 在线考试云平台 在线问卷系统 线上考试 在线模拟考试系统 答题考试平台 积分系统搭建 线上考试摄像头问题 在线学习考试系统 在线考试答题系统 线上学习系统 考试客户端 认证考试平台 微信考试答题小程序 安全生产考试平台 问卷系统 企业在线培训考试系统 随机抽题软件 在线模拟考试平台 在线答题软件 考试阅卷系统 免费在线考试系统 在线学习培训系统 考试监考系统 线上竞赛答题平台 企业线上培训 线上培训平台 学生在线考试平台 钉钉版在线培训系统 刷题平台 在线考试平台 高校期末在线考试 阅卷系统 智能化考试平台 竞赛考试答题系统 防切屏设置 企业培训平台 人脸识别考试系统 企业考试系统 摄像头监考系统 微信考试系统 在线考试功能 招生考试 企业培训考试系统 线上考试系统 考试服务云平台 在线刷题系统 在线考试 知识竞赛系统 线上知识竞赛系统 考试评分系统 企业微信在线培训系统 线上招聘考试平台 证书考试平台 在线学习考试平台 考试星微信小程序 在线阅卷系统 问卷答题系统 智能化考试服务平台 智能监考系统 数学考试系统 免费在线考试平台 职业资格认证考试平台 在线考试题库系统 线上知识竞赛平台 微信在线答题系统 答题阅卷系统 考试星考试流程更新 线上培考平台 在线试卷平台 智能题库系统 严肃考试 考试付费 在线答题竞赛系统 在线培训系统 知识竞赛平台 招聘笔试 智能考试系统 智慧考试系统 员工线上考试 新员工培训 账号登录考试系统 考试在线系统 招聘培训系统 云监考 在线招聘考试平台 课程付费 好用的线上考试平台 党建平台