AI是知识工作者的挖掘机,大幅提升教学与科研生产力。
—————————————
每次给老师们进行AI培训时,除了一片惊叹声外,老师们最关心的问题之一是:
- 学生使用AI写作业,有什么办法检测出来吗?
CNKI、维普、万方等平台倒都是有AIGC检测的项目,不过都是付费的,对于普通作业来说,不可能这么兴师动众。
不过,前几天老师关注到一则消息:
- WritePass开放了“AI生成文本检测”的功能,而且是免费的(不过一天只能检测1次)!
于是,我花了3天时间,对这一功能进行了系统、全面的测试, 结果非常准确,让人非常惊喜!
- WritePass网址:https://www.writepass.com/
以下是本次测试各个部分的结论汇总,测试详情估计大家并不感兴趣,就不贴上来了…………
1. 人类创作的文本检测结果
研究方法:用手头的、确定100%由人类创作的文本,让WritePass大模型进行AIGC检测
| 文本类型 | AIGC检测值 |
| 高中作文(同学作业) | 1% |
| 学习心得(老师撰写) | 0% |
| 期刊论文(老师参与撰写) | 0% |
| 某校印发的文件 | 0% |
- 研究结论: 100%准确
2、AI创作的文本检测结果
- 研究方法:用六个AI大模型分别创作不同的文本(以往的积累),各送一个到大模型中,进行AIGC检测
| 送检文本 | AIGC检测值 |
| 豆包撰写的新闻稿 | 100% |
| Kimi撰写的培训心得 | 100% |
| 橙X AI撰写的论文 | 100% |
| 橙X AI撰写的教学设计 | 100% |
| 智谱清言撰写的作文 | 100% |
| 文心一言撰写的政策文件 | 100% |
| 通义千问撰写的活动方案 | 100% |
- 研究结论: 100%准确!
【点评】以上两个 100%,一个说明 100%不会误报、另一个说明 100%不会漏报,说明了WritePass大模型的 AIGC检测完全可以付诸实用!
3. 同一主题,不同AI生成文本检测结果
研究方法:分别采用同样的提示词,让六大国产AI,生成一篇中小学作文、一篇大学生小论文、一篇政策文件
不同情况下WritePass大模型 AIGC检测值如下:
| 中学生作文 | 大学生小论文 | 政策文件 | |
| 豆包 | 100% | 79% | 67% |
| 橙篇 | 100% | 94% | 55% |
| Kimi | 100% | 95% | 69% |
| 文心一言 | 100% | 100% | 95% |
| 智谱清言 | 100% | 内容不合格 (AIGC值: 100%) | 11% |
| 通义千问 | 100% | 内容不合格 (AIGC值: 100%) | 40% |
- 研究结论 1:不同类别的文本对比,数据似乎说明:越复杂的文本、也有可能是越不那么常见的文本, AIGC检测率相对越低?(但绝大部分都能被检测出来)
- 研究结论 2:大模型之间的横向对比,说不准哪个 AI的“ AI味”更浓厚,这里检测的似乎并非 AI味、而是WritePass大模型的 AIGC检测能力的适应性。
【点评】本来想对各个大模型的是“ AI味”进行比较的,不过根据结论来看,检测结果更有可能表明的是:WritePass大模型与其它大模型在训练资料、或者某种内部结构方面的差异性(差异性较大,越不容易被检测出来)
4. 人类作品+ AI润色检测结果
研究方法:对于不同的人类作品,统一采用豆包进行润色(提示词:请对如下文本进行润色)
润色后, AIGC检测值如下:
| 文本类型 | 原始值 | 润色后检测值 | 说明 |
| 高中作文+AI润色 | 1% | 94% | 如果用“豆包爱学”润色的话,检测值仅为 7% |
| 学习心得+AI润色 | 0% | 96% | |
| 期刊论文+AI润色 | 0% | 51% | |
| 学校文件 +AI创作 | 0% | 48% | 注意:这个不是润色,而是参考范文进行重新创作 |
- 研究结论1: AI润色会使AIGC检测值大幅提高!
- 研究结论 2:似乎越复杂的文本、或是越不常见的文本,润色后 AIGC检测值相对越低?
【点评】如果你的作品会被拿来做 AIGC检测的话,请慎用 AI润色功能(虽然很好用)!
5. 用AI来“降AI味”,有用吗?
研究方法:针对AI所撰写的中学生作文(AIGC检测值为100%),采用三种方式进行降重,然后采用WritePass大模型AIGC检测,结果如下:
| 处理方法 | “降 AI味”后 AIGC检测值 |
| Kimi+à“论文改写”智能体 | 87% |
| 豆包à“降 AI率”智能体 | 100% |
| 在 Kimi中手搓提示词 | 100% |
- 研究结论: 无用!
【点评】虽然“降 AI味”的操作,使得文本用肉眼看起来确实不像 AI写的,但却无法躲过 AIGC检测的火眼金睛!