AI 文本检测器真实评测工作台
准 vs 偏 · 润色悖论 · 你自己的偏见乘数 · 乘数定义器真算 · 本轮回源台账——全部数字逐条回源，撤下的写明撤下原因
🔬 AI 文本检测器真实评测工作台
核心命题：「准不准」与「偏不偏」是两个正交维度。人类 = 不准（44.9–52.6%，≈抛硬币）但不偏；检测器 = 可能更准， 但错的时候专挑特定人群。全部数字取自本轮逐条回源的 Liang 2023（arXiv:2304.02819）、Pindrop（arXiv:2512.09292） 与 JAAD International 2026;24:242-243。
🎯 本工具真正该讲的那张图
Pindrop 的结论不是「检测器不准」，而是：准不准是一个维度，偏不偏是另一个维度。人类在准确率上接近抛硬币，却在四个属性上都没有统计显著的偏见；检测器可以很准，但错的时候不是随机错，而是按人群错。
虚线空心点 = 该位置只有一个定性描述（论文未给数字），只表示象限归属，不表示精确坐标。
人类专家（Pindrop 3 位标注者）
准确率 48.9%44.9% / 49.2% / 52.6%；四属性上 p<.01 全不显著
人类 + 协同工具（Lee et al. 2025，论文引用）
准确率 57%据 Pindrop 正文引述：即便有协同工具辅助，人类准确率也只到 57%
Pindrop 16 系统中的「显著者」
准确率 88%64 组「属性×模型」中仅 12 组显著且效应量大；ELL 是主例外
Liang 2023 七家检测器（TOEFL 侧）
准确率 38.8%对非母语 TOEFL 作文平 均 FPR 61.22%，即「判人类」的准确率只有 38.78%
Liang 2023 七家检测器（美国文书侧）
准确率 未给数字论文只写「near-perfect accuracy」，未给数字 → 本工具不给精确值
⭐ 最容易被读错的一条
用「人类只有 45–53%，比抛硬币还差」去论证检测器无用，恰好抹掉了论文最强的论点。 Pindrop 的原文结论是：64 个「属性 × 模型」组合里只有 12 个统计显著且效应量有意义， 且人类在四个属性上均未表现出显著偏见。这不构成「检测器都该扔掉」， 而是构成了「保留人在回路」的真正理由——不是因为人更准，而是因为人不按人群出错。
Pindrop 语料构成（Table 1）
- • PERSUADE 2.0：24,695 篇
- • ASAP 2.0：24,728 篇
- • ELLIPSE：6,482 篇
- • 清洗后合计：41,743 篇
- • 学生年级：美国 6–12 年级
- • 16 个检测系统 × 4 个属性 = 64 组观测
偏见也不是单向的
- • ELL 学生的作文更容易被判为机器生成（多模型一致）
- • 非白人 ELL 相比白人 ELL 更甚
- • 但经济劣势学生的作文反而更不容易被判为机器生成
- • 性别维度上多数系统无一致方向
- → 若一个工具只肯讲「检测器歧视弱势群体」，它就把反向的那一半证据藏起来了