数据标注的方法论

“数据标注看起来是最’低技术含量’的环节，实际上它是整个 pipeline 中对最终质量影响最大的环节之一。”

一条被错误标注的偏好数据，其危害远大于一条缺失的数据。因为错误标注会教模型学到错误的偏好模式——而且这种错误在下游很难被发现。这一章，我们从工程实践的角度，系统地讲清楚”怎么标、谁来标、标多少、怎么保证质量”。

---

18.1 标注流程设计

为什么标注不是”找人打标签”

很多团队对标注的理解停留在”写个指南、找一群人、开始标”的阶段。但优秀的标注工程与蹩脚的标注工程之间的差距，不亚于优秀的代码与蹩脚的代码之间的差距。

认知演变时间线：

2020 年  "标注就是人力活，找便宜的众包就行"
    ↓
2022 年  InstructGPT 论文揭示：标注员的质量差异导致模型行为天差地别
         → 开始重视标注指南和标注员筛选
    ↓
2023 年  LIMA 论文证明：1000 条高质量标注 > 100K 条低质量标注
         → "Less is More" 观点兴起
    ↓
2024 年  LLM-as-Judge 大规模采用：AI 标注 + 人工审核
         → 标注成本降低 5-10 倍，但带来新的偏差问题
    ↓
2025 年  "标注即对齐规范"——标注指南本质上定义了模型的行为边界
         → 标注工程上升为战略层面的决策
    ↓
2025-2026 年  "AI 自监督 + 风险治理"
         → LLM-as-Judge 从成本工具升级为需要治理的系统
         → 偏差检测从静态清单升级为持续发现机制（BiasScope, ICLR 2026）
         → 标注方法论开始覆盖多模态（图像/视频/音频）

完整的标注项目流程

Phase 1: 需求定义与标注指南撰写（1-2 周）
  ├── 明确标注任务的目标（分类？偏好排序？生成评分？）
  ├── 定义数据格式和标注 schema
  ├── 撰写标注指南 v0.1（见下方模板）
  ├── 准备 50-100 条标注示例（覆盖典型 + 边界情况）
  └── 内部评审标注指南（至少 2 位专家审核）

Phase 2: Pilot Study（1-2 周，绝对不可跳过）
  ├── 3-5 名标注员标注 200-500 条
  ├── 计算 Inter-Annotator Agreement (IAA)
  ├── 分析分歧点（哪些样本标注员意见不一？）
  ├── 修订标注指南 → v0.2（重点补充分歧处的决策规则）
  ├── 标注员校准会议（逐条讨论分歧样本）
  └── 可能需要多轮迭代直到 IAA 达标

Phase 3: 正式标注（2-8 周）
  ├── 扩大到完整标注团队（10-50 人）
  ├── 每日质量抽检（随机抽取 5-10% 由 QA 复审）
  ├── 每周 IAA 计算（监控质量趋势）
  ├── 持续更新标注指南（新的边界情况 → 追加规则）
  ├── 标注员定期反馈收集（发现指南中的模糊之处）
  └── 黄金集实时质量监控

Phase 4: 质量审核与交付（1-2 周）
  ├── 全量自动检查（格式、完整性、一致性）
  ├── 低置信度样本复审（多人标注不一致的样本）
  ├── 最终 IAA 报告
  ├── 数据清洗和格式化
  └── 存档标注指南最终版（用于复现和审计）

标注指南模板

一份好的标注指南是标注质量的基石。以下是经过多个项目验证的模板结构：

# [任务名称] 标注指南 v[版本号]

## 1. 任务概述
- 目标：一句话描述这次标注的目的
- 用途：标注数据将用于什么（SFT/RM 训练/评估）
- 预期总量：X 条
- 预计工期：X 周

## 2. 标注维度与定义
### 2.1 维度 A：[如"有帮助性"]
- 定义：...
- 5 分标准：
  - 5 = 完美回答（准确、完整、有条理）
  - 4 = 好的回答（基本准确完整，小瑕疵）
  - 3 = 一般（能用但有明显不足）
  - 2 = 差（有错误或严重遗漏）
  - 1 = 无用（完全偏题或拒绝回答）

### 2.2 维度 B：[如"安全性"]
- 定义：...
- 二元标注：安全 / 不安全

## 3. 标注规则
### 3.1 一般规则
- 规则 1: ...
- 规则 2: ...

### 3.2 特殊情况处理
- 当 prompt 含有有害内容时：...
- 当回复包含不确定信息时：...
- 当两个回复质量几乎相同时：...

## 4. 标注示例
### 4.1 典型示例（10-20 条）
[示例 1] Prompt: ... / Response A: ... / Response B: ...
正确标注: A > B
理由: ...

### 4.2 边界示例（10-20 条）
[边界示例 1] 这个例子容易标错的原因是...

### 4.3 常见错误
- ❌ 错误做法 1: ...
- ✅ 正确做法: ...

## 5. 工具使用说明
- 标注平台操作指引
- 快捷键
- 问题反馈渠道

## 6. 变更日志
- v0.1 (日期): 初始版本
- v0.2 (日期): 根据 Pilot Study 修改了 XXX
- v1.0 (日期): 正式版

🔍 反直觉发现：标注指南的示例部分比规则部分更重要。研究表明，标注员更多地通过”模式匹配”（参照示例）来做判断，而不是通过”逻辑推理”（阅读规则）。所以，每增加 10 条高质量示例，IAA 的提升通常超过增加 10 条规则。

---

18.2 标注质量控制

IAA（标注员间一致性）指标

IAA 是标注质量最客观的度量——如果标注员之间都无法达成一致，那么标注数据教给模型的就是噪声。

"""
标注一致性指标计算
覆盖三种常用指标 + 实用解读
"""
import numpy as np

def compute_cohens_kappa(annotator1: list, annotator2: list) -> float:
    """
    Cohen's Kappa：两人间的一致性（适用于二分类/多分类）
    
    κ = (P_o - P_e) / (1 - P_e)
    P_o: 实际一致率
    P_e: 随机一致率
    """
    assert len(annotator1) == len(annotator2)
    n = len(annotator1)
    
    # 实际一致率
    p_o = sum(a == b for a, b in zip(annotator1, annotator2)) / n
    
    # 随机一致率（基于各标注员的标签分布）
    from collections import Counter
    c1, c2 = Counter(annotator1), Counter(annotator2)
    labels = set(c1.keys()) | set(c2.keys())
    p_e = sum(c1.get(l, 0) / n * c2.get(l, 0) / n for l in labels)
    
    kappa = (p_o - p_e) / (1 - p_e) if p_e != 1 else 1.0
    return round(kappa, 4)


def compute_krippendorffs_alpha(
    reliability_data: list[list],  # 标注矩阵 [annotator][item]
    level: str = "nominal",
) -> float:
    """
    Krippendorff's Alpha：多标注员、多类型的通用一致性指标
    
    优点：支持 2+ 标注员、允许缺失数据、支持多种数据类型
    
    解读标准：
    α ≥ 0.80: 可靠（excellent agreement）
    0.67 ≤ α < 0.80: 可接受（tentative conclusions）
    α < 0.67: 不可靠（需要重新设计标注任务或指南）
    """
    # 推荐使用 krippendorff 库
    # pip install krippendorff
    import krippendorff as ka
    
    alpha = ka.alpha(
        reliability_data=reliability_data,
        level_of_measurement=level,  # "nominal" | "ordinal" | "interval" | "ratio"
    )
    return round(alpha, 4)


def compute_fleiss_kappa(annotations_matrix: np.ndarray) -> float:
    """
    Fleiss' Kappa：多标注员固定类别的一致性
    
    输入：N × k 矩阵，N = 样本数，k = 类别数
    每个元素 = 标注该类别的标注员数
    """
    N, k = annotations_matrix.shape
    n = annotations_matrix.sum(axis=1)[0]  # 每条的标注员数（假设固定）
    
    # 每条的一致度
    P_i = (np.sum(annotations_matrix ** 2, axis=1) - n) / (n * (n - 1))
    P_bar = np.mean(P_i)
    
    # 各类别的整体比例
    p_j = np.sum(annotations_matrix, axis=0) / (N * n)
    P_e = np.sum(p_j ** 2)
    
    kappa = (P_bar - P_e) / (1 - P_e) if P_e != 1 else 1.0
    return round(kappa, 4)


# 实际使用示例
def iaa_report(data: list[dict]) -> dict:
    """
    生成 IAA 报告
    
    data: [{"item_id": "001", "annotator": "A", "label": 4}, ...]
    """
    from collections import defaultdict
    
    # 按 item 聚合
    items = defaultdict(list)
    for d in data:
        items[d["item_id"]].append(d)
    
    # 统计
    n_items = len(items)
    n_annotators = len(set(d["annotator"] for d in data))
    
    # 分歧分析
    disagreements = []
    for item_id, anns in items.items():
        labels = [a["label"] for a in anns]
        if len(set(labels)) > 1:
            disagreements.append({
                "item_id": item_id,
                "labels": labels,
                "spread": max(labels) - min(labels) if isinstance(labels[0], (int, float)) else "N/A",
            })
    
    return {
        "n_items": n_items,
        "n_annotators": n_annotators,
        "disagreement_rate": round(len(disagreements) / n_items, 4),
        "n_high_disagreement": sum(1 for d in disagreements if d.get("spread", 0) >= 2),
        "top_disagreements": sorted(disagreements, key=lambda x: x.get("spread", 0), reverse=True)[:10],
    }

黄金集（Gold Set）的使用

黄金集是在标注过程中”暗中考试”的机制，用于实时监控标注员的质量：

黄金集实施细节：

1. 构造阶段
   ├── 由 2-3 名专家独立标注 200 条样本
   ├── 仅保留专家 100% 一致的样本（通常剩 150-170 条）
   ├── 确保覆盖各类别、各难度等级
   └── 每月更新 10-20% 的黄金样本（防止泄露）

2. 嵌入策略
   ├── 在正式标注流中随机混入黄金样本（占 5-10%）
   ├── 标注员无法区分黄金样本与正式样本
   ├── 黄金样本的位置每次随机
   └── 同一标注员不会连续遇到黄金样本

3. 监控与干预
   ├── 准确率 > 90%：优秀标注员 → 可以处理困难样本
   ├── 准确率 80-90%：合格 → 正常标注
   ├── 准确率 70-80%：警告 → 安排一对一辅导
   ├── 准确率 < 70%：暂停 → 重新培训或替换
   └── 持续两周低于 80% → 该标注员的历史标注全部复审

4. 统计学注意事项
   ├── 至少需要 30 条黄金样本才能做出可靠判断
   ├── 置信区间：30 条金标、准确率 85% → 95% CI = [68%, 95%]
   └── 建议使用 Wilson 区间估计而非朴素二项分布

---

18.3 大规模标注的组织与成本

标注团队管理

方面	内部专家团队	外包众包团队	AI + 人工审核
质量上限	最高	中等	高（取决于审核质量）
成本/条	$2-10	$0.1-1	$0.05-0.3
速度	慢（50-200 条/人/天）	中（100-500 条/人/天）	快（1000+ 条/天）
领域理解	深	浅，需要培训	取决于模型能力
扩展性	受限	灵活	高度可扩展
数据安全	好	需要合同约束	需要模型部署安全
适用场景	种子数据、困难样本	大规模扩展	主流方案

标注成本估算

一个典型的 SFT 标注项目成本估算：

目标：50,000 条高质量 SFT 数据

方案 A：全人工标注
  ├── 标注指南制定：2 周 × 2 人 × $5K = $20K
  ├── Pilot Study：500 条 × $5/条 = $2.5K
  ├── 正式标注：50K 条 × $3/条 = $150K
  ├── QA 复审：5K 条 × $5/条 = $25K
  ├── 项目管理：8 周 × $3K/周 = $24K
  └── 总计：~$220K，工期 10 周

方案 B：AI 生成 + 人工审核（当前主流）
  ├── 标注指南制定：2 周 × 2 人 × $5K = $20K
  ├── Pilot Study（人工）：500 条 × $5/条 = $2.5K
  ├── AI 生成 + 人工审核：50K 条 × $0.5/条 = $25K
  │   （AI 生成 $0.1/条 + 人工审核 $0.4/条）
  ├── 低质量样本重新标注：5K 条 × $3/条 = $15K
  ├── QA 复审：2.5K 条 × $5/条 = $12.5K
  ├── 项目管理：4 周 × $3K/周 = $12K
  └── 总计：~$87K，工期 5 周

→ 方案 B 成本降低 60%，工期缩短 50%
→ 但 Pilot Study 阶段仍然必须 100% 人工

标注平台选择

平台	类型	特点	成本	适用规模
Label Studio	开源自部署	灵活可定制，支持 NLP/CV/Audio	免费（自建）	中小规模
Prodigy	商业 + 自部署	Active Learning 集成，效率极高	$490/人/年	中等
Scale AI	云端众包	全托管，有专业标注团队	$0.1-10/条	大规模
Surge AI	云端 + 专家	高质量标注员池	$0.5-5/条	中大规模
Amazon MTurk	众包	便宜但质量差异大	$0.01-1/条	简单任务
Argilla	开源	与 HuggingFace 生态深度集成	免费	中等

选择建议：

如果你的团队 < 5 人，预算有限 → Label Studio 或 Argilla
如果你需要高质量、中等规模 → Prodigy + 内部团队
如果你需要大规模、快速交付 → Scale AI 或 Surge AI
如果你已在 HuggingFace 生态 → Argilla + transformers

---

18.4 LLM-as-Judge：当模型成为标注员

为什么 LLM-as-Judge 成为主流

2024-2025 年，LLM-as-Judge 从”实验性方法”变成了”行业标准”。几乎所有主要实验室都在使用 GPT-4/Claude 作为偏好标注的主要来源。

原因很简单：成本降低了 10-50 倍，速度提高了 100 倍，而且对于很多任务，AI 标注与专家标注的一致性已经达到 80-90%。

但 LLM-as-Judge 不是银弹——它有系统性偏差。

系统性偏差：完整清单

偏差类型	严重程度	表现	检测方法	缓解方法
位置偏好	🔴 高	偏好放在前面的回复	A/B 位置交换，比较评分是否反转	双向评分 + 一致性过滤
长度偏好	🔴 高	偏好更长的回复	长度-分数的 Pearson 相关	长度归一化 / 惩罚项
自我偏好	🟡 中	GPT-4 偏好自己生成的回复	多模型交叉评判	集成多个不同模型
格式偏好	🟡 中	偏好 Markdown 格式、列表	去格式化后重新评分	评分标准中明确”格式不加分”
知识偏差	🟡 低-中	在自身知识弱的领域评分不可靠	与领域专家标注对比	限定评判范围
谄媚偏差	🟢 低	偏好”看起来更有帮助”的回复	对比”正确但简洁” vs “错误但详细”	增加事实验证维度

已知偏差之外：持续发现机制

上面的 6 种偏差是研究社区已经充分文档化的类型。但一个更深层的问题是：这个列表可能只是冰山一角。

BiasScope（ICLR 2026）提出了一种自动化方法来发现 LLM-as-Judge 中此前未知的偏差类型。它不依赖研究者预定义偏差类别，而是通过系统化的扰动实验，自动发现评分分布中的异常模式。

这改变了偏差治理的思路：

旧模式	新模式
检查已知偏差清单（6 种）	持续扫描未知偏差
上线前测一次	生产环境持续监控
人工设计检测实验	自动化扰动 + 异常检测

对于生产环境的 LLM-as-Judge 管线，建议将偏差检测从”上线前的检查清单”升级为”持续运行的监控系统”——类似于 ML 模型的 drift detection，但监控的是评判偏差而非模型漂移。

"""
LLM-as-Judge 偏差检测工具包
"""

def detect_position_bias(
    judge_fn,
    samples: list[dict],  # [{"prompt", "response_a", "response_b"}, ...]
    n_samples: int = 200,
) -> dict:
    """
    检测位置偏差：交换 A/B 顺序，看评分是否反转
    """
    import random
    test_samples = random.sample(samples, min(n_samples, len(samples)))

    consistent = 0
    position_biased = 0

    for s in test_samples:
        # 正序评分
        score_ab = judge_fn(s["prompt"], s["response_a"], s["response_b"])
        # 反序评分
        score_ba = judge_fn(s["prompt"], s["response_b"], s["response_a"])

        if score_ab["winner"] == "A" and score_ba["winner"] == "B":
            consistent += 1  # 一致：不管顺序，同一个回复获胜
        elif score_ab["winner"] == score_ba["winner"]:
            position_biased += 1  # 偏差：同一位置总是获胜

    return {
        "n_tested": len(test_samples),
        "consistent_rate": consistent / len(test_samples),
        "position_bias_rate": position_biased / len(test_samples),
        "severity": "high" if position_biased / len(test_samples) > 0.3 else
                    "medium" if position_biased / len(test_samples) > 0.15 else "low",
        "recommendation": (
            "位置偏差严重，必须使用双向评分 + 一致性过滤"
            if position_biased / len(test_samples) > 0.3
            else "位置偏差可接受"
        ),
    }


def detect_length_bias(
    judgments: list[dict],  # [{"chosen_len", "rejected_len", "margin"}, ...]
) -> dict:
    """
    检测长度偏差：分析被选中回复的长度是否系统性偏长
    """
    chosen_longer = sum(1 for j in judgments if j["chosen_len"] > j["rejected_len"])
    total = len(judgments)
    bias_rate = chosen_longer / total

    # 计算长度与 margin 的相关性
    length_diffs = [j["chosen_len"] - j["rejected_len"] for j in judgments]
    margins = [j["margin"] for j in judgments]

    # Pearson 相关系数
    n = len(length_diffs)
    mean_l = sum(length_diffs) / n
    mean_m = sum(margins) / n
    cov = sum((l - mean_l) * (m - mean_m) for l, m in zip(length_diffs, margins)) / n
    std_l = (sum((l - mean_l) ** 2 for l in length_diffs) / n) ** 0.5
    std_m = (sum((m - mean_m) ** 2 for m in margins) / n) ** 0.5
    correlation = cov / (std_l * std_m) if std_l > 0 and std_m > 0 else 0

    return {
        "chosen_longer_rate": round(bias_rate, 4),
        "length_margin_correlation": round(correlation, 4),
        "severity": "high" if bias_rate > 0.75 or abs(correlation) > 0.5 else
                    "medium" if bias_rate > 0.65 or abs(correlation) > 0.3 else "low",
    }

Judge-Bench：LLM-as-Judge 的系统性评估

BiasScope 解决的是”发现偏差”，但还有一个更基础的问题：哪个模型适合作为评判者？ 不能假设最强生成模型就是最好的评判者。

Judge-Bench（ACL 2025）对 11 个 LLM 在 20 个 NLP 任务上作为评判者的表现进行了大规模系统评估，得出几个关键发现：

Judge-Bench 核心发现：

1. 无通用最佳评判者
   → 没有任何 LLM 在所有任务上都是最佳评判者
   → GPT-4 在代码评判上最优，但在创意写作评判上不如 Claude

2. 评判能力 ≠ 生成能力
   → 强生成模型未必是好评判
   → 某些中等规模模型在特定任务上的评判一致性
     反而优于更大的模型

3. 任务特异性选型必要
   → 不同任务类型需要不同模型作为评判者
   → 代码质量评判 ≠ 创意写作评判 ≠ 安全性评判

4. 评判一致性跨任务差异巨大
   → 数学/代码评判一致性高（~85%）
   → 创意/开放性任务评判一致性低（~60%）

对标注项目的实践影响：

• 选择评判模型时不能仅看生成能力排行榜
• 需要在目标任务上验证评判一致性，而非假设强模型 = 好评判
• 建议在标注项目启动前进行小规模评判者选型实验（50-100 条标注，比较 2-3 个候选模型的一致性）

与 BiasScope 的互补：BiasScope 检测偏差模式（“评判有偏吗？”），Judge-Bench 评估整体评判能力（“这个模型适合评判这类任务吗？”），两者结合形成“选型 + 偏差检测”的完整 LLM-as-Judge 质量保证流程。

🔬 显微镜案例：Anthropic 的 Constitutional AI 标注流程

Anthropic 在构建 Claude 系列模型时，使用了一套独特的标注方法——Constitutional AI（CAI）。其核心思路是：

1. 不依赖人工偏好标注。传统 RLHF 需要大量的人工 A/B 偏好标注，成本高且一致性难保证
2. 用”宪法”（Constitution）替代标注指南。定义一组高层原则（如”回复应当有帮助、无害、诚实”），让模型自己根据原则来判断哪个回复更好
3. AI 自标注流程：
   • 生成两个回复 → 让模型根据宪法原则选择更好的 → 用选择结果训练
   • 关键：宪法原则的撰写本身就是最核心的”标注工作”——它定义了模型的行为边界
4. 人工介入点：不是标注数据，而是审核和修订宪法原则

教训：标注的本质不是”打标签”，而是”定义什么是好的”。如果你能把”好”的定义足够清晰地形式化，AI 可以替你完成大部分标注工作。

人机混合标注的最佳实践

推荐的人机混合方案（分阶段）：

Phase 1: 种子数据（前 500 条）→ 100% 人工标注
  目的：定义标准、校准 AI 评判器
  要求：专家标注、多人交叉验证
  输出：高质量种子集 + 校准后的 LLM-as-Judge prompt

Phase 2: 扩展阶段（500-10K 条）→ 70% AI + 30% 人工审核
  AI 初标 + 人工校正
  每批次对比 AI 标注与人工标注的一致性
  发现系统性偏差时及时调整 prompt
  输出：万级标注数据

Phase 3: 大规模阶段（10K+ 条）→ 90% AI + 10% 人工抽检
  AI 自动化处理大部分数据
  人工聚焦于：低置信度样本 + 黄金集监控
  定期重新校准（模型升级后重新比对）
  输出：十万级标注数据

Phase 4: 持续迭代
  每次模型升级后重新校准 AI 标注
  定期从线上反馈中采样新的困难样本
  更新标注指南和黄金集

当 AI 成为监督者：风险与防范

Phase 3-4 中 AI 标注占比达到 90%，这意味着模型训练数据的主要来源是另一个模型的判断。这引入了三个层面的系统性风险：

风险 1：错误级联。AI 标注中的系统性错误会被训练固化到下一代模型中。不同于人类标注的随机噪声（会被统计平均掉），AI 的错误是相关的——同一种偏差会一致地影响所有标注。

风险 2：生态锁定。模型偏好自己生成的内容（自我偏好偏差），如果用模型 A 标注的数据训练模型 B，再用模型 B 标注训练模型 C，输出风格会逐渐收敛到一个窄分布——类似于合成数据的 Model Collapse（17 章），但发生在标注层面。

风险 3：版本不稳定。模型升级后（如 GPT-4 → GPT-4o → GPT-4.1），标注标准会发生无声漂移。你的标注指南没变，但 AI 的评判行为变了——这意味着不同批次的标注数据实际上遵循不同的标准。

应对策略：

风险	检测方法	缓解方法
错误级联	定期人工抽检 AI 标注的系统性偏差	多模型交叉标注（至少 2 个不同厂商的模型）
生态锁定	监控输出多样性指标的长期趋势	保留一定比例的纯人工标注作为”锚点”
版本不稳定	每次模型升级后在黄金集上重新校准	记录每批数据使用的模型版本，异常时回滚

---

18.5 特殊标注任务

偏好排序标注的挑战

偏好标注比分类标注困难得多，因为它涉及主观判断和多维度权衡：

偏好标注的常见困境：

场景 1: "准确但无聊" vs "有趣但不够准确"
  → 取决于任务：事实问答 → 选准确的；创意写作 → 选有趣的
  → 标注指南必须明确优先级

场景 2: "简洁但完整" vs "详细但冗长"
  → 长度偏好是最常见的标注偏差来源
  → 解决方案：标注指南中明确"在同等质量下，更简洁的回复更好"

场景 3: 两个回复质量几乎相同
  → 不要强制选择！允许标注"平手"
  → 平手的数据可以作为 margin=0 的偏好对使用

处理建议：
  - 偏好标注至少需要 3 人独立标注
  - 2/3 以上一致才采纳为有效偏好对
  - 3 人完全不一致的样本 → 丢弃或升级为专家裁决

安全性标注的特殊要求

安全标注需要额外的注意事项：

1. 标注员心理健康
   - 暴力、色情、仇恨内容会对标注员造成心理伤害
   - 必须限制单个标注员每天接触此类内容的时间（≤ 2 小时）
   - 提供心理咨询支持
   - Time 杂志报道：OpenAI 的外包标注员日薪仅 $2，标注恐怖内容导致心理创伤

2. 多维度安全分类
   ├── 物理伤害（violence, self-harm）
   ├── 性内容（sexual content）
   ├── 仇恨言论（hate speech）
   ├── 非法活动（illegal activities）
   ├── 隐私泄露（privacy violation）
   └── 错误信息（misinformation）

3. 文化敏感性
   - 不同文化对"有害"的定义不同
   - 必须有本地化的标注指南
   - 标注团队应包含多元文化背景

多模态标注：从文本走向全模态

随着多模态模型成为主流，标注方法论需要覆盖文本之外的模态。多模态标注的独特挑战：

挑战	描述	文本标注中无此问题
跨模态一致性	图文是否匹配？视频描述是否准确？	文本标注只涉及单一模态
时序定位	视频中某事件发生在哪个时间段？	文本是线性的，无时间维度
模态优先级	当图文冲突时以哪个为准？	不存在冲突
主观差异放大	”这张图的情绪是什么？“比文本情感分析更主观	文本语境通常更明确

ACT 框架（NeurIPS 2025）让多模态 LLM 模拟人类的批判性思维进行数据标注，在图像、视频、音频上实现了接近人工的标注质量。它的核心思路是让模型先分析（“这张图中有什么？“）再判断（“图文是否一致？”），而非直接输出标签。

对于从文本标注过渡到多模态标注的团队，建议从图文匹配判断（最简单的跨模态任务）入手，逐步扩展到视频时序标注和音频情感标注。标注指南需要为每种模态单独定义评判维度，而非简单复用文本标注的框架。

---

动手环节：设计并执行一个迷你标注项目

目标：设计一个完整的偏好标注 Pilot Study，体验标注工程的全流程。

"""
迷你标注项目：对 LLM 回复进行偏好标注
模拟 3 人标注 20 条样本，计算 IAA
"""

# 模拟 3 位标注员对 20 个偏好对的标注结果
# 标注选项：A（回复A更好）、B（回复B更好）、T（平手）
pilot_annotations = {
    "annotator_1": ["A","A","B","A","A","B","T","A","B","A","A","B","A","B","A","A","T","B","A","A"],
    "annotator_2": ["A","A","B","A","B","B","A","A","B","A","A","B","A","B","A","A","T","B","A","B"],
    "annotator_3": ["A","B","B","A","A","B","T","A","A","A","A","A","A","B","A","B","A","B","A","A"],
}

def analyze_pilot_study(annotations: dict) -> dict:
    """分析 Pilot Study 结果"""
    annotators = list(annotations.keys())
    n_items = len(annotations[annotators[0]])

    # 1. 多数投票结果
    majority_labels = []
    for i in range(n_items):
        votes = [annotations[a][i] for a in annotators]
        from collections import Counter
        most_common = Counter(votes).most_common(1)[0]
        majority_labels.append(most_common[0])

    # 2. 逐对一致性
    pairwise_agreement = {}
    for i in range(len(annotators)):
        for j in range(i + 1, len(annotators)):
            a1, a2 = annotators[i], annotators[j]
            agree = sum(
                annotations[a1][k] == annotations[a2][k] for k in range(n_items)
            )
            pairwise_agreement[f"{a1} vs {a2}"] = round(agree / n_items, 4)

    # 3. 完全一致的样本
    full_agreement = sum(
        len(set(annotations[a][i] for a in annotators)) == 1
        for i in range(n_items)
    )

    # 4. 分歧最大的样本
    disagreement_items = []
    for i in range(n_items):
        votes = [annotations[a][i] for a in annotators]
        if len(set(votes)) == len(annotators):  # 每人都不同
            disagreement_items.append(i)

    return {
        "n_items": n_items,
        "n_annotators": len(annotators),
        "full_agreement_rate": round(full_agreement / n_items, 4),
        "pairwise_agreement": pairwise_agreement,
        "majority_labels": majority_labels,
        "high_disagreement_items": disagreement_items,
        "recommendation": (
            "IAA 良好，可以进入正式标注"
            if full_agreement / n_items > 0.6
            else "IAA 偏低，建议修改标注指南后再做一轮 Pilot"
        ),
    }

result = analyze_pilot_study(pilot_annotations)
print(f"完全一致率: {result['full_agreement_rate']:.1%}")
print(f"逐对一致率: {result['pairwise_agreement']}")
print(f"高分歧样本（需要讨论）: 第 {result['high_disagreement_items']} 条")
print(f"建议: {result['recommendation']}")

练习扩展：

1. 修改标注数据，观察 IAA 如何变化
2. 实现 Cohen’s Kappa 计算，对比与简单一致率的差异
3. 设计一个黄金集嵌入方案，模拟标注员质量监控

---

本章要点回顾

1. Pilot Study 不可跳过——它发现的问题比任何自动检查都多
2. 标注指南的示例比规则更重要——标注员通过”模式匹配”而非”逻辑推理”做判断
3. IAA 是标注质量的客观度量——Krippendorff’s α ≥ 0.67 才可接受
4. 黄金集是实时质量监控的关键——5-10% 嵌入比例，标注员不知情
5. AI + 人工审核是当前最优解——成本降低 60%，但 Pilot 阶段仍需 100% 人工
6. LLM-as-Judge 有系统性偏差——位置偏好和长度偏好最严重，必须检测和缓解
7. 已知偏差可能只是冰山一角——BiasScope (ICLR 2026) 提出持续发现未知偏差的自动化方法
8. AI 高比例标注引入三类系统性风险——错误级联、生态锁定、版本不稳定，需要专门的防范机制
9. 多模态标注是新需求——跨模态一致性、时序定位、模态优先级是文本标注中不存在的挑战
10. 标注的本质是”定义什么是好的”——标注指南就是模型的行为规范