我们的核心假设：大模型本身是最懂"什么数据能让自己变强"的角色。 本项目构建一套 AI 自主驱动的数据进化系统——模型自己发现短板、自己生产数据、自己验证效果、自己迭代优化。 人的角色从"数据生产者"转变为"进化方向的决策者"。
传统做法是人定义数据质量标准、人设计评估方法、人执行清洗规则。但人对"好数据"的判断往往基于经验直觉， 而模型可以通过在数据上训练后的表现变化来直接度量数据价值。 这意味着模型有能力成为数据质量的第一评审人——它知道自己"吃了什么会变强"。
模型越强 → 发现数据问题越准 → 合成/筛选的数据质量越高 → 训练后模型更强。 这个正反馈循环一旦跑通，数据质量会加速提升。当前的瓶颈不是缺好的模型或数据源， 而是缺少自动化的闭环机制把这个飞轮转起来。
大量数据工作（解析调优、质量抽检、标注审核、配比调参）依赖人工经验和手动操作。 每新增一个数据源或一种数据类型，都需要人重新介入。 如果能让模型自主完成 80% 的日常数据运营，团队就可以把精力集中在数据战略和进化方向这些真正需要人做判断的事情上。
模型自主巡检数据源的解析质量，发现内容丢失、格式异常等问题，自动生成修复方案并验证效果。不是"辅助人做解析"，而是模型自己管理整个解析质量。
模型针对预训练数据覆盖的知识领域自主出题、自主作答、自主分析——不是给人看的测试，而是模型对自己知识状态的自我审查。
面向 Agent/Coding 能力训练，自动化"Task 设计 → 质量筛选 → 难度标定 → 解题验证 → 分布优化"全流程。 关键创新：Task 质量不是静态的，而是随着模型能力提升动态演进。
不只是"用 AI 辅助清洗"，而是构建一个自运转的数据工厂：自动从原始语料中挖掘高价值内容、 按需合成各类训练数据、全自动去重去噪去毒。
前四个支柱是能力模块，但真正让"自主进化"成立的是这个调度中枢。 它负责协调各模块之间的数据流转、决策优先级排序和资源调度，让整个系统像一个有机体一样自运转。
| 指标 | 目标值 | 衡量方式 | 优先级 |
|---|---|---|---|
| 数据建设整体人效提升 | ≥ 60% | 单人月产出数据量对比 | P0 |
| 数据全流程自动化率 | ≥ 80% | 自动完成 / 总任务数 | P0 |
| 自主进化闭环完整运行轮次 | ≥ 3 轮 | 完整 Loop 计数 | P0 |
| 模型在目标 Benchmark 上的表现提升 | ≥ 15% | 进化前后 Benchmark 对比 | P0 |
| 每轮进化的边际数据质量提升 | ≥ 5%/轮 | 轮次间综合质量分对比 | P1 |
| 指标 | 目标值 | 衡量方式 | 优先级 |
|---|---|---|---|
| TOP 重点站点解析覆盖率 | ≥ 95% | 已接入 / 重点站点总数 | P0 |
| 解析质量评分（完整性 + 保真度） | ≥ 90 分 | 自动评分 + 人工抽检 | P0 |
| 新站点接入人工介入率 | ≤ 20% | 需人工干预 / 总接入数 | P1 |
| 解析退化自动修复成功率 | ≥ 70% | 自动修复 / 退化告警数 | P1 |
| 指标 | 目标值 | 衡量方式 | 优先级 |
|---|---|---|---|
| 知识领域覆盖率（一级分类） | ≥ 90% | 已覆盖 / 总分类数 | P0 |
| 出题→测试→分析全自动化率 | ≥ 85% | 全自动完成的流程占比 | P0 |
| 短板定位精准率（人工验证） | ≥ 80% | 人工确认有效 / 系统报告数 | P1 |
| 短板修补后 Benchmark 提升 | ≥ 10% | 目标领域 Benchmark 前后对比 | P1 |
| 指标 | 目标值 | 衡量方式 | 优先级 |
|---|---|---|---|
| 月有效 Task 产出量 | ≥ 5,000 条 | 通过质量筛选的 Task 数 | P0 |
| Task 可解性通过率 | ≥ 80% | Sandbox 自动验证通过率 | P0 |
| 难度分布合理性（Easy:Medium:Hard） | 3:4:3 | 自动标定 + 人工抽查 | P1 |
| Task 演进后模型 Agent 能力提升 | ≥ 10% | Agent Benchmark 前后对比 | P1 |
| 指标 | 目标值 | 衡量方式 | 优先级 |
|---|---|---|---|
| 数据清洗吞吐量提升 | 5x | 单位时间处理量对比 | P0 |
| 语义去重后冗余率 | ≤ 5% | 抽样人工验证 | P0 |
| 合成数据质量评分 | ≥ 4.0/5 | 人工抽检 + 多模型评分 | P0 |
| 安全清洗漏检率 | ≤ 1% | 对抗性测试 + 人工抽查 | P0 |
| 指标 | 目标值 | 衡量方式 | 优先级 |
|---|---|---|---|
| 闭环自动运转时间占比（无人值守） | ≥ 70% | 自动运行时间 / 总时间 | P1 |
| 决策建议采纳率（人审批通过率） | ≥ 75% | 人通过 / 系统建议总数 | P1 |
| 进化 Delta 报告自动生成覆盖率 | 100% | 每轮迭代均自动产出 | P2 |
目标：用最小范围（少量站点 × 少量领域）跑通"感知→决策→执行→验证"完整闭环，证明自主进化的可行性。
目标：五大支柱的核心 Pipeline 全部上线运行，开始规模化产出数据，并跑通至少 2 轮自主迭代。
目标：让飞轮自己转起来——系统在最小人工干预下自主完成进化迭代，并用实际训练效果证明价值。
目标：从"能跑"到"能复用"——平台化、文档化、推广化，让这套模式惠及更多团队。
自主进化依赖正反馈循环，如果模型生成的数据质量不够好，可能陷入"垃圾进垃圾出"。
过度依赖模型自己生成的数据可能导致分布收窄、多样性下降，即"model collapse"问题。
自主出题、合成、清洗都需要大量模型调用，成本可能超出预算。
自动评估分数提高不代表模型真的变强了——可能只是"教会考试"。