数据工程观察 · 2026年09月06日

9 月 4 日这批动态都在回答同一个操作性问题：专业领域的长尾材料，要满足什么条件才配叫做可用的训练资产。AFAC 把四届赛题沉淀成百亿级条目并开源，两篇论文分别用可控合成和人工核验给出了「数据够不够格」的两套判据，另两篇把问题推到了分词器覆盖和检索管道这一层。五个案例合起来看，数据工程的瓶颈已经从能不能拿到，挪到了拿到之后怎么证明它有效。

AFAC 开源百万金融智能数据集：四年赛题沉淀成可复用语料

事件概述

AFAC2026 金融智能创新大赛总决赛现场，主办方正式开源发布「AFAC 百万金融智能数据集」。这一届由上海市科学技术委员会、中国计算机学会、北京大学、蚂蚁集团、GFTN 全球金融与技术网络等 33 家机构联合发起，全球 5027 支队伍、近 2 万名选手参赛。这份数据集不是临时拼凑的评测集，而是把 2023 至 2025 年共 14 道高价值赛题的产物整体打包。

技术细节

按官方口径，数据集覆盖百亿级金融科技数据条目，其中包含 13 万条评测样本、2000 余份专业金融文档和 130 多个历届优胜方案。赛题本身覆盖四类典型压力：L2 行情里的市场参与者交易行为识别与资金流向分析、复杂金融文档还原（评审专家指出超长表格是主要难点，多数大模型无法一次性识别）、稀疏反馈下的自动化实验、金融长文本的 Agent 动态记忆压缩与问答。数据形态从单模态走到多模态，核心能力从单一精度预测走到复杂推理。

对大模型数据工作的影响

这类竞赛沉淀型语料的价值不在规模，而在标签的获取成本已被参赛队伍分摊过一遍——130 多个优胜方案相当于把同一批数据的多种解法一起开源，后验地给出了数据可用性的上界。做垂域数据集的团队可借鉴的是它的飞轮结构：赛题提出真问题，参赛者产出方案，方案反哺数据集，数据集再降低下一届的入场门槛。竞赛数据有明确边界和统一评测口径，迁移到开放业务场景时需要重新验证分布。

相关链接：量子位报道

合成数据增强：落点位置比生成数量更值得调

事件概述

arXiv 2609.03652 研究合成数据增强中一个被忽略的变量——生成的样本在表示空间里落在哪，而不只是生成了多少。任务选的是话语语用功能分类，这类任务的数据稀疏属于结构性特征，不是采集环节的纰漏。

技术细节

真实数据取自英国国家语料库，是 410 条人工标注的英语词 look 实例，覆盖 Attention Signal、Directive、Discourse Marker、Interjection 四类功能。作者用 Llama 3.1 生成合成样本，再按其在 RoBERTa 嵌入空间中与真实训练数据的余弦距离分组，构造六种训练条件，各条件的增强数量保持一致，只改变合成样本相对经验决策边界的位置。所有增强条件都优于纯真实数据基线，增益分化明显：贴近真实数据核心区的 NEAR 组拿到最大 macro F 提升（0.113），距离均衡混合组的准确率最高（0.748）。AUC 在任何条件下都不涨。

对大模型数据工作的影响

AUC 不涨这一条最要紧：增强只搬动了决策边界，没有改善模型底层的概率估计。做合成数据管线时，只盯生成 N 条、去重后剩 M 条这类计数指标，会漏掉决定成败的几何信息。更实际的做法是在嵌入空间里按距离分桶，把合成样本的位置当成与数量平级的超参来调，低资源或小众类别上尤其如此。

相关链接：arXiv:2609.03652

SHELF：62,899 篇模型生成文档，且能验证训练截止后未见

事件概述

arXiv 2609.03047 提出 SHELF（Synthetic Harness for Evaluating LLM Fitness），一套把标注词表、撰写规格和生成预算转成可控基准数据的 Python 系统，面向图书馆与档案馆的编目场景。首个版本基于美国国会图书馆词表生成 62,899 篇模型撰写的文档。

技术细节

任务覆盖分类、聚类、检索、配对分类和指令检索五类。作者系统比较了 TF、TF-IDF、BM25、常用编码器，以及仅在主题分类上比较的零样本解码器，每种方法只出现在它支持的任务上。主题分类最高到 0.8887，体裁形式分类只有 0.2605，若干配对与聚类任务停在随机水平附近。稀疏方法在分类上仍有竞争力，TF-IDF 是主题计时实验里最快的一档。系统的一个设计点值得单独拎出：它能独立变动书目各维度，并生成模型训练截止之后的新文档，且可验证这些文档此前未被见过。作者也给出提醒——SHELF 分数不能用来估计生产编目数据上的准确率，模型排序的迁移性比绝对分数可靠。代码与数据在 GitHub 和 Hugging Face 上以宽松许可发布。

对大模型数据工作的影响

可验证未见这个机制直接对应合成数据最怕的污染问题。多数合成基准的隐患在于生成模型的记忆会渗进评测集，分数虚高却无法复现到真实数据。SHELF 让生成过程可控、维度可分离、时间戳可核验，等于把污染检测前移到数据生产环节。做合成数据质量门禁的团队可以直接沿用这套结构：规格输入、受控生成、未见性验证、分任务评测。

相关链接：arXiv:2609.03047

KhatianDoc：当分词器里根本没有这类字符

事件概述

arXiv 2609.03597 给出了一个数据工程视角下相当干净的失败案例。孟加拉国的土地所有权以 Ana-Ganda-Kora-Kranti-Til 记录，这是一套带专用 Unicode 字形的十六进制位值分数系统——没有主流字体，没有 OCR 管道覆盖，也没进过任何分词器。承载这套分数的手写 RS Khatian 是数百万宗地块的确权凭证。

技术细节

作者从孟加拉国 Munshiganj 县土地办公室采集 107 份真实 RS Khatian 记录，构建符号识别、十六进制转十进制、结构化字段抽取、法律文档问答四个任务，问答部分含 1,634 组问答对。真值全部手工转录，由土地法律执业者核验至完全一致，并通过位置化 token 做匿名化，保留多跳问题所依赖的指代区分。在固定零样本协议下评测六个 8B 到 72B+ 的多模态大模型后：分层集合中五个问答类别（占 39.3%）在所有模型上正确率均为零；算术任务里凡是给出数字的模型都跑不过常数均值基线，精确匹配与近似匹配分数重合，说明是彻底去相关而非精度不足。作者还审计了自己的指标，修正一个拒答计分 bug 并同时给出新旧分数，另把一个虚高的元数据指标标注为上界。

对大模型数据工作的影响

这份工作把低资源的定义往前推了一层：不是语料少，而是表示层缺字符。数据管线的常规检查（去重、质量过滤、配比）全部通过之后模型依然零分，问题卡在分词器和 OCR 这一层。做多语种数据准入时，字符覆盖率应当成为与语言识别并列的前置检查项。作者公开修正自身指标的做法也值得写进规范：基准发布时同步披露已知的指标偏差，好过事后被人发现。

相关链接：arXiv:2609.03597

FinRAG-QA：跨机构长文档检索里，分块比堆上下文管用

事件概述

arXiv 2609.03654 发布 FinRAG-QA，面向银行财报的跨机构比较问答。此前的金融问答基准多围绕美国单机构文件，这一份把难度放在跨机构检索上。

技术细节

数据集含 999 条从业者编写的问题，覆盖 10 项标准化指标，落地在 24 家欧美主要银行 2019 至 2023 年的 209 份年报与 Pillar 3 报告上，文档平均长度 19.8 万词，长于现有任何金融问答资源。作者用多阶段 RAG 管道拆解各组件贡献：上下文块富化配合检索优化的嵌入模型，把 NDCG@10 从 0.322 提到 0.710；在真值已被检索到的前提下，推理优化的生成器把回答准确率从 44.6% 提到 79.0%，提升 34.4 个百分点，代价是约 20 倍的生成延迟。两个反直觉结果：首阶段排序已经够强时，交叉编码器重排反而损害检索；生成阶段单个 top-1 分块优于更大的上下文。实验在 2024 年末至 2025 年初用当时的模型完成。

对大模型数据工作的影响

数据侧可以拿走两条。第一条，上下文块富化带来的检索增益（NDCG@10 翻倍）大于换生成器，长文档管线的投入优先级应放在分块与索引，而不是先堆更贵的生成模型。第二条，更多上下文在跨机构长文档上是负收益，盲目扩窗会把不相关机构的信息灌进生成阶段。对构建财报、招股书、年报语料的团队，这条结论直接影响分块粒度和 top-k 的默认值。

相关链接：arXiv:2609.03654