数据论文速递 · 2026年09月21日

本期五篇围着同一个问题转：数据从哪来、能不能信、够不够用。两篇处理合成数据——一篇造，一篇查；一篇把大模型当标注裁判来生产监督信号；一篇处理语料的时点泄漏；最后一篇给标度律拟合划出数据量的分辨下限。

DataCanvas-EDU：按教学目标生成合成数据，并把污染当成设计约束

论文信息：DataCanvas-EDU: An Agentic Framework for Instructor-Guided Synthetic Data Generation in Business Analytics Education（arXiv:2609.19617，原文链接）

核心问题：商科分析课程需要贴合教学目标的多样化数据集，真实数据难获取、难按课程改编，教师还得自己核查模式、准备作业与参考答案。公开数据集附带大量教程式分析，这些分析已进入大模型训练语料，学生问一句就能拿到现成结论，练习环节被架空。

关键发现：框架把流程拆成 Plan、Create、Verify / Test Analysis、Evaluate 四阶段。教师用对话说明教学目标和希望出现的数据模式，智能体负责写生成代码、检查产出、配出作业与参考分析和评分标准，每个阶段都留了教师复核与返工的口子。论文用外卖场景案例 WindowDash 演示，含 15,000 条订单与九个刻意设计的模式，整套东西打包成可复用的 AI Agent Skill。

实践启示：可复用的是「目标 → 生成代码 → 校验 → 评估」这条人工复核回路，而不只是「让模型造一批数据」。污染被当成前置设计约束而非事后检查项：用新造的模式替换公开数据集，学生面对的就是模型没见过的分布。做内部训练数据合成时，同样可以把「语料中已存在的公开分析」列为需要绕开的对象。

合成对话保真度审计：结构能复制，行为细节会变形

论文信息：Do Social Patterns Hold in Synthetic Data? Analyzing Cyberbullying Dynamics in LLM-Generated and Authentic Dialogues（arXiv:2609.17549，原文链接）

核心问题：网络欺凌对话复杂在重复攻击、权力不对等、多方参与。研究者常用大模型生成合成对话做数据增强和评测，但这类数据是否忠实复现了真实互动的社会动态，此前没人系统查过——已有的结论大多只停留在「下游任务指标有没有涨」。

关键发现：作者建了一套社会真实性评估框架，拿 GPT、Grok、LLaMA 生成的合成对话与真实对话对比，覆盖交互结构（轮次、权力动态、修复行为）、语言风格（代词、幽默）、情感与行为标记（欺凌类型、脏话、毒性）、时间升级动态，并补了人工评估。结果是：高层交互结构保留得不错，角色参与模式、方向性权力不对称、行为标记的宏观分布都对得上；细粒度社会现象被系统性扭曲，涉及行为强度、角色分配、类别分布、时间动态。扭曲强依赖模型：GPT 抑制有害内容，Grok 放大攻击行为，LLaMA 最均衡却抹平了角色差异。

实践启示：合成数据适合建模全局交互结构，当行为真实性和社会动态是关键指标时，它替不了真实对话。做数据增强之前先写清「哪些维度必须保真」，再对候选生成模型逐个做偏差审计——选模型不只是选质量，也是在选它会往哪个方向偏。

弱监督加 LLM 标注精炼：小模型规模化执行，大模型当裁判

论文信息：Extracting Dataset Mentions in Forced Displacement and FCV Documents: A Weakly Supervised Framework with LLM-Based Label Refinement（arXiv:2609.12107，原文链接）

核心问题：发展与人道援助机构产出了大量调查、行政登记和数据资源，但这些数据集在论文、项目文档、人道报告里被提及的位置是散落的，既追不清数据被谁用了，也看不出哪些领域缺数据。迁移到强迫迁移与 FCV 文档时，没有人工标注语料可用。

关键发现：流程是三段式——先在通用研究文献上训练的轻量模型从未标注的领域文档里抽候选提及，再让前沿大模型带上下文复核，逐条接受或拒绝并修正抽取边界，最后把结果配上定向合成样本与对比样本，回头微调轻量模型做大规模抽取。在 1,706 段金标准评测集上，提及级精度 74.1%、召回 70.5%；落在确实含数据集引用的段落里，精度升到 89.5%。段落级区分「有无数据集引用」的准确率 88.2%、特异性 88.6%。

实践启示：把贵模型放在判定环节、把便宜模型放在规模化执行环节，是标注预算受限时的稳定分工。定向合成与对比样本专门用来治边界错误，这个思路比无差别扩充数据量更省。

历史语料不等于历史系统：冻结语料还不够，交互记忆也要按时间点版本化

论文信息：A Historical Corpus Is Not a Historical System: Auditing Hindsight Leakage in Stateful Data Discovery（arXiv:2609.12766，原文链接）

核心问题：离线回放想还原检索系统在某个历史时刻能取回什么，常见的做法是把语料冻结在那个时刻。冻结语料之后交互记忆仍不受约束，系统能看到本该还没发生的用户行为，回放结果随之被抬高。

关键发现：论文把时点（point-in-time，PIT）发现形式化为历史状态 $(D_t, \theta_t, M_{<i})$，并设计了只改变记忆可得性的配对回放，用 Temporal Violation Rate 审计被选中的条目。实验跨三个表格-文本域、两种流模式、两个检索器、五个种子，共 216,000 行：Future 视图把 Asset Recall@100 抬高了 2.62 至 5.24 个点，12 个配对区间全部排除零。只给行为轨迹记忆时，PIT 反而跑不过无记忆的 Stateless 条件，Future 视图掩盖掉了这部分损害中的 32.7% 至 48.4%。模拟正反馈缓存时，PIT 比 Stateless 高 4.65 至 18.96 个点，Future 再往上加 4.11 至 9.58 个点。FreshStack 五个带时间戳主题上，Future 比 PIT 高 2.72 个点，置信区间 [1.75, 3.71]。

实践启示：做历史评测时，语料和记忆必须一起做版本化校验。只冻结其中一项，得到的回放指标会系统性偏高，而且偏差幅度跟记忆机制的类型有关，不能靠一个系数统一扣掉。

标度律的分辨极限：拟合之前先问数据量够不够分开竞争理论

论文信息：Detectability limits of scaling laws（arXiv:2609.21638，原文链接）

核心问题：幂律标度关系是城市、生物体等复杂系统定量理论的核心，相互竞争的理论给出的指数常常只差很小的分数。此前没有理论能回答：手上这份数据到底有没有能力分辨出这个量级的指数差。

关键发现：作者推导出标度指数的分辨极限，即任何分析方法能检出的最小指数差。决定这个下限的是 Hurst 指数——它刻画系统规模的演化过程以及对标度律的偏离，并决定了要把增长记录拉到多长，才能把相互竞争的标度理论分开。实证结果显示，许多现成的数据面板不足以支撑可靠的标度模型选择。

实践启示：这篇的标度律背景是复杂系统而非语言模型，可迁移的是方法论：拿标度律做决策之前，先估算现有数据的分辨力上限，确认要区分的指数差落在可检出范围内。分辨不出时，换更精巧的拟合方法没用，缺口在数据量上。

小结

五篇拼起来是一条数据工作的检查链：造数据要有复核回路和污染规避（2609.19617），造完要查它到底在哪几个维度失真（2609.17549），标注信号靠大小模型分工量产（2609.12107），语料与记忆的版本化决定历史评测可不可信（2609.12766），而标度律这类结论先要过一遍「数据分辨力够不够」的门槛（2609.21638）。