数据工程·工具栈与未来展望

全书最后一章回答两个问题：用什么做，以及接下来往哪去。四个 Tab 各抓一个可以动手算的东西： 编排层决定的是「改一个参数后要付多少钱」——有分片和断点续跑，重跑成本是 O(变更的 step)，没有就是 O(全管线)，这条结论在第一个 Tab 里是可拖的对比条； 15 周的项目里数据只花 5% 的钱，却占 60-70% 的时间——数据工程的成本不在云账单上，在人的日历上； 「我们爬了网页」不再是合规答案——EU AI Act 要求按数据量列出前 10% 的域名，没做域名维度聚合就得回扫全部原始数据； 「合成数据占比 60%」这个数字在问清口径之前毫无意义——同一份数据切四个开关，能从百分之十几变到百分之九十。 成本树、3% 阈值、域名累加、DPI 风险条数、16 种口径占比、Popoviciu 上界全部在浏览器里真算； GPU 单价、分阶段精力比例、曝光次数、下游依赖率、构造数据集与域名、供给曲线是教学模型或构造值，已逐一标灰。