二元指标事故现场

阈值切一刀 · ExploitGym 二元奖励还原 · 99.9% 的算术 · 不对称成本下的最优阈值——互信息、ROC、贝叶斯反解全部浏览器内真算

📉 二元指标事故现场

把连续信号压成 pass/fail,会毁掉什么 —— 互信息 / ROC / 贝叶斯反解 / 成本最优阈值全部真算

🔪 阈值切一刀:左右两条分布由你拉动,阈值 τ 由你拖。所有指标(TPR / FPR / 精确率 / F1 / ROC / AUC)与互信息都是浏览器内真算 —— 没有任何一个数字是写死的。
τ = 0.50正类 Y=1负类 Y=0score
ROC(真算,非手绘)
AUC 0.920TPRFPR
绿点 = Youden J 最大处(τ=0.50);黑点 = 当前 τ。
84.1%
TPR / 召回
16.2%
FPR
56.6%
精确率
0.676
F1
0.920
AUC
0.3319 bit
I(S;Y) 连续
0.2415 bit
I(B;Y) 二值
阈值这一步销毁了多少信息
保留 72.8% · 销毁 0.0904 bit
最好的 τ 也只能保留 74.5%
(τ = 0.54 处 I(B;Y) 最大)
计算方式:连续侧用 I(S;Y) = ∫ p(s) Σy P(y|s) log₂ [P(y|s)/P(y)] ds 在 601 点网格上数值积分; 二值侧用 2×2 联合表直接算互信息。两者同量纲可比。
教学点:运营上真正被消费的只有「是否告警」这一个 bit,而原始评分里携带的信息常常是它的数倍。 把 μ 差拉到很小(分布几乎重叠),你会看到 AUC 掉到 0.5 附近、I(S;Y) 趋近 0 —— 这时候再怎么调 τ 都救不回来,问题出在信号本身,不在阈值。
正类均值差 Δ0.30
两类中心的距离 = 信号强度
标准差 σ0.150
噪声水平
正类占比 p20%
prevalence,决定精确率
分布参数、成本系数、prevalence 全部为你的输入(默认值为演示起点,非任何实测数据);所有指标在浏览器内数值计算。