频率遮罩实验集合
完整在线曲线:train 为逐 step 的原始 writer-batch loss,validation 为该 run 保存的完整 online val_loss 曲线。gap 始终在相同 step 上计算 val − raw train;所有勾选的曲线都会保留 epoch 1(step 1–337)。从 step 338 起,干预仅将所选精确 context 的 n-gram value readout 置零;table、gate、reader/backbone 与 optimizer state 仍继续存在并更新。
可同时显示全部完成的遮罩 run。v4/v5/v6 与 20260803 current 各自在同一个 step-337 checkpoint 内严格配对;count=0 v3 与 20260729 allgram 是独立的早期共同 source。20260805 current v3 的 0–20、0–50、0–100 三组共享同一个当前代码生成的 epoch-1 checkpoint,但本次没有另跑 v3 no-mask suffix,因此三者适合观察窗口剂量趋势,不应把它们与 20260803 no-mask 的绝对差值当作同源因果差异。所有 run 使用同一类 exact-frequency value-readout mask。
所选 run 的 online gap 汇总
epoch 2 / epoch 3 是该 epoch 完整 online val_loss 曲线对应 gap 的均值;最后 100 step 为 step≥901 的均值。B/T 遮罩率是最后一次 train-side frequency probe 中被遮罩的完整 context 比例;早期 run 未持久化该值时明确标为未记录。只可在同一“共同 epoch-1 source”内将基线与遮罩行作因果比较。
| 共同 source | 遮罩 | B/T 遮罩率 | epoch 2 | epoch 3 | last 100 | step 1000 |
|---|