Parser-Oriented Structural Refinement for a Stable Layout Interface
📄 原文：arXiv:2604.02692 · PDF
- arXiv: 2604.02692v1（2026-04-03，cs.CV）
- 团队: Unisound AI + 天津大学 + 中科院自动化所 MAIS（作者 Fuyuan Liu 等）
一句话
专治**「前端 DETR 检测器 → 后端解析器」交接界面不稳的问题：在 D-FINE 检测器上加一个轻量结构精修层，对所有候选** query 做 set-level 推理，用学出来的 retention head 取代 NMS，并在同一个共享 refined state 上同时决定「保留哪些实例 + 什么顺序」，直接喂给后端解析器。
问题
pipeline 里 DETR 出一大堆冗余假设，后端 parser 只吃「被保留实例的序列化子集」= parser interface。传统用 NMS + 规则排序做这个 handoff，密集页（重叠/重复/歧义区域）上不稳 → 保留集与阅读顺序错位 → 内容冗余或丢失。以往检测、排序、过滤分开优化，没人联合稳定「谁存活 + 存活者顺序」。
方法（基于 D-FINE-L，四步）
- 一阶段检测器：出 N=300 假设，每个 = (query feature q_i, box b_i, semantic cue c_i) + 多尺度特征 F。
- 假设→refinement token（式3）
z_i^(0)=f_tok(q_i,b_i,c_i,v_i)，gated fusion 融四源：detector query 特征 + 框几何(归一化xyxy→MLP) + 语义线索(可学 class embedding，紧凑类别先验) + 局部视觉证据 v_i(框上多尺度 RoIAlign)。 - Structural Refinement Decoder（式4）：6 层，hidden 256，8 头。每层 = self-attn(候选间 set-level 推理) + 图像条件多尺度 deformable cross-attn(4 级) + FFN；逐层迭代框精修（预测框残差，下一层参考框）。
- 构建 parser interface（共享 refined state）：同一状态预测 类别/框/retention 分/ordering 分。定位、保留、排序都来自同一状态 → 排序只在存活实例上定义；无 NMS，重叠交给 retention head 学。
训练目标
- 检测（式5，D-FINE 式，one-to-one Hungarian）：
L_det=λ_cls L_cls+λ_l1 L_l1+λ_giou L_giou。 - Retention 监督（式6）：
L_ret=(1/N)Σ BCE(p̂_ret, t_i)，t_i=1 若匹配到前景 GT。 - Ordering（式7-8，成对/列表）：
P(i≺j)=σ(ô_j−ô_i)，L_ord=(1/|P|)Σ w_ij·BCE。 - 难度感知加权（式9）：
w_ij=1+γ·log(1+n_ij^mid)，n_ij^mid = 落在两实例中心最小外接矩形内的其它 GT 中心数 → 强调难的阅读顺序跳转。 - 总（式10）
L=L_det+λ_ret L_ret+λ_ord L_ord。 - 推理（式11）：
s_i=p̂_ret·max_c π̂_{i,c}，过阈值保留(无NMS)→ 仅对保留子集按 ordering 分排序 → 交 parser。 - 配置：4×RTX4090，72 epoch，batch 32，AdamW，lr 2.5e-4。
结果
- 版面（PageIoU F1）：OmniDocBench 96.23（best，+0.20 vs PP-DocLayoutV3）、D4LA 93.93（best，+1.13 vs dots.ocr v1.5）、DocLayNet 94.52 F1 / recall 最高 97.76。
- 端到端解析（固定 PaddleOCR-VL-1.5 后端，只换前端 DLA）：OmniDocBench Overall 94.63（>GLM-OCR 94.62, PaddleOCR-VL-1.5 94.50），Reading Order Edit 0.024（best，胜 youtu-parsing 0.026、dots.ocr 0.029、PaddleOCR-VL-1.5 0.042）。Real5 Overall 91.63 / RO 0.036。
- 效率：61.57M 参数 / 148.34 ms/页；解耦基线 D-FINE+LayoutReader+NMS = 400M / 199.63 ms → 本文更小更快。
- 消融：去 L_ret → Overall 掉 3.79、RO 0.024→0.084；解耦排序(LayoutReader)完全无效 RO 0.175；难度加权只影响排序(0.024→0.061)。
对检测—识别组合系统的启示
- ⭐⭐⭐ 本文就是这套架构本身，专门解决检测—识别组合架构最脆的「检测→AR 交接界面」。核心教训：这个 handoff 是结构决策步，不是数据传递 —— retention + ordering + localization 要联合监督才能给后端一个一致的输入序列。
- ⭐⭐⭐ refinement token = 复用 detector query 特征 + 框几何 + class embedding + RoI 视觉，gated fusion。别丢掉 DETR 的 query embedding，把它当界面层主载体。
- ⭐⭐⭐ NMS-free retention head（
s=p̂_ret·max_c 类概率）+ 候选间 self-attn 联合解重叠/竞争 → 稳定后端 AR 看到什么。 - ⭐⭐⭐ 排序头只在保留子集上、来自共享 state：先过滤再排序（LayoutReader 式）被证明失败(RO 0.175)。这对后端 AR 的阅读顺序是关键。
- ⭐⭐ 难度感知成对加权（数中间插入框）优先难排序跳转；逐层迭代框精修改善喂给 AR 识别器的 crop 坐标。
关联
- 与 rt-doclayout 互补：RT-DocLayout 把阅读顺序内嵌 query（反对称投票）；本文把 retention+ordering 做成检测器与 parser 之间的稳定界面层。两者都在攻「前端检测怎么干净交给后端」。
- 基于 detr 系的 D-FINE；本文在其精确框回归之上继续学习 retention 与 ordering。