U-Net (2015) — 深度精读
📄 原文：arXiv:1505.04597 · PDF
对称的收缩-扩张 U 形结构 + skip connection，用极少标注图像做出精准的逐像素分割。
一句话定位
U-Net 在全卷积网络基础上，把「捕捉上下文的收缩路径」与「精确定位的对称扩张路径」用 skip connection 直接拼接，让高分辨率细节和深层语义同时到达输出，从而在只有几十张标注图的生物医学场景下训练出高精度分割网络，成为分割领域最具影响力的通用骨架。
核心贡献
- U 形 encoder-decoder 对称架构：收缩路径重复「两个 3×3 conv(ReLU) + 2×2/stride2 max-pool」，每次下采样通道翻倍；扩张路径每步「上采样 + 2×2 up-conv 减半通道 + 拼接对应收缩层特征 + 两个 3×3 conv」；末层 1×1 conv 映射到类别数，共 23 卷积层、无全连接层。
- Skip connection 跨层拼接：把收缩路径的高分辨率特征裁剪后直接拼到扩张路径，使后续卷积能基于「深层语义 + 浅层细节」组装出精确输出——这是 U-Net 精度的关键。
- overlap-tile 无缝分割任意大图：只用 valid 卷积（输出小于输入），边界缺失上下文用镜像外推，可在 GPU 显存受限下分块拼接处理超大图像。
- 弹性形变数据增强：在少样本下用随机弹性形变（3×3 粗网格上采样 10px 位移 + 双三次插值）教会网络对组织形变的不变性——是少标注训练成功的核心。
- 加权损失分离相邻同类物体：逐像素 softmax + 加权交叉熵，用形态学预计算的权重图 w(x)=wc(x)+w0·exp(−(d1+d2)²/2σ²)（w0=10,σ≈5）给相邻细胞间的窄背景边界大权重，强制网络学会分开粘连细胞。
关键方法细节
- 训练：Caffe SGD，为最大化利用显存用大 tile、batch=1，配高 momentum 0.99 让历史样本主导更新。
- 初始化：从 N(0, √(2/N)) 高斯采样（He 初始化），使各特征图约单位方差（3×3、64 通道时 N=576）。
- 数据增强还包括收缩路径末端 Dropout（隐式增强）；输入 tile 尺寸须保证每次 2×2 max-pool 作用在偶数尺寸层上。
- 训练时间仅约 10 小时（Titan 6GB），512×512 图推理 <1 秒。
关键结果（真实数字）
- ISBI 2012 EM 神经元结构分割：warping error 0.000353（新最佳），rand error 0.0382，优于 Ciresan 滑窗网络（0.000420 / 0.0504），且无需任何前后处理。
- ISBI cell tracking 2015：PhC-U373 IoU 92%（第二名 83%）、DIC-HeLa IoU 77.5%（第二名 46%），大幅领先夺冠。
为什么是里程碑
- 确立 encoder-decoder + skip connection 为语义/实例分割的标准范式，影响遍及医学影像、遥感、自动驾驶等。
- 证明在极少标注 + 强数据增强下也能训出高精度分割网络，极大降低标注门槛。
- U 形结构后来被广泛复用，甚至成为扩散模型的去噪骨干网络。