AlexNet (2012) — 深度精读

用 GPU 训练的深层 CNN 在 ImageNet ILSVRC-2012 上把 top-5 error 从 26.2% 打到 15.3%，一举点燃深度学习革命。

一句话定位

AlexNet 是第一个在大规模自然图像分类（ImageNet 1000 类、120 万训练图）上用端到端反向传播 + GPU 训练取得压倒性优势的深层卷积网络，证明「深度 + 大数据 + GPU」这条路线可行，直接开启了 2012 之后的深度学习时代。

深层端到端 CNN 架构：5 个卷积层 + 3 个全连接层，约 6000 万参数、6.5 亿连接。单塔变体的五个卷积层滤波器数为 64/192/384/384/256（本仓 PDF 为 2014 “One weird trick” 版所描述的单塔结构），最终 1000 路输出。
ReLU 非饱和激活：用 max(0,x) 取代 tanh/sigmoid，训练收敛速度快数倍（原论文报告到 25% 训练误差快约 6×），使训练如此深的网络在当年成为可能。
Dropout 正则化：在前两个全连接层用 p=0.5 的 Dropout，等效于对指数级子网络做集成，显著抑制 6000 万参数模型的过拟合。
多 GPU 模型并行：原始模型因单卡显存不足被切成两塔分布到 2 块 GTX 580（各 3GB），是把网络主动拆分上多 GPU 的早期工程范例。
数据增强 + LRN：随机 224×224 裁剪 + 水平翻转（从 256×256 图取块，把数据集扩大约 2048 倍）、PCA 颜色抖动，配合 Local Response Normalization（后被证明可有可无）。

输入 224×224×3；卷积核从 11×11（stride 4）逐层缩小到 3×3，配合 overlapping max-pooling（3×3 窗、stride 2）。
优化：带 momentum(0.9) 的 SGD，weight decay 0.0005（本仓 PDF 明确指出 weight decay 在此不仅是正则化、还能降低训练误差），batch 128，训练 90 epoch。
学习率初始约 0.01，验证误差不再下降时手动 ÷10。本仓 PDF 的并行实验里改为在 25%/50%/75% 进度处按固定因子衰减。
本仓 PDF（Krizhevsky 2014 单作）额外给出「大 batch 训练」的经验法则：batch 放大 k 倍时学习率乘 k（实践值，与理论上的 √k 有出入），并提出卷积层用数据并行、全连接层用模型并行的「一个怪招」，在 8× K20 上达 6.25× 加速。

ILSVRC-2012 test top-5 error = 15.3%，第二名 26.2%，领先 ~10.8 个百分点。
top-1 error 约 37%（单塔并行实验中随 batch 变化在 42.3%–43.3% 之间波动）。
单卡 90 epoch 训练约需 226.8–256.8 小时（本仓 PDF 的 1-GPU 基线；表中 98.05h 是某个多 GPU 配置的总时长，非单卡基线）；8× K20 在 6.25× 加速下约 41 小时。