Contrastive Learning — 对比学习
自监督表示学习的主流范式:最大化同一数据不同增广视图表示间的一致性,同时把来自其它数据的表示推远。可视为”每张图自成一类”的分类任务。
关键脉络(本 wiki 涉及)
- SimCLR:增广 pipeline + projection head,把表示映到算 loss 的空间,整图级 InfoNCE。
- MoCo:momentum 编码器 + 队列/memory bank 扩大负例。
- BYOL/DINO:teacher-student 蒸馏,可不用负例。
- 损失通常是 InfoNCE / NCE,cosine 相似度 + 温度 τ。
用于文本识别的扩展
标准对比学习把图像当原子输入(整图一向量),不适合序列结构的文本。seqclr 通过 instance-mapping 把它扩展到 sequence-to-sequence,是首个用于文本识别的自监督对比方法。
(stub,可随后续论文扩充)