Efficient Estimation of Word Representations in Vector Space（2013）— 深度精读

用两个去掉非线性隐层的对数线性模型（CBOW 与 Skip-gram），在十亿级语料上一天内学出高质量词向量，并让 vector(King)-vector(Man)+vector(Woman)≈vector(Queen) 这样的线性类比成立。

一句话定位

Word2Vec 把「词嵌入」从昂贵的神经语言模型副产品，变成可独立、廉价、超大规模训练的基础组件，开启了 distributed representation 主导 NLP 的时代。

两个新架构（CBOW / Skip-gram）：核心洞察是 NNLM 复杂度的瓶颈在非线性隐层（N×D×H 项）。作者直接删掉隐层，换成 log-linear 分类器，使复杂度下降数个量级，从而能在更大数据上训练。
CBOW：用上下文（默认前后各 4 个词，共 8 个词）的投影向量求和/平均去预测中心词；词序不影响投影（故名 bag-of-words）。复杂度 Q = N×D + D×log₂(V)。
Skip-gram：反过来用中心词预测窗口内前后词；窗口 C（论文用 C=10）内随机采样 R∈[1,C]，越远的词采样越少（相当于降权）。复杂度 Q = C×(D + D×log₂(V))，比 CBOW 贵但语义类比明显更强。
线性类比评测集：新建 Semantic-Syntactic Word Relationship 测试集，含 5 类语义 + 9 类句法关系，共 8869 语义 + 10675 句法 = 19544 个类比问题（如 Athens:Greece :: Oslo:Norway）。评分为「余弦最近词严格等于答案」，同义词算错。

无隐层 + 层次 softmax：删掉隐层后 softmax 归一化成为瓶颈，故用基于 Huffman 树的 hierarchical softmax，频繁词得短码，输出评估量从 log₂(V) 降到 log₂(Unigram_perplexity(V))，百万词表约 2× 加速。
训练：SGD + 反向传播，起始学习率 0.025 线性衰减到 0；常见 3 个 epoch，但论文发现「双倍数据跑 1 epoch」≥「同数据跑 3 epoch」，故后续多用单 epoch。
分布式：基于 DistBelief 框架，mini-batch 异步 SGD + Adagrad 自适应学习率，用 50–100 个模型副本并行，中心参数服务器同步梯度。

架构对比（640 维，同数据 320M 词）：Skip-gram 语义准确率 55% 远超 CBOW(24)/NNLM(23)/RNNLM(9)；句法上 CBOW 最强(64)，Skip-gram(59) 次之。
6B Google News + 100 副本（Table 6）：Skip-gram(1000 维) 总准确率 65.6%（语义 66.1 / 句法 65.1），CBOW(1000 维) 63.7%，而 NNLM(100 维) 仅 50.8%；且 CBOW/Skip-gram 只需 2–2.5 天 ×~130 CPU核，NNLM 需 14 天 ×180 核。
规模趋势（Table 2）：维度与数据量必须同时增大才持续受益；单独加维度或加数据都会边际递减。
MSR Sentence Completion：Skip-gram 单独 48%，但与 RNNLM 加权组合刷新 SOTA 58.9%（此前 55.4%）。
类比示例：Paris-France+Italy=Rome、copper-Cu → zinc:Zn、Einstein-scientist → Messi:midfielder，均正确。