Word2Vec文献阅读 中译中版本——完形填空+联想游戏，搞定词向量的小技巧

目录摘要背景与动机方法实验与结果讨论个人见解参考文献摘要一开始读这篇论文总觉的读了后面马上就把前面忘记了我的大脑被大量的碎片化短视频侵占我的大脑中词向量之间建立的联系被割裂词库被瓦解。但好在意识战胜了恐惧。决心认真研读Word2Vec锻炼一下我的前额叶。先再这里做一个整篇论文总结后续讲逐步剖析。这篇论文最核心的贡献就是跳出了“模型越复杂越好”的误区提出了CBOW连续词袋模型和Skip-gram跳字模型两个极简架构大胆砍掉了传统神经网络语言模型的非线性隐藏层再搭配层次Softmax和负采样两种优化技术既解决了传统模型训练慢、算力要求高的痛点又能高效学到高质量词向量。它的创新点在于用最简单的结构实现了“语义可计算”比如“国王−男人女人≈女王”证明了简单模型也能精准捕捉词的句法和语义规律而且训出来的词向量能直接迁移到各种NLP任务为后续词表示学习和预训练模型比如BERT奠定了基础堪称NLP从“传统统计”走向“神经表示”的关键转折点。背景与动机长江后浪推前浪任何新事物的出现都有它的导火索或者背后驱动力Word2Vec的出现也不是偶然而是刚好解决了当时NLP领域的“老大难”问题而词向量表示本身就是NLP的核心基础。那么是谁这么聪明的想到用词向量表示呢这里我询问了我们亲爱的百科全书豆包。首次将词向量作为可训练参数的是bengio这个伟人而本文的tomas则是让这一项技术变得简洁高效引来了词向量的普及和爆发。但其实在此之前一位英国语言学家Firth曾提出分布式假设“词的语义由上下文决定”这个似乎大家都心照不宣的道理需要有人给宣出来。这才是词向量的启蒙词向量可以看作用来联系上下文的向量。所以说学习无边界生活或许才是一切创新的来源。我们每次发现一个新的数学方法可能是巧合但是时间与实践是检验真理的唯二标准。言归正传在Word2Vec出现之前自然语言处理的词表示方式一直很“笨拙”。最早的离散表示比如one-hot编码就是给每个词编一个独一无二的“身份证号”比如“苹果”是001“香蕉”是002计算机根本不知道这两个词都是水果也不懂“吃”和“喝”是近义词——在它眼里001和002的距离和001与10000的距离没区别。后来的N-gram模型也只是靠“数数”统计词的出现频率比如“我爱”后面常接“中国”就给高分但它依然不懂词的含义数据稍微少一点就“罢工”面对大规模文本更是束手无策。直到分布式表示思想出现用神经网络学习连续词向量苹果[0.23,0.12,-0.34]语义联系越近距离越近才让计算机第一次“懂”了语义能捕捉词与词之间的关联。依旧举例子句子我爱吃苹果输入苹果输出我爱吃的概率为0.9。而输出黑板的概率为0.01因为苹果和黑板在语义上没什么联系向量距离远。这里先抛出一个疑问那么苹果后面接电脑的概率会如何呢使用神经网络的问题来了当时的NNLM前馈神经网络语言模型、RNNLM循环神经网络语言模型结构复杂有多层非线性隐藏层这里可能大家不太了解什么是非线性隐藏层举例带非线性激活函数的层ReLU本身就非线性的层池化层训练起来巨慢无比——用普通电脑训一个小语料都要几天面对几十亿词的大规模语料可能要几周甚至几个月普通学生做实验、企业做落地都用不起。所以Word2Vec的提出核心动机就是“破局”既要保留分布式表示的优势让词向量能捕捉语义和句法又要把模型复杂度压下来降低训练成本让大规模语料训练变得现实可行让高质量词向量从“实验室奢侈品”变成“人人能用的工具”。而词向量表示之所以重要就是因为它能把抽象的语言符号变成可计算的数值向量让计算机真正“理解”语言这是所有NLP任务比如翻译、情感分析的基础。方法上面说了那么多铺垫现在要来点技术流了。这篇论文的方法部分我拆成了“两个核心模型两个优化技巧”一点点读下来发现其实没有那么复杂反而特别佩服作者“删繁就简”的思路完全贴合“高效实用”的需求。1. CBOW模型我给它起了个外号“完形填空小能手”它的核心逻辑就是“用上下文猜中心词”。比如我们平时说“我今天___去公园玩”CBOW就相当于根据“我、今天、去、公园、玩”这些上下文词去猜中间的“要”或“想”。具体来说它会先把所有上下文词的向量拿过来简单粗暴地加起来求平均这里不考虑上下文词的顺序所以叫“词袋”然后通过一个简单的线性分类器预测出最可能的中心词。因为结构简单没有复杂的隐藏层它的训练速度特别快计算复杂度很低适合处理大规模语料。2. Skip-gram模型和CBOW刚好相反我叫它“联想大师”核心逻辑是“用中心词猜上下文”。还是刚才的句子要是把“要”当成中心词Skip-gram就会预测它周围的“我、今天、去、公园”这些词。这里有个小细节它会对距离中心词较远的上下文词降低权重甚至不采样比如“玩”离“要”最远就可能不纳入训练这样既能减少计算量又能更精准地捕捉中心词和近邻词的关联。虽然它的训练速度比CBOW稍慢一点但在捕捉语义关系比如国家-首都、近义词上表现更出色。3. 层次Softmax这是我觉得最巧妙的“提速神器”专门解决传统Softmax“计算量爆炸”的问题。传统Softmax训练时要计算当前词在整个词汇表中所有词的概率再做归一化——要是词汇表有100万个词就要计算100万次慢到让人崩溃。而层次Softmax就是把整个词汇表建成一棵Huffman二叉树高频词比如“我、你、他”放在树的上层路径短低频词放在下层路径长。这样一来预测一个词时不用遍历整个词汇表只需要沿着二叉树的路径一步步判断计算复杂度从O(V)V是词汇表大小降到了O(log₂V)训练速度直接翻倍这也是Word2Vec能快速训练大规模语料的关键。4. 负采样可以理解为层次Softmax的“平替版”思路更简单粗暴也更适合我们学生做实验、快速上手。它的核心就是“分清真假朋友”训练时除了用中心词和真实上下文词的“正例对”比如“要”和“去”还会随机抽几个和中心词无关的词当“负例对”比如“要”和“石头”让模型学会区分“哪些词是真正的上下文哪些是无关的”。这样不用建复杂的Huffman树计算量更小而且能让词向量的区分度更高学到的语义关联也更精准后来成了工业界和我们学生做实验最常用的优化方法。实验与结果上面介绍了那么多现在一起来看看Word2Vec的优势有多明显。1.实验设置与数据集作者用了两个大规模语料主数据集是Google News语料包含约60亿词词汇表限制为100万最频繁出现的词生僻词出现次数太少训练意义不大还有一个LDC语料3.2亿词用来和传统模型做对比。另外作者还自己造了一套语义-句法关系测试集包含8869个语义问题比如国家-首都、人物-职业和10675个句法问题比如动词时态、名词单复数专门用来评估词向量的质量。2. 评估方法主要有两种一种是“语义加减法”评估就是看词向量能不能算出“国王−男人女人≈女王”这种结果准确率越高说明词向量捕捉语义的能力越强。而另一种是参加微软句子补全挑战测试词向量在实际NLP任务中的落地效果更贴近真实应用场景。3.实验主要结果其他表格参考原论文这部分是最震撼的完全能看出Word2Vec对传统模型的“碾压”。首先是模型对比Skip-gram在语义任务上的准确率达到55%远超RNNLM的9%和NNLM的23%CBOW则在句法任务上更稳准确率64%比RNNLM的36%高了近一倍。然后是速度对比用单机训练7.83亿词CBOW只需要1天Skip-gram需要3天而传统的RNNLM要8周差距简直天差地别。另外作者还测试了参数影响词向量维度和训练数据量越大效果越好但到300-600维时边际效益就递减了这个结论对我们学生做实验特别有用能避免盲目调参、浪费算力。最后用DistBelief框架做并行训练60亿词的语料只需要2-2.5天就能训完完全具备工业化应用的能力讨论接下来我们探讨Word2Vec的优势和局限性又有哪些呢1. 优势最突出的就是“高效实用”去掉复杂隐藏层优化技巧单机就能训练大规模语料不管是我们学生做课程实验还是企业做落地都能轻松上手其次是“效果能打”能精准捕捉词的句法规律比如eat→ate、apple→apples和语义关联比如中国→北京、医生→医院再者是“通用性强”训练好的词向量不用重新训练就能直接迁移到机器翻译、情感分析等各种NLP任务省了大量时间最后是“简单好实现”模型结构清爽我自己用Python就能搭出简易版特别适合新手学习。2. 局限性我自己做实验时也踩过的这些坑。一是它的上下文窗口固定完全不考虑语序比如“我吃苹果”和“苹果吃我”在CBOW眼里上下文向量是一样的会影响语义理解二是它是静态词向量一个词只有一个向量碰到多义词就翻车比如“bank”既指金融机构又指河岸Word2Vec分不清三是对低频词不友好低频词出现次数少Huffman树给它分配的路径又长训练不充分向量质量很差四是完全不考虑词根、词缀等形态信息比如“happy”和“unhappy”会被当成两个独立的词无法捕捉它们之间的关联。这里的局限性也正好对应了我们之前抛出的疑问“苹果电脑”对于Word2Vec来说是两个不相关的词但我们知道“苹果电脑”指的是一种品牌的电脑。3. 应用场景论文里明确提到了好几个核心应用它的应用几乎贯穿整个NLP领域。比如机器翻译用它训练的词向量能帮助模型理解不同语言的语义关联提升翻译准确率信息检索能根据词向量相似度给用户推荐更相关的搜索结果还有问答系统、情感分析、复述检测、知识库补全等任务都能用到它。更重要的是它后来成了BERT、GPT等预训练模型的基础嵌入层没有Word2Vec就没有后来的预训练模型时代。个人见解读完这篇论文我最大的感受就是好的技术从来不是越复杂越好而是能精准解决痛点简洁又实用。或许好的方法你在日常生活中已经成为一种大家都知道习惯但这种习惯往往同样可以运用到模型中去。看谁发现的早喽~。Word2Vec没有堆网络层数没有搞花里胡哨的结构只抓住“高效训练高质量词向量”这一个核心就成为了NLP史上的经典验证了那句话“数学是简单的美丽的”关于改进空间这里我先天马行空一下一是引入动态上下文窗口根据词的词性、语义调整窗口大小解决长距离依赖问题比如名词的窗口可以大一点捕捉更多关联二是结合亚词单元比如WordPiece把“unhappy”拆成“un-”“happy”既能改善低频词和未登录词的表示又能捕捉词的形态信息三是加入位置权重不再无视语序比如“我吃苹果”中“吃”离“苹果”更近在苹果之前权重更高就能区分和“苹果吃我”的差异或者说这个词向量能不能加方向向量不是有方向的吗那这个方向能不能用来表示词的先后顺序四是对低频词进行过采样增加它们的训练次数提升向量质量。至于未来词向量表示的发展方向一是从静态词向量转向动态上下文词向量像ELMo、BERT那样根据不同的语境生成不同的词向量彻底解决多义词问题二是走向多模态融合把文本和图像、语音等模态信息结合起来让词向量更贴近人类的认知方式比如学习“苹果”的词向量时结合苹果的图片和发音让语义表示更精准。另外随着大模型的发展词向量的训练会更注重效率和泛化性可能会结合自监督学习、强化学习等方法进一步挖掘词的深层关联让它在更多小众领域也能发挥作用。写完这篇报告感觉成为阐述理科的白话文作家也是一件有趣的事。文献阅读仅仅是英译中都不够我时常觉得还得中译中一下。太久没有写过文字思想被网络蚕食殆尽这样酣畅淋漓的写一场快哉快哉。参考文献[1] Mikolov T, Chen K, Corrado G, et al. Efficient Estimation of Word Representations in Vector Space[J]. arXiv preprint arXiv:1301.3781, 2013.[2] Mikolov T, Sutskever I, Chen K, et al. Distributed Representations of Words and Phrases and their Compositionality[C]//Advances in Neural Information Processing Systems. 2013: 3111-3119.