【AI实战课程】第二章：⾃然语⾔处理常⽤基本概念

分享一个大牛的人工智能教程。零基础通俗易懂风趣幽默希望你也加入到人工智能的队伍中来请轻击人工智能教程​​https://www.captainai.net/troubleshooter本阶段主要掌握基于词表分词以及基于神经⽹络模型的分词训练。深⼊学习新词发现算法与词权重计算运⽤ TF-IDF 实现⽂本检索、摘要抽取。在词向量⽅⾯明晰多种训练⽅式及提速技巧学会利⽤词向量完成相似度计算、⽂本聚类。语⾔模型⽅⾯实现 N-gram 及神经⽹络语⾔模型训练运⽤其完成⽂本分类、纠错等复杂任务。中⽂分词基于词表的切分基于词表的中⽂分词是最基础、应⽤⼴泛的分词⽅式之⼀核⼼思路是将待分词⽂本与预设的词表进⾏匹配从⽂本中识别出词表中存在的词语从⽽完成分词。其原理简单、易于实现是早期中⽂分词的主流⽅法。·正向最⼤切分·负向最⼤切分·双向最⼤切分等⽅法实现基于模型的切分基于神经⽹络模型的中⽂分词是利⽤深度学习技术如神经⽹络⾃动学习⽂本中的分词规律⽆需依赖⼈⼯设计的词表或规则核⼼是通过数据驱动的⽅式让模型 “学会” 判断词语的边界。这种⽅法能更好地处理歧义、新词和复杂语境是当前主流的分词⽅案之⼀。·使⽤神经⽹络训练分词模型新词发现词权重的计算1.新词发现是指从⽂本中⾃动识别出未被现有词典收录的新兴词汇如⽹络流⾏语 “内卷”、领域新词 “元宇宙” 等是⾃然语⾔处理中的基础任务。其核⼼思路是通过统计特征和语⾔规律挖掘潜在的 “词”⽽⾮依赖预设词表。2.TF-IDFTerm Frequency-Inverse Document Frequency词频 - 逆⽂档频率是⼀种⽤于评估某个词语在⼀份⽂档或⼀个⽂本中重要性的加权算法⼴泛应⽤于⽂本检索、关键词提取、⽂本分类等领域。⼀个词语的重要性与它在单篇⽂档中出现的频率成正⽐词频越⾼可能越重要但与它在整个⽂档集合中出现的频率成反⽐在太多⽂档中出现可能是通⽤词重要性低。·tfidf原理及计算⽅式·基于tfidf⽂本检索·摘要抽取·基于信息熵和聚合度的新词发现⽅法实战练习实现⽆监督的⽂本新词发现词向量词向量Word Embedding算法是将词语转化为计算机可理解的低维稠密数值向量的技术核⼼是让语义相近的词具有相似的向量表示如 “国王” 与 “⼥王” 的向量差异近似于 “男⼈” 与 “⼥⼈” 的向量差异。这种表示⽅式解决了传统 one-hot 编码维度⾼、稀疏、⽆语义关联的缺陷是现代⾃然语⾔处理的基础。词向量将⽂本从 “离散符号” 转化为 “连续向量”使计算机能通过向量运算如余弦相似度、加减理解词语的语义关联为后续任务如⽂本分类、机器翻译、情感分析提供⾼质量的输⼊特征。词向量的训练⽅式·基于窗⼝的训练·基于语⾔模型的训练·基于共现矩阵的训练·Huffman树和负采样的训练提速⽅法词向量的应⽤·词相似度计算·句向量·⽂本相似度计算·⽂本聚类实战练习实现基于句向量的⽂本聚类语⾔模型语⾔模型Language Model, LM是⾃然语⾔处理NLP中的核⼼技术其核⼼⽬标是对 “语⾔序列的概率分布” 进⾏建模即计算⼀段⽂本如句⼦、段落在语⾔中出现的概率或根据前⽂预测下⼀个可能出现的词语。它是机器理解和⽣成⼈类语⾔的基础。语⾔模型通过学习⼤规模⽂本数据中的规律如词语搭配、语法规则、语义逻辑输出⼀个概率值来衡量 “⼀段⽂本是否符合⼈类语⾔习惯”。语⾔模型本质是对⼈类语⾔规律的数学建模它让计算机从 “被动执⾏规则” 升级为 “主动学习语⾔模式”从⽽更⾃然地与⼈类交互。预训练语⾔模型的出现更是推动了 NLP 技术从 “特定任务定制” ⾛向 “通⽤智能”是当前⼤语⾔模型LLM的核⼼基础。语⾔模型的训练·Ngram语⾔模型的实现通过假设 “下⼀个词的出现只与前 n-1 个词相关”如 bigram 只看前 1 个词trigram 看前 2 个词基于⼤规模语料中 “n元词序列” 的出现频率计算概率。·神经⽹络语⾔模型的实现·基于神经⽹络的模型逐渐替代统计模型核⼼是⽤神经⽹络学习词语的分布式表示词向量并通过上下⽂特征预测下⼀个词。语⾔模型的应⽤·基于语⾔模型的⽂本分类·⽂本纠错·可读性增强等任务实战练习实现基于语⾔模型的⽂本纠错⼤型预训练语⾔模型·Bert、GPT等语⾔模型的训练·transformer结构的思想及实现·模型蒸馏··Bert的各种演进变体··elmo··GPT1,2,3··albert··roberta··spanbert··distillbert··erine··xlnet··T5··instructGPT实战练习⼿动实现transformer层的前向计算过程完成本章学习后您将收获⼀.多种分词⽅式掌握•深⼊理解基于词表的中⽂分词原理熟练掌握正向最⼤切分、负向最⼤切分、双向最⼤切分等具体实现⽅法能够根据不同⽂本特点选择合适的切分策略。•精通基于神经⽹络模型的中⽂分词技术学会利⽤深度学习技术⾃动学习⽂本中的分词规律摆脱对⼈⼯词表或规则的依赖有效处理歧义、新词和复杂语境下的分词问题。•具备使⽤神经⽹络训练分词模型的实际操作能⼒能够独⽴完成从数据准备、模型构建到训练调优的全过程。⼆.新词发现⽅法运⽤•准确把握新词发现的核⼼概念即从⽂本中⾃动识别未被现有词典收录的新兴词汇理解其通过统计特征和语⾔规律挖掘潜在“词”的本质。•熟练掌握基于信息熵和聚合度的新词发现⽅法能够运⽤该⽅法从海ᰁ⽂本中⾼效、准确地挖掘新词为后续的⾃然语⾔处理任务提供丰富的词汇资源。•通过实战练习实现⽆监督的⽂本新词发现提升解决实际问题的能⼒积累项⽬经验。三.词权重计算及应⽤•深⼊理解 TF-IDF 原理及计算⽅式明⽩其通过词频和逆⽂档频率评估词语在⽂档中重要性的机制。•学会运⽤ TF-IDF 算法完成⽂本检索任务能够根据词语权重准确匹配相关⽂档提⾼检索的准确性和效率。•掌握基于 TF-IDF 的摘要抽取⽅法能够从⽂本中提取关键信息⽣成简洁、准确的摘要满⾜不同场景下的信息获取需求。四.词向量原理理解•清晰掌握词向量Word Embedding算法的核⼼思想即将词语转化为计算机可理解的低维稠密数值向量使语义相近的词具有相似的向量表示解决传统 one-hot 编码的缺陷。•理解词向量将⽂本从“离散符号”转化为“连续向量”的重要意义明⽩这种转化⽅式为计算机通过向量运算理解词语语义关联提供了基础是现代⾃然语⾔处理的关键技术。五.词向量训练⽅法掌握•熟练掌握多种词向量的训练⽅式包括基于窗⼝的训练、基于语⾔模型的训练、基于共现矩阵的训练等能够根据不同的数据特点和任务需求选择合适的训练⽅法。•学会运⽤ Huffffman 树和负采样的训练提速⽅法提⾼词向量训练的效率降低计算成本适应⼤规模数据处理的需求。六.词向量应⽤实践•学会利⽤词向量进⾏词相似度计算能够准确衡量词语之间的语义相似程度为⽂本匹配、语义分析等任务提供⽀持。•掌握句向量的⽣成⽅法能够将句⼦转化为向量表示为⽂本相似度计算、⽂本聚类等任务提供⾼质量的输⼊特征。•具备运⽤词向量完成⽂本相似度计算和⽂本聚类的实际操作能⼒能够根据向量运算结果对⽂本进⾏分类和聚类挖掘⽂本之间的潜在关系。•通过实战练习实现基于句向量的⽂本聚类加深对词向量应⽤的理解和掌握提升解决实际问题的能⼒。七.语⾔模型原理与训练•深⼊理解语⾔模型Language Model, LM的核⼼⽬标即对“语⾔序列的概率分布”进⾏建模明⽩其通过计算⽂本概率或预测下⼀个词语来衡量⽂本是否符合⼈类语⾔习惯的原理。•掌握 N-gram 语⾔模型的实现⽅法理解其基于“下⼀个词的出现只与前 n - 1 个词相关”的假设通过⼤规模语料中“n元词序列”的出现频率计算概率。•精通神经⽹络语⾔模型的实现技术学会利⽤神经⽹络学习词语的分布式表示词向量并通过上下⽂特征预测下⼀个词理解其逐渐替代统计模型的优势。⼋.语⾔模型应⽤拓展•学会运⽤语⾔模型完成基于语⾔模型的⽂本分类任务能够根据⽂本的语⾔模式和规律对其进⾏准确分类提⾼分类的准确性和泛化能⼒。•掌握基于语⾔模型的⽂本纠错⽅法能够通过分析⽂本的语⾔概率分布发现并纠正其中的错误提升⽂本的质量和可读性。•了解语⾔模型在可读性增强等任务中的应⽤拓宽语⾔模型的应⽤视野为解决更多⾃然语⾔处理问题提供思路。•通过实战练习实现基于语⾔模型的⽂本纠错积累实际应⽤经验提⾼解决实际问题的能⼒。九.主流模型训练与结构理解•了解Bert、GPT等⼤型预训练语⾔模型的训练过程和⽅法掌握其在⼤规模数据上进⾏预训练的核⼼技术明⽩预训练对提升模型性能和泛化能⼒的重要作⽤。•深⼊理解 transformer 结构的思想及实现包括⾃注意⼒机制、多头注意⼒机制等关键组件明⽩其如何实现对⽂本中重要信息的关注和处理为后续的模型优化和应⽤奠定基础。⼗.模型优化与应⽤拓展•掌握模型蒸馏技术学会将⼤型预训练语⾔模型的知识迁移到⼩型模型中降低模型复杂度和计算成本同时保持较⾼的性能满⾜不同场景下的应⽤需求。•了解 Bert 的各种演进变体如 elmo、GPT1,2,3、albert、roberta、spanbert、distillbert、erine、xlnet、T5、instructGPT等掌握它们的特点和优势能够根据具体任务选择合适的模型进⾏应⽤。⼗⼀.实战操作能⼒提升•通过实战练习⼿动实现 transformer 层的前向计算过程加深对 transformer 结构的理解和掌握提升实际编程能⼒和对模型内部机制的认识。