深度学习研究综述第3周：自然语言处理

本文是名为“深度学习研究综述”系列的第三篇，旨在总结和阐明各深度学习子领域的研究论文。本期聚焦自然语言处理（NLP），该领域致力于构建能够理解和处理人类语言的系统，以执行诸如问答（如Siri或Alexa）、情感分析、图像转文本映射、机器翻译、语音识别、词性标注和命名实体识别等任务。前几期涵盖了强化学习和生成对抗网络，为本次探讨深度学习技术如何提升NLP奠定了基础。\n\n传统上，NLP高度依赖语言学领域知识，包括音素和语素等概念。例如，将单词“uninterested”拆分为前缀、词根和后缀，有助于通过语言规则解读其情感和含义——“un”表示否定，“interest”为词根，“ed”标示过去时。然而，手动处理所有英语前缀和后缀需要广泛的语言学专业知识，且仍可能遗漏许多细微差别，使传统方法劳动强度大且扩展性有限。\n\n深度学习提供了一种变革性方法，专注于表示学习。类似于卷积神经网络（CNN）通过滤波器学习图像特征，NLP中的深度学习模型旨在从大规模数据集中学习词的表示。这一转变将重点从手工特征转向数据驱动的嵌入，使模型能够更灵活、全面地捕捉词义和上下文。\n\n深度学习NLP的基础概念之一是将词表示为多维空间中的向量。例如，一个词可以表示为六维向量，每个维度编码词义或上下文的某个方面。初始化这些向量的基本方法是构建共现矩阵，统计训练语料中每个词与其他词的邻近出现频率。从该矩阵提取行即为初始词向量，类似词通常具有相似的向量模式。例如，“love”和“like”与名词如“NLP”和“dogs”，以及代词“I”的共现计数相似，表明共享语义属性。\n\n然而，共现矩阵方法扩展性差。对于百万级词汇，矩阵庞大且稀疏，导致存储和计算效率低下。为克服这一问题，开发了更复杂的方法如Word2Vec。Word2Vec通过训练模型预测每个中心词周围指定窗口内的上下文词，生成紧凑的词嵌入。例如，给定句子“I love NLP and I like dogs”，窗口大小为三，模型尝试最大化中心词“love”周围上下文词的概率。\n\n训练优化一个函数，求和中心词给定上下文词的对数概率，利用随机梯度下降更新向量。每个词有两种不同的向量表示：作为中心词时和作为上下文词时。尽管数学复杂，Word2Vec显著提升了词向量表示，能够捕捉语义和句法关系。\n\nWord2Vec训练的一个显著成果是词向量间线性关系的出现。这些关系编码了语法和语义类比，如向量运算“king” – “man” + “woman” ≈ “queen”。此特性凸显了简单神经结构结合适当训练目标在捕捉复杂语言概念中的强大能力。因此，Word2Vec不仅提供了高效的嵌入，还深入揭示了从数据而非语言规则中学习的语言结构。