GloVe 论文概述

1. Introduction

2. Related Work

3. GloVe Model

• 从模型设计角度：在 GloVe 模型中，词向量的学习是基于词与词之间的共现关系等信息。设计两套向量$w_i$和${\tilde{w}}_i$是为了更全面、灵活地捕捉词在不同方面的语义信息。例如，$w_i$可能更侧重于捕捉词$i$在作为目标词时的语义特征，而${\tilde{w}}_i$可能更侧重于捕捉词$i$在作为上下文词时的语义特征。通过这种方式，模型可以从不同的角度对词的语义进行建模，从而使学习到的词向量更具表现力和准确性。
• 从数学计算角度：在公式推导和计算过程中，两套向量有助于构建更合理的数学模型来处理词共现概率等信息。如在$w_i^T{\tilde{w}}_k+b_i+{\tilde{b}}_k=\log X_{ik}$这个公式中，$w_i$和${\tilde{w}}_i$的存在使得模型能够通过向量运算和参数调整来拟合词共现的统计数据，以达到学习词向量的目的。

• 目标词角度：“cat” 作为目标词，$w_{cat}$这个向量就主要负责捕捉 “cat” 这个词本身的一些核心语义特征以及它与整个句子语境的某种特定关联。例如，它要体现出 “cat” 与 “chased”（追逐）这个动作在语义上的合理搭配等，它代表了我们对 “cat” 这个词在这种语言情境下的一种综合语义表示。
• 上下文词角度：对于前面的 “The dog chased the” 这些词就是上下文词。以 “chased” 为例，${\tilde{w}}_{chased}$这个向量要捕捉 “chased” 作为上下文词与目标词 “cat” 的关系，比如它要反映出 “chased” 这个动作通常可能的对象有哪些，与 “cat” 之间的共现概率等信息，从上下文的角度来辅助确定目标词的语义以及目标词向量的学习。

• $X_{ij}$表示目标词$i$（“chased”）和上下文词$j$（“cat”）在给定窗口大小下的共现次数。在语料库 ["the dog chased the cat", "the cat chased the mouse"] 中，当以 “chased” 为中心，窗口大小为 2 时，在 “the dog chased the cat” 中，“chased” 与 “cat” 在窗口范围内共现了 1 次，在 “the cat chased the mouse” 中，“chased” 与 “cat” 又在窗口范围内共现了 1 次，所以$X_{ij}=2$。
• $X_i$是目标词$i$（“chased”）的所有上下文词的出现总数。在上述语料库中，以 “chased” 为中心，窗口大小为 2 时，其上下文词有 “the”“dog”“the”“cat”，总共出现了 4 次，所以$X_i=4$。

• 对于 “the dog chased the cat” 这句话，以 “chased” 为中心，窗口大小为 2 时，其上下文词为 “the”“dog”“the”“cat”。
• 对于 “the cat chased the mouse” 这句话，以 “chased” 为中心，窗口大小为 2 时，其上下文词为 “the”“cat”“the”“mouse” 中的 “the”“cat”，“mouse” 不在窗口范围内。

• 从 “chased” 往左数 2 个单词，是 “the” 和 “cat”，这两个单词在窗口范围内。
• 从 “chased” 往右数 2 个单词，因为 “chased” 右侧只有 “the mouse” 两个单词，所以右侧在窗口范围内的就是 “the” 和 “mouse” 中的第一个单词 “the”，“mouse” 不在窗口范围内（因为窗口大小限制为 2，从 “chased” 开始数，只能数到 “the”）。

1. 在 “the dog chased the cat” 中：
   • 从 “chased” 向左数 2 个词，得到窗口 “dog the”，这里包含 “the” 和 “dog”，这是第一次窗口内的情况，涉及到的上下文词是 “the” 和 “dog”。
   • 从 “chased” 向右数 2 个词，得到窗口 “the cat”，这里包含 “the” 和 “cat”，这是第二次窗口内的情况，涉及到的上下文词是 “the” 和 “cat”。
2. 在 “the cat chased the mouse” 中：
   • 从 “chased” 向左数 2 个词，得到窗口 “cat the”，这里包含 “the” 和 “cat”，这是第三次窗口内的情况，涉及到的上下文词是 “the” 和 “cat”（“cat” 已统计过，但 “the” 又多统计了一次）。
   • 从 “chased” 向右数 2 个词，由于 “chased” 右边只有 2 个词 “the mouse”，所以窗口就是 “the mouse”，这里包含 “the”，“mouse” 不在窗口内（窗口大小为 2 只算到 “the”），这是第四次窗口内的情况，涉及到的上下文词是 “the”。

• 从 “chased” 向左看，窗口是 “dog the”（因为窗口大小为 2，从 “chased” 向左数两个词），这是为了捕捉 “chased” 左边的上下文信息。
• 从 “chased” 向右看，窗口是 “the cat”（同样因为窗口大小为 2，从 “chased” 向右数两个词），这是为了捕捉 “chased” 右边的上下文信息。

• 从统计目的角度：以目标词为中心设置窗口，目的是捕捉目标词周围的上下文信息来确定共现关系等，不是严格要求左右窗口字数或词数绝对相等。有时左窗口词数比右窗口多，有时右窗口词数比左窗口多，甚至左右窗口词数相等，都是正常的，关键是能有效获取目标词的上下文语义信息。
• 从实际语料情况角度：如果句子较短或者目标词在句子中的位置比较特殊，可能会出现左窗口词数比右窗口多的情况。如 “chased the cat” 中以 “chased” 为目标词，窗口大小为 2 时，左窗口无词，右窗口有 “the cat” 两个词。

• 目标词 “chased” 的两个向量：$w_{chased}=(0.1,0.2)$，${\tilde{w}}_{chased}=(0.2,0.3)$
• 上下文词 “cat” 的两个向量：$w_{cat}=(0.3,0.4)$，${\tilde{w}}_{cat}=(0.4,0.5)$
• 偏置项：$b_{chased}=0.1$，${\tilde{b}}_{chased}=0.2$，$b_{cat}=0.3$，${\tilde{b}}_{cat}=0.4$

1. 当以 $w_{chased}$ 作为目标词向量，${\tilde{w}}_{cat}$ 作为上下文词向量时：
   • 先计算 $w_{chased}^T{\tilde{w}}_{cat}=(0.1\times 0.4)+(0.2\times 0.5)$$=0.14$
   • 则 $w_{chased}^T{\tilde{w}}_{cat}+b_{chased}+{\tilde{b}}_{cat}=0.14+0.1+0.4=0.64$
2. 当以 ${\tilde{w}}_{chased}$ 作为目标词向量，$w_{cat}$ 作为上下文词向量时：
   • 先计算 ${\tilde{w}}_{chased}^T{w}_{cat}=(0.2\times 0.3)+(0.3\times 0.4)$$=0.18$
   • 则 ${\tilde{w}}_{chased}^T{w}_{cat}+{\tilde{b}}_{chased}+b_{cat}=0.18+0.2+0.3=0.68$

• 计算值不同，$0.64\ne 0.68$ 。这是因为不同的目标词向量和上下文词向量的组合，它们的内积不同，再加上不同的偏置项，导致最终结果不同。
• 这两个结果与 $\log X_{ij}=\log 2\approx 0.69$ 都存在一定误差，在实际训练中，通过随机梯度下降等算法不断调整这些向量和偏置项的值，使得计算结果更接近 $\log X_{ij}$ ，从而学习到更准确的词向量表示它们之间的语义关系。

1. 初始化向量和偏置项：

   如前面假设的，对于目标词 “chased”，初始化$w_{chased}=(0.1,0.2)$，${\tilde{w}}_{chased}=(0.2,0.3)$；对于上下文词 “cat”，初始化$w_{cat}=(0.3,0.4)$，${\tilde{w}}_{cat}=(0.4,0.5)$。同时初始化偏置项$b_{chased}=0.1$，${\tilde{b}}_{chased}=0.2$，$b_{cat}=0.3$，${\tilde{b}}_{cat}=0.4$。
2. 计算损失函数：

   损失函数$J={\sum }_{i,j=1}^{|V|}f(X_{ij})(w_i^T{\tilde{w}}_j+b_i+{\tilde{b}}_j-\log X_{ij}{)}^2$，这里$|V|$是词汇表大小，$f(X_{ij})$是权重函数，假设$f(X_{ij})=1$（简化情况）。

   对于 “chased”（$i$）和 “cat”（$j$），已知$X_{ij}=2$，$\log X_{ij}=\log 2\approx 0.69$。

   先计算$w_{chased}^T{\tilde{w}}_{cat}=(0.1\times 0.4)+(0.2\times 0.5)=0.14$，则$w_{chased}^T{\tilde{w}}_{cat}+b_{chased}+{\tilde{b}}_{cat}=0.14+0.1+0.4=0.64$。

   这一项的损失为$(0.64-0.69{)}^2=0.0025$。
3. 计算梯度：

   根据损失函数对$w_{chased}$、${\tilde{w}}_{cat}$、$b_{chased}$、${\tilde{b}}_{cat}$求偏导数（梯度）。

   例如对$w_{chased}$求偏导数：

   设$z=w_{chased}^T{\tilde{w}}_{cat}+b_{chased}+{\tilde{b}}_{cat}$，$L=(z-\log X_{ij}{)}^2$，根据链式法则$\frac{\partial L}{\partial w_{chased}}=2(z-\log X_{ij}){\tilde{w}}_{cat}$。

   代入数值$z=0.64$，$\log X_{ij}=0.69$，${\tilde{w}}_{cat}=(0.4,0.5)$，得到$\frac{\partial L}{\partial w_{chased}}=2\times (0.64-0.69)\times (0.4,0.5)=(-0.04,-0.05)$。
4. 更新向量和偏置项：

   设定学习率$\eta =0.01$（假设值）。

   更新$w_{chased}$：$w_{chased}=w_{chased}-\eta \frac{\partial L}{\partial w_{chased}}=(0.1,0.2)-0.01\times (-0.04,-0.05)=(0.1+0.0004,0.2+0.0005)=(0.1004,0.2005)$。

   同样的方法可以更新${\tilde{w}}_{cat}$、$b_{chased}$、${\tilde{b}}_{cat}$。
5. 重复训练：

   遍历整个语料库，对每一对目标词和上下文词重复上述计算损失函数、计算梯度、更新向量和偏置项的过程，经过多轮迭代训练，不断调整$w_i$和${\tilde{w}}_i$以及偏置项的值，使得损失函数$J$逐渐减小，最终得到合适的$w_i$和${\tilde{w}}_i$向量。

意义

• $w_i$：通常被称为目标词向量，用于表示目标词本身的语义信息。在计算词与词之间的关系时，代表当前所关注的中心词的语义向量空间位置，它捕捉了目标词在整个语料库中的语义特征以及与其他词的关系等信息。
• ${\tilde{w}}_i$：一般被看作是上下文词向量，用于表示与目标词相关的上下文词的语义信息。它主要负责捕捉上下文词对目标词的影响和关联，帮助模型理解目标词在不同上下文环境中的语义变化。

不同点

• 角色不同：$w_i$聚焦于目标词自身，是被分析和理解的核心；${\tilde{w}}_i$围绕目标词的上下文，为理解目标词提供语境支持。
• 计算中的作用不同：在 GloVe 模型的计算$w_i^T{\tilde{w}}_j+b_i+{\tilde{b}}_j=\log X_{ij}$中，$w_i$和${\tilde{w}}_j$通过内积等运算，共同作用来拟合词共现概率的对数$\log X_{ij}$。$w_i$从目标词角度，${\tilde{w}}_j$从上下文词角度，协同工作以捕捉词之间的语义关系。
• 更新方式相关但有区别：在训练过程中，它们都通过随机梯度下降等算法进行更新，以使得模型能够更好地拟合数据，更准确地捕捉语义关系。但具体的更新值会根据它们在目标函数中的梯度以及其他超参数等因素有所不同，共同朝着减小损失函数值的方向调整。

1. 构建词汇表：

   对语料库进行分词后，得到词汇表 ["the", "dog", "chased", "cat", "mouse"]，词汇表大小 $|V|=5$。
2. 构建词共现矩阵 $X$：

   设窗口大小为 2，对于每个词作为目标词 $i$ ，统计其上下文词 $j$ 的共现次数。
   • 当目标词 $i$ 为 “chased” 时：
     • 在 “the dog chased the cat” 中，“chased” 左边窗口（大小为 2）内的词是 “dog the”，右边窗口内的词是 “the cat”；在 “the cat chased the mouse” 中，“chased” 左边窗口内的词是 “cat the”，右边窗口内的词是 “the mouse”。
     • 与 “chased” 共现的词及次数统计：“the” 共现 4 次，“dog” 共现 1 次，“cat” 共现 2 次，“mouse” 共现 1 次。
   • 对于其他词也进行类似的统计，最终得到完整的词共现矩阵 $X$（这里为了简单示意，只列出部分与 “chased” 相关的）：
     | | the | dog | chased | cat | mouse |
     | --- | --- | --- | --- | --- | --- |
     | the | | | 4 | | |
     | dog | | | 1 | | |
     | chased | 4 | 1 | | 2 | 1 |
     | cat | | | 2 | | |
     | mouse | | | 1 | | |
3. 计算 $p_{ij}$ 和 $\log X_{ij}$：
   • 以 “chased” 作为目标词 $i$ ，“cat” 作为上下文词 $j$ 为例，$X_{ij}=2$，“chased” 的上下文词出现总数 $X_i=4+1+2+1=8$，所以 $p_{ij}=p(j|i)=\frac{X_{ij}}{X_i}=\frac{2}{8}=0.25$，$\log X_{ij}=\log 2\approx 0.69$。
4. 初始化向量和偏置项：

   随机初始化向量 $w_i$，${\tilde{w}}_i$ 和偏置项 $b_i$，${\tilde{b}}_i$ 。例如，对于 “chased”，设 $w_{chased}=(a_1,a_2)$，${\tilde{w}}_{chased}=(b_1,b_2)$；对于 “cat”，设 $w_{cat}=(c_1,c_2)$，${\tilde{w}}_{cat}=(d_1,d_2)$，其中 $a_1,a_2,b_1,b_2,c_1,c_2,d_1,d_2$ 是随机数。偏置项 $b_{chased}$，${\tilde{b}}_{chased}$，$b_{cat}$，${\tilde{b}}_{cat}$ 也随机初始化。
5. 通过随机梯度下降优化：

   根据损失函数 $J={\sum }_{i,j=1}^{|V|}f(X_{ij})(w_i^T{\tilde{w}}_j+b_i+{\tilde{b}}_j-\log X_{ij}{)}^2$（假设 $f(X_{ij})=1$ 简化），计算梯度并更新向量和偏置项。
   • 对 $w_{chased}$ 求偏导数：设 $z=w_{chased}^T{\tilde{w}}_{cat}+b_{chased}+{\tilde{b}}_{cat}$，$L=(z-\log X_{ij}{)}^2$，根据链式法则 $\frac{\partial L}{\partial w_{chased}}=2(z-\log X_{ij}){\tilde{w}}_{cat}$。
   • 类似地对其他向量和偏置项求偏导数，然后使用随机梯度下降公式 $w_{chased}=w_{chased}-\eta \frac{\partial L}{\partial w_{chased}}$（$\eta$ 为学习率）更新向量和偏置项。
   不断重复上述计算梯度和更新的过程，经过多轮迭代，逐渐得到合适的 $w_{chased}$（作为目标词向量）和 ${\tilde{w}}_{chased}$（作为上下文词向量相关部分）的值。

概念意义

• 捕捉语义信息：自然语言中，词的含义往往与其周围的词相关。通过目标词向量和上下文词向量，可以捕捉词与词之间的语义关系，如 “美丽” 和 “漂亮” 等相似词会有相似的上下文，它们的向量在空间中也会更接近。
• 提高模型性能：将词表示为向量后，能作为机器学习模型的输入，帮助模型更好地理解文本语义，在文本分类、情感分析、机器翻译等自然语言处理任务中提高性能。
• 实现语义推理：基于向量的计算，如向量的加法、减法等，可以进行语义推理。例如 “国王”-“男人”+“女人”≈“王后”，这种计算体现了词向量能捕捉词之间的语义逻辑关系。

数学原理