> For the complete documentation index, see [llms.txt](https://ai.younglimit.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://ai.younglimit.com/genai/language-models-pre-training/encoder-vs-decoder.md). # Encoder VS Decoder ## **Encoder 和 Decoder 的数学区别** ### **1. 主要区别概览** | 组件 | 输入 | 计算方式 | 输出 | | ----------- | ----------------------------------------- | ------------------------------------------------- | --------------------------------------- | | **Encoder** | 输入序列 $$x\_1, x\_2, \dots, x\_T$$ | 逐步更新隐藏状态 $$h\_t = f(h\_{t-1}, x\_t)$$ | 最后一个隐藏状态 $$h\_T$$ 或上下文向量 $$c$$ | | **Decoder** | 上下文向量 $$c$$ + 目标序列的前一 token $$y\_{t'-1}$$ | 逐步更新隐藏状态 $$s\_{t'} = g(s\_{t'-1}, y\_{t'-1}, c)$$ | 生成的 token $$y\_{t'}$$，通过 softmax 计算概率分布 | *** ### **2. Encoder（编码器）的数学公式** #### **2.1 输入** 编码器的输入是一个序列： $$ x = (x\_1, x\_2, \dots, x\_T) $$ 其中，每个 $$x\_t$$ 是输入的 token（例如单词的向量表示）。 #### **2.2 递归计算** 编码器使用递归公式计算隐藏状态： $$ h\_t = f(h\_{t-1}, x\_t) $$ 其中： * $$h\_t$$ 是时间步 $$t$$ 的隐藏状态。 * $$f$$ 是 RNN/LSTM/GRU 的转换函数。 **最简单的 RNN 计算方式**： $$ h\_t = \tanh(W\_h h\_{t-1} + W\_x x\_t + b) $$ **LSTM 计算方式**（包含遗忘门、输入门、输出门）： $$ f\_t = \sigma(W\_f \[h\_{t-1}, x\_t] + b\_f) $$ $$ i\_t = \sigma(W\_i \[h\_{t-1}, x\_t] + b\_i) $$ $$ o\_t = \sigma(W\_o \[h\_{t-1}, x\_t] + b\_o) $$ $$ \tilde{c}*t = \tanh(W\_c \[h*{t-1}, x\_t] + b\_c) $$ $$ c\_t = f\_t \odot c\_{t-1} + i\_t \odot \tilde{c}\_t $$ $$ h\_t = o\_t \odot \tanh(c\_t) $$ 最终，编码器的隐藏状态 $$h\_T$$ 形成上下文向量 $$c$$： $$ c = m(h\_1, h\_2, \dots, h\_T) $$ 其中 $$m$$ 可能是直接取最后一个隐藏状态（简单情况）或某种加权平均（如注意力机制）。 *** ### **3. Decoder（解码器）的数学公式** #### **3.1 输入** 解码器的输入是： * 编码器的**上下文向量** $$c$$。 * 目标序列的前一个 token $$y\_{t'-1}$$。 #### **3.2 递归计算** 解码器使用自己的隐藏状态 $$s\_t'$$ 进行更新： $$ s\_{t'} = g(s\_{t'-1}, y\_{t'-1}, c) $$ 其中： * $$s\_{t'}$$ 是解码器的隐藏状态。 * $$g$$ 是解码器的转换函数（通常与编码器的 $$f$$ 结构类似）。 **RNN 版本**： $$ s\_{t'} = \tanh(W\_s s\_{t'-1} + W\_y y\_{t'-1} + W\_c c + b) $$ **LSTM 版本**： $$ f\_{t'} = \sigma(W\_f \[s\_{t'-1}, y\_{t'-1}, c] + b\_f) $$ $$ i\_{t'} = \sigma(W\_i \[s\_{t'-1}, y\_{t'-1}, c] + b\_i) $$ $$ o\_{t'} = \sigma(W\_o \[s\_{t'-1}, y\_{t'-1}, c] + b\_o) $$ $$ \tilde{c}*{t'} = \tanh(W\_c \[s*{t'-1}, y\_{t'-1}, c] + b\_c) $$ $$ c\_{t'} = f\_{t'} \odot c\_{t'-1} + i\_{t'} \odot \tilde{c}\_{t'} $$ $$ s\_{t'} = o\_{t'} \odot \tanh(c\_{t'}) $$ #### **3.3 输出生成** 解码器的隐藏状态 $$s\_t'$$ 用于计算当前 token $$y\_t'$$ 的概率： $$ P(y\_{t'} | y\_{t'-1}, \dots , y\_1, c) = \text{softmax}(W\_o s\_{t'} + b\_o) $$ **softmax 计算每个可能单词的概率分布**，并选择最可能的单词作为当前输出。 *** ### **4. Encoder 和 Decoder 之间的核心数学区别** | 方面 | 编码器（Encoder） | 解码器（Decoder） | | ---------- | ------------------------------------ | ---------------------------------------- | | **输入** | 输入序列 $$x = (x\_1, x\_2, ..., x\_T)$$ | 编码器的上下文向量 $$c$$ + 目标 token $$y\_{t'-1}$$ | | **隐藏状态计算** | $$h\_t = f(h\_{t-1}, x\_t)$$ | $$s\_{t'} = g(s\_{t'-1}, y\_{t'-1}, c)$$ | | **输出** | 最终隐藏状态 $$h\_T$$（即上下文向量 $$c$$） | 生成的 token $$y\_{t'}$$ | | **目标** | 压缩整个输入序列的信息 | 逐步生成目标序列 | **数学核心区别：** 1. **输入不同**： * 编码器的输入是整个**源语言句子** $$x\_1, x\_2, ..., x\_T$$。 * 解码器的输入是\*\*编码器输出的上下文向量 $$c$$ + 目标序列的前一个 token $$y\_{t'-1}$$。 2. **隐藏状态计算方式不同**： * 编码器：$$h\_t = f(h\_{t-1}, x\_t)$$，**仅依赖过去信息**（单向）或**前后信息**（双向）。 * 解码器：$$s\_{t'} = g(s\_{t'-1}, y\_{t'-1}, c)$$，**依赖于编码器输出 + 先前已生成的 token**。 3. **输出不同**： * **编码器输出最终隐藏状态** $$h\_T$$**（或经过注意力机制的上下文向量** $$c$$**）**，用作整个输入的表示。 * **解码器使用 softmax 生成目标序列中的 token**，逐步预测下一个单词。 *** ### **5. 总结** 1. **编码器** 负责 **处理整个输入序列**，并生成一个固定长度的**上下文向量** $$c$$，用来表示整个输入序列的信息。 2. **解码器** 逐步**接收上下文向量** $$c$$，并**依赖前一个时间步的输出**，一步步生成目标序列。 3. **数学层面上**： * **编码器是一个标准的递归网络**，输入的是 **源语言序列**，只依赖于 **过去信息**（或前后信息，若是双向）。 * **解码器依赖编码器的输出 + 先前已生成的 token**，是一个 **自回归模型**，用 softmax 生成下一个 token。 ## h, x, s, y到底是啥 在 **序列到序列（seq2seq）** 任务中，编码器的最终隐藏状态 $$h\_T$$ 被称为**上下文变量或上下文向量（context vector）**。它是整个输入序列的信息压缩，并传递给解码器，以生成目标输出。 *** ### **例子：机器翻译** 我们以 **英语到法语翻译** 为例： * **输入句子（英文）**："I love you" * **目标句子（法语）**："Je t'aime" #### **1. 词向量表示** 假设： * `"I"` → $$x\_1$$ * `"love"` → $$x\_2$$ * `"you"` → $$x\_3$$ 这些 $$x\_t$$ 是输入单词的**词向量**（word embeddings）。 *** ### **2. 编码器（Encoder）** 编码器是一个 **循环神经网络（RNN, LSTM, GRU）**，它逐步读取输入单词，并更新**隐藏状态（hidden state）** $$h\_t$$： 1. **输入第一个单词 `"I"`**： $$ h\_1 = f(x\_1, h\_0) $$ 其中 $$h\_0$$ 是初始隐藏状态（通常设为全零）。 2. **输入第二个单词 `"love"`**： $$ h\_2 = f(x\_2, h\_1) $$ 3. **输入第三个单词 `"you"`**： $$ h\_3 = f(x\_3, h\_2) $$ 最终，编码器的**最后一个隐藏状态** $$h\_T$$ 作为**上下文向量**： $$ h\_T = h\_3 $$ 它浓缩了整个输入句子的意思，并作为解码器的输入。 *** ### **3. 解码器（Decoder）** 解码器是另一个 RNN，它接收 **上下文向量 ( h\_T )** 作为初始状态，并逐步生成目标序列（"Je t'aime"）： 1. **生成第一个单词** `"Je"`： $$ s\_1 = g(y\_0, h\_T) $$ 其中 $$y\_0$$ 是起始标记 ``。 2. **生成第二个单词** `"t'"`： $$ s\_2 = g(y\_1, s\_1) $$ 其中 $$y\_1$$ 是 `"Je"`。 3. **生成第三个单词** `"aime"`： $$ s\_3 = g(y\_2, s\_2) $$ 其中 $$y\_2$$ 是 `"t'"`。 最终，解码器输出 `"Je t'aime"`，完成翻译。 *** ### **4. 关键概念总结** | 符号 | 解释 | | -------- | --------------------------- | | $$x\_t$$ | **输入单词的词向量**（如 `"I" → x_1`） | | $$h\_t$$ | **隐藏状态**，编码器在每个时间步更新它 | | $$h\_T$$ | **上下文向量**，编码器的最后隐藏状态 | | $$s\_t$$ | **解码器的隐藏状态** | | $$y\_t$$ | **解码器的输出单词** | *** ### **5. 图示** ```plaintext Encoder: "I" → x₁ → h₁ → "love" → x₂ → h₂ → "you" → x₃ → h₃ (最终的上下文向量 h_T) Decoder: h_T → "Je" → "t'" → "aime" ``` --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://ai.younglimit.com/genai/language-models-pre-training/encoder-vs-decoder.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.