目前chatGPT的论文还没有公布，官方介绍里面讲：“ChatGPT is a sibling model to InstructGPT”，对比ChatGPT官网的模型训练流程和InstructGPT的流程图，基本是一致的，只是ChatGPT基于GPT-3.5进行的训练，我们下面的讲解就暂时以InstructGPT代替ChatGPT展开。

第一层：训练流程

白话讲解ChatGPT的训练流程，不涉及模型训练细节，主要讲解整个训练是如何完成的。

ChatGPT学习的四阶段

1.1 第一步：学习文字接龙

GPT（Generative Pre-trained Transformer）是一个会文字接龙的模型，给他一段文本，他会预测下一个字是什么。

训练一个文字接龙的模型是不需要人工标注的文本的，只需要在网上收集大量的文字，就可以学文字接龙这件事情。

GPT真实的输出是一个概率分布，“你好”的输入，可能跟“高”、“美”、“吗”等等词，每一次的输出都是不同的，出现的概率也不一样。

文字接龙已经可以用来回答问题了，但是…

GPT输出的是一个概率分布，后面可以接各式各样的句子，很多并不是我们想要的。
那我们如何引导GPT产生有用的输出呢？

1.2 第二步：人类老师引导文字接龙方向

找人来思考想问GPT的问题，并人工提供正确答案。

• 西安的地标是什么？ --> 钟楼
• 如何学习深度学习？ --> 需要先知道基本概念…
• 请把这句话做翻译…

让原始的GPT模型在这部分质量较高的数据集上学习，多看一些有益的句子，期待他能产生出有用的输出。这里不需要穷尽所有问题，只需要告诉GPT人类的偏好。

1.3 第三步：模仿人类老师的喜好

训练一个模仿老师的模型，学习人类老师评分高低的标准。

如果人类提交的是“钟楼”这个答案好于“谁来告诉我呀”，那么Teacher Model给“钟楼”这个的打分就要比“谁来告诉我呀”的打分高。

1.4 第四步：用强化学习向模拟老师学习

把“接龙模型GPT”和“老师模型Teacher Model”组合起来使用。

Teacher Model通过前面的学习已经学到，如果答案是一个问句，它不是一个好的答案，给予低分。这个Teacher Model输出的低分就是强化学习的奖励Reward，强化学习通过调整参数，得到最大的Reward

经过强化学习以后，GPT就变成了ChatGPT，能够输出我们想要的答案了。

总结：整个过程就是教GPT从“想说什么就说什么”到“说人类想要他说的”。

第二层：工程实现

重点讲解Instruct GPT的论文，《Training language models to follow instructions with human feedback》(训练语言模型是他能够服从人类的指示)。68页的论文主要内容在讲工程实现，包括怎么挑选合适的标注人员，各个模型都是如何准备训练数据的，甚至还给了很多标注表格的模板和训练样本范例。

大型语言模型中的一致性问题通常表现为：

• 提供无效帮助：没有遵循用户的明确指示。
• 内容胡编乱造：虚构不存在或错误事实的模型。
• 缺乏可解释性：人们很难理解模型是如何得出特定决策或预测的。
• 内容偏见有害：一个基于有偏见、有害数据训练的语言模型可能会在其输出中出现这种情况，即使它没有明确指示这样做。

InstructGPT/ChatGPT的提出了一种利用人类反馈来解决这一问题的方案，方法总体上可以分成3步：

• 根据采集的SFT数据集对GPT-3进行有监督的微调（Supervised FineTune，SFT）；
• 收集人工标注的对比数据，训练奖励模型（Reword Model，RM）；
• 使用RM作为强化学习的优化目标，利用PPO算法微调SFT模型。

2.1 数据来源

训练数据有两个来源：

• 由我们的标注人员编写的Prompt数据集
• 提交给早期 InstructGPT模型版本API的Prompt数据集

标记人员

OpenAI通过一系列的筛选，找到了40个对不同人口群体的偏好敏感并且善于识别可能有害的输出的全职标记人员。整个过程中，OpenAI的研发人员跟这些标记人员紧密合作，给他们进行了培训，并对他们是否能够代表大众的偏好进行了评测。

标记人员的工作是根据内容自己编写prompt，并且要求编写的Prompt满足下面三点：

• 简单任务：标记人员给出任意简单的任务，同时要确保任务的多样性；
• Few-shot任务：标注人员写出一个指示，同时写出其各种不同说法。
• 用户相关的：从接口中获取用例，然后让标记人员根据这些用例编写prompt。

40名外包员工来自美国和东南亚，分布比较集中且人数较少， InstructGPT/ChatGPT的目标是训练一个价值观正确的预训练模型，它的价值观是由这40个外包员工的价值观组合而成。而这个比较窄的分布可能会生成一些其他地区比较在意的歧视，偏见问题。

API用户

OpenAI训练了一个早期版本的InstructGPT，开放给了一部分用户，根据他们提问信息构造样本，对数据集做了如下操作：

• 删除了一些重复的、包含个人信息的prompt；
• 每个用户只取200条prompt；
• 按照用户ID划分训练集、验证集和测试集，避免类似问题同时出现在训练集和验证集。

prompt种类共有9种，而且绝大多数是生成类任务，可能会导致模型有覆盖不到的任务类型；

2.2 训练数据

基于上面的数据集，生成了三份不同的训练数据集：

数据中96%以上是英文，其它20个语种例如中文，法语，西班牙语等加起来不到4%，这可能导致InstructGPT/ChatGPT能进行其它语种的生成时，效果应该远不如英文；

2.3 模型微调Supervised fine-tuning（SFT）

低层的网络主要学习图像的边缘或色斑，中层的网络主要学习物体的局部和纹理，高层的网络识别抽象的语义。

由上面的案例可知，我们可以把一个神经网络分成两块：1）低层的网络进行特征抽取，将原始信息变成容易被后面任务使用的特征；2）输出层的网络进行具体任务的预测。输出层因为涉及到具体任务没办法在不同任务中复用，但是低层的网络是具有通用型的，可以应用到其他任务上。

微调由以下4步构成：

• 在源数据集上预训练一个神经网络模型，即源模型。
• 创建一个新的神经网络模型，即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。我们还假设源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。
• 为目标模型添加一个输出大小为目标数据集类别个数的输出层，并随机初始化该层的模型参数。
• 在目标数据集上训练目标模型。我们将从头训练输出层，而其余层的参数都是基于源模型的参数微调得到的。

这里的SFT就是基于训练好的GPT-3模型进行的微调，在数据集上面进行了16个epoch的训练，数据量比较小，模型比较大，一个epoch以后就过拟合了，但是论文里面说这个没关系，因为他不是直接拿出去用，而是用来初始化后面的模型。

2.4 训练奖励模型Reward modeling（RM）

一个Response不能给具体的打分值，只能说一个Response比另一个Response更好或者差不多，所以训练奖励模型的数据是一个标注人员根据生成结果排序的形式，它可以看做一个回归模型。

奖励模型使用的是PairWise的训练方法，PairWise的基本思路是对样本进行两两比较，构建偏序文档对，从比较中学习顺序。PairWise就是希望通过正确估计一对文档的顺序，而得到整体的正确顺序，比如一个正确的排序为：“A>B>C”，PairWise通过学习两两之间的关系“A>B”，“B>C”和“A>C”来推断“A>B>C”。

奖励模型的结构是将SFT训练后的模型的最后的嵌入层去掉后的模型。它的输入是prompt和Reponse，输出是奖励值。GPT-3最大的模型时175B的，但是发现这种规模的模型训练不稳定，最后才用了6B的版本。

2.5 强化学习Reinforcement learning（RL）

强化学习（Reinforcement learning，RL）讨论的问题是一个智能体（agent）怎么在一个复杂不确定的 环境（environment) 里面去极大化它能获得的奖励。通过感知所处环境的 状态（state) 对 动作（action） 的反应（reward），来指导更好的动作，从而获得最大的收益（return），这被称为在交互中学习，这样的学习方法就被称作强化学习。

PPO（Proximal Policy Optimization）近端策略优化算法，是一种典型的强化学习算法。它通过观测信息选出一个行为直接进行反向传播，当然出人意料的是他并没有误差，而是利用reward奖励直接对选择行为的可能性进行增强和减弱，好的行为会被增加下一次被选中的概率，不好的行为会被减弱下次被选中的概率。

这里我们随机取一个用户的prompt，然后使用SFT模型生成一个response，使用奖励模型对当前的prompt-response对打分作为Reward。

2.6 结论

该模型基于三个标准进行评估：

• 帮助性：判断模型遵循用户指示以及推断指示的能力。
• 真实性：判断模型在封闭领域任务中有产生虚构事实的倾向。
• 无害性：标注者评估模型的输出是否适当、是否包含歧视性内容。

跟SFT 175B的模型对比效果，所以我们可以看到SFT 175B的胜率是0.5。

在对我们的prompt进行人工评估过程中，1.3B个参数的InstructGPT模型的输出优于 175B的GPT-3模型的输出，尽管参数少100倍。此外，InstructGPT模型显示了真实性的提高和有毒输出生成的减少，同时在公共数据集上的性能下降却很小。尽管InstructGPT 仍然会犯一些简单的错误，但我们的结果表明，根据人类反馈进行微调是使语言模型与人类意图保持一致的一个有前途的方向。

第三层：发展脉络

任何模型的突破和成功，都不是一蹴而就的，是不断的学习前人的经验和结论，自己一步一步走出来的，这个需要的是厚积薄发。ChatGPT也是一样，要真正理解它，就需要看它之前的工作，从发展脉络的角度去看问题。

3.1 Encoder-Decoder

Cho在2014年的《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》中提出了Encoder–Decoder结构，它由两个RNN组成，另外本文还提出了GRU的门结构，相比LSTM更加简洁，而且效果不输LSTM。

生成目标句子单词的过程成了下面的形式，其中f1是Decoder的非线性变换函数：

$\begin{array}{l}\mathbf{Y}_{\mathbf{1}}=\mathbf{f} \mathbf{1}\left(\mathbf{C}\right) \\\mathbf{Y}_{2}=\mathbf{f} \mathbf{1}\left(\mathbf{C}, \mathbf{Y}_{\mathbf{1}}\right) \\\mathbf{Y}_{3}=\mathbf{f} \mathbf{1}\left(\mathbf{C}, \mathbf{Y}_{\mathbf{1}}, \mathbf{Y}_{2}\right)\end{array}$Y1​=f1(C)Y2​=f1(C,Y1​)Y3​=f1(C,Y1​,Y2​)​

Encoder和Decoder部分可以是任意的文字、语音、图像和视频数据，模型可以采用CNN，RNN，BiRNN、LSTM、GRU等等，所以基于Encoder-Decoder的结构，我们可以设计出各种各样的应用算法。比如：1）文字-文字：机器翻译，对话机器人，文章摘要，代码补全； 2） 音频-文字：语音识别； 3） 图片-文字：图像描述生成

Encoder-Decoder的出现，对于很多领域的影响是非常深远的，比如机器翻译的任务，再也不需要做词性分析、词典查询、语序调整和隐马尔可夫模型等等方案，几乎都是基于Encoder-Decoder框架的神经网络方案。

3.2 Attention机制

Attention机制最早在视觉领域提出，2014年Google Mind发表了《Recurrent Models of Visual Attention》，使Attention机制流行起来，这篇论文采用了RNN模型，并加入了Attention机制来进行图像的分类。

2015年，Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中，将attention机制首次应用在nlp领域，其采用Seq2Seq+Attention模型来进行机器翻译，并且得到了效果的提升。

语义编码C是由句子Source的每个单词经过Encoder编码产生的，这意味着不论是生成哪个单词，其实句子Source中任意单词对生成某个目标单词来说影响力都是相同的，这是为何说这个模型没有体现出注意力的缘由。这类似于人类看到眼前的画面，但是眼中却没有注意焦点一样。

我们拿机器翻译来解释一下注意力在Encoder-Decoder模型中的作用就更好理解了，比如输入的是英文句子：Tom chase Jerry，Encoder-Decoder框架逐步生成中文单词：“汤姆”，“追逐”，“杰瑞”。

在翻译“杰瑞”这个中文单词的时候，没有注意力的模型里面的每个英文单词对于翻译目标单词“杰瑞”贡献是相同的，很明显这里不太合理，显然“Jerry”对于翻译成“杰瑞”更重要，但是没有注意力的模型是无法体现这一点的。

目标句子中的每个单词都应该学会其对应的源语句子中单词的注意力分配概率信息。这意味着在生成每个单词yi的时候，原先都是相同的中间语义表示C会被替换成根据当前生成单词而不断变化的Ci。理解Attention模型的关键就是这里，即由固定的中间语义表示C换成了根据当前输出单词来调整成加入注意力模型的变化的Ci。增加了注意力模型的Encoder-Decoder框架理解起来如图所示。

即生成目标句子单词的过程成了下面的形式：

$\begin{array}{l}\mathbf{Y}_{\mathbf{1}}=\mathbf{f} \mathbf{1}\left(\mathbf{C}_{\mathbf{1}}\right) \\\mathbf{Y}_{2}=\mathbf{f} \mathbf{1}\left(\mathbf{C}_{2}, \mathbf{Y}_{\mathbf{1}}\right) \\\mathbf{Y}_{3}=\mathbf{f} \mathbf{1}\left(\mathbf{C}_{3}, \mathbf{Y}_{\mathbf{1}}, \mathbf{Y}_{2}\right)\end{array}$Y1​=f1(C1​)Y2​=f1(C2​,Y1​)Y3​=f1(C3​,Y1​,Y2​)​

Attention机制由来已久，真正让其大放异彩的，是后来Google的一篇文章《Attention is All You Need》。

3.3 Transformer

2017年，Google机器翻译团队发表的《Attention is All You Need》中，提出了他们的Transformer架构，Transformer基于经典的机器翻译Seq2Seq框架，完全抛弃了RNN和CNN等网络结构，而仅仅采用Attention机制来进行机器翻译任务，在WMT 2014的数据集上取得了很好的成绩。

编码器
编码器由N=6个相同的layer组成，layer指的就是上图左侧的单元，最左边有个“Nx”，这里是x6个。每个Layer由两个子层（Sub-Layer）组成,第一个子层是Multi-head Self-attention Mechanism，第二个子层比较简单，是Fully Connected Feed-Forward Network。其中每个子层都加了残差连接（Residual Connection）和层归一化（Layer Normalisation），因此可以将子层的输出表示为：$\text { LayerNorm }(x+\operatorname{SubLayer}(x))$ LayerNorm (x+SubLayer(x))

解码器
解码器同样由N=6个相同layer组成，因为编码器是并行计算一次性将结果直接输出，而解码器是一个词一个词输入，所以解码器除了每个编码器层中的两个子层之外，还插入第三子层，其对编码器堆栈的输出执行multi-head attention。每个子层也都加了残差连接（Residual Connection）和层归一化（Layer Normalisation）。解码器中对self-attention子层进行了修改，以防止引入当前时刻的后续时刻输入，这种屏蔽与输出嵌入偏移一个位置的事实相结合，确保了位置i的预测仅依赖于小于i的位置处的已知输出。

Transformer出现后，开始取代RNN（循环神经网络）和 CNN（卷积神经网络）成为最热门的信息提取工具，以前做NLP（自然语言处理）研究的喜欢用RNN，做CV（计算机视觉）研究的喜欢用CNN，现在大家都用Transformer了，很多研究进展可以同步到另一个领域。

3.4 GPT

传统的NLP模型往往使用大量的数据对有监督的模型进行任务相关的模型训练，但是高质量的标注数据往往很难获得，而且不同任务的模型很难泛化到其他任务上，所以OpenAI在《Imporoving Language Understanding By Generative Pre-training》提出先在大量的无标签数据上训练一个语言模型，然后再在下游具体任务的有标签数据集上进行fine-tune。

GPT是典型的预训练+微调的两阶段模型。预训练阶段就是用海量的文本数据通过无监督学习的方式来获取语言学知识，而微调就是用下游任务的训练数据来获得特定任务的模型。

举一个例子来形容预训练和微调的关系，我们从幼儿园到高中就像预训练过程，不断学习知识，这些知识包罗万象包括语数英物化生等等，最重要的特征就是预训练模型具有很好的通用性；然后读大学的时候需要确定一个专业方向作为未来的职业，所以就会去重点学习专业知识，从而让我们成为更加适合某个专业方向的人才，最重要的特征就是具有极强的专业性。

GPT模型效果还是非常出色的，12个任务数据集中9个达到了最好效果。

3.5 BERT

2018年10月，Google发表《BERT_Pre-training of Deep Bidirectional Transformers for Language Understanding》，提出了类似于GPT的预训练模型BERT。

BERT和GPT采用了不同的技术路线，简单理解，BERT是一个双向模型，可以联系上下文进行分析，更擅长完形填空；而GPT是一个单项模型，只能从左到右进行阅读，更擅长写作文。

发布更早的GPT-1输给了晚4个月发布的BERT，而且是完败。在当时的竞赛排行榜上，阅读理解领域已经被BERT屠榜了。此后，BERT也成为了NLP领域最常用的模型。

3.6 GPT-2 & GPT-3

OpenAI既没有认输，也非常头铁。虽然GPT-1效果不如BERT，但OpenAI没有改变策略，而是坚持走大模型路线。接下来的两年（2019、2020年），在几乎没有改变模型架构的基础上，OpenAI 陆续推出参数更大的迭代版本GPT-2、GPT-3，前者有15亿参数，后者有1750亿参数，最终GPT-3的模型效果震惊世人，成功出圈。

但是单纯的说用一个更大的模型打败了对手感觉还不够，GPT-2和3开始卷另一个方向，不用做梯度更新和微调依然可以完成很多任务，也就是Zero-shot。在OpenAI眼中，未来的通用人工智能应该长这个样子：有一个任务无关的超大型的语言模型（Large Language Model, LLM），用来从海量数据中学习各种知识，这个LLM以生成一切的方式，来解决各种各样的实际问题，而且它应该能听懂人类的命令，以便于人类使用。

本身在这么大的模型上做梯度更新和微调就是一个门槛很高的事情，GPT-3模型对于Zero-shot、one-shot和few-shot的支持，使得基于他可以衍生出了上百个基于GPT-3的应用。

3.7 instruction Tuning

Google在2021年发表《Finetuned Language Models are Zero-Shot Learners》，提出了一种提高语言模型Zero-shot能力的方法。

比如我们要进行一句话的情感分析，“带女朋友去了一家餐厅，她吃的很开心”，我们可以有两种做法：

• 利用模型补全的能力，改造prompt：“带女朋友去了一家餐厅，她吃的很开心，这家餐厅太__了！”
• 直接告诉模型任务：“判断这句话的情感：带女朋友去了一家餐厅，她吃的很开心。选项：A=好，B=一般，C=差”
  instruction Tuning是第二种。

Instruction tuning的动机是为了提高语言模型对instructions的理解和响应能力。其想法是，通过监督来教语言模型执行instructions描述的任务，从而使它将学习到如何遵循instructions，当面对unseen的任务时，模型自然而然地就会遵循instruction做出响应。

首先在包括commonsense reasoning、machine translation、sentiment analysis等NLP task上进行微调，然后在从未见过的natural language inference任务上进行zero-shot evaluation

3.8 InstructGPT/ChatGPT

InstructGPT论文《Training language models to follow instructions with human feedback》，我们已经讲清楚language models和instructions，剩下就是with human feedback。

人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）参考了OpenAI前面的两个工作。

Ziegler在2019年的《Fine-Tuning Language Models from Human Preferences》

Stiennon在2020年《Learning to summarize from human feedback》

ChatGPT和InstructGPT在模型结构，训练方式上都完全一致，即都使用了指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来指导模型的训练，它们不同的仅仅是采集数据的方式上有所差异。

写在最后

4.1 安全性

2016年，微软AI Tay，种族歧视，下线。
Microsoft shuts down AI chatbot after it turned into a Nazi。
https://www.cbsnews.com/news/microsoft-shuts-down-ai-chatbot-after-it-turned-into-racist-nazi/

2021年，Facebook，AI将黑人标上了灵长目的标签
Facebook Apologizes After A.I. Puts ‘Primates’ Label on Video of Black Men
Facebook called it “an unacceptable error.” The company has struggled with other issues related to race.
https://www.nytimes.com/2021/09/03/technology/facebook-ai-race-primates.html

语言模型的输出特别灵活，导致出错的概率会更大，OpenAI作为一个创业公司，媒体对于GPT的容忍度大一些，如果是大公司做的GPT模型，可能已经下架了。

4.2 成本

大模型背后离不开大数据、大算力。GPT-2用于训练的数据取自于Reddit上高赞的文章，数据集共有约800万篇文章，累计体积约40G；GPT-3模型的神经网络是在超过45TB的文本上进行训练的，数据相当于整个维基百科英文版的160倍。

在算力方面，GPT-3.5在微软Azure AI超算基础设施（由V100GPU组成的高带宽集群）上进行训练，总算力消耗约3640PF-days（即每秒一千万亿次计算，运行3640天）。可以说，大模型的训练就是靠烧钱烧出来的。据估算，OpenAI的模型训练成本高达1200万美元，GPT-3的单次训练成本高达460万美元。

根据《财富》杂志报道的数据，2022年OpenAI的收入为3000万美元的收入，但净亏损总额预计为5.445亿美元。阿尔特曼在Twitter上回答马斯克的问题时表示，在用户与ChatGPT的每次交互中OpenAI花费的计算成本为“个位数美分”，随着ChatGPT变得流行，每月的计算成本可能达到数百万美元。

大模型高昂的训练成本让普通创业公司难以为继，因此参与者基本都是的科技巨头。

参考资料

• ChatGPT: Optimizing Language Models for Dialogue
• Instruct GPT: Training language models to follow instructions with human feedback
• GPT-1_Improving Language Understanding by Generative Pre-Training
• GPT-2_Language Models are Unsupervised Multitask Learners
• GPT-3_Language Models are Few-Shot Learners
• Instruct Learning_Finetuned Language Models Are Zero-Shot Learners

张一鸣说：对事情的认知是最关键的，你对事情的理解，就是你在这件事情上的竞争力，因为理论上其他的生产要素都可以构建。

傅盛说：人与人最大的差别是认知！

认知这个词最近几年特别火，越来越多的自媒体喜欢拿这个词来炒作，说认知的最高境界是看透本质，就是要具备上帝思维，要像上帝一样思考，洞悉宇宙规律，顺从自然法则，尊重人性善恶。但认知到底是什么意思？它决定的是什么？怎么提升认知呢？

一、认知是什么

认知这个词来自拉丁词根cognoscere，意思是“知道”。当我们谈论到认知，我们通常指的是与知识相关的一切，即我们已经通过学习和经验获得的资料的积累。认知公认的定义是通过感知处理信息的能力（即我们通过不同的感官得到刺激），是获得知识的重要过程，而我们的主观特征，使我们能够整合所有这些信息分析和解释我们的世界。

1.1 认知过程

认知，是指人们获得知识或应用知识的过程，或信息加工的过程，这是人的最基本的心理过程。它包括感觉、知觉、记忆、思维、想象和语言等。人脑接受外界输入的信息，经过头脑的加工处理，转换成内在的心理活动，进而支配人的行为，这个过程就是信息加工的过程，也就是认知过程。

人的认知能力与人的认识过程是密切相关的，可以说认知是人的认识过程的一种产物。一般说来，人们对客观事物的感知（感觉、知觉）、思维（想象、联想、思考）等都是认识活动。认识过程是主观客观化的过程，即主观反映客观，使客观表现在主观中。

认知过程指人脑通过感觉、知觉、记忆、思维、想象等形式反映客观对象的性质及对象间关系的过程。

1.2 举个例子

同样是参加工作一年的4s店汽修技工A\B\C三人。

• A想努力多挣点钱，于是每天加班，抢着做那些工时高（工时高，工资多），效率高的维修单。
• B想努力多挣点钱，于是他每天下班后去研究学习新的技术知识，上班后尽量接技术性高的，跟新技术相关的单子。
• C想努力多挣点钱，于是他学习技术的同时，还组建了一个微信客户群，把每位接待过的车主都拉进群。并经常在群里更新一些汽车相关常识，新技术等知识，帮客户分析用车问题。

这三人明显在对环境的认知上有很大差别。

• A认为：多劳即多得。
• B认为：自我提升重要，价值取决于个体技能。
• C认为：个人技能、利用环境积累有效客户资源。人与资源的配合重要。

他们之后的发展趋势我们也可以简单地预测一下。

• A：汽车技术革新是非常快的，随着需求的提升，在传统的机械构造上更新了更多的电子技术，“吃老本”是行不通的。A会逐渐感到技术跟不上需求，变得越来越吃力。
• B：花费大量的精力在提升自己，工作上会得心应手，随着时间积累技术上明显领先他人。做到大师傅，大组长，技术主管等不难。
• C：花费部分精力学习，能应对大部分工作，并分出部分精力通过微信群服务得到了大量客户的黏性和信任，业内口碑建立。排除其他因素下，相比A和B，晋升管理层的机会要大很多，积累的客户资源对以后做相关的创业也有很大帮助。

二、认知水平层级

认知上从低到高，是可以分为三个等级。不同的认知，决定了不同的命运。

2.1 第一层：一元思维模式

在非洲的贫民窟里，有位警察打死了一条疯狗。
目击者便将这件事，告诉了当地的一个居民。
“警察打死了……”
目击者刚开口说了前半句，那人就打断他，并发出质问：“警察打死人了？谁给他们的权力？警察就可以为所欲为吗？”
目击者接着说：“打死了的是一条狗。”
那人又怒斥道：“狗怎么了？狗就不是生命吗？一条活生生的生命消失了，就没人为此负责吗？”
目击者连忙解释：“那是一条疯狗。”
那人依旧不依不饶：“是不是疯狗是由你来评定的吗？有经过鉴定吗？鉴定程序合法吗？这里面难道没有别的黑幕吗？”
目击者的声音越来越小：“当时它正在追着路人乱咬，我亲眼看到的，没人招惹它！”
那人依旧不甘示弱：“眼见就一定为实吗？你就不觉得蹊跷吗？这个国家的黑幕还少吗？”
最后，目击者无言以对，只好转身离去。
那人洋洋得意，正大摇大摆地准备离开，结果一不小心，踩到了睡在路边的野狗尾巴。
慌乱之中，野狗起身咬了他一口。
他一边忍痛，一边破口大骂：“谁家的疯狗乱咬人，就没人来管管吗？这个社会究竟是怎么了？”

低认知的人，都是单线思维，常常以自我为中心，无法和外界的观念兼容，一条路走到底。

如同故事里的喷子，他们是网上的键盘侠，也是生活中的杠精。不管你说什么，他们的第一反应就是争辩。

这一认知层次的人，大都自以为是，固执己见，喜欢通过抬杠来显示出自身的存在感和优越感。哪怕是既定的事实，他们也会雄辩滔滔，来获得言语上的胜利。

心理学上有个名词叫“回火效应”，指的就是当一个人遇到事实和自己的认知相违背时，往往拒绝接受这个事实，并强化固守自己最初的立场。

2.2 第二层：二元思维模式

一个老教授带着学生走在路上，打算顺带买一条鱼。
教授停留在小摊面前，反复挑了挑，选了一条鱼刺比较少的清江鱼。
鱼贩看到后说：“你眼光不行啊，这种鱼不好吃，要不要换一条？”
老教授笑着回答：“不用，就这条。”
鱼贩开口嘲笑：“你们这些读书人，认识了几个大字，读了几本书，就觉得自己什么都懂，可买鱼啊，还得听我的。”
一旁的学生看不下去，便上去与之辩驳，双方各自不服气，争吵的声音也越来越大。
教授赶紧拉着学生离开。
学生不解地问：“那位鱼贩如此羞辱咱读书人，老师您不生气吗？”
教授微微一笑说：“我能理解他。卖鱼知道哪些鱼好吃就行了，他不是必须要明白，这个世界上有多少种类的鱼，哪种鱼的鱼刺少，更适合老年人。”

拥有二元思维认知的人，对事物有基础的辨别能力，有理性也有同理心，能站在对方的角度去想问题。

就像故事中的老教授，鱼贩出言嘲讽，他反而站在他人的立场去考虑问题，明白每个人的局限性。

具有二元思维认知的人，听见不同的声音时，往往能够辩证地看待问题。 他们从来不会在无意义的辩解上浪费时间，即使不同意别人的看法，也会对其包容和尊重。

2.3 第三层：多元思维模式

第三个故事，发生在法国的一位著名画家身上。
画家在瑞士度假的时候，常常背着画板四处游走写生。
一天，当他在日内瓦湖边，刚把两岸美景收于画中，旁边走来了三位女游客。
她们边走边聊，对着四周美景就是一顿吐槽：“这个地方也没有想象中那么好看啊……”
声音渐近，当她们路过画家身边时，开始对他的画指手画脚。
“这儿画得不好，明明是棵很挺拔的树，你画得这么歪；
那里颜色也不对，这么蓝的天，你画得一点也不蓝；
还有些东西你根本没画进去，你看，那里漏掉了几个人……”
画家没有反驳，始终保持微笑，还根据她们的建议，稍稍修改了自己的画作。
次日，他去另一处写生，又碰见了那三位女士。
女士们问他：“先生，我们听说大画家贝罗尼在瑞士，想拜访一下他，你应该知道他住在哪里吧？”
画家微微弓腰，客气说道：“不敢当，我就是贝罗尼。”

拥有多元思维认知的人，自带“过滤净化系统”。

就像故事中的画家贝罗尼，面对三位女士的业余指点，他非但没有以专业傲人，反而虚心听取她们的意见。

具有多元思维认知的人，不仅能够兼容不同的观点，还能取其精华去其糟粕，从各种声音中吸收有用的信息。

三、如何提高认知

认知能力受到一系列因素的影响，包括遗传素质和个体经历。

虽然我们无法改变自己的基因，但是我么可以做一些力所能及的事情来保护和最大化自己的认知能力.

3.1 多阅读，多思考，不盲从

你曾经读过的书，会体现在你的谈吐、气质、性情、修养等方面，会让你的知识面更宽，思考问题的角度更多元和深刻。

不断提高你的认知层次，让你过上物质和精神更加富足的生活。

多思考，不盲从，你才能有自己人格的独立性，无论与人相处还是一个人独处，都能感到自在从容。

3.2 多见世面，多看世界

见识见识，有见才能更有识，见多才能识广。

古人说：读万卷书，行万里路。

走出自己的小世界，去看看各地不一样的风景，才能感受到更加丰富的生活，活出人生的高度、宽度和厚度。

眼界狭小，只能让自己的人生受限。

3.3 多与认知水平高的人交流

你的水平，取决于你经常交往的五个人的平均值。

多与认知水平高的人交流，你的认知水平，耳濡目染，潜移默化，不知不觉中就得到了提升。

四、写在最后

人的一生，都在为认知水平买单

《教父》中有一句经典台词：花半秒钟就看透事物本质的人，和花一辈子都看不清事物本质的人，注定是截然不同的命运。

参考资料

认知能力与认知科学 / CogniFit
你觉得你很努力，其实你在逃避—《认知三部曲》
认知水平越低的人，越爱抬杠
提高认知水平的3种路径 / 逆习

今年准备用OKR帮助自己更好的完成工作和生活的年度目标，OKR是一套高效能定制目标的方法，为了系统的学习，我找来 约翰·杜尔（John Doerr） 的 《Measure What Matters》 进行阅读，这本书中文有两个翻译版本，一个是由曹仰锋/王永贵翻译、中信出版社出版的 《这就是OKR｜让谷歌、亚马逊实现爆炸性增长的工作法》，一个是由許瑞宋翻译、天下文化出版的 《OKR：做最重要的事》。

作者约翰·杜尔是美国最有影响力、最具创意、最不拘传统的冒险资本投资家之一，被誉为“风险投资之王”。2021年4月，他以124亿美元位列《2021福布斯全球富豪榜》第177名。他是OKR目标管理法的早期实践者，更是OKR的布道者。

后来又去读了一下 克里斯蒂娜·沃特克 的 《OKR工作法｜谷歌、领英等顶级公司的高绩效秘籍》 ，当然这本书跟谷歌、领英没什么关系，它用了一个非常特别的体裁，以2/3的篇幅构筑了一个虚构商业故事，围绕一家创业公司的试错、困惑、决断和成长的全过程，说明了OKR工作法的基本原理和实施原则。

作者克里斯蒂娜·沃特克是硅谷著名的产品专家，她曾经在Myspace（一家社区交友网站）、领英和Zynga（一家社交游戏公司）负责过重要的产品设计和管理工作。

OKR

OKR是什么

OKR（Objectives and Key Results） 即目标与关键成果法，是一套明确和跟踪目标及其完成情况的管理工具和方法，能够将目标管理自上而下贯穿到基层。

OKR包含2个组成部分，即目标（Objectives）和关键结果（Key Results）两部分。目标（O）是定性陈述，关键结果（KR）是定量的。设计KR最具挑战的部分是如何把目标中定性的部分翻译为定量的数字化的表示。

目标(Objectives)：目标就是你想要实现的东西，不要将其夸大或缩小。根据定义，目标应该是重要的、具体的、具有行动导向并且能鼓舞人心的。

“我们要在中距微型计算机组件业务上占据主导地位。” 这是我们努力要实现的。

关键结果(Key Results)：关键结果是检查和监控我们如何达到目标的标准。有效的关键结果应该是具体的、有时限的且具有挑战性的，但又必须是能够实现的。最重要的是，它们必须是可衡量、可验证的。

“为8085型号处理器做出10个新型设计”是关键结果之一，也是一个里程碑。

OKR在将企业的使命愿景战略具像化并落地，帮助企业聚焦目标（方向一致），激发自驱力（激活个体），处于一个承上启下的位置。

也有一种论调在说：“OKR其实不是管理工具，而是沟通工具”，因为OKR并不是万能的，它不能代替正确的判断、强有力的领导和创造性的企业文化，但是，如果这些基本要素能够到位的话，OKR就能引导个人和团队走向顶峰。

OKR的发展历史

• 1968年，安迪·格罗夫在英特尔发明了OKR这套目标管理办法；
• 1974年，约翰·杜尔加入了英特尔，跟安迪·格罗夫学习了OKR并身体力行的践行着OKR的实施原则；
• 1999年，在Google成立不到一年的时候，约翰·杜尔投资了他们，并向他们的领导层提出OKR的概念。虽然它的创始人谢尔盖·布林和拉里·佩奇拥有强大的创业能量和雄心勃勃的愿景，但他们没有实现这一目标的管理技术，正是OKR让Google实现了100亿美元收入的雄心勃勃的目标；
• 2017年，约翰·杜尔发表了他的《Measure What Matters》，并将这一管理智慧，分享给50多家公司和机构。

OKR VS KPI VS MBO

彼得·德鲁克在上世纪60年代提出了 目标管理法(Management by Objectives，MBO) 的思想，MBO的原理很简单，它基于两个基本原则：第一个原则可以用乔治·巴顿的名言概括，“不要告诉下属具体怎么做，只要告诉他们你要什么，他们就会给你满意的结果”；第二个原则可以用那个时代一句惠普内部的宣传语概括，“用关键结果衡量工作绩效”，即如果基础的商业问题没有解决，不论实现多少产品功能，团队整体的绩效一定会大打折扣。第一个原则是在说如何调动团队的积极性，第二个原则是在讲怎样评估工作绩效。

此后80年代 SMART原则(Specific、Measurable、Achievable、Relevant、Time-bound) 和 关键绩效指标（Key Performance Indicators，KPI） 开始流行起来。KPI把对绩效的评估简化为对几个关键指标的考核，将关键指标当作评估标准，把员工的绩效与关键指标作出比较地评估方法，在一定程度上可以说是目标管理法与帕累托定律的有效结合。关键指标必须符合SMART原则：具体性（Specific）、衡量性(Measurable)、可达性(Attainable)、现实性(Realistic)、时限性(Time-based)。

后来英特尔公司把结合了前面的多种理论，发展成为OKR，OKR能适度弥补过度强调目标管理和KPI，导致悖离公司愿景的缺陷。1999年John Doerr把OKR引入Google。

一句话概括三者之间的差别：MBO目标管理是「主管和员工都想做的事」，KPI是「主管要员工做的事」，OKR则是「我自己想做的事」

OKR的实施步骤

确定目标

目标来源于对业务战略或工作计划的分解，同时，也是确定关键成果的唯一依据。知道要去哪里的人，往往会更加清楚如何到达目的地。

确定目标时需要满足如下要求:

• 目标明确且具有挑战性：目标要有野心，并非百分之百能够完成目标，让员工走出能力“舒适区”，最好达到能力挑战区。
• 兼顾自上而下与自下而上 ： 设定的方式总体而言是自上而下，同时鼓励员工自主发起目标比与直接上级进行讨论。
• 简洁、聚焦： 每人每个季度目标不超过5个，强调对目标的筛选和重要性的把握，将有限的资源聚焦在最重要的事情上。
• 公开透明： 任何层级的OKR在全公司内公开透明，保证从组织到个人目标的一致性且互不重叠。

为什么这些是不太好的目标？因为它们实质上是关键结果。

制定关键结果

关键结果应该是明确的、具体的、可衡量的，产出和投入的组合（匹配）对其有所帮助。每个目标的关键结果都不要超过5个，完成所有关键结果的关键和前提是实现目标，如果目标没有实现，那就不是OKR了。

确定关键结果需要满足的条件：

• 必须可量化：设定可量化的关键结果能够准确衡量其完成情况，避免人浮于事。
• 直接性： 每个KR必须是能够直接完成的，不能是间接完成，更不能通过其他协助来完成。
• 数量精简： 每一个O分解出的KRs不超过5个，避免分散精力。
• 周期内灵活调整： O一旦确定一般不可改变，但KRs在一个周期内可以酌情及时调整。

追踪成果

不是年末或者整个OKR结束以后才进行结果评估，而是在整个过程中随时的追踪，在这期间，如果发现环境有变化或者某些关键结果亮起了红灯，就需要及时调整方向和资源投入。

CFR
我们需要一个新的人力资源模式来适应新的工作环境。这一模式就是持续性绩效管理体系，用于取代当前的年度评估体系。持续性绩效管理是通过一种叫作 CFR（Conversation，Feedback，Recognition） 的管理工具来实现的：

• 对话（Conversation）：经理与员工之间真实的、高质量的交流，旨在对绩效提升起到驱动作用。
• 反馈（Feedback）：同事之间面对面进行双向沟通或通过网络进行交流，以评估工作进展情况并探讨未来的改进方向。
• 认可（Recognition）：根据个体所做贡献的大小施以对等的表彰。
  

和OKR一样，CFR在组织的各层级都强调透明、问责、授权和团队合作。CFR是有效沟通的“刺激物”，它能激发OKR，并将其送入正确的轨道。CFR是一个完整的交付系统，用于衡量什么才是最重要的事情，让绩效管理“直击要害”。CFR完全体现了安迪·格鲁夫创新方法的精髓和力量，也使得OKR更加人性化。

四象限看板
《OKR工作法》介绍了利用四象限图进行OKR跟踪，以周级别进行本周的回顾，掌握 “承担责任-庆祝成果” 的节奏

• 每周一，团队一起开会盘点 OKR，来明确本周具体负责完成哪些任务。
• 每周五，召开“胜利会议”，让每个团队都可以展示本周的工作成果，并准备一些酒水饮料和点心等庆祝这些成果。

• 第一象限-OKR当前状态：展示目标总进度和关键成果总进度。第一象限的作用是辅助团队重新明确OKR，以及盘点当前关键结果，调整关键结果信心指数。
• 第二象限-本周关注的任务：列出本周3~4件最重要、只有完成才能推进目标的任务，确定这几件任务的优先级。
• 第三象限-未来四周的计划：规划近期需要准备或支持的事项。当第二象限的事项发生变化时，第三象限的工作任务也要及时调整。
• 第四象限-其他状态目标：关键成果当前进展, 直观反应KR上出现的一系列问题，方便及时跟进排除。

关键结果后面的百分数是OKR的信心指数，它是一种自我预估的自信心度量，描述实现KR的信心。在项目推进过程中，根据进展情况，需要不断的调整这个信心指数。

总结评分
给一个目标结果打分最简单、最明确的方法是通过计算其相关关键结果的百分比完成率。
谷歌使用0~1.0分作为计量标准，也就是说的交通灯打分法：

• 0.7~1.0分=绿色（0.7以上则代表完成目标，但是如果是1分，那么需要注意是否目标不够挑战，在下个周期需要加大挑战性；）
• 0.4~0.6分=黄色（取得了进步，但是并未完成目标）
• 0.0~0.3分=红色（并未取得进步，也没有完成目标，或者是目标挑战性太强，需要分析找出原因。）

比如我们完成了5个指标中的4个，基准得分为0.8，在绿色区域。

KR的达成要与个人的绩效考核脱钩。

OKR的四大利器

约翰·杜尔在《Measure What Matters》一书中，系统地阐述了OKR系统的四大利器——聚焦、协同、追踪、挑战。

聚焦：对优先事项的聚焦和承诺

做正确的事，远比正确做事更重要。每个成员都朝着一个方向使劲，形成合力。

• 聚焦重要的工作，同时清楚什么是不重要的。
• OKR是一种精准沟通的工具，能消除困惑，让我们进一步明确目标，聚焦到关键的成功要素上。

OKR系统应该为企业提供最卓越的东西，即“聚焦”。只有当我们将目标的数量保持在很小时，才会真正聚焦于此。季度OKR的理想数量往往介于3个到5个之间 。

协同：团队工作的协调和联系

OKR对每个成员透明，个人与组织目标一致，相互协作。

• OKR具有透明性，上自首席执行官，下至一般员工，每个人的目标都是公开的。
• 每个员工都将个人目标与公司计划紧密联系起来，进而明确两者之间的依赖关系，并与其他团队展开通力协作。
• 这种自下而上的协同，将个人贡献与组织成功联系起来，为工作赋予了特定的意义。
• 自下而上的OKR，则通过加深员工的主人翁意识，促进了个人的参与和创新。

不要雇用聪明人，然后告诉他们去做什么；而是要让他们告诉我们，应该做什么。——史蒂夫·乔布斯

追踪：责任追踪

定期检查，阶段复盘，持续改进，自我驱动，这一切都是基于客观、负责的态度。

• OKR是有数据驱动的
• 定期检查、目标评分和持续的重新评估可以让OKR充满生机
• 所有这一切都是基于客观、负责的精神。
• 危险的关键结果会引发某些行动，应使其回到正轨，或者在必要时对其进行修改或替换。

研究表明，取得可量化的进步相比公众的认可、金钱刺激或实现目标本身，对人更有驱动力。 《驱动力》一书的作者丹尼尔·平克（Daniel Pink）非常认同这一观点，他说：“对个体来说，最大的激励因素是‘在工作中取得进步’。人们取得进步的时候是他们感到最积极、最投入的时候。”

挑战：充分延展进而挑战不可能

允许失败，不作为考核依据，挑战更多“不可能”，释放出无限创造力。

• OKR激励我们不断超越之前设定的各种可能，甚至超出我们想象力。
• 通过挑战极限和允许失败，OKR能够促使我们释放出最具创造力的雄心和自我。

埃德温·洛克被誉为结构化目标设定理论之父，他对目标的难易程度与实现程度之间的关系进行了大量实验和实证研究。尽管研究的范围和领域很广泛，但研究结果却出奇一致。洛克写道：“目标设定越具有挑战性，所产生的结果越佳。虽然高难度的目标与其产出结果之间的差距，通常会大于低难度目标与其产出结果之间的差距，但是前者达到的最终结果仍然比后者要好。 ”研究结果显示，设定具有挑战性目标的员工，不仅会取得更好的绩效，还会提高自我驱动力，以及对工作的投入程度。洛克指出：“设定明确而有挑战性的目标不仅可以提高工作的趣味性，同时也可以帮助人们体会到工作带来的愉悦感。 ”

强化学习

概念定义

强化学习（Reinforcement learning，RL）讨论的问题是一个智能体(agent) 怎么在一个复杂不确定的 环境(environment) 里面去极大化它能获得的奖励。通过感知所处环境的 状态(state) 对 动作(action) 的 反应(reward)， 来指导更好的动作，从而获得最大的 收益(return)，这被称为在交互中学习，这样的学习方法就被称作强化学习。

Reinforcement learning is learning what to do—how to map situations to actions——so as to maximize a numerical reward signal.
----- Richard S. Sutton and Andrew G. Barto 《Reinforcement Learning: An Introduction II》

在强化学习过程中，智能体跟环境一直在交互。智能体在环境里面获取到状态，智能体会利用这个状态输出一个动作，一个决策。然后这个决策会放到环境之中去，环境会根据智能体采取的决策，输出下一个状态以及当前的这个决策得到的奖励。智能体的目的就是为了尽可能多地从环境中获取奖励。

强化学习是除了监督学习和非监督学习之外的第三种基本的机器学习方法。

• 监督学习 是从外部监督者提供的带标注训练集中进行学习。 (任务驱动型)
• 非监督学习 是一个典型的寻找未标注数据中隐含结构的过程。 (数据驱动型)
• 强化学习 更偏重于智能体与环境的交互， 这带来了一个独有的挑战 ——“试错（exploration）”与“开发（exploitation）”之间的折中权衡，智能体必须开发已有的经验来获取收益，同时也要进行试探，使得未来可以获得更好的动作选择空间。 (从错误中学习)

强化学习主要有以下几个特点：

• 试错学习：强化学习一般没有直接的指导信息，Agent 要以不断与 Environment 进行交互，通过试错的方式来获得最佳策略(Policy)。
• 延迟回报：强化学习的指导信息很少，而且往往是在事后（最后一个状态(State)）才给出的。比如 围棋中只有到了最后才能知道胜负。

基本元素

• 环境(Environment) 是一个外部系统，智能体处于这个系统中，能够感知到这个系统并且能够基于感知到的状态做出一定的行动。
• 智能体(Agent) 是一个嵌入到环境中的系统，能够通过采取行动来改变环境的状态。
• 状态(State)/观察值(Observation)：状态是对世界的完整描述，不会隐藏世界的信息。观测是对状态的部分描述，可能会遗漏一些信息。
• 动作(Action)：不同的环境允许不同种类的动作，在给定的环境中，有效动作的集合经常被称为动作空间(action space)，包括离散动作空间(discrete action spaces)和连续动作空间(continuous action spaces)，例如，走迷宫机器人如果只有东南西北这 4 种移动方式，则其为离散动作空间;如果机器人向 360◦ 中的任意角度都可以移动，则为连续动作空间。
• 奖励(Reward)：是由环境给的一个标量的反馈信号(scalar feedback signal)，这个信号显示了智能体在某一步采 取了某个策略的表现如何。

应用场景

游戏

机器人

推荐广告

A Reinforcement Learning Framework for Explainable Recommendation

Deep Reinforcement Learning for Online Advertising in Recommender Systems.
同时解决三个任务：是否插入广告；如果插入，插入哪一条广告；以及插入广告在推荐列表的哪个位置。

相关术语

策略(Policy)
策略是智能体用于决定下一步执行什么行动的规则。可以是确定性的，一般表示为：$\mu$μ:

$a_t = \mu(s_t)$at​=μ(st​)

也可以是随机的，一般表示为 $\pi$π:

$a_t \sim \pi(\cdot | s_t)$at​∼π(⋅∣st​)

状态转移(State Transition)
状态转移，可以是确定的也可以是随机的，一般认为是随机的，其随机性来源于环境。可以用状态密度函数来表示：

$p\left(s^{\prime} \mid s, a\right)=\mathbb{P}\left(S^{\prime}=s^{\prime} \mid S=s, A=a\right)$p(s′∣s,a)=P(S′=s′∣S=s,A=a)

环境可能会变化，在当前环境和行动下，衡量系统状态向某一个状态转移的概率是多少，注意环境的变化通常是未知的。

回报(Return)
回报又称cumulated future reward，一般表示为$U$U，定义为

$U_{t}=R_{t}+R_{t+1}+R_{t+2}+R_{t+3}+\cdots$Ut​=Rt​+Rt+1​+Rt+2​+Rt+3​+⋯

其中$R_{t}$Rt​表示第t时刻的奖励，agent的目标就是让Return最大化。

未来的奖励不如现在等值的奖励那么好（比如一年后给100块不如现在就给），所以$R_{t+1}$Rt+1​的权重应该小于$R_t$Rt​。因此，强化学习通常用discounted return（折扣回报，又称cumulative discounted future reward），取$\gamma$γ为discount rate（折扣率），$\gamma\in(0, 1]$γ∈(0,1]，则有，

$U_{t}=R_{t}+\gamma R_{t+1}+\gamma^{2} R_{t+2}+\gamma^{3} R_{t+3}+\cdots$Ut​=Rt​+γRt+1​+γ2Rt+2​+γ3Rt+3​+⋯

价值函数(Value Function)
举例来说，在象棋游戏中，定义赢得游戏得1分，其他动作得0分，状态是棋盘上棋子的位置。仅从1分和0分这两个数值并不能知道智能体在游戏过程中到底下得怎么样，而通过价值函数则可以获得更多洞察。

价值函数使用期望对未来的收益进行预测，一方面不必等待未来的收益实际发生就可以获知当前状态的好坏，另一方面通过期望汇总了未来各种可能的收益情况。使用价值函数可以很方便地评价不同策略的好坏。

• 状态价值函数(State-value Function)：用来度量给定策略$\pi$π的情况下，当前状态$s_t$st​的好坏程度。
• 动作价值函数(Action-value Function)：用来度量给定状态$s_t$st​和策略$\pi$π的情况下，采用动作$a_t$at​的好坏程度。

算法分类

按照环境是否已知划分：免模型学习（Model-Free） vs 有模型学习（Model-Based）

• Model-free就是不去学习和理解环境，环境给出什么信息就是什么信息，常见的方法有policy optimization和Q-learning。
• Model-Based是去学习和理解环境，学会用一个模型来模拟环境，通过模拟的环境来得到反馈。Model-Based相当于比Model-Free多了模拟环境这个环节，通过模拟环境预判接下来会发生的所有情况，然后选择最佳的情况。

一般情况下，环境都是不可知的，所以这里主要研究无模型问题。

按照学习方式划分：在线策略（On-Policy） vs 离线策略（Off-Policy）

• On-Policy是指agent必须本人在场， 并且一定是本人边玩边学习。典型的算法为Sarsa。
• Off-Policy是指agent可以选择自己玩， 也可以选择看着别人玩， 通过看别人玩来学习别人的行为准则， 离线学习同样是从过往的经验中学习， 但是这些过往的经历没必要是自己的经历， 任何人的经历都能被学习，也没有必要是边玩边学习，玩和学习的时间可以不同步。典型的方法是Q-learning，以及Deep-Q-Network。

按照学习目标划分：基于策略（Policy-Based）和基于价值（Value-Based）。

• Policy-Based的方法直接输出下一步动作的概率，根据概率来选取动作。但不一定概率最高就会选择该动作，还是会从整体进行考虑。适用于非连续和连续的动作。常见的方法有Policy gradients。
• Value-Based的方法输出的是动作的价值，选择价值最高的动作。适用于非连续的动作。常见的方法有Q-learning、Deep Q Network和Sarsa。
• 更为厉害的方法是二者的结合：Actor-Critic，Actor根据概率做出动作，Critic根据动作给出价值，从而加速学习过程，常见的有A2C，A3C，DDPG等。

经典算法

经典算法：Q-learning，Sarsa，DQN，Policy Gradient，A3C，DDPG，PPO

下面我们挑选一些有代表性的算法进行讲解：

• 基于表格、没有神经网络参与的Q-Learning算法
• 基于价值(Value-Based)的Deep Q Network（DQN）算法
• 基于策略(Policy-Based)的Policy Gradient（PG）算法
• 结合了Value-Based和Policy-Based的Actor Critic算法。

Q-Learning

在Q-learning中，我们维护一张Q值表，表的维数为：状态数S * 动作数A，表中每个数代表在当前状态S下可以采用动作A可以获得的未来收益的折现和。我们不断的迭代我们的Q值表使其最终收敛，然后根据Q值表我们就可以在每个状态下选取一个最优策略。

假设机器人必须越过迷宫并到达终点。有地雷，机器人一次只能移动一个地砖。如果机器人踏上矿井，机器人就死了。机器人必须在尽可能短的时间内到达终点。
得分/奖励系统如下：

• 机器人在每一步都失去1点。这样做是为了使机器人采用最短路径并尽可能快地到达目标。
• 如果机器人踩到地雷，则点损失为100并且游戏结束。
• 如果机器人获得动力⚡️，它会获得1点。
• 如果机器人达到最终目标，则机器人获得100分。
  现在，显而易见的问题是：我们如何训练机器人以最短的路径到达最终目标而不踩矿井？

Q值表

Q值表(Q-Table)是一个简单查找表的名称，我们计算每个状态的最大预期未来奖励。基本上，这张表将指导我们在每个状态采取最佳行动。

Q函数

Q函数(Q-Function)即为上文提到的动作价值函数，他有两个输入：「状态」和「动作」。它将返回在该状态下执行该动作的未来奖励期望。

我们可以把Q函数视为一个在Q-Table上滚动的读取器，用于寻找与当前状态关联的行以及与动作关联的列。它会从相匹配的单元格中返回 Q 值。这就是未来奖励的期望。

在我们探索环境（environment）之前，Q-table 会给出相同的任意的设定值（大多数情况下是 0）。随着对环境的持续探索，这个 Q-table 会通过迭代地使用 Bellman 方程（动态规划方程）更新 Q(s，a) 来给出越来越好的近似。

算法流程

第1步：初始化Q值表
我们将首先构建一个Q值表。有n列，其中n=操作数。有m行，其中m=状态数。我们将值初始化为0

步骤2和3：选择并执行操作
这些步骤的组合在不确定的时间内完成。这意味着此步骤一直运行，直到我们停止训练，或者训练循环停止。

如果每个Q值都等于零，我们就需要权衡探索/利用（exploration/exploitation）的程度了，思路就是，在一开始，我们将使用 epsilon 贪婪策略：

• 我们指定一个探索速率「epsilon」，一开始将它设定为 1。这个就是我们将随机采用的步长。在一开始，这个速率应该处于最大值，因为我们不知道 Q-table 中任何的值。这意味着，我们需要通过随机选择动作进行大量的探索。
• 生成一个随机数。如果这个数大于 epsilon，那么我们将会进行「利用」（这意味着我们在每一步利用已经知道的信息选择动作）。否则，我们将继续进行探索。
• 在刚开始训练 Q 函数时，我们必须有一个大的 epsilon。随着智能体对估算出的 Q 值更有把握，我们将逐渐减小 epsilon。

步骤4和5：评估
现在我们采取了行动并观察了结果和奖励。我们需要更新功能Q（s，a）：

最后生成的Q表：

Deep Q Network

在普通的Q-learning中，当状态和动作空间是离散且维数不高时可使用Q-Table储存每个状态动作对的Q值，而当状态和动作空间是高维连续时，使用Q-Table不现实，我们无法构建可以存储超大状态空间的Q_table。不过，在机器学习中， 有一种方法对这种事情很在行，那就是神经网络，可以将状态和动作当成神经网络的输入，然后经过神经网络分析后得到动作的 Q 值，这样就没必要在表格中记录 Q 值，而是直接使用神经网络预测Q值

经验回放

DQN利用Qlearning特点，目标策略与动作策略分离，学习时利用经验池储存的经验取batch更新Q。同时提高了样本的利用率，也打乱了样本状态相关性使其符合神经网络的使用特点。

固定Q目标

神经网络一般学习的是固定的目标，而Qlearning中Q同样为学习的变化量，变动太大不利于学习。所以DQN使Q在一段时间内保持不变，使神经网络更易于学习。

算法流程

主要问题

• 在估计值函数的时候一个任意小的变化可能导致对应动作被选择或者不被选择，这种不连续的变化是致使基于值函数的方法无法得到收敛保证的重要因素。
• 选择最大的Q值这样一个搜索过程在高纬度或者连续空间是非常困难的；
• 无法学习到随机策略，有些情况下随机策略往往是最优策略。

Policy Gradient

前面我们介绍的Q-Learning和DQN都是基于价值的强化学习算法，在给定一个状态下，计算采取每个动作的价值，我们选择有最高Q值（在所有状态下最大的期望奖励）的行动。如果我们省略中间的步骤，即直接根据当前的状态来选择动作，也就引出了强化学习中的另一种很重要的算法，即策略梯度(Policy Gradient， PG)

策略梯度不通过误差反向传播，它通过观测信息选出一个行为直接进行反向传播，当然出人意料的是他并没有误差，而是利用reward奖励直接对选择行为的可能性进行增强和减弱，好的行为会被增加下一次被选中的概率，不好的行为会被减弱下次被选中的概率。

举例如下图所示：输入当前的状态，输出action的概率分布，选择概率最大的一个action作为要执行的操作。

优缺点

优点

• 连续的动作空间（或者高维空间）中更加高效；
• 可以实现随机化的策略；
• 某种情况下，价值函数可能比较难以计算，而策略函数较容易。

缺点

• 通常收敛到局部最优而非全局最优
• 评估一个策略通常低效（这个过程可能慢，但是具有更高的可变性，其中也会出现很多并不有效的尝试，而且方差高）

REINFORCE

蒙特卡罗策略梯度reinforce算法是策略梯度最简单的也是最经典的一个算法。

算法流程

首先我们需要一个 policy model 来输出动作概率，输出动作概率后，我们 sample() 函数去得到一个具体的动作，然后跟环境交互过后，我们可以得到一整个回合的数据。拿到回合数据之后，我再去执行一下 learn() 函数，在 learn() 函数里面，我就可以拿这些数据去构造损失函数，扔给这个优化器去优化，去更新我的 policy model。

Actor Critic

演员-评论家算法(Actor-Critic)是基于策略(Policy Based)和基于价值(Value Based)相结合的方法

• 演员(Actor)是指策略函数 $\pi_{\theta}(a|s)$πθ​(a∣s)，即学习一个策略来得到尽量高的回报。
• 评论家(Critic)是指值函数 $V^{\pi}(s)$Vπ(s)，对当前策略的值函数进行估计，即评估演员的好坏。
• 借助于价值函数，演员-评论家算法可以进行单步更新参数，不需要等到回合结束才进行更新。

网络结构

整体结构：

Actor和Critic的网络结构：

算法流程

问题和改进

Actor Critic 取决于 Critic 的价值判断， 但是 Critic 难收敛， 再加上 Actor 的更新， 就更难收敛，为了解决该问题又提出了 A3C 算法和 DDPG 算法。

改进算法1：A3C
异步的优势行动者评论家算法（Asynchronous Advantage Actor-Critic，A3C），相比Actor-Critic，A3C的优化主要有3点，分别是异步训练框架，网络结构优化，Critic评估点的优化。其中异步训练框架是最大的优化。

改进算法2：DDPG
深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)，从DDPG这个名字看，它是由D（Deep）+D（Deterministic ）+ PG(Policy Gradient)组成。

• Deep 是因为用了神经网络；
• Deterministic 表示 DDPG 输出的是一个确定性的动作，可以用于连续动作的一个环境；
• Policy Gradient 代表的是它用到的是策略网络。REINFORCE 算法每隔一个 episode 就更新一次，但 DDPG 网络是每个 step 都会更新一次 policy 网络，也就是说它是一个单步更新的 policy 网络。

参考资料

• 强化学习介绍 / OpenAI Spinning Up
• EasyRL / datawhalechina
• 0084. 强化学习(19) / 刘建平Pinard / cnblogs
• Deep Reinforcement Learning / wangshusen
• 强化学习Reinforcement Learning / 莫烦Python
• UCL Course on RL / David Silver / 2015
• Playing Atari with Deep Reinforcement Learning / David Silver / 2013
• Human-level control through deep reinforcement learning / David Silver / 2015
• 一图看懂DQN(Deep Q-Network)深度强化学习算法 / 薄荷-塘
• Policy gradient methods for reinforcement learning with function approximation.
  
• 强化学习——策略梯度与Actor-Critic算法 / 野风 / 知乎
• Asynchronous Methods for Deep Reinforcement Learning / Google DeepMind / A3C

预训练

预训练(Pre-trained Models,PTMs)的实施过程跟迁移学习是一样的，一般是先在一个基础数据集上进行任务训练，生成一个基础网络，然后将学习到的特征重新进行微调或者迁移到另一个目标网络上，用来训练新目标任务。

预训练是在大量常规数据集上学习数据中的“共性”，然后在特定领域的少量标注数据学习“特性”，这样子模型只需要从“共性”出发，去学习特定任务的“特性”部分即可。

这和小孩子读书一样，一开始语文、数学、化学都学，读书、网上游戏等，在脑子里积攒了很多。当他学习计算机时，实际上把他以前学到的所有知识都带进去了。如果他以前没上过中学，没上过小学，突然学计算机就不懂这里有什么道理。预训练模型就意味着把人类的语言知识，先学了一个东西，然后再代入到某个具体任务，就顺手了，就是这么一个简单的道理。

为什么需要预训练

• 预训练模型中的参数都是从大量数据中训练得来，比起在自己的数据集上从头开始训练参数，在预训练模型参数基础上继续训练的方式肯定要快一些。
• 预训练模型是通过海量数据训练得来，更好地学到了数据中的普遍特征，比起在自己的数据集上从头开始训练参数，使用预训练模型参数通常会有更好的泛化效果。

计算机视觉上的预训练

预训练首先是在计算机视觉方向取得较好效果并实现大规模应用的，我们会在庞大的ImageNet语料库上预训练模型，然后针对不同的任务在较小的数据上进一步微调。这比随机初始化要好得多，因为模型学习了一般的图像特征，然后可以将其用于各种视觉任务。
ImageNet这个数据集，数据量足够大，而且分类齐全，不限定领域，具有很好的通用型，使用范式一般如下图所示：

自然语言处理上的预训练

借鉴视觉领域的做法,自然语言处理领域开始尝试使用预训练技术实现迁移学习，但是预训练在自然语言处理领域大爆发会缓慢很多，主要是因为自然语言处理任务(除机器翻译)没有计算机视觉方面那么多的标注好的数据集，而且没有很好的特征提取器，直到最近几年几个关键技术的成熟，神经网络才开始全面引入到了自然语言理解。从大规模的语言数据到强有力的算力，加上深度学习，把整个自然语言带到一个新的阶段。

自然语言处理预训练在不同时期有不同的称谓，但是，本质是使用大量语料预测相应单词或词组，生成一个半成品用以训练后续任务。

自然语言处理任务可以分为以下3个模块:数据处理、文本表征和特定任务模型。其中，数据处理模块和特定任务模型模块需要根据具体任务的不同做相应设计，而文本表征模块则可以作为一个相对通用的模块来使用。类似于计算机视觉领域中基于ImageNet预训练模型的做法，自然语言处理领域也可以预训练一个通用的文本表征模块，这种通用的文本表征模块对于文本的迁移学习具有重要意义。

发展历史

自然语言处理的预训练方法属于自然语言的表示学习，自然语言表示学习的形成已经经过了长期的历史发展。

• 1948年N-gram分布式模型被提出来，使用one-hot对单词进行编码，这是最初的语言模型，存在维度灾难和语义鸿沟等问题。
• 1986年出现了分布式语义表示，即用一个词的上下文来表示该词的词义，他在one-hot的基础上压缩了描述语料库的维度，从原先的V-dim降低为了自己设定的K值。当时通用的方案是基于向量空间模型（Vector Space Model，VSM）的词袋假说（Bag of Words Hypothesis），即一篇文档的词频（而不是词序）代表了文档的主题，我们可以构造一个term-document矩阵，提取行向量做为word的语义向量，或者提取列向量作为文档的主题向量，使用奇异值分解(SVD)的进行计算。
• 2003年经典的NNLM神经语言模型被提出，开始使用神经网络来进行语言建模。更早期百度 IDL（深度学习研究院）的徐伟在他2000年发表的文章《Can Artificial Neural Networks Learn Language Models?》中也有相似方向的探索。
• 2013年word2vec被提出并在NLP领域大获成功，他基于向量空间模型的分布假说（Distributional Hypothesis），即上下文环境相似的两个词有着相近的语义，构造一个word-context的矩阵，矩阵的列变成了context里的word，矩阵的元素也变成了一个context窗口里word的共现次数。Word Embedding是Word2Vec模型的中间产物，是在不断最小化损失函数时候，不断迭代更新生成的。
• 2018年出现了预训练语言模型。

传统的预训练技术 VS 神经网络预训练技术

传统的预训练技术
传统预训练技术与模型耦合较为紧密，该技术与模型之间并没有明确的区分界限，为了方便阐述，将语料送入模型到生成词向量的这一过程称为传统预训练技术。

神经网络预训练技术
神经网络预训练技术是在预训练阶段采用神经网络模型进行预训练的技术统称，由于预训练与后续任务耦合性不强，能单独成为一个模型，因此也称为预训练语言模型，这一称谓是区别于传统预训练技术的叫法。

神经网络自然语言处理的预训练发展经历从浅层的词嵌入到深层编码两个阶段，按照这两个主要的发展阶段，我们归纳出预训练的两大范式：「浅层词嵌入」和「上下文的词嵌入」。

• 第一代预训练旨在学习浅层词嵌入(Word Embeddings)。由于下游的任务不再需要这些模型的帮助，因此为了计算效率，它们通常采用浅层模型，如 Skip-Gram 和 GloVe。尽管这些经过预训练的嵌入向量也可以捕捉单词的语义，但它们却不受上下文限制，只是简单地学习「共现词频」。这样的方法明显无法理解更高层次的文本概念，如句法结构、语义角色、指代等等。
• 第二代预训练专注于学习上下文的词嵌入(Contextual Embeddings)，如CoVe、ELMo、GPT以及BERT。它们会学习更合理的词表征，这些表征囊括了词的上下文信息，可以用于问答系统、机器翻译等后续任务。另一层面，这些模型还提出了各种语言任务来训练，以便支持更广泛的应用，因此它们也可以称为预训练语言模型。

本文重点讲解基于神经网络模型在自然语言处理领域的预训练技术。

关键技术

Transfromer

Google 2017年提出了Transformer模型，之后席卷了整个NLP领域，红极一时的BERT、GPT-2都采用了基于Transformer的架构，现在都用到CV领域了，用于目标检测和全景分割的DETR就是代表。Transfromer的特征提取能力显著强于以往常用的CNN和RNN，这可以让我们更快更好的在样本上学习知识

Transformer之所以表现优异有以下几点原因：

• 模型并行度高，使得训练时间大幅度降低。
• 可以直接捕获序列中的长距离依赖关系。
• 可以产生更具可解释性的模型。

想详细了解Transfromer，可以参考我以前的文章《Attention Is All You Need – Transformer》

自监督学习

自监督学习是无监督学习的一种特殊方式，这些自监督的方法的核心是一个叫做 “pretext task” 的框架，它允许我们使用数据本身来生成标签，并使用监督的方法来解决非监督的问题。NLP预训练模型，就是利用自监督学习实现的，可以看做是一种去噪自编码器denoising Auto-Encoder。这可以让我们在大规模无标注数据集上学习知识。

在预训练模型中，最常用的自监督学习方法是自回归语言模型（AutoRegressive LM，AR）和自编码语言模型（AutoEncoder LM，AE）。 自回归语言模型根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词。 自编码语言模型根据上下文内容预测随机Mask掉的一些单词。

微调

微调旨在利用其标注样本对预训练网络的参数进行调整，可以将预训练的模型结果在新的任务上利用起来。

第一代技术预训练技术：Word Embeddings

NNLM

神经网络语言模型(Neural Network Language Model，NNLM)是2003年蒙特利尔大学的Yoshua Bengio教授在《A Neural Probabilistic Language Model》中提出来的模型，这个模型第一次用神经网络来解决语言模型的问题，虽然在当时并没有得到太多的重视，却为后来深度学习在解决语言模型问题甚至很多别的nlp问题时奠定了坚实的基础，后人站在Yoshua Bengio的肩膀上，做出了更多的成就。

模型一共三层，第一层是映射层，将n个单词映射为对应word embeddings的拼接，其实这一层就是MLP的输入层；第二层是隐藏层，激活函数用tanh；第三层是输出层，因为是语言模型，需要根据前n个单词预测下一个单词，所以是一个多分类器，用softmax。整个模型最大的计算量集中在最后一层上，因为一般来说词汇表都很大，需要计算每个单词的条件概率，是整个模型的计算瓶颈。

评价

• NNLM模型是第一次使用神经网络对语言建模
• 由于模型使用的是全连接神经网络，所以只能处理定长序列。
• 由于模型最后一层使用softmax进行计算，参数空间巨大，训练速度极慢。

Word2Vec

Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，将单词从原先所属的空间映射到新的多维空间中，即把原先词所在空间嵌入(Embedding)到一个新的空间中去，用词向量的方式表征词的语义信息，通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。

Word2Vec模型中，主要有Skip-Gram和CBOW两种模型，从直观上理解，Skip-Gram是给定input word来预测上下文。而CBOW是给定上下文，来预测input word。

评价

• 优化了计算效率，特别是google同时开源了工具包，使得其在工业界能够大规模使用。
• Word2vec并没有考虑到词序信息以及全局的统计信息等

GloVe

Glove(Global Vectors for Word Representation)是一种无监督的词嵌入方法，该模型用到了语料库的全局特征，即单词的共现频次矩阵，来学习词表征（word representation）。

第一步统计共现矩阵：下面给出了三句话，假设这就是我们全部的语料。我们使用一个size=1的窗口，对每句话依次进行滑动，相当于只统计紧邻的词。这样就可以得到一个共现矩阵。共现矩阵的每一列，自然可以当做这个词的一个向量表示。这样的表示明显优于one-hot表示，因为它的每一维都有含义——共现次数，因此这样的向量表示可以求词语之间的相似度。

第二步训练词向量：共现矩阵维度是词汇量的大小，维度是很大的，并且也存在过于稀疏的问题，这里我们使用SVD矩阵分解来进降维。

评价

• 利用词共现矩阵，词向量能够充分考虑到语料库的全局特征，直观上来说比Word2Vec更合理。
• GloVe中的很多推导都是intuitive的，实际使用中，GloVe还是没有Word2vec来的广泛。

第二代技术预训练技术: Contextual Embeddings

通过预训练得到高质量的词向量一直是具有挑战性的问题，主要有两方面的难点，一个是词本身具有的语法语义复杂属性，另一个是这些语法语义的复杂属性如何随着上下文语境产生变化，也就是一词多义性问题。传统的词向量方法例如word2vec、GloVe等都是训练完之后，每个词向量就固定下来，这样就无法解决一词多义的问题。接下来的模型就是基于解决这个问题展开的。

ELMo

ELMo（Embeddings from Language Models）是有AI2提出，该模型不仅去学习单词特征，还有句法特征与语义特征。其通过在大型语料上预训练一个深度BiLSTM语言模型网络来获取词向量，也就是每次输入一句话，可以根据这句话的上下文语境获得每个词的向量，这样子就可以解决一词多义问题。

Elmo模型的本质思想是先用语言模型学习一个单词的 Word Embedding，此时无法区分一词多义问题。在实际使用Word Embedding的时候，单词已经具备特定的上下文，这时可以根据上下文单词的语义调整单词的 Word Embedding 表示，这样经过调整后的 Word Embedding 更能表达上下文信息，自然就解决了多义词问题。

评价

• 在模型层面解决了一词多义的问题，最终得到的词向量能够随着上下文变化而变化。
• LSTM抽取特征的能力远弱于Transformer
• 拼接方式双向融合特征融合能力偏弱。

GPT

GPT（Generative Pre-Training）模型用单向Transformer代替ELMo的LSTM来完成预训练任务，其将12个Transformer叠加起来。训练的过程较简单，将句子的n个词向量加上位置编码(positional encoding)后输入到 Transformer中 ，n个输出分别预测该位置的下一个词。

GPT的单项Transformer结构和GPT的模型结构，如图所示：

评价

• 第一个结合 Transformer 架构（Decoder）和自监督预训练目标的模型
• 语言模型使用的是单行语言模型为目标任务。

BERT

BERT采用和GPT完全相同的两阶段模型，首先是语言模型预训练，其次是后续任务的拟合训练。和GPT最主要不同在于预训练阶段采了类似ELMo的双向语言模型技术、MLM(mask language model)技术以及 NSP(next sentence prediction) 机制。

评价

• 采用了Transformer结构能够更好的捕捉全局信息。
• 采用双向语言模型，能够更好的利用了上下文的双向信息。
• mask不适用于自编码模型，[Mask]的标记在训练阶段引入，但是微调阶段看不到。

延伸方向

研究方向

预训练模型延伸出了很多新的研究方向。包括了：

• 基于知识增强的预训练模型，Knowledge-enriched PTMs
• 跨语言或语言特定的预训练模型，multilingual or language-specific PTMs
• 多模态预训练模型，multi-modal PTMs
• 领域特定的预训练模型，domain-specific PTMs
• 压缩预训练模型，compressed PTMs
  
  摘自《Pre-trained models for natural language processing: A survey》

模型衍生

摘自《Pre-Trained Models: Past, Present and Future》

应用于下游任务

迁移学习

• 不同的PTMs在相同的下游任务上有着不同的效果，这是因为PTMs有着不同的预训练任务，模型架构和语料。针对不同的下游任务需要选择合适的预训练任务、模型架构和语料库。
• 给定一个预训练的模型，不同的网络层捕获了不同的信息，基础的句法信息出现在浅层的网络中，高级的语义信息出现在更高的层级中。针对不通的任务需要选择合适的网络层。
• 主要有两种方式进行模型迁移：特征提取（预训练模型的参数是固定的）和模型微调（预训练模型的参数是经过微调的）。当采用特征提取时，预训练模型可以被看作是一个特征提取器，但以特征提取的方式需要更复杂的特定任务的架构。除此之外，我们应该采用内部层作为特征，因为他们通常是最适合迁移的特征。所以微调是一种更加通用和方便的处理下游任务的方式。

微调策略

微调的过程通常是比较不好预估的，即使采用相同的超参数，不同的随机数种子也可能导致差异较大的结果。除了标准的微调外，如下为一些有用的微调策略：

• 两步骤微调：两阶段的迁移，在预训练和微调之间引入了一个中间阶段。在第一个阶段，PTM 通过一个中间任务或语料转换为一个微调后的模型，在第二个阶段，再利用目标任务进行微调。
• 多任务微调：在多任务学习框架下对其进行微调。
• 利用额外模块进行微调：微调的主要缺点就是其参数的低效性。每个下游模型都有其自己微调好的参数，因此一个更好的解决方案是将一些微调好的适配模块注入到PTMs中，同时固定原始参数。

参考资料

• 复旦大学最新《预训练语言模型》2020综述论文大全
• 面向自然语言处理的预训练技术研究综述/李舟军
• 请问深度学习中预训练模型是指什么？如何得到？/ 微软亚洲研究院的回答 / 知乎
• A Neural Probabilistic Language Model/ Bengio
• A Neural Probabilistic Language Model/ paperweekly/ zhihu
• Efficient Estimation of Word Representations in Vector Space / Tomas Mikolov
• GloVe: Global Vectors for Word Representation / Jeffrey Pennington
• Attention Is All You Need – Transformer / zhanghao
• Deep contextualized word representations
• Improving Language Understanding by Generative Pre-Training
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• XLNet: Generalized Autoregressive Pretraining for Language Understanding
• Pre-trained models for natural language processing: A survey
• Pre-Trained Models: Past, Present and Future