聊一聊 ChatGPT 的不断进化对个人学习、构建个人知识体系的启发。

1. 首先要有人生目标

机器学习的核心在于目标函数的设定。同样，人类的学习也需要明确的方向 - 学习之前，目标先行。

目标函数 (也称为成本函数或损失函数) 是机器学习的评价标准。模型训练的根本目的是最小化这个损失函数。对人类而言，学习过程也是不断向既定目标靠近的过程。

2. 学习目标要够大

GPT 模型设定了一个宏大的训练目标：通过庞大的神经网络来模拟互联网上的人类语言文本，并将损失函数最小化。这个目标基本实现了 - GPT 将人类知识浓缩进了拥有万亿参数的统一模型中，在通用认知任务上展现出卓越性能。这体现了 GPT 在目标设定上的远大格局。

人类的学习也应该如此。不要将目标局限于通过某次考试或获得某个分数这样的小目标。在我看来，学习的终极目标应该是构建个人的知识体系。

知识体系存在两个维度：一方面是客观存在的人类知识体系 (Body of Knowledge)，体现在 Wikipedia 和各类书籍的知识整理中，这是外在的知识体系 (BOK2)；另一方面是每个人头脑中形成的专业领域知识框架，这是内在的知识体系 (BOK1)。

个人学习的终极目标，是缩小现有知识体系 (BOK2) 与理想知识体系 (BOK1) 之间的差距，从而构建一个更全面、更扎实、更强大的个人知识体系。

为什么学习目标要设定得高远？这一点可以从神经网络训练中得到启发：研究表明，神经网络的参数规模越大，其成本函数的最小化过程反而越顺利。正是基于这一规律，神经网络在处理复杂任务时往往表现出更高的效率和准确性。这也解释了为什么当前的 AI 系统能够胜任写作、编程和绘画等复杂任务，却难以完成在餐厅端盘子这样看似简单的工作。

人类的学习过程也遵循类似的规律。设定远大的目标不仅能激发更强的学习动力，还能帮助我们建立更完整的知识框架，最终达到更高的成就。

3. 从实例中学习

机器依靠样例学习 (learn from examples)，通过数据获取知识，而非依赖规则学习 (符号 AI 路线已经衰落多年)。机器通过处理海量数据来掌握其中蕴含的模式和规律，这个过程恰如从大豆中提炼精华。

人类同样需要从实例中学习。书籍、文章、知识视频、演讲录像、面对面交谈，这些都是知识的源泉。通过这些实例，我们能够获取丰富而鲜活的知识，形成深刻的理解。

4. 从错误中学习

在 GPT 模型的预训练过程中，数据依次流经神经网络的各层，最终生成下一个 token。token 的预测值与实际值之间的差异，构成了模型的误差 (error = diff(预测值, 实际值))。GPT 正是通过这些误差来学习，将其通过反向传播方式反馈，不断调整模型参数，降低损失函数。

预测下一个 token => 得出 error => 反向传播 => 梯度下降 => 调整参数 => 预测下一个 token

正如 GPT 只能通过误差来学习，人类的进步也离不开错误。错误和不足，不仅是反馈的重要源泉，更是最有价值的成长动力。

然而，人类天性是追求奖励、规避惩罚的生物。教育体系往往让人盲目追求正确，本能地回避错误。这种倾向在儿童身上尤为明显，他们认为必须始终正确才是好的 (直到不可避免地遭遇人生的重大挫折)。

我们应当识破这个思维陷阱并努力突破：尽管错误会带来暂时的痛苦，但它是成长的必经之路。只有直面并超越错误，人才能获得真正的进步。

5. 用高质量信息作为学习数据

"Garbage in, garbage out" (输入垃圾，输出垃圾) 是机器学习的第一性原理。如果输入数据缺乏实质性内容，即使拥有海量的训练数据，训练出的大模型也难以展现高级智能，反而可能从劣质数据中习得不当表达。GPT 的训练数据集经过精心筛选，包含 Wikipedia、书籍、论文、代码以及优质的互联网文本。

因此，人类的学习是否也应该优先选择高质量信息作为学习素材？在开始学习新知识之前，应该先系统规划你的学习资料库。对于每个学习主题，我们都需要思考：通过什么入门指南可以快速掌握基础？哪本大师著作能帮助我们建立知识框架 (big picture)？哪些教材在全国范围内最受推崇？有什么视频资源能让我更直观地理解这个主题？有什么工具可以将抽象复杂的概念转化为具体清晰的认知？

学习本质上是从数据中提取意义的过程。只有通过优质的文章、书籍、视频、课程、网站和工具，才能高效地获取真正有价值的知识。

6. 唯有学习才能改变自己

GPT 模型的训练过程就是不断调整模型参数的过程，每一步训练都在改变模型的连接配置。

人类的学习也遵循相似的原理。每次尝试向他人解释所学知识 (即费曼学习法)，都能发现当前理解与理想理解之间的差距，并据此调整学习方向，查阅资料，深化认知，再次验证。

每一次学习都在改变你的大脑。这不是比喻，而是确凿的生理变化：短时记忆体现为大脑突触间神经递质分泌增加，长时记忆则通过基因表达、蛋白质合成与折叠，形成新的突触连接。经过系统学习训练的大脑，在结构上与未经训练的大脑有着本质区别，这种差异体现在神经网络的复杂程度和连接强度上。

学习改变大脑，改变你自己，这是生理和认知层面的根本转变。

7. 把阅读作为学习方法

GPT 的学习过程本质上是利用上百万 GPU 时间完成一项任务：阅读。它阅读了互联网上几乎所有的人类语言文本。这个阅读过程被称为"预训练"，而 GPT 的阅读只专注于一个目标：预测下一个 token。GPT 的阅读量达到了惊人的上万亿个 token。

人类的学习同样应该以阅读为主要方法。Scaling Law 同样适用于人类的神经网络。人大附中早培班对六年级学生提出每年阅读 500 万字 (约 50 本书) 的要求。个人认为这仅是最低标准。作为人类学习者，我们需要成为贪婪的阅读者：每年至少读 50 本书，每天保证一小时以上的阅读时间。

正如 GPT 离不开预训练，人类也离不开阅读。

8. 把费曼学习法作为理解方法

GPT 的理解过程是在万亿维度的意义空间中，通过注意力机制，在数百层神经网络中，经过上万次矩阵向量乘法来处理由文本转化而成的数字向量。

text => token => generic embedding => embedding 2 => embedding x => final refined embedding => list of probabilities => next token

对于每个 token，GPT 通过不断关联其上下文来提取特征，调整该向量在语言意义空间中的位置，最终形成富含意义且更准确的理解。

人类的理解过程也是通过不断建立知识砖块与其上下文之间丰富而有意义的关联。而费曼技巧是最有效的理解方法。首先对知识砖块进行费曼化处理，然后不断地对知识砖块之间的关联进行费曼化处理。通过建立清晰的概念以及概念之间的关联，人类形成自己的理解体系。

将阅读作为学习方法，将费曼作为理解方法，一个概念接着一个概念，一次费曼接着一次费曼。

此外，费曼技巧就相当于人类版本的"预测下一个 token"。费曼技巧中实际结果与预期结果之间的差异，就是我们在具体学习实例中获得的 error。针对这个 error，计算梯度并沿着梯度方向前进一步，就能得到改进。

9. 把迭代作为进步方法

GPT 模型是在万亿 token 的高质量数据上训练出来的，通过反向传播传递误差，利用随机梯度下降来降低模型误差。每生成一个 token，都会激活神经网络中上亿个神经元，涉及万亿参数的计算过程。

人类的学习过程中，每一次费曼讲解都是对神经网络的一次调参。即便是对单个概念的理解和讲解，也不可能一蹴而就。根据费曼学习法，任何概念都需要至少讲解三遍。在有间隔的多次讲解中，你对概念的理解会逐渐深化。

这是一种迭代式的学习闭环。闭环与迭代，正是学习的核心要义。把迭代作为进步的方法。

10. 规模法则，大力出奇迹

GPT 模型遵循规模法则 (Scaling Law)，这是当前实现 AGI 的关键路径。正如 Wolfram 所说："足够大的神经网络自然无所不能"。

人类的神经网络是否也遵循规模法则？通过积累海量知识，构建越发庞大、多元的个人知识体系，是否能像 GPT 一样培养出更强大的智能水平？简而言之，人类的学习是否也是"大力出奇迹"，一切皆靠积累？答案很可能是肯定的。

11. 身为父母，减少人为干预

早期，人类设计 AI 系统采用的是规则路线 (符号 AI)。此后，机器学习需要人工建立特征 (有多少人工，才有多少智能)，相当于由人类工程师来教导机器学习。如今，深度学习实现了端到端的学习，无需人为的特征工程。AI 科学家们发现，学会放手，让神经网络自主完成更多任务，让它自己学习，这种方式取得了显著的成效。

作为人类父母，是否也应该减少人为的、低水平的干预？大多数父母并非学习专家，不了解学习原理，强行扮演教育家是否反而会损害孩子的学习？父母是否也应该学会放手，避免过度干预孩子的学习过程？

孩子的大脑就像一个待训练的 GPT 模型。与其自上而下地进行教学指导，不如每天陪孩子读半小时书，像朋友一样让孩子快乐地享受这个伟大的预训练过程 (阅读)。每天晚饭后，孩子做作业时，大人在旁边读书学习。作业完成后，一起愉快地共读，畅谈天地。学会放手，生活更美好，学习更有效。

12. 注意力是最贵的

GPT 的 T 代表 Transformer 架构。Transformer 的精髓在于其用算法模拟了人类的注意力机制，使模型能在处理文本时，对不同部分赋予不同程度的关注。

GPT 的学习本质上是注意力分配的艺术。

人类的学习同样如此。当我们阅读时，会在不同内容上分配不同程度的注意力，关注概念之间的关联。

而且，有效学习的前提是能够在学习过程中建立并维持注意力。注意力的质量直接决定了学习的质量。

然而，你的注意力正是众多科技公司争相追逐的目标。每天有 10 亿用户在短视频上花费 150 分钟，人们的注意力模式正被短视频算法持续重塑，以至于最终难以专注于长篇文章，甚至无法静下心来阅读严肃的书籍。

机器在学习，人类却在沉迷。机器通过注意力机制获得了更强大的认知能力，而人类的注意力却日益稀缺和脆弱。短视频虽然免费，但注意力却是最为珍贵的资源。

13. 预训练之外的后训练

在 GPT 模型完成互联网文本学习后，OpenAI 的科学家们还进行了关键的一步：让人类与 GPT 积极互动，并就"如何成为更好的 LLM 助手"提供实际反馈。

确实，GPT 模型的训练不仅包括预训练，还包括后训练：微调 (finetuning)、奖励建模 (reward modeling) 和 RLHF (基于人类反馈的强化学习)。预训练占据 95% 的比重；后训练则讲究精准高效。

人类学习也遵循相似的模式。除了作为预训练的海量阅读，后训练同样不可或缺。

对大量阅读的儿童进行考试技能的微调，仅需 8 套真题练习，8 岁孩子就能通过剑桥英语水平考试 (FCE)。而对孩子三观的塑造和家庭风气的培养，则类似于 GPT 模型中的奖励建模。作为父母，我们最重要的职责是成为正向反馈的给予者，避免陷入传统式的简单批评。只要坚持正向反馈，每个孩子都能培养出强大的学习内驱力。

14. 语言就是思维本身

人类语言及其背后的思维过程，长期以来被认为是复杂性的巅峰。然而，ChatGPT 的成功给我们带来了一个深刻启示：在某种程度上，人类语言的丰富性以及我们能够用语言表达的一切，似乎都可以被整合进一个有限的系统中。

语言的本质，或许比我们想象的要简单得多。ChatGPT 成功捕捉到了人类语言的"本质"和背后的思维模式。在训练过程中，ChatGPT 不仅自然地掌握了人类语言的语法规则并熟练运用，还通过向量空间中无数次的矩阵运算，将语言中丰富的语义信息提取并存储在由万亿参数构成的神经网络中。通过这种方式，GPT 甚至建立了对现实世界的基本认知模型。

因此，我们不应轻视语言教育，将其视为一个普通科目，仅仅因为它在高考中的分值有限而不够重视。我们也不该将口头表达和书面写作视为非核心技能。相反，每个致力于终身学习的人都应该充分重视语言能力的培养，将演讲和写作视为核心竞争力。

15. 学习，快与慢的艺术

在机器学习领域，学习速度由一个重要参数决定：学习率（learning rate）。这个参数决定了模型在梯度下降过程中的步长。步长过大，可能导致模型无法收敛到最优解；步长过小，则会使训练过程效率低下。在神经网络训练中，合适的学习率往往需要通过反复实践和经验积累来确定。

人类的学习过程也遵循类似的原则。学习速度过快，可能导致理解肤浅，细节遗漏。虽然突击学习可能帮助通过考试，但在实际应用中往往会付出更大代价。相反，过于缓慢的学习进度又可能削弱学习动力。在快速学习和深度理解之间找到平衡点，是学习的艺术所在。

而掌握这门艺术的最佳途径，在于构建个人知识体系。以知识树为目标的学习方法最容易在快与慢之间找到平衡：先快速搭建框架，建立全局认知，获得学习的正向反馈；再逐步深入，一个概念接着一个概念地巩固。这种看似缓慢的过程，实际上达到了更高效的学习效果。

16. 没有人出生在罗马，你只需要保持学习

一些人喜欢制造"起跑线焦虑"，宣称"有些人生来就站在罗马"。虽然在财富和权力方面这种说法可能有点道理，但说到学习，每个人都站在同一起跑线上。就连 Elon Musk 的孩子，也必须亲自训练自己的大脑神经网络，必须自己走向学习目标，这个过程没有任何捷径可走。

机器学习有其起点和终点：起点是随机初始化的参数，终点是在高维空间中损失函数的最小值点。GPT 模型的学习过程，本质上就是在万亿维度的语义空间中寻找这个最低点。

大模型 (LLM) 的能力都是通过学习获得的。难道说 ChatGPT 比文心一言更强大是因为它"出生在罗马"？学习就是在庞大的意义空间中不断接近自己的目标，所有学习者都从同一起点出发，没有人天生就在终点，也没有人的家就在罗马。

17. 学习，每个人有自己的时区

有人热衷于制造学习焦虑，把活生生的人变成被时间切割的竹节虫，给人生设置一连串"关键节点"："婴儿期英语启蒙要把握关键期"，"三年级是决定性的一年"，"大学二年级最为重要"，"35 岁是人生的转折点"……多少岁要完成学业，多少岁该购房，多少岁应该结婚生子，多少岁要实现财务自由……

这种"社会时钟"试图为人生设定一个"标准时间表"，为不同人生阶段制定相应的绩效指标。在这种时钟的压力下，许多人像上紧发条的机器人一样，过着刻板的"打卡人生"。

然而，就像 GPT 的学习过程是在万亿维度意义空间中的探索一样，每一条梯度下降的路径都能通向目标，不存在唯一正确的路线。

人的学习也是如此。我们不需要用"社会时钟"来判定谁快谁慢。孩子 6 岁还没接触 Scratch 编程，算不算太迟？初中生的英语词汇量只有 500，是否来不及？三十多岁才开始学习 Python，会不会觉得不好意思？

每个学习者都有自己的时区，都该按照自己的节奏在终身学习的道路上前行。Charlie Munger 曾说："我这把年纪还在学习制作 PPT，作为一个 90 多岁的老人尚且能掌握新技能，你们年轻人还有什么好担心的？"

只要持续学习，持续前进，就无需在意快慢。每个人都是独特的个体，都有权主导并诠释自己的人生轨迹。横向比较既没意义，也没必要。

18. 学习，简洁是更高级的复杂

机器学习领域的早期探索中，科研人员倾向于在神经网络中采用各种复杂的独立组件，试图"显式地实现特定的算法思想"。但随着 GPT 的出现，一个新的认知逐渐形成：使用极其简单的基础组件，让它们通过自我组织的方式运作，反而能够更好地实现算法目标。

ChatGPT 的成功给我们带来了一个重要启示：最强大的人工智能系统，并非建立在复杂部件的堆砌之上，而是源于结构简单的大量计算元素的组合，以及朴实无华的 Scaling Law。

这一发现在神经网络领域得到了充分验证：最复杂、最强大的神经网络，往往由最基础、最简单的结构单元组成。这种简单性原则同样适用于人类的学习过程。我们不应过分依赖复杂的工具和技巧，因为简单往往能带来最优的效果。

就连最庞大的知识体系，从根本上来说也是由一系列简单的事实性知识、基础概念和模型构建而成。而掌握这些概念的学习方法，也应该遵循简单而非复杂，朴实而非深奥的原则。