AI 进化史：从 ELIZA 到 GPT-4o，AI 是如何一步步变聪明的？

1966年，MIT 的计算机教授 Joseph Weizenbaum 开发了一个聊天机器人叫 ELIZA。

它的原理极其简单：检测用户输入中的关键词，然后从预设模板库中挑选一个回复。

用户：I am unhappy.
ELIZA：How long have you been unhappy?

用户以为在和一个真正的心理咨询师对话，其实只是在和一堆 if-else 规则聊天。

那时候的 AI，连"猫"是什么都不理解。

AI 进化史的关键里程碑

1950s-1960s：规则推理时代

代表作：ELIZA、SHRDLU

这个时期的 AI 依赖于人类专家编写的规则。

优点：可解释、可控 缺点：规则无法覆盖所有情况，无法处理模糊表达

1980s：专家系统时代

代表作：MYCIN、XCON

人们尝试把各个领域专家的知识整理成规则库。

优点：在特定领域表现良好 缺点：知识获取困难，无法自我学习，泛化能力差

1990s-2000s：统计学习时代

代表作：Naive Bayes、SVM、Random Forest

从规则学习转向统计学习，AI 能够从数据中自动发现规律。

优点：泛化能力强，能处理噪声数据 缺点：需要人工特征工程，能力上限受特征限制

2010s：深度学习时代

代表作：AlexNet、AlphaGo、BERT

深度神经网络让 AI 能够自动学习特征。

优点：在图像、语音等领域取得突破 缺点：需要大量标注数据，可解释性差

2020s：大模型时代

代表作：GPT-3、ChatGPT、GPT-4o、Claude、Gemini

大规模预训练 + 指令微调 + RLHF

优点：涌现能力、多任务通用、零样本学习 缺点：计算成本高、幻觉问题、缺乏真正理解

GPT 的"T"是什么意思？

GPT = Generative Pre-trained Transformer

Generative（生成式）：能够生成文本，而不是做分类或识别

Pre-trained（预训练）：在大规模数据上预先训练，然后微调

Transformer：一种神经网络架构，是 GPT 的技术基础

Transformer 的革命性

2017 年，Google 发表论文《Attention Is All You Need》，提出了 Transformer 架构。[2]

这个架构改变了 AI 的游戏规则：

• 并行计算：比 RNN 快得多，可以处理超长文本
• 注意力机制：让 AI 学会"关注"重要的信息
• 可扩展性：在一定条件下，扩大数据/模型/算力往往能带来性能提升（Scaling Laws）[3][4]

AI 是如何学习的？

第一阶段：预训练

在大规模语料上学习语言规律：

输入：世界上最高的山是...
输出：珠穆朗玛峰

输入：Python 是一种...
输出：编程语言

AI 学会的是：语言接龙、常识知识、世界知识

第二阶段：微调

在特定任务上有监督学习：

输入：[客服对话]
输出：[标准回复]

AI 学会的是：特定任务的正确行为

第三阶段：指令微调（Instruction Tuning）

让 AI 学会"听指令"：

用户：请帮我翻译成英文
AI：当然可以，请提供要翻译的内容

第四阶段：人类反馈强化学习（RLHF）

用人类反馈来优化 AI：

1. AI 生成多个回答
2. 人类给回答打分
3. AI 学习什么样的回答更受欢迎

这就是为什么 ChatGPT 说话更像"人"，而不像传统 AI那么"机器"。

为什么大模型突然变强了？

2022年 ChatGPT 发布时，为什么 AI 突然变强了这么多？

涌现能力（Emergent Abilities）

一些研究观察到：当模型规模增大时，某些任务指标会呈现非线性跃迁式提升，常被称为“涌现能力”。这一概念也存在定义与测量争议，因此更稳妥的表述是：规模扩大常常会带来能力分布的变化，需要用系统评测去确认。[5][6]

• 突然会做数学题了
• 突然会写代码了
• 突然有了推理能力

这些能力在小模型上完全看不到，在大模型上却自然出现。

Scaling Laws

在多项研究中，模型性能与训练计算、数据规模之间呈现可拟合的规律；同时也有工作指出“数据质量/训练策略/推理阶段优化”同样重要，不是简单的“越大越好”。[3][4]

指令微调 + RLHF

让大模型学会了"听人话"，变得更容易使用。

AI 未来会走向何方？

预测具体年份很容易失真，更实际的观察维度是“能力形态”：

• 多模态与工具调用更普遍：文本之外的输入输出，以及与外部系统的联动
• 评测与治理更重要：安全、隐私、可追溯来源、可观测性
• 成本与体验的工程优化：缓存、路由、蒸馏、推理加速等手段让更多场景可落地

结语

从 1966 年的 ELIZA 到今天的 GPT-4o，AI 走过了 60 年的进化之路。

每一步都不是一蹴而就，而是无数研究者一步一步积累的结果。

今天的 AI 已经能够理解自然语言、生成各种内容、帮助人类完成复杂任务。

但它依然不是完美的——它会犯错、会幻觉、缺乏真正的理解。

AI 的进化还在继续，最好的时代也许才刚刚开始。

在 AI Chat，你可以亲身体验 AI 进化的最新成果，感受 AI 能力的边界。

理解 AI 的过去，才能更好地拥抱 AI 的未来。

参考与延伸阅读

• [1] ELIZA：A Computer Program for the Study of Natural Language Communication Between Man and Machine（1966）https://dl.acm.org/doi/10.1145/365153.365168
• [2] Attention Is All You Need（2017）https://arxiv.org/abs/1706.03762
• [3] Scaling Laws for Neural Language Models（2020）https://arxiv.org/abs/2001.08361
• [4] Training Compute-Optimal Large Language Models（Chinchilla，2022）https://arxiv.org/abs/2203.15556
• [5] Emergent Abilities of Large Language Models（2022）https://arxiv.org/abs/2206.07682
• [6] Rethinking “emergent abilities” in large language models（2023）https://arxiv.org/abs/2304.15004
• InstructGPT（RLHF 代表工作，2022）https://arxiv.org/abs/2203.02155