70年前，香农和太太玩了个猜字母游戏，没想到竟是大语言模型的最早原型

一句话说清楚

今天你用ChatGPT问问题，它之所以能回答得头头是道，是因为它一直在做一件事：猜下一个字（或者词）。而70年前，信息论的发明人克劳德·香农，就已经拿他老婆贝蒂当“人肉AI”，玩了同样的猜字母游戏。

香农夫妇的“客厅实验”

1950年左右的一个晚上，香农和贝蒂在客厅做了个实验。香农拿着一本书，每读到一个字母，就先不告诉贝蒂，而是让她猜下一个字母是什么。

• 猜对了，香农就划一道短横。
• 猜错了，香农才把真正的字母写下来。

结果呢？一整段英文被划掉了大部分，只剩下少数猜错的地方。比如“the”这样的常见组合，贝蒂基本都能猜对，原文就被压缩成了零零散散的几个字母。

这跟大语言模型有什么关系？

关系大了。今天的大模型（比如GPT）本质上也在做同样的事——给你一段上文，模型要预测下一个词是什么。

• 训练时，模型读海量文本，不断猜下一个词，猜错了就调整自己。
• 猜得越准，模型的“语言能力”就越强。

香农的实验证明了一个关键规律：语言能够被预测，所以语言能够被压缩。 猜对了就不用写，猜错了才写——压缩后的文本虽然短，但如果你和贝蒂有一样的语言经验，你就能把原文恢复出来。

压缩和智能，其实是一回事

香农后来找更多人做实验，发现每个人猜的顺序不一样，因为每个人对语言的“理解”不同。他的核心发现是：

• 越容易预测的信息，信息量越小（比如“你”后面大概率是“好”）。
• 越难预测的信息，信息量越大（比如“我”后面突然出现“蜥蜴”）。

这个道理直接变成了大模型训练里用的“交叉熵损失”——模型给正确词的概率越高，它就越像一台好的“压缩器”。

重要提醒：不要以为压缩就等于智能。ZIP压缩文件很厉害，但ZIP不会思考。更准确的说法是：智能至少包含一种能力——抓住世界里可预测的规律。香农的实验，就是这个思想的最早雏形。

对普通人来说，这意味着什么？

• 你每天用AI聊天、写文章、翻译，背后原理其实和猜谜游戏一样简单：猜下一个字。
• 香农70年前的实验，今天依然被用来解释AI为什么能“理解”语言。有时候，最深刻的想法就藏在一次客厅游戏里。