**误解①：AI像搜索引擎一样查询数据库**。实际上：LLM（Large Language Model，大型语言模型）在训练完成后，所有”知识”都以数值权重的形式编码在数十亿个参数中，推理时不查询任何外部数据库。它是一个”压缩的世界模型”，通过参数中存储的模式来生成文本。这解释了为什么LLM有知识截止日期（训练后的新事件不知道），以及为什么会”幻觉”（生成从参数模式推断但并不准确的信息）。
**误解②：AI在”理解”和”思考”**。LLM的核心操作是**下一个词（Token）预测**：给定前面所有的文字，预测接下来最可能出现的词。这个过程通过Transformer架构中的自注意力机制（Self-Attention）实现，让模型能够在长文本中建立词语之间的关联。这个机制在大规模上产生了令人惊讶的涌现能力（Emergent Capabilities），但本质上是复杂的统计模式匹配，而非人类意义上的”理解”或”推理”。
## 训练过程简述
LLM训练分三个主要阶段：①**预训练（Pre-training）**：在海量文本数据（互联网文本、书籍、代码、学术论文）上进行自监督学习，目标是预测被遮蔽的词语，使模型学习语言结构和世界知识；②**监督微调（SFT，Supervised Fine-Tuning）**：在人工标注的高质量问答对上进行监督训练，使模型学会遵循指令和生成有用回答；③**RLHF（基于人类反馈的强化学习）**：人类评估者对模型输出打分，通过强化学习进一步优化模型使其输出更符合人类偏好（更有帮助、更准确、更安全）。
## 为什么LLM会”幻觉”
幻觉（Hallucination）是LLM最重要的局限性之一：模型生成了听起来合理但实际不正确的信息。原因：LLM的目标是生成”统计上合理的下一个词”，而非”事实上准确的信息”——当模型不确定时，它会生成”看起来合适”的文字，而非承认不知道（训练数据中很少出现”我不知道”这样的表达）。减少幻觉的策略：要求引用来源（但AI也可以生成虚假引用）；在高风险场景下独立核实；使用RAG（检索增强生成）技术将LLM与可验证的外部知识库结合。
参见[Prompt工程实战](https://sunqi.org/prompt-engineering-guide-zh/)；[人机协作技能](https://sunqi.org/human-ai-collaboration-zh/)；[3Blue1Brown神经网络视频系列](https://www.youtube.com/c/3blue1brown)。
