Transformer 是 2017 年 Google 在《Attention Is All You Need》中提出的神经网络架构，彻底改变了自然语言处理。它的核心是自注意力机制（Self-Attention）：对序列中的每个词，模型计算它与其他所有词的关联权重，从而直接捕捉长距离依赖关系。相比循环神经网络，Transformer 不依赖顺序递归，可并行处理整个序列，训练效率大幅提升。

Transformer 结构由编码器（Encoder）和解码器（Decoder）组成。编码器负责理解输入，解码器负责生成输出，二者都由多层多头注意力（Multi-Head Attention）和前馈网络构成。位置编码用于注入词序信息。

大语言模型（LLM）是建立在 Transformer 之上的超大规模模型，通过在海量文本上预训练（自监督学习，预测下一个词）获得强大的语言理解与生成能力。以 GPT 系列为代表的自回归解码器模型，通过大规模预训练+指令微调+人类反馈强化学习（RLHF）对齐，能够完成对话、写作、翻译、代码生成等任务。

为处理超长文本并提升检索准确性，人们引入了检索增强生成（RAG）：先从外部知识库检索相关片段，再交给大模型生成答案，有效缓解幻觉问题。此外，通过提示工程（Prompt Engineering）或思维链（Chain-of-Thought）技巧，可显著激发模型推理能力。大模型带来了复杂推理、多模态理解等巨大机遇，也带来能耗、幻觉、内容安全等挑战，是当前人工智能最活跃的方向。