Transformer 架构
一切，从注意力机制开始。
自注意力机制 (Self-Attention)
打破序列限制，模型在一步之内即可计算任意两个词之间的关联权重，从而彻底解决长距离依赖问题。
多头注意力 (Multi-Head)
并行执行多次注意力计算，让模型能够从不同的表征子空间同时捕捉语法、语义和上下文信息。
位置编码 (Positional Encoding)
由于 Transformer 不含循环和卷积，通过向输入注入正弦/余弦位置信号，保留了单词在句子中的先后顺序。
海量预训练
在万亿级别 Token 上进行自监督学习，构建世界知识的底座。
Next Token Prediction
通过预测序列中的下一个词，模型在无标注的互联网文本中自我进化，逐步习得逻辑推理、代码编写与多国语言能力。
RLHF 对齐
让模型不仅聪明，而且有用、诚实、无害。
- SFT 监督微调 使用高质量人工示范数据，引导模型输出格式。
- RM 奖励模型 训练一个打分模型，模拟人类的偏好评价标准。
- PPO 强化学习 通过近端策略优化算法，最大化奖励模型的得分。
