1、GRPO

Deepseek核心

• 给 LLM 设定一个奖励函数（比如：回答有用、安全、符合格式、逻辑强）
• 让模型朝着奖励更高的方向更新
• 同时不让模型跑偏太远（保持和原模型接近，防止崩坏）

核心一句话：

GRPO = 更稳定、更省显存、更适合大模型的 RLHF 训练方法

2、SFT监督微调

飞轮效应（Flywheel Effect）

一句话：一开始很难推动，一旦转起来，就会越转越快、越转越省力，最后靠惯性自己持续转下去。