lora结论

结论一：LoRA仅能够让模型学会输出的格式，完全无法获取新知识，同时增大数据集的规模对LoRA无效。

结论二：即使LoRA并不能让模型学会新的知识，它也比全量微调强。

全量微调会学习指令微调数据集中的用词导致严重的幻觉

A Closer Look at the Limitations of Instruction Tuning | ICML2024