文章目录

• 摘要
• 1、简介
• 2、背景
• 3、QLORA微调
• 4、QLoRA vs.标准微调
• 5、用QLoRA推动聊天机器人达到最高水平
• • 5.1、实验设置
  • 5.2、评价
  • 5.3、Guanaco:在OASST1上使用QLORA训练的最先进的聊天机器人
• 6、定性分析
• • 6.1、样例生成定性分析
  • 6.2、注意事项
• 7、相关工作
• 8、限制与讨论
• 9、更广泛的影响
• 致谢
• QLoRA与标准微调实验设置细节
• • A.1、QLORA的超参数
  • A.2、超自然指令实验设置细节
• B、训练一个最先进的聊天机器人实验设置细节