LoRA 微调后模型跨语言补全退化,用这三组评估集提前暴露遗忘
LoRA 微调易引发跨语言补全退化,需用三组评估集检测:CodeXGLUE 补全子集快速筛查 token 分布漂移,HumanEval-X 分语言验证语法正确性,MultiPL-E 在真实长上下文下确认深层遗忘。按顺序使用可在一小时内定位问题,避免上线后暴露。
共 1 篇文章
LoRA 微调易引发跨语言补全退化,需用三组评估集检测:CodeXGLUE 补全子集快速筛查 token 分布漂移,HumanEval-X 分语言验证语法正确性,MultiPL-E 在真实长上下文下确认深层遗忘。按顺序使用可在一小时内定位问题,避免上线后暴露。