参考链接:LLaMA-Factory 数据格式说明
-
数据格式
- 微调数据需整理成以下两种格式之一:
- Alpaca格式
- ShareGPT格式(训练
function calling
功能时必须使用此格式)
- 微调数据需整理成以下两种格式之一:
-
模型类型区分
-
Instruct 模型
(单轮对话)
- 适用于单轮指令跟随场景,字段定义简单。
-
Chat 模型
(多轮对话)
- 适用于多轮对话场景,需注意数据字段区别。
-
-
注意事项
- 使用 Llama Factory 训练时,务必选择与数据格式对应的正确模型模板。
- 数据审核
- 不要完全依赖 GPT 自动整理数据,需手动复核,剔除互斥或无效数据(脏数据)。
- 数据简化
- 数据复杂度不宜过高,简化内容可提高训练效率。
- 数据增强
- 数据增广(Data Augmentation)是提升模型性能的有效手段,建议根据实际需求灵活应用。