Skip to content

Latest commit

 

History

History
42 lines (25 loc) · 1.13 KB

llama-factory-training-dataset.md

File metadata and controls

42 lines (25 loc) · 1.13 KB

Llama Factory 训练数据整理指南


1. 训练数据格式要求

参考链接:LLaMA-Factory 数据格式说明

  • 数据格式

    • 微调数据需整理成以下两种格式之一:
      • Alpaca格式
      • ShareGPT格式(训练function calling功能时必须使用此格式)
  • 模型类型区分

    • Instruct 模型

      (单轮对话)

      • 适用于单轮指令跟随场景,字段定义简单。
    • Chat 模型

      (多轮对话)

      • 适用于多轮对话场景,需注意数据字段区别。
  • 注意事项

    • 使用 Llama Factory 训练时,务必选择与数据格式对应的正确模型模板。

2. 数据处理建议

  1. 数据审核
    • 不要完全依赖 GPT 自动整理数据,需手动复核,剔除互斥或无效数据(脏数据)。
  2. 数据简化
    • 数据复杂度不宜过高,简化内容可提高训练效率。
  3. 数据增强
    • 数据增广(Data Augmentation)是提升模型性能的有效手段,建议根据实际需求灵活应用。