[事前学習] - 13B継続学習によるllm-jp-corpus v4候補データの検証

[YumaTsuta]

Overview

llm-jp-3-13Bから継続学習することにより、llm-jp-corpus v4 候補データの学習への影響を確認する。

Details

• コーパス
  • llm-jp-corpus v4 候補データ
    • 新規日本語データ一覧
    • 英語データ
      • DCLM-baseline

実験設定

• データセット選択

  • 新規日本語データ + DCLM-baseline
  • ( 新規日本語データ + DCLM-baseline ) + llm-jp-v3.1
    • 1:1 で混合
    • 言語比率：

• コーパスサイズ

  • 400B ?
    • 日本語 200B
    • 英語 200B

• スケジューリング
  *

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu (H100x8)
  • ノード台数: 32
• コード
  • リポジトリ: FIXME https://github.com/{org}/{repo}
  • コミット: FIXME xxxxxx
• 入力データ:
  • コーパス: FIXME /home/share/experiments/0097_13b_cpt_corpus_v4_alpha/
• 出力データ:
  • 保存先:
    • 実験中: sakura: /home/share/experiments/0097_13b_cpt_corpus_v4_alpha
    • 実験後: sakura: /data/experiments/0097_13b_cpt_corpus_v4_alpha
  • データ内訳:
    • {name}: xxx TB （バッファ容量を含む）
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: 2024-12-15
• 終了予定日: YYYY-MM-DD （バッファ期間を含む）