请问可以给出alpaca_data_zh_51k在chinese-llama-2-13b模型上 sft 的参数设置吗

[Emily53469]

我在一张 A100 上使用alpaca_data_zh_51k 数据集在chinese-llama-2-13b上进行 sft 试图复现chinese-alpaca-2-13b模型的效果，但是评测发现效果和chinese-alpaca-2-13b模型差的有点远，下面是我的sft参数设置，和示例代码相比，调整了 batchsize、lora 参数并使用了 bf16，可否给出一些参数设置的建议或者是否可以给出你们进行 sft 的参数设置？

lr=1e-4
lora_rank=16
lora_alpha=32
lora_trainable="q_proj,v_proj,k_proj,o_proj,gate_proj,down_proj,up_proj"
modules_to_save="embed_tokens,lm_head"
lora_dropout=0.05

pretrained_model=ziqingyang/chinese-llama-2-13b
chinese_tokenizer_path=ziqingyang/chinese-llama-2-13b
dataset_dir=../../train_data/alpaca_data_zh_51k_data/
per_device_train_batch_size=4
per_device_eval_batch_size=4
gradient_accumulation_steps=8
output_dir=./train_result/my-chinese-llama-alpaca-2-13b
validation_file=../../validation_data/eva_data

deepspeed_config_file=ds_zero2_no_offload.json

torchrun --nnodes 1 --nproc_per_node 1 run_clm_sft_with_peft.py \
    --deepspeed ${deepspeed_config_file} \
    --model_name_or_path ${pretrained_model} \
    --tokenizer_name_or_path ${chinese_tokenizer_path} \
    --dataset_dir ${dataset_dir} \
    --validation_split_percentage 0.001 \
    --per_device_train_batch_size ${per_device_train_batch_size} \
    --per_device_eval_batch_size ${per_device_eval_batch_size} \
    --do_train \
    --do_eval \
    --seed $RANDOM \
    --bf16 \
    --num_train_epochs 2 \
    --lr_scheduler_type cosine \
    --learning_rate ${lr} \
    --warmup_ratio 0.03 \
    --weight_decay 0 \
    --logging_strategy steps \
    --logging_steps 10 \
    --save_strategy steps \
    --save_total_limit 3 \
    --evaluation_strategy steps \
    --eval_steps 100 \
    --save_steps 200 \
    --gradient_accumulation_steps ${gradient_accumulation_steps} \
    --preprocessing_num_workers 8 \
    --max_seq_length 1024 \
    --output_dir ${output_dir} \
    --overwrite_output_dir \
    --ddp_timeout 30000 \
    --logging_first_step True \
    --lora_rank ${lora_rank} \
    --lora_alpha ${lora_alpha} \
    --trainable ${lora_trainable} \
    --modules_to_save ${modules_to_save} \
    --lora_dropout ${lora_dropout} \
    --torch_dtype float16 \
    --validation_file ${validation_file} \
    --ddp_find_unused_parameters False \
    --flash_attn True \
    --gradient_checkpointing \

[ymcui]

1. Chinese-Alpaca-2-13B使用的是500万指令数据，你只用了5万，效果差也是正常。这里并不是说SFT数据越多效果一定好，但也得达到一定量。
2. 你的lora rank发生了改变（我们的是64），也可以考虑继续精调llama的lora。

我不太清楚你现在的实验目的是什么。一般来说，也可以考虑直接在Alpaca-2-13B上用自己的数据继续精调。

[Emily53469]

感谢回复，是我一开始理解错了，我以为Chinese-Alpaca-2-13B用的是 5 万的数据，请问500万指令数据是否开源了呢？
我想做的是给模型补充一些行业领域的专业知识，但是只有纯文本的数据，所以计划是

1. 先基于Chinese llama进行ft得到模型A，
2. 再用alpaca的指令微调数据对模型A进行sft得到模型B

因此先实验了一下步骤2在Chinese llama上通过alpaca的指令微调数据进行sft，试图复现Chinese-Alpaca-2-13B。
感谢你的建议，我会考虑直接在Alpaca-2-13B上用自己的数据继续精调。不知我上述的计划是否可行，你是否可给出一些建议？

[ymcui]

1. 数据暂不开源。
2. 如果你想保留一部分Alpaca-2-13B的对话能力，建议直接在这个上面进行精调。至于纯文本数据，建议你通过适当方式转换成SFT数据参与训练。