基于Chinese-llama2再自己增加数据进行微调

[lower01]

基于Chinese-llama2再自己增加数据进行微调，输入的数据样本应该是怎么样的格式呢？？？

[ymcui]

wiki里有，自己仔细看一下吧。
https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki

[lower01]

您好，就是说对基座模型chinese-llama2增加数据微调，输入的数据格式也是和对指令/Chat模型chinese-AIpaca2的指令精调训练是一样的吗？我看模型对比表上说chinese-llama2基座模型不需要特定的输入模板
我以为的是微调chinese-llama2就用“预训练脚本”文档介绍的方式，微调AIpaca2就用“指令精调”文档介绍的方式

[ymcui]

那要取决于你希望做的是指令精调还是只是预训练，和基座模型无关。
一般来说，

1. 如果你要做预训练，那么就准备无标注的数据就行了，至于在llama上继续训还是alpaca上是自己选。
2. 如果你要做指令精调，那么就要准备有标注的指令数据，数据格式见wiki里的样式。这种情况下建议是在alpaca上继续训练。

[lower01]

崔老师，还想问一下，如果是仅仅对中文llama模型使用无标注数据进行了增量预训练，不进行指令精调，要进行文本续写的话，推理过程的输入输出形式是怎样的，需要在代码中遍写上文数据，然后运行推理程序出结果？
还是运行推理程序之后再输入文本，比如：续写床前明月光，疑是地上霜，然后模型再给出结果？但这种是不是还是属于指令了?或者运行推理程序之后直接输入床前明月光，疑是地上霜，然后模型自动给出续写结果呢？
就是对适用于文本续写场景的模型推理形式不太清楚

[ymcui]

我不是很清楚你要用什么程序推理。如果是用我们的inference_hf.py脚本的话（用法），对于llama模型（非指令理解模型）不能指定--with_prompt（这个选项是为alpaca模型设置的）。
运行程序之后直接输入你的上文信息就可以了。

例如，
续写prompt（适用于llama模型）：我认为生命的意义在于
指令prompt（适用于alpaca模型）：请你剖析生命的意义

[lower01]

明白了，谢谢崔老师的耐心回复

[lower01]

好的，感谢崔老师的解答