请问PPL以4K上下文大小计算具体是怎么做的

[Pycelle]

请问PPL以4K上下文大小计算具体是怎么做的，是用验证集算出来的吗，如果是验证集是按比例分出来的吗？训练只训练了1个epoch吗

[ymcui]

请问PPL以4K上下文大小计算具体是怎么做的，是用验证集算出来的吗

llama.cpp：-c 4096，感兴趣可以自己看一下llama.cpp的perplexity代码。

训练只训练了1个epoch吗

测PPL不是训练，是在集外集上做推理。

[Pycelle]

谢谢老师，这里量化评测都是用llama.cpp工具做的吗？数据似乎不一样是因为参数设置不同导致的吗？我看预训练run_clm_pt_with_peft.py代码中的do_eval部分计算了PPL，val_dataset是split划分出来的，如果我想复现这个指标，可否提供相关集外集？

[ymcui]

1. 上面的表是transformers实现的PPL计算方法，下面的是llama.cpp内置的perplexity程序，所以两者会有一些区别。
2. 集外集暂时不开放，后续会考虑。
3. 需要注意的是PPL只是最基础的一个指标，并不一定与下游任务（不论是NLU类还是NLG类）效果正相关。

[Pycelle]

明白了，谢谢老师~