repetition 问题记录

[fclearner]

大模型重复生成问题

推理层面优化：
repetition penalty

训练层面优化:
eos_token: QwenLM/Qwen2.5#779 (comment)
no_speech token: #113
模型帧率，提高帧率可以改善短音频复读机问题
LLM的文本分布
引入ctc结果：https://arxiv.org/abs/2408.09491

从NLP的角度：
https://zhuanlan.zhihu.com/p/672261242?utm_psn=1807773013061558274

训练数据中短文本或重复文本较多，即数据多样性不足时会触发大模型重复生成问题
模型参数量越小越容易触发大模型重复生成问题

欢迎补充！