关于长文本标题生成的一些问题

[Fino2020]

该预训练模型的最大文本长度支持是512，对于超出这个范围的长度的文本，请问应该怎么操作呢

[Sixy1204]

该预训练模型的最大文本长度支持是512，对于超出这个范围的长度的文本，请问应该怎么操作呢

理论上GPT-2 default 1024，感觉你有自己的数据集按照大佬思路从头训练自己的就行了

[Fino2020]

emmmm硬件属实不大行，我尝试自己从头训练，但是gpt2确实太大了，我的服务器跑不动……所以只能找预训练模型 发自我的iPhone

…

------------------ 原始邮件 ------------------ 发件人: Xiaoyu.S ***@***.***> 发送时间: 2022年5月30日 17:22 收件人: liucongg/GPT2-NewsTitle ***@***.***> 抄送: Fino2020 ***@***.***>, Author ***@***.***> 主题: Re: [liucongg/GPT2-NewsTitle] 关于长文本标题生成的一些问题 (Issue #30)

[Sixy1204]

emmmm硬件属实不大行，我尝试自己从头训练，但是gpt2确实太大了，我的服务器跑不动……所以只能找预训练模型 发自我的iPhone
…
------------------ 原始邮件 ------------------ 发件人: Xiaoyu.S @.> 发送时间: 2022年5月30日 17:22 收件人: liucongg/GPT2-NewsTitle @.> 抄送: Fino2020 @.>, Author @.> 主题: Re: [liucongg/GPT2-NewsTitle] 关于长文本标题生成的一些问题 (Issue #30)

那我建议你可以适当减少heads和layers

[Fino2020]

emmmm我用了一个huggingface上的一个预训练模型，然后用了一个小数据集来训练了一下，但是在保存模型的时候一直报错，说是我存的路径不是文件夹，但是我单独把这个路径拿出来显示这确实是一个文件夹